[MediaStream] RealtimeMediaSource should be able to vend hashed IDs
[WebKit-https.git] / Source / WebCore / platform / mediastream / mac / AVVideoCaptureSource.h
1 /*
2  * Copyright (C) 2013-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #if ENABLE(MEDIA_STREAM) && USE(AVFOUNDATION)
29
30 #include "IntSizeHash.h"
31 #include "OrientationNotifier.h"
32 #include "RealtimeVideoSource.h"
33 #include <wtf/Lock.h>
34 #include <wtf/text/StringHash.h>
35
36 typedef struct opaqueCMSampleBuffer* CMSampleBufferRef;
37
38 OBJC_CLASS AVCaptureConnection;
39 OBJC_CLASS AVCaptureDevice;
40 OBJC_CLASS AVCaptureDeviceFormat;
41 OBJC_CLASS AVCaptureOutput;
42 OBJC_CLASS AVCaptureSession;
43 OBJC_CLASS AVCaptureVideoDataOutput;
44 OBJC_CLASS AVFrameRateRange;
45 OBJC_CLASS NSError;
46 OBJC_CLASS NSNotification;
47 OBJC_CLASS WebCoreAVVideoCaptureSourceObserver;
48
49 namespace WebCore {
50
51 class AVVideoPreset;
52 class PixelBufferResizer;
53
54 class AVVideoCaptureSource : public RealtimeVideoSource, private OrientationNotifier::Observer {
55 public:
56     static CaptureSourceOrError create(String&& id, String&& hashSalt, const MediaConstraints*);
57
58     WEBCORE_EXPORT static VideoCaptureFactory& factory();
59
60     int32_t width() const { return m_width; }
61     int32_t height() const { return m_height; }
62
63     enum class InterruptionReason { None, VideoNotAllowedInBackground, AudioInUse, VideoInUse, VideoNotAllowedInSideBySide };
64     void captureSessionBeginInterruption(RetainPtr<NSNotification>);
65     void captureSessionEndInterruption(RetainPtr<NSNotification>);
66
67     AVCaptureSession* session() const { return m_session.get(); }
68
69     void captureSessionIsRunningDidChange(bool);
70     void captureSessionRuntimeError(RetainPtr<NSError>);
71     void captureOutputDidOutputSampleBufferFromConnection(AVCaptureOutput*, CMSampleBufferRef, AVCaptureConnection*);
72
73 private:
74     AVVideoCaptureSource(AVCaptureDevice*, String&& id, String&& hashSalt);
75     virtual ~AVVideoCaptureSource();
76
77     bool setupSession();
78     bool setupCaptureSession();
79     void shutdownCaptureSession();
80
81     const RealtimeMediaSourceCapabilities& capabilities() final;
82     const RealtimeMediaSourceSettings& settings() final;
83     void startProducingData() final;
84     void stopProducingData() final;
85     void settingsDidChange(OptionSet<RealtimeMediaSourceSettings::Flag>) final;
86     void monitorOrientation(OrientationNotifier&) final;
87     void beginConfiguration() final;
88     void commitConfiguration() final;
89     bool isCaptureSource() const final { return true; }
90     bool interrupted() const final;
91
92     void setSizeAndFrameRateWithPreset(IntSize, double, RefPtr<VideoPreset>) final;
93     bool prefersPreset(VideoPreset&) final;
94     void generatePresets() final;
95     bool canResizeVideoFrames() const final { return true; }
96
97     bool setPreset(NSString*);
98     void computeSampleRotation();
99     AVFrameRateRange* frameDurationForFrameRate(double);
100
101     // OrientationNotifier::Observer API
102     void orientationChanged(int orientation) final;
103
104     bool setFrameRateConstraint(double minFrameRate, double maxFrameRate);
105
106     void processNewFrame(RetainPtr<CMSampleBufferRef>, RetainPtr<AVCaptureConnection>);
107     IntSize sizeForPreset(NSString*);
108
109     AVCaptureDevice* device() const { return m_device.get(); }
110
111     RetainPtr<CMSampleBufferRef> m_buffer;
112     RetainPtr<AVCaptureVideoDataOutput> m_videoOutput;
113
114     IntSize m_requestedSize;
115     int32_t m_width { 0 };
116     int32_t m_height { 0 };
117     int m_sensorOrientation { 0 };
118     int m_deviceOrientation { 0 };
119     MediaSample::VideoRotation m_sampleRotation { MediaSample::VideoRotation::None };
120
121     std::unique_ptr<PixelBufferResizer> m_pixelBufferResizer;
122     std::optional<RealtimeMediaSourceSettings> m_currentSettings;
123     std::optional<RealtimeMediaSourceCapabilities> m_capabilities;
124     RetainPtr<WebCoreAVVideoCaptureSourceObserver> m_objcObserver;
125     RetainPtr<AVCaptureSession> m_session;
126     RetainPtr<AVCaptureDevice> m_device;
127     RefPtr<VideoPreset> m_pendingPreset;
128
129     Lock m_presetMutex;
130     RefPtr<AVVideoPreset> m_currentPreset;
131     IntSize m_pendingSize;
132     double m_pendingFrameRate;
133     InterruptionReason m_interruption { InterruptionReason::None };
134     bool m_isRunning { false };
135 };
136
137 } // namespace WebCore
138
139 SPECIALIZE_TYPE_TRAITS_BEGIN(WebCore::AVVideoPreset)
140     static bool isType(const WebCore::VideoPreset& preset) { return preset.type == WebCore::VideoPreset::VideoPresetType::AVCapture; }
141 SPECIALIZE_TYPE_TRAITS_END()
142
143 #endif // ENABLE(MEDIA_STREAM)