[MediaStream] A stream's first video frame should be rendered
[WebKit-https.git] / Source / WebCore / platform / mediastream / mac / AVVideoCaptureSource.h
1 /*
2  * Copyright (C) 2013-2018 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #if ENABLE(MEDIA_STREAM) && USE(AVFOUNDATION)
29
30 #include "IntSizeHash.h"
31 #include "OrientationNotifier.h"
32 #include "RealtimeVideoSource.h"
33 #include <wtf/Lock.h>
34 #include <wtf/text/StringHash.h>
35
36 typedef struct opaqueCMSampleBuffer* CMSampleBufferRef;
37
38 OBJC_CLASS AVCaptureConnection;
39 OBJC_CLASS AVCaptureDevice;
40 OBJC_CLASS AVCaptureDeviceFormat;
41 OBJC_CLASS AVCaptureOutput;
42 OBJC_CLASS AVCaptureSession;
43 OBJC_CLASS AVCaptureVideoDataOutput;
44 OBJC_CLASS AVFrameRateRange;
45 OBJC_CLASS NSError;
46 OBJC_CLASS NSNotification;
47 OBJC_CLASS WebCoreAVVideoCaptureSourceObserver;
48
49 namespace WebCore {
50
51 class AVVideoPreset;
52 class ImageTransferSessionVT;
53
54 class AVVideoCaptureSource : public RealtimeVideoSource, private OrientationNotifier::Observer {
55 public:
56     static CaptureSourceOrError create(String&& id, String&& hashSalt, const MediaConstraints*);
57
58     WEBCORE_EXPORT static VideoCaptureFactory& factory();
59
60     enum class InterruptionReason { None, VideoNotAllowedInBackground, AudioInUse, VideoInUse, VideoNotAllowedInSideBySide };
61     void captureSessionBeginInterruption(RetainPtr<NSNotification>);
62     void captureSessionEndInterruption(RetainPtr<NSNotification>);
63
64     AVCaptureSession* session() const { return m_session.get(); }
65
66     void captureSessionIsRunningDidChange(bool);
67     void captureSessionRuntimeError(RetainPtr<NSError>);
68     void captureOutputDidOutputSampleBufferFromConnection(AVCaptureOutput*, CMSampleBufferRef, AVCaptureConnection*);
69     void captureDeviceSuspendedDidChange();
70
71 private:
72     AVVideoCaptureSource(AVCaptureDevice*, String&& id, String&& hashSalt);
73     virtual ~AVVideoCaptureSource();
74
75     bool setupSession();
76     bool setupCaptureSession();
77     void shutdownCaptureSession();
78
79     const RealtimeMediaSourceCapabilities& capabilities() final;
80     const RealtimeMediaSourceSettings& settings() final;
81     void startProducingData() final;
82     void stopProducingData() final;
83     void settingsDidChange(OptionSet<RealtimeMediaSourceSettings::Flag>) final;
84     void monitorOrientation(OrientationNotifier&) final;
85     void beginConfiguration() final;
86     void commitConfiguration() final;
87     bool isCaptureSource() const final { return true; }
88     bool interrupted() const final;
89
90     void setSizeAndFrameRateWithPreset(IntSize, double, RefPtr<VideoPreset>) final;
91     bool prefersPreset(VideoPreset&) final;
92     void generatePresets() final;
93     bool canResizeVideoFrames() const final { return true; }
94
95     bool setPreset(NSString*);
96     void computeSampleRotation();
97     AVFrameRateRange* frameDurationForFrameRate(double);
98
99     // OrientationNotifier::Observer API
100     void orientationChanged(int orientation) final;
101
102     bool setFrameRateConstraint(double minFrameRate, double maxFrameRate);
103
104     void processNewFrame(Ref<MediaSample>&&);
105     IntSize sizeForPreset(NSString*);
106
107     AVCaptureDevice* device() const { return m_device.get(); }
108
109     RefPtr<MediaSample> m_buffer;
110     RetainPtr<AVCaptureVideoDataOutput> m_videoOutput;
111     std::unique_ptr<ImageTransferSessionVT> m_imageTransferSession;
112
113     int m_sensorOrientation { 0 };
114     int m_deviceOrientation { 0 };
115     MediaSample::VideoRotation m_sampleRotation { MediaSample::VideoRotation::None };
116
117     std::optional<RealtimeMediaSourceSettings> m_currentSettings;
118     std::optional<RealtimeMediaSourceCapabilities> m_capabilities;
119     RetainPtr<WebCoreAVVideoCaptureSourceObserver> m_objcObserver;
120     RetainPtr<AVCaptureSession> m_session;
121     RetainPtr<AVCaptureDevice> m_device;
122     RefPtr<VideoPreset> m_pendingPreset;
123
124     Lock m_presetMutex;
125     RefPtr<AVVideoPreset> m_currentPreset;
126     IntSize m_pendingSize;
127     double m_pendingFrameRate;
128     InterruptionReason m_interruption { InterruptionReason::None };
129     int m_framesToDropAtStartup { 0 };
130     bool m_isRunning { false };
131 };
132
133 } // namespace WebCore
134
135 SPECIALIZE_TYPE_TRAITS_BEGIN(WebCore::AVVideoPreset)
136     static bool isType(const WebCore::VideoPreset& preset) { return preset.type == WebCore::VideoPreset::VideoPresetType::AVCapture; }
137 SPECIALIZE_TYPE_TRAITS_END()
138
139 #endif // ENABLE(MEDIA_STREAM)