48419bad0189f72469c26ccc6540843a700a2fe3
[WebKit-https.git] / Source / WebCore / platform / mediastream / RealtimeMediaSource.h
1 /*
2  * Copyright (C) 2011 Ericsson AB. All rights reserved.
3  * Copyright (C) 2012 Google Inc. All rights reserved.
4  * Copyright (C) 2013-2017 Apple Inc. All rights reserved.
5  * Copyright (C) 2013 Nokia Corporation and/or its subsidiary(-ies).
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  *
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer
15  *    in the documentation and/or other materials provided with the
16  *    distribution.
17  * 3. Neither the name of Ericsson nor the names of its contributors
18  *    may be used to endorse or promote products derived from this
19  *    software without specific prior written permission.
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
24  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
25  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
26  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
27  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
28  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
29  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
30  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
31  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
32  */
33
34 #pragma once
35
36 #if ENABLE(MEDIA_STREAM)
37
38 #include "CaptureDevice.h"
39 #include "Image.h"
40 #include "MediaConstraints.h"
41 #include "MediaSample.h"
42 #include "PlatformLayer.h"
43 #include "RealtimeMediaSourceCapabilities.h"
44 #include <wtf/RecursiveLockAdapter.h>
45 #include <wtf/ThreadSafeRefCounted.h>
46 #include <wtf/Vector.h>
47 #include <wtf/WeakPtr.h>
48 #include <wtf/text/WTFString.h>
49
50 namespace WTF {
51 class MediaTime;
52 }
53
54 namespace WebCore {
55
56 class AudioStreamDescription;
57 class FloatRect;
58 class GraphicsContext;
59 class MediaStreamPrivate;
60 class OrientationNotifier;
61 class PlatformAudioData;
62 class RealtimeMediaSourceSettings;
63
64 struct CaptureSourceOrError;
65
66 class WEBCORE_EXPORT RealtimeMediaSource : public ThreadSafeRefCounted<RealtimeMediaSource>, public CanMakeWeakPtr<RealtimeMediaSource> {
67 public:
68     class Observer {
69     public:
70         virtual ~Observer();
71
72         // Source state changes.
73         virtual void sourceStarted() { }
74         virtual void sourceStopped() { }
75         virtual void sourceMutedChanged() { }
76         virtual void sourceSettingsChanged() { }
77
78         // Observer state queries.
79         virtual bool preventSourceFromStopping() { return false; }
80
81         // Called on the main thread.
82         virtual void videoSampleAvailable(MediaSample&) { }
83
84         // May be called on a background thread.
85         virtual void audioSamplesAvailable(const MediaTime&, const PlatformAudioData&, const AudioStreamDescription&, size_t /*numberOfFrames*/) { }
86     };
87
88     class SingleSourceFactory {
89     public:
90         void setActiveSource(RealtimeMediaSource& source)
91         {
92             if (m_activeSource == &source)
93                 return;
94             if (m_activeSource && m_activeSource->isProducingData())
95                 m_activeSource->setMuted(true);
96             m_activeSource = &source;
97         }
98
99         void unsetActiveSource(RealtimeMediaSource& source)
100         {
101             if (m_activeSource == &source)
102                 m_activeSource = nullptr;
103         }
104
105         RealtimeMediaSource* activeSource() { return m_activeSource; }
106     private:
107         RealtimeMediaSource* m_activeSource { nullptr };
108     };
109
110     class AudioCaptureFactory
111 #if PLATFORM(IOS)
112         : public RealtimeMediaSource::SingleSourceFactory
113 #endif
114     {
115     public:
116         virtual ~AudioCaptureFactory();
117         virtual CaptureSourceOrError createAudioCaptureSource(const CaptureDevice&, const MediaConstraints*) = 0;
118
119     protected:
120         AudioCaptureFactory() = default;
121     };
122
123     class VideoCaptureFactory
124 #if PLATFORM(IOS)
125         : public RealtimeMediaSource::SingleSourceFactory
126 #endif
127     {
128     public:
129         virtual ~VideoCaptureFactory();
130         virtual CaptureSourceOrError createVideoCaptureSource(const CaptureDevice&, const MediaConstraints*) = 0;
131         virtual void setVideoCapturePageState(bool, bool) { }
132
133     protected:
134         VideoCaptureFactory() = default;
135     };
136
137     virtual ~RealtimeMediaSource() = default;
138
139     const String& id() const { return m_id; }
140
141     const String& persistentID() const { return m_persistentID; }
142     virtual void setPersistentID(String&& persistentID) { m_persistentID = WTFMove(persistentID); }
143
144     enum class Type { None, Audio, Video };
145     Type type() const { return m_type; }
146
147     bool isProducingData() const { return m_isProducingData; }
148     void start();
149     void stop();
150     void requestStop(Observer* callingObserver = nullptr);
151
152     bool muted() const { return m_muted; }
153     void setMuted(bool);
154
155     bool captureDidFail() const { return m_captureDidFailed; }
156
157     virtual bool interrupted() const { return m_interrupted; }
158     virtual void setInterrupted(bool, bool);
159
160     const String& name() const { return m_name; }
161     void setName(const String& name) { m_name = name; }
162
163     unsigned fitnessScore() const { return m_fitnessScore; }
164
165     WEBCORE_EXPORT void addObserver(Observer&);
166     WEBCORE_EXPORT void removeObserver(Observer&);
167
168     void setWidth(int);
169     void setHeight(int);
170     void setSize(const IntSize&);
171     const IntSize& size() const { return m_size; }
172     virtual bool applySize(const IntSize&) { return false; }
173
174     double frameRate() const { return m_frameRate; }
175     void setFrameRate(double);
176     virtual bool applyFrameRate(double) { return false; }
177
178     double aspectRatio() const { return m_aspectRatio; }
179     void setAspectRatio(double);
180     virtual bool applyAspectRatio(double) { return false; }
181
182     RealtimeMediaSourceSettings::VideoFacingMode facingMode() const { return m_facingMode; }
183     void setFacingMode(RealtimeMediaSourceSettings::VideoFacingMode);
184     virtual bool applyFacingMode(RealtimeMediaSourceSettings::VideoFacingMode) { return false; }
185
186     double volume() const { return m_volume; }
187     void setVolume(double);
188     virtual bool applyVolume(double) { return false; }
189
190     int sampleRate() const { return m_sampleRate; }
191     void setSampleRate(int);
192     virtual bool applySampleRate(int) { return false; }
193
194     int sampleSize() const { return m_sampleSize; }
195     void setSampleSize(int);
196     virtual bool applySampleSize(int) { return false; }
197
198     bool echoCancellation() const { return m_echoCancellation; }
199     void setEchoCancellation(bool);
200     virtual bool applyEchoCancellation(bool) { return false; }
201
202     virtual const RealtimeMediaSourceCapabilities& capabilities() const = 0;
203     virtual const RealtimeMediaSourceSettings& settings() const = 0;
204
205     using SuccessHandler = WTF::Function<void()>;
206     using FailureHandler = WTF::Function<void(const String& badConstraint, const String& errorString)>;
207     virtual void applyConstraints(const MediaConstraints&, SuccessHandler&&, FailureHandler&&);
208     std::optional<std::pair<String, String>> applyConstraints(const MediaConstraints&);
209
210     bool supportsConstraints(const MediaConstraints&, String&);
211     bool supportsConstraint(const MediaConstraint&) const;
212
213     virtual void settingsDidChange();
214
215     virtual bool isIsolated() const { return false; }
216
217     virtual bool isCaptureSource() const { return false; }
218
219     virtual void monitorOrientation(OrientationNotifier&) { }
220
221     virtual void captureFailed();
222
223     // Testing only
224     virtual void delaySamples(Seconds) { };
225
226 protected:
227     RealtimeMediaSource(const String& id, Type, const String& name);
228
229     void scheduleDeferredTask(WTF::Function<void()>&&);
230
231     virtual void beginConfiguration() { }
232     virtual void commitConfiguration() { }
233
234     enum class SelectType { ForApplyConstraints, ForSupportsConstraints };
235     bool selectSettings(const MediaConstraints&, FlattenedConstraint&, String&, SelectType);
236     double fitnessDistance(const MediaConstraint&);
237     void applyConstraint(const MediaConstraint&);
238     void applyConstraints(const FlattenedConstraint&);
239     bool supportsSizeAndFrameRate(std::optional<IntConstraint> width, std::optional<IntConstraint> height, std::optional<DoubleConstraint>, String&, double& fitnessDistance);
240
241     virtual bool supportsSizeAndFrameRate(std::optional<int> width, std::optional<int> height, std::optional<double>);
242     virtual void applySizeAndFrameRate(std::optional<int> width, std::optional<int> height, std::optional<double>);
243
244     void notifyMutedObservers() const;
245     void notifyMutedChange(bool muted);
246
247     void initializeVolume(double volume) { m_volume = volume; }
248     void initializeSampleRate(int sampleRate) { m_sampleRate = sampleRate; }
249     void initializeEchoCancellation(bool echoCancellation) { m_echoCancellation = echoCancellation; }
250
251     void videoSampleAvailable(MediaSample&);
252     void audioSamplesAvailable(const MediaTime&, const PlatformAudioData&, const AudioStreamDescription&, size_t);
253
254 private:
255     virtual void startProducingData() { }
256     virtual void stopProducingData() { }
257
258     void forEachObserver(const WTF::Function<void(Observer&)>&) const;
259
260     bool m_muted { false };
261
262     String m_id;
263     String m_persistentID;
264     Type m_type;
265     String m_name;
266     mutable RecursiveLock m_observersLock;
267     HashSet<Observer*> m_observers;
268     IntSize m_size;
269     double m_frameRate { 30 };
270     double m_aspectRatio { 0 };
271     double m_volume { 1 };
272     double m_sampleRate { 0 };
273     double m_sampleSize { 0 };
274     double m_fitnessScore { std::numeric_limits<double>::infinity() };
275     RealtimeMediaSourceSettings::VideoFacingMode m_facingMode { RealtimeMediaSourceSettings::User};
276
277     bool m_echoCancellation { false };
278     bool m_pendingSettingsDidChangeNotification { false };
279     bool m_isProducingData { false };
280     bool m_interrupted { false };
281     bool m_captureDidFailed { false };
282 };
283
284 struct CaptureSourceOrError {
285     CaptureSourceOrError() = default;
286     CaptureSourceOrError(Ref<RealtimeMediaSource>&& source) : captureSource(WTFMove(source)) { }
287     CaptureSourceOrError(String&& message) : errorMessage(WTFMove(message)) { }
288     
289     operator bool()  const { return !!captureSource; }
290     Ref<RealtimeMediaSource> source() { return captureSource.releaseNonNull(); }
291     
292     RefPtr<RealtimeMediaSource> captureSource;
293     String errorMessage;
294 };
295
296 } // namespace WebCore
297
298 #endif // ENABLE(MEDIA_STREAM)