[iOS] Unset active media capture source when stopped capturing
[WebKit-https.git] / Source / WebCore / platform / mock / MockRealtimeVideoSource.cpp
1 /*
2  * Copyright (C) 2015-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  *
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer
12  *    in the documentation and/or other materials provided with the
13  *    distribution.
14  * 3. Neither the name of Google Inc. nor the names of its contributors
15  *    may be used to endorse or promote products derived from this
16  *    software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #include "config.h"
32 #include "MockRealtimeVideoSource.h"
33
34 #if ENABLE(MEDIA_STREAM)
35 #include "CaptureDevice.h"
36 #include "GraphicsContext.h"
37 #include "ImageBuffer.h"
38 #include "IntRect.h"
39 #include "Logging.h"
40 #include "MediaConstraints.h"
41 #include "NotImplemented.h"
42 #include "PlatformLayer.h"
43 #include "RealtimeMediaSourceSettings.h"
44 #include <math.h>
45 #include <wtf/CurrentTime.h>
46 #include <wtf/UUID.h>
47 #include <wtf/text/StringView.h>
48
49 namespace WebCore {
50
51 class MockRealtimeVideoSourceFactory : public RealtimeMediaSource::VideoCaptureFactory
52 #if PLATFORM(IOS)
53     , public RealtimeMediaSource::SingleSourceFactory<MockRealtimeVideoSource>
54 #endif
55 {
56 public:
57     CaptureSourceOrError createVideoCaptureSource(const String& deviceID, const MediaConstraints* constraints) final {
58         for (auto& device : MockRealtimeMediaSource::videoDevices()) {
59             if (device.persistentId() == deviceID)
60                 return MockRealtimeVideoSource::create(device.label(), constraints);
61         }
62         return { };
63     }
64 };
65
66 #if !PLATFORM(MAC) && !PLATFORM(IOS)
67 CaptureSourceOrError MockRealtimeVideoSource::create(const String& name, const MediaConstraints* constraints)
68 {
69     auto source = adoptRef(*new MockRealtimeVideoSource(name));
70     if (constraints && source->applyConstraints(*constraints))
71         return { };
72
73     return CaptureSourceOrError(WTFMove(source));
74 }
75
76 RefPtr<MockRealtimeVideoSource> MockRealtimeVideoSource::createMuted(const String& name)
77 {
78     auto source = adoptRef(new MockRealtimeVideoSource(name));
79     source->m_muted = true;
80     return source;
81 }
82 #endif
83
84 static MockRealtimeVideoSourceFactory& mockVideoCaptureSourceFactory()
85 {
86     static NeverDestroyed<MockRealtimeVideoSourceFactory> factory;
87     return factory.get();
88 }
89
90 RealtimeMediaSource::VideoCaptureFactory& MockRealtimeVideoSource::factory()
91 {
92     return mockVideoCaptureSourceFactory();
93 }
94
95 MockRealtimeVideoSource::MockRealtimeVideoSource(const String& name)
96     : MockRealtimeMediaSource(createCanonicalUUIDString(), RealtimeMediaSource::Type::Video, name)
97     , m_timer(RunLoop::current(), this, &MockRealtimeVideoSource::generateFrame)
98 {
99     setFrameRate(!deviceIndex() ? 30 : 15);
100     setFacingMode(!deviceIndex() ? RealtimeMediaSourceSettings::User : RealtimeMediaSourceSettings::Environment);
101     m_dashWidths.reserveInitialCapacity(2);
102     m_dashWidths.uncheckedAppend(6);
103     m_dashWidths.uncheckedAppend(6);
104 }
105
106 MockRealtimeVideoSource::~MockRealtimeVideoSource()
107 {
108 #if PLATFORM(IOS)
109     mockVideoCaptureSourceFactory().unsetActiveSource(*this);
110 #endif
111 }
112
113 void MockRealtimeVideoSource::startProducingData()
114 {
115     if (m_isProducingData)
116         return;
117     
118     m_isProducingData = true;
119     
120 #if PLATFORM(IOS)
121     mockVideoCaptureSourceFactory().setActiveSource(*this);
122 #endif
123
124     MockRealtimeMediaSource::startProducingData();
125     if (size().isEmpty()) {
126         setWidth(640);
127         setHeight(480);
128     }
129
130     m_startTime = monotonicallyIncreasingTime();
131     m_timer.startRepeating(1_ms * lround(1000 / frameRate()));
132 }
133
134 void MockRealtimeVideoSource::stopProducingData()
135 {
136     if (!m_isProducingData)
137         return;
138     
139     m_isProducingData = false;
140     
141     MockRealtimeMediaSource::stopProducingData();
142     m_timer.stop();
143     m_elapsedTime += monotonicallyIncreasingTime() - m_startTime;
144     m_startTime = NAN;
145 }
146
147 double MockRealtimeVideoSource::elapsedTime()
148 {
149     if (std::isnan(m_startTime))
150         return m_elapsedTime;
151
152     return m_elapsedTime + (monotonicallyIncreasingTime() - m_startTime);
153 }
154
155 void MockRealtimeVideoSource::updateSettings(RealtimeMediaSourceSettings& settings)
156 {
157     settings.setFacingMode(facingMode());
158     settings.setFrameRate(frameRate());
159     IntSize size = this->size();
160     settings.setWidth(size.width());
161     settings.setHeight(size.height());
162     if (aspectRatio())
163         settings.setAspectRatio(aspectRatio());
164 }
165
166 void MockRealtimeVideoSource::initializeCapabilities(RealtimeMediaSourceCapabilities& capabilities)
167 {
168     if (!deviceIndex())
169         capabilities.addFacingMode(RealtimeMediaSourceSettings::User);
170     else
171         capabilities.addFacingMode(RealtimeMediaSourceSettings::Environment);
172     capabilities.setWidth(CapabilityValueOrRange(320, 1920));
173     capabilities.setHeight(CapabilityValueOrRange(240, 1080));
174     capabilities.setFrameRate(CapabilityValueOrRange(15.0, 60.0));
175     capabilities.setAspectRatio(CapabilityValueOrRange(4 / 3.0, 16 / 9.0));
176 }
177
178 void MockRealtimeVideoSource::initializeSupportedConstraints(RealtimeMediaSourceSupportedConstraints& supportedConstraints)
179 {
180     supportedConstraints.setSupportsWidth(true);
181     supportedConstraints.setSupportsHeight(true);
182     supportedConstraints.setSupportsAspectRatio(true);
183     supportedConstraints.setSupportsFrameRate(true);
184     supportedConstraints.setSupportsFacingMode(true);
185 }
186
187 bool MockRealtimeVideoSource::applyFrameRate(double rate)
188 {
189     if (m_timer.isActive())
190         m_timer.startRepeating(1_ms * lround(1000 / rate));
191
192     updateSampleBuffer();
193     return true;
194 }
195
196 bool MockRealtimeVideoSource::applySize(const IntSize& size)
197 {
198     m_baseFontSize = size.height() * .08;
199     FontCascadeDescription fontDescription;
200     fontDescription.setOneFamily("Courier");
201     fontDescription.setSpecifiedSize(m_baseFontSize);
202     fontDescription.setComputedSize(m_baseFontSize);
203     fontDescription.setWeight(FontSelectionValue(500));
204
205     m_timeFont = FontCascade(fontDescription, 0, 0);
206     m_timeFont.update(nullptr);
207
208     m_bipBopFontSize = m_baseFontSize * 2.5;
209     fontDescription.setSpecifiedSize(m_bipBopFontSize);
210     fontDescription.setComputedSize(m_bipBopFontSize);
211     m_bipBopFont = FontCascade(fontDescription, 0, 0);
212     m_bipBopFont.update(nullptr);
213
214     m_statsFontSize = m_baseFontSize * .5;
215     fontDescription.setSpecifiedSize(m_statsFontSize);
216     fontDescription.setComputedSize(m_statsFontSize);
217     m_statsFont = FontCascade(fontDescription, 0, 0);
218     m_statsFont.update(nullptr);
219
220     m_imageBuffer = nullptr;
221
222     return true;
223 }
224
225 void MockRealtimeVideoSource::drawAnimation(GraphicsContext& context)
226 {
227     float radius = size().width() * .09;
228     FloatPoint location(size().width() * .8, size().height() * .3);
229
230     m_path.clear();
231     m_path.moveTo(location);
232     m_path.addArc(location, radius, 0, 2 * piFloat, false);
233     m_path.closeSubpath();
234     context.setFillColor(Color::white);
235     context.setFillRule(RULE_NONZERO);
236     context.fillPath(m_path);
237
238     float endAngle = piFloat * (((fmod(m_frameNumber, frameRate()) + 0.5) * (2.0 / frameRate())) + 1);
239     m_path.clear();
240     m_path.moveTo(location);
241     m_path.addArc(location, radius, 1.5 * piFloat, endAngle, false);
242     m_path.closeSubpath();
243     context.setFillColor(Color::gray);
244     context.setFillRule(RULE_NONZERO);
245     context.fillPath(m_path);
246 }
247
248 void MockRealtimeVideoSource::drawBoxes(GraphicsContext& context)
249 {
250     static const RGBA32 magenta = 0xffff00ff;
251     static const RGBA32 yellow = 0xffffff00;
252     static const RGBA32 blue = 0xff0000ff;
253     static const RGBA32 red = 0xffff0000;
254     static const RGBA32 green = 0xff008000;
255     static const RGBA32 cyan = 0xFF00FFFF;
256
257     IntSize size = this->size();
258     float boxSize = size.width() * .035;
259     float boxTop = size.height() * .6;
260
261     m_path.clear();
262     FloatRect frameRect(2, 2, size.width() - 3, size.height() - 3);
263     context.setStrokeColor(Color::white);
264     context.setStrokeThickness(3);
265     context.setLineDash(m_dashWidths, 0);
266     m_path.addRect(frameRect);
267     m_path.closeSubpath();
268     context.strokePath(m_path);
269
270     context.setLineDash(DashArray(), 0);
271     m_path.clear();
272     m_path.moveTo(FloatPoint(0, boxTop + boxSize));
273     m_path.addLineTo(FloatPoint(size.width(), boxTop + boxSize));
274     m_path.closeSubpath();
275     context.setStrokeColor(Color::white);
276     context.setStrokeThickness(2);
277     context.strokePath(m_path);
278
279     context.setStrokeThickness(1);
280     float boxLeft = boxSize;
281     m_path.clear();
282     for (unsigned i = 0; i < boxSize / 4; i++) {
283         m_path.moveTo(FloatPoint(boxLeft + 4 * i, boxTop));
284         m_path.addLineTo(FloatPoint(boxLeft + 4 * i, boxTop + boxSize));
285     }
286     boxLeft += boxSize + 2;
287     for (unsigned i = 0; i < boxSize / 4; i++) {
288         m_path.moveTo(FloatPoint(boxLeft, boxTop + 4 * i));
289         m_path.addLineTo(FloatPoint(boxLeft + boxSize - 1, boxTop + 4 * i));
290     }
291     context.setStrokeThickness(3);
292     boxLeft += boxSize + 2;
293     for (unsigned i = 0; i < boxSize / 8; i++) {
294         m_path.moveTo(FloatPoint(boxLeft + 8 * i, boxTop));
295         m_path.addLineTo(FloatPoint(boxLeft + 8 * i, boxTop + boxSize - 1));
296     }
297     boxLeft += boxSize + 2;
298     for (unsigned i = 0; i < boxSize / 8; i++) {
299         m_path.moveTo(FloatPoint(boxLeft, boxTop + 8 * i));
300         m_path.addLineTo(FloatPoint(boxLeft + boxSize - 1, boxTop + 8 * i));
301     }
302
303     boxTop += boxSize + 2;
304     boxLeft = boxSize;
305     Color boxColors[] = { Color::white, yellow, cyan, green, magenta, red, blue };
306     for (unsigned i = 0; i < sizeof(boxColors) / sizeof(boxColors[0]); i++) {
307         context.fillRect(FloatRect(boxLeft, boxTop, boxSize + 1, boxSize + 1), boxColors[i]);
308         boxLeft += boxSize + 1;
309     }
310     context.strokePath(m_path);
311 }
312
313 void MockRealtimeVideoSource::drawText(GraphicsContext& context)
314 {
315     unsigned milliseconds = lround(elapsedTime() * 1000);
316     unsigned seconds = milliseconds / 1000 % 60;
317     unsigned minutes = seconds / 60 % 60;
318     unsigned hours = minutes / 60 % 60;
319
320     IntSize size = this->size();
321     FloatPoint timeLocation(size.width() * .05, size.height() * .15);
322     context.setFillColor(Color::white);
323     context.setTextDrawingMode(TextModeFill);
324     String string = String::format("%02u:%02u:%02u.%03u", hours, minutes, seconds, milliseconds % 1000);
325     context.drawText(m_timeFont, TextRun((StringView(string))), timeLocation);
326
327     string = String::format("%06u", m_frameNumber++);
328     timeLocation.move(0, m_baseFontSize);
329     context.drawText(m_timeFont, TextRun((StringView(string))), timeLocation);
330
331     FloatPoint statsLocation(size.width() * .65, size.height() * .75);
332     string = String::format("Frame rate: %ffps", frameRate());
333     context.drawText(m_statsFont, TextRun((StringView(string))), statsLocation);
334
335     string = String::format("Size: %u x %u", size.width(), size.height());
336     statsLocation.move(0, m_statsFontSize);
337     context.drawText(m_statsFont, TextRun((StringView(string))), statsLocation);
338
339     const char* camera;
340     switch (facingMode()) {
341     case RealtimeMediaSourceSettings::User:
342         camera = "User facing";
343         break;
344     case RealtimeMediaSourceSettings::Environment:
345         camera = "Environment facing";
346         break;
347     case RealtimeMediaSourceSettings::Left:
348         camera = "Left facing";
349         break;
350     case RealtimeMediaSourceSettings::Right:
351         camera = "Right facing";
352         break;
353     case RealtimeMediaSourceSettings::Unknown:
354         camera = "Unknown";
355         break;
356     }
357     string = String::format("Camera: %s", camera);
358     statsLocation.move(0, m_statsFontSize);
359     context.drawText(m_statsFont, TextRun((StringView(string))), statsLocation);
360
361     FloatPoint bipBopLocation(size.width() * .6, size.height() * .6);
362     unsigned frameMod = m_frameNumber % 60;
363     if (frameMod <= 15) {
364         context.setFillColor(Color::cyan);
365         String bip(ASCIILiteral("Bip"));
366         context.drawText(m_bipBopFont, TextRun(StringView(bip)), bipBopLocation);
367     } else if (frameMod > 30 && frameMod <= 45) {
368         context.setFillColor(Color::yellow);
369         String bop(ASCIILiteral("Bop"));
370         context.drawText(m_bipBopFont, TextRun(StringView(bop)), bipBopLocation);
371     }
372 }
373
374 void MockRealtimeVideoSource::generateFrame()
375 {
376     ImageBuffer* buffer = imageBuffer();
377     if (!buffer)
378         return;
379
380     GraphicsContext& context = buffer->context();
381     GraphicsContextStateSaver stateSaver(context);
382
383     IntSize size = this->size();
384     FloatRect frameRect(FloatPoint(), size);
385     context.fillRect(FloatRect(FloatPoint(), size), !deviceIndex() ? Color::black : Color::darkGray);
386
387     if (!m_muted && m_enabled) {
388         drawText(context);
389         drawAnimation(context);
390         drawBoxes(context);
391     }
392
393     updateSampleBuffer();
394 }
395
396 ImageBuffer* MockRealtimeVideoSource::imageBuffer() const
397 {
398     if (m_imageBuffer)
399         return m_imageBuffer.get();
400
401     m_imageBuffer = ImageBuffer::create(size(), Unaccelerated);
402     if (!m_imageBuffer)
403         return nullptr;
404
405     m_imageBuffer->context().setImageInterpolationQuality(InterpolationDefault);
406     m_imageBuffer->context().setStrokeThickness(1);
407
408     return m_imageBuffer.get();
409 }
410
411 } // namespace WebCore
412
413 #endif // ENABLE(MEDIA_STREAM)