[WTF] Add makeUnique<T>, which ensures T is fast-allocated, makeUnique / makeUniqueWi...
[WebKit-https.git] / Source / WebCore / platform / mediastream / mac / MockRealtimeAudioSourceMac.mm
1 /*
2  * Copyright (C) 2016-2018 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  *
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer
12  *    in the documentation and/or other materials provided with the
13  *    distribution.
14  * 3. Neither the name of Google Inc. nor the names of its contributors
15  *    may be used to endorse or promote products derived from this
16  *    software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #import "config.h"
32 #import "MockRealtimeAudioSourceMac.h"
33
34 #if ENABLE(MEDIA_STREAM)
35 #import "AudioSampleBufferList.h"
36 #import "CAAudioStreamDescription.h"
37 #import "MediaConstraints.h"
38 #import "MediaSampleAVFObjC.h"
39 #import "MockRealtimeMediaSourceCenter.h"
40 #import "NotImplemented.h"
41 #import "RealtimeMediaSourceSettings.h"
42 #import "WebAudioBufferList.h"
43 #import "WebAudioSourceProviderAVFObjC.h"
44 #import <AVFoundation/AVAudioBuffer.h>
45 #import <AudioToolbox/AudioConverter.h>
46 #import <CoreAudio/CoreAudioTypes.h>
47
48 #import <pal/cf/CoreMediaSoftLink.h>
49
50 SOFT_LINK_FRAMEWORK(AudioToolbox)
51
52 SOFT_LINK(AudioToolbox, AudioConverterNew, OSStatus, (const AudioStreamBasicDescription* inSourceFormat, const AudioStreamBasicDescription* inDestinationFormat, AudioConverterRef* outAudioConverter), (inSourceFormat, inDestinationFormat, outAudioConverter))
53
54 namespace WebCore {
55 using namespace PAL;
56
57 static inline size_t alignTo16Bytes(size_t size)
58 {
59     return (size + 15) & ~15;
60 }
61
62 static const double Tau = 2 * M_PI;
63 static const double BipBopDuration = 0.07;
64 static const double BipBopVolume = 0.5;
65 static const double BipFrequency = 1500;
66 static const double BopFrequency = 500;
67 static const double HumFrequency = 150;
68 static const double HumVolume = 0.1;
69
70 template <typename AudioSampleType>
71 static void writeHum(float amplitude, float frequency, float sampleRate, AudioSampleType *p, uint64_t count)
72 {
73     float humPeriod = sampleRate / frequency;
74     for (uint64_t i = 0; i < count; ++i)
75         *p++ = amplitude * sin(i * Tau / humPeriod);
76 }
77
78 template <typename AudioSampleType>
79 static void addHum(float amplitude, float frequency, float sampleRate, uint64_t start, AudioSampleType *p, uint64_t count)
80 {
81     float humPeriod = sampleRate / frequency;
82     for (uint64_t i = start, end = start + count; i < end; ++i) {
83         AudioSampleType a = amplitude * sin(i * Tau / humPeriod);
84         a += *p;
85         *p++ = a;
86     }
87 }
88
89 CaptureSourceOrError MockRealtimeAudioSource::create(String&& deviceID, String&& name, String&& hashSalt, const MediaConstraints* constraints)
90 {
91 #ifndef NDEBUG
92     auto device = MockRealtimeMediaSourceCenter::mockDeviceWithPersistentID(deviceID);
93     ASSERT(device);
94     if (!device)
95         return { };
96 #endif
97
98     auto source = adoptRef(*new MockRealtimeAudioSourceMac(WTFMove(deviceID), WTFMove(name), WTFMove(hashSalt)));
99     // FIXME: We should report error messages
100     if (constraints && source->applyConstraints(*constraints))
101         return { };
102
103     return CaptureSourceOrError(WTFMove(source));
104 }
105
106 MockRealtimeAudioSourceMac::MockRealtimeAudioSourceMac(String&& deviceID, String&& name, String&& hashSalt)
107     : MockRealtimeAudioSource(WTFMove(deviceID), WTFMove(name), WTFMove(hashSalt))
108 {
109     ASSERT(isMainThread());
110 }
111
112 void MockRealtimeAudioSourceMac::emitSampleBuffers(uint32_t frameCount)
113 {
114     ASSERT(!isMainThread());
115     ASSERT(m_formatDescription);
116
117     CMTime startTime = CMTimeMake(m_samplesEmitted, sampleRate());
118     m_samplesEmitted += frameCount;
119
120     audioSamplesAvailable(PAL::toMediaTime(startTime), *m_audioBufferList, CAAudioStreamDescription(m_streamFormat), frameCount);
121 }
122
123 void MockRealtimeAudioSourceMac::reconfigure()
124 {
125     ASSERT(!isMainThread());
126     m_maximiumFrameCount = WTF::roundUpToPowerOfTwo(renderInterval().seconds() * sampleRate() * 2);
127     ASSERT(m_maximiumFrameCount);
128
129     const int bytesPerFloat = sizeof(Float32);
130     const int bitsPerByte = 8;
131     const int channelCount = m_channelCount;
132     const bool isFloat = true;
133     const bool isBigEndian = false;
134     const bool isNonInterleaved = true;
135     FillOutASBDForLPCM(m_streamFormat, sampleRate(), channelCount, bitsPerByte * bytesPerFloat, bitsPerByte * bytesPerFloat, isFloat, isBigEndian, isNonInterleaved);
136
137     m_audioBufferList = makeUnique<WebAudioBufferList>(m_streamFormat, m_streamFormat.mBytesPerFrame * m_maximiumFrameCount);
138
139     CMFormatDescriptionRef formatDescription;
140     CMAudioFormatDescriptionCreate(NULL, &m_streamFormat, 0, NULL, 0, NULL, NULL, &formatDescription);
141     m_formatDescription = adoptCF(formatDescription);
142 }
143
144 void MockRealtimeAudioSourceMac::render(Seconds delta)
145 {
146     ASSERT(!isMainThread());
147     if (!m_audioBufferList)
148         reconfigure();
149
150     uint32_t totalFrameCount = alignTo16Bytes(delta.seconds() * sampleRate());
151     uint32_t frameCount = std::min(totalFrameCount, m_maximiumFrameCount);
152
153     while (frameCount) {
154         uint32_t bipBopStart = m_samplesRendered % m_bipBopBuffer.size();
155         uint32_t bipBopRemain = m_bipBopBuffer.size() - bipBopStart;
156         uint32_t bipBopCount = std::min(frameCount, bipBopRemain);
157         for (auto& audioBuffer : m_audioBufferList->buffers()) {
158             audioBuffer.mDataByteSize = frameCount * m_streamFormat.mBytesPerFrame;
159             if (!muted()) {
160                 memcpy(audioBuffer.mData, &m_bipBopBuffer[bipBopStart], sizeof(Float32) * bipBopCount);
161                 addHum(HumVolume, HumFrequency, sampleRate(), m_samplesRendered, static_cast<float*>(audioBuffer.mData), bipBopCount);
162             } else
163                 memset(audioBuffer.mData, 0, sizeof(Float32) * bipBopCount);
164         }
165         emitSampleBuffers(bipBopCount);
166         m_samplesRendered += bipBopCount;
167         totalFrameCount -= bipBopCount;
168         frameCount = std::min(totalFrameCount, m_maximiumFrameCount);
169     }
170 }
171
172 void MockRealtimeAudioSourceMac::settingsDidChange(OptionSet<RealtimeMediaSourceSettings::Flag> settings)
173 {
174     if (settings.contains(RealtimeMediaSourceSettings::Flag::SampleRate)) {
175         m_workQueue->dispatch([this, protectedThis = makeRef(*this)] {
176             m_formatDescription = nullptr;
177             m_audioBufferList = nullptr;
178
179             auto rate = sampleRate();
180             size_t sampleCount = 2 * rate;
181
182             m_bipBopBuffer.grow(sampleCount);
183             m_bipBopBuffer.fill(0);
184
185             size_t bipBopSampleCount = ceil(BipBopDuration * rate);
186             size_t bipStart = 0;
187             size_t bopStart = rate;
188
189             addHum(BipBopVolume, BipFrequency, rate, 0, m_bipBopBuffer.data() + bipStart, bipBopSampleCount);
190             addHum(BipBopVolume, BopFrequency, rate, 0, m_bipBopBuffer.data() + bopStart, bipBopSampleCount);
191         });
192     }
193
194     MockRealtimeAudioSource::settingsDidChange(settings);
195 }
196
197 } // namespace WebCore
198
199 #endif // ENABLE(MEDIA_STREAM)