9d8d1e14a6ab9efe04a996ab66c6810307897379
[WebKit-https.git] / Source / WebCore / platform / audio / ios / AudioDestinationIOS.cpp
1 /*
2  * Copyright (C) 2010 Google Inc. All rights reserved.
3  * Copyright (C) 2011, 2014 Apple Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * 1.  Redistributions of source code must retain the above copyright
10  *     notice, this list of conditions and the following disclaimer.
11  * 2.  Redistributions in binary form must reproduce the above copyright
12  *     notice, this list of conditions and the following disclaimer in the
13  *     documentation and/or other materials provided with the distribution.
14  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
15  *     its contributors may be used to endorse or promote products derived
16  *     from this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28  */
29
30 #include "config.h"
31
32 #if ENABLE(WEB_AUDIO) && PLATFORM(IOS)
33
34 #include "AudioDestinationIOS.h"
35
36 #include "AudioIOCallback.h"
37 #include "AudioSession.h"
38 #include "FloatConversion.h"
39 #include "Logging.h"
40 #include "Page.h"
41 #include "SoftLinking.h"
42 #include <AudioToolbox/AudioServices.h>
43 #include <WebCore/RuntimeApplicationChecksIOS.h>
44 #include <wtf/HashSet.h>
45
46 SOFT_LINK_FRAMEWORK(AudioToolbox)
47 SOFT_LINK(AudioToolbox, AudioComponentFindNext, AudioComponent, (AudioComponent inComponent, const AudioComponentDescription *inDesc), (inComponent, inDesc))
48 SOFT_LINK(AudioToolbox, AudioComponentInstanceDispose, OSStatus, (AudioComponentInstance inInstance), (inInstance))
49 SOFT_LINK(AudioToolbox, AudioComponentInstanceNew, OSStatus, (AudioComponent inComponent, AudioComponentInstance *outInstance), (inComponent, outInstance))
50 SOFT_LINK(AudioToolbox, AudioOutputUnitStart, OSStatus, (AudioUnit ci), (ci))
51 SOFT_LINK(AudioToolbox, AudioOutputUnitStop, OSStatus, (AudioUnit ci), (ci))
52 SOFT_LINK(AudioToolbox, AudioUnitAddPropertyListener, OSStatus, (AudioUnit inUnit, AudioUnitPropertyID inID, AudioUnitPropertyListenerProc inProc, void *inProcUserData), (inUnit, inID, inProc, inProcUserData))
53 SOFT_LINK(AudioToolbox, AudioUnitGetProperty, OSStatus, (AudioUnit inUnit, AudioUnitPropertyID inID, AudioUnitScope inScope, AudioUnitElement inElement, void *outData, UInt32 *ioDataSize), (inUnit, inID, inScope, inElement, outData, ioDataSize))
54 SOFT_LINK(AudioToolbox, AudioUnitInitialize, OSStatus, (AudioUnit inUnit), (inUnit))
55 SOFT_LINK(AudioToolbox, AudioUnitSetProperty, OSStatus, (AudioUnit inUnit, AudioUnitPropertyID inID, AudioUnitScope inScope, AudioUnitElement inElement, const void *inData, UInt32 inDataSize), (inUnit, inID, inScope, inElement, inData, inDataSize))
56
57 namespace WebCore {
58
59 const int kRenderBufferSize = 128;
60 const int kPreferredBufferSize = 256;
61
62 typedef HashSet<AudioDestinationIOS*> AudioDestinationSet;
63 static AudioDestinationSet& audioDestinations()
64 {
65     DEPRECATED_DEFINE_STATIC_LOCAL(AudioDestinationSet, audioDestinationSet, ());
66     return audioDestinationSet;
67 }
68
69 // Factory method: iOS-implementation
70 std::unique_ptr<AudioDestination> AudioDestination::create(AudioIOCallback& callback, const String&, unsigned numberOfInputChannels, unsigned numberOfOutputChannels, float sampleRate)
71 {
72     // FIXME: make use of inputDeviceId as appropriate.
73
74     // FIXME: Add support for local/live audio input.
75     if (numberOfInputChannels)
76         LOG(Media, "AudioDestination::create(%u, %u, %f) - unhandled input channels", numberOfInputChannels, numberOfOutputChannels, sampleRate);
77
78     // FIXME: Add support for multi-channel (> stereo) output.
79     if (numberOfOutputChannels != 2)
80         LOG(Media, "AudioDestination::create(%u, %u, %f) - unhandled output channels", numberOfInputChannels, numberOfOutputChannels, sampleRate);
81
82     return std::make_unique<AudioDestinationIOS>(callback, sampleRate);
83 }
84
85 float AudioDestination::hardwareSampleRate()
86 {
87     return AudioSession::sharedSession().sampleRate();
88 }
89
90 unsigned long AudioDestination::maxChannelCount()
91 {
92     // FIXME: query the default audio hardware device to return the actual number
93     // of channels of the device. Also see corresponding FIXME in create().
94     // There is a small amount of code which assumes stereo in AudioDestinationIOS which
95     // can be upgraded.
96     return 0;
97 }
98
99 AudioDestinationIOS::AudioDestinationIOS(AudioIOCallback& callback, double sampleRate)
100     : m_outputUnit(0)
101     , m_callback(callback)
102     , m_renderBus(AudioBus::create(2, kRenderBufferSize, false))
103     , m_sampleRate(sampleRate)
104     , m_isPlaying(false)
105 {
106     audioDestinations().add(this);
107
108     // Open and initialize DefaultOutputUnit
109     AudioComponent comp;
110     AudioComponentDescription desc;
111
112     desc.componentType = kAudioUnitType_Output;
113     desc.componentSubType = kAudioUnitSubType_RemoteIO;
114     desc.componentManufacturer = kAudioUnitManufacturer_Apple;
115     desc.componentFlags = 0;
116     desc.componentFlagsMask = 0;
117     comp = AudioComponentFindNext(0, &desc);
118
119     ASSERT(comp);
120
121     OSStatus result = AudioComponentInstanceNew(comp, &m_outputUnit);
122     ASSERT(!result);
123
124     UInt32 flag = 1;
125     result = AudioUnitSetProperty(m_outputUnit, 
126         kAudioOutputUnitProperty_EnableIO, 
127         kAudioUnitScope_Output, 
128         0,
129         &flag, 
130         sizeof(flag));
131     ASSERT(!result);
132
133     result = AudioUnitAddPropertyListener(m_outputUnit, kAudioUnitProperty_MaximumFramesPerSlice, frameSizeChangedProc, this);
134     ASSERT(!result);
135
136     result = AudioUnitInitialize(m_outputUnit);
137     ASSERT(!result);
138
139     configure();
140 }
141
142 AudioDestinationIOS::~AudioDestinationIOS()
143 {
144     audioDestinations().remove(this);
145
146     if (m_outputUnit)
147         AudioComponentInstanceDispose(m_outputUnit);
148 }
149
150 void AudioDestinationIOS::configure()
151 {
152     // Set render callback
153     AURenderCallbackStruct input;
154     input.inputProc = inputProc;
155     input.inputProcRefCon = this;
156     OSStatus result = AudioUnitSetProperty(m_outputUnit, kAudioUnitProperty_SetRenderCallback, kAudioUnitScope_Input, 0, &input, sizeof(input));
157     ASSERT(!result);
158
159     // Set stream format
160     AudioStreamBasicDescription streamFormat;
161
162     UInt32 size = sizeof(AudioStreamBasicDescription);
163     result = AudioUnitGetProperty(m_outputUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Output, 0, (void*)&streamFormat, &size);
164     ASSERT(!result);
165
166     const int bytesPerFloat = sizeof(Float32);
167     const int bitsPerByte = 8;
168     streamFormat.mSampleRate = m_sampleRate;
169     streamFormat.mFormatID = kAudioFormatLinearPCM;
170     streamFormat.mFormatFlags = kAudioFormatFlagsNativeFloatPacked | kAudioFormatFlagIsNonInterleaved;
171     streamFormat.mBytesPerPacket = bytesPerFloat;
172     streamFormat.mFramesPerPacket = 1;
173     streamFormat.mBytesPerFrame = bytesPerFloat;
174     streamFormat.mChannelsPerFrame = 2;
175     streamFormat.mBitsPerChannel = bitsPerByte * bytesPerFloat;
176
177     result = AudioUnitSetProperty(m_outputUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, 0, (void*)&streamFormat, sizeof(AudioStreamBasicDescription));
178     ASSERT(!result);
179
180     AudioSession::sharedSession().setPreferredBufferSize(kPreferredBufferSize);
181 }
182
183 void AudioDestinationIOS::start()
184 {
185     LOG(Media, "AudioDestinationIOS::start");
186
187     OSStatus result = AudioOutputUnitStart(m_outputUnit);
188     if (!result)
189         setIsPlaying(true);
190 }
191
192 void AudioDestinationIOS::stop()
193 {
194     LOG(Media, "AudioDestinationIOS::stop");
195
196     OSStatus result = AudioOutputUnitStop(m_outputUnit);
197     if (!result)
198         setIsPlaying(false);
199 }
200
201 // Pulls on our provider to get rendered audio stream.
202 OSStatus AudioDestinationIOS::render(UInt32 numberOfFrames, AudioBufferList* ioData)
203 {
204     AudioBuffer* buffers = ioData->mBuffers;
205     for (UInt32 frameOffset = 0; frameOffset + kRenderBufferSize <= numberOfFrames; frameOffset += kRenderBufferSize) {
206         UInt32 remainingFrames = std::min<UInt32>(kRenderBufferSize, numberOfFrames - frameOffset);
207         for (UInt32 i = 0; i < ioData->mNumberBuffers; ++i) {
208             UInt32 bytesPerFrame = buffers[i].mDataByteSize / numberOfFrames;
209             UInt32 byteOffset = frameOffset * bytesPerFrame;
210             float* memory = (float*)((char*)buffers[i].mData + byteOffset);
211             m_renderBus->setChannelMemory(i, memory, remainingFrames);
212         }
213         m_callback.render(0, m_renderBus.get(), remainingFrames);
214     }
215
216     return noErr;
217 }
218
219 void AudioDestinationIOS::setIsPlaying(bool isPlaying)
220 {
221     if (m_isPlaying == isPlaying)
222         return;
223
224     m_isPlaying = isPlaying;
225     m_callback.isPlayingDidChange();
226 }
227
228 // DefaultOutputUnit callback
229 OSStatus AudioDestinationIOS::inputProc(void* userData, AudioUnitRenderActionFlags*, const AudioTimeStamp*, UInt32 /*busNumber*/, UInt32 numberOfFrames, AudioBufferList* ioData)
230 {
231     AudioDestinationIOS* audioOutput = static_cast<AudioDestinationIOS*>(userData);
232     return audioOutput->render(numberOfFrames, ioData);
233 }
234
235 void AudioDestinationIOS::frameSizeChangedProc(void *inRefCon, AudioUnit, AudioUnitPropertyID, AudioUnitScope, AudioUnitElement)
236 {
237     AudioDestinationIOS* audioOutput = static_cast<AudioDestinationIOS*>(inRefCon);
238     UInt32 bufferSize = 0;
239     UInt32 dataSize = sizeof(bufferSize);
240     AudioUnitGetProperty(audioOutput->m_outputUnit, kAudioUnitProperty_MaximumFramesPerSlice, kAudioUnitScope_Global, 0, (void*)&bufferSize, &dataSize);
241     fprintf(stderr, ">>>> frameSizeChanged = %lu\n", static_cast<unsigned long>(bufferSize));
242 }
243
244 } // namespace WebCore
245
246 #endif // ENABLE(WEB_AUDIO) && PLATFORM(IOS)
247