[iOS] Unset active media capture source when stopped capturing
[WebKit-https.git] / Source / WebCore / platform / mediastream / mac / RealtimeOutgoingAudioSource.cpp
1 /*
2  * Copyright (C) 2017 Apple Inc.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted, provided that the following conditions
6  * are required to be met:
7  *
8  * 1.  Redistributions of source code must retain the above copyright
9  *     notice, this list of conditions and the following disclaimer.
10  * 2.  Redistributions in binary form must reproduce the above copyright
11  *     notice, this list of conditions and the following disclaimer in the
12  *     documentation and/or other materials provided with the distribution.
13  * 3.  Neither the name of Apple Inc. nor the names of
14  *     its contributors may be used to endorse or promote products derived
15  *     from this software without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS "AS IS" AND ANY
18  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
19  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
20  * DISCLAIMED. IN NO EVENT SHALL APPLE INC. AND ITS CONTRIBUTORS BE LIABLE FOR
21  * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
23  * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
24  * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
25  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
26  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27  */
28
29 #include "config.h"
30 #include "RealtimeOutgoingAudioSource.h"
31
32 #if USE(LIBWEBRTC)
33
34 #include "CAAudioStreamDescription.h"
35 #include "LibWebRTCAudioFormat.h"
36 #include "LibWebRTCProvider.h"
37
38 namespace WebCore {
39
40 static inline AudioStreamBasicDescription libwebrtcAudioFormat(Float64 sampleRate, size_t channelCount)
41 {
42     // FIXME: Microphones can have more than two channels. In such case, we should do the mix down based on AudioChannelLayoutTag.
43     size_t libWebRTCChannelCount = channelCount >= 2 ? 2 : channelCount;
44     AudioStreamBasicDescription streamFormat;
45     FillOutASBDForLPCM(streamFormat, sampleRate, libWebRTCChannelCount, LibWebRTCAudioFormat::sampleSize, LibWebRTCAudioFormat::sampleSize, LibWebRTCAudioFormat::isFloat, LibWebRTCAudioFormat::isBigEndian, LibWebRTCAudioFormat::isNonInterleaved);
46     return streamFormat;
47 }
48
49 RealtimeOutgoingAudioSource::RealtimeOutgoingAudioSource(Ref<RealtimeMediaSource>&& audioSource)
50     : m_audioSource(WTFMove(audioSource))
51     , m_sampleConverter(AudioSampleDataSource::create(LibWebRTCAudioFormat::sampleRate * 2))
52 {
53     m_audioSource->addObserver(*this);
54 }
55
56 bool RealtimeOutgoingAudioSource::setSource(Ref<RealtimeMediaSource>&& newSource)
57 {
58     m_audioSource->removeObserver(*this);
59     m_audioSource = WTFMove(newSource);
60     m_audioSource->addObserver(*this);
61
62     m_muted = m_audioSource->muted();
63     m_enabled = m_audioSource->enabled();
64     m_sampleConverter->setMuted(m_muted || !m_enabled);
65     return true;
66 }
67
68 void RealtimeOutgoingAudioSource::stop()
69 {
70     m_audioSource->removeObserver(*this);
71 }
72
73 void RealtimeOutgoingAudioSource::sourceMutedChanged()
74 {
75     m_muted = m_audioSource->muted();
76     m_sampleConverter->setMuted(m_muted || !m_enabled);
77 }
78
79 void RealtimeOutgoingAudioSource::sourceEnabledChanged()
80 {
81     m_enabled = m_audioSource->enabled();
82     m_sampleConverter->setMuted(m_muted || !m_enabled);
83 }
84
85 void RealtimeOutgoingAudioSource::audioSamplesAvailable(const MediaTime&, const PlatformAudioData& audioData, const AudioStreamDescription& streamDescription, size_t sampleCount)
86 {
87     if (m_inputStreamDescription != streamDescription) {
88         m_inputStreamDescription = toCAAudioStreamDescription(streamDescription);
89         auto status  = m_sampleConverter->setInputFormat(m_inputStreamDescription);
90         ASSERT_UNUSED(status, !status);
91
92         m_outputStreamDescription = libwebrtcAudioFormat(LibWebRTCAudioFormat::sampleRate, streamDescription.numberOfChannels());
93         status = m_sampleConverter->setOutputFormat(m_outputStreamDescription.streamDescription());
94         ASSERT(!status);
95     }
96
97     m_sampleConverter->pushSamples(MediaTime(m_writeCount, LibWebRTCAudioFormat::sampleRate), audioData, sampleCount);
98     m_writeCount += sampleCount;
99
100     LibWebRTCProvider::callOnWebRTCSignalingThread([protectedThis = makeRef(*this)] {
101         protectedThis->pullAudioData();
102     });
103 }
104
105 void RealtimeOutgoingAudioSource::pullAudioData()
106 {
107     // libwebrtc expects 10 ms chunks.
108     size_t chunkSampleCount = m_outputStreamDescription.sampleRate() / 100;
109     size_t bufferSize = chunkSampleCount * LibWebRTCAudioFormat::sampleByteSize * m_outputStreamDescription.numberOfChannels();
110     m_audioBuffer.grow(bufferSize);
111
112     AudioBufferList bufferList;
113     bufferList.mNumberBuffers = 1;
114     bufferList.mBuffers[0].mNumberChannels = m_outputStreamDescription.numberOfChannels();
115     bufferList.mBuffers[0].mDataByteSize = bufferSize;
116     bufferList.mBuffers[0].mData = m_audioBuffer.data();
117
118     m_sampleConverter->pullAvalaibleSamplesAsChunks(bufferList, chunkSampleCount, m_readCount, [this, chunkSampleCount] {
119         m_readCount += chunkSampleCount;
120         for (auto sink : m_sinks)
121             sink->OnData(m_audioBuffer.data(), LibWebRTCAudioFormat::sampleSize, m_outputStreamDescription.sampleRate(), m_outputStreamDescription.numberOfChannels(), chunkSampleCount);
122     });
123 }
124
125 } // namespace WebCore
126
127 #endif // USE(LIBWEBRTC)