56442721bd5afb3f5675b4fcfdb783874e641437
[WebKit-https.git] / Source / WebCore / platform / mediastream / mac / CoreAudioCaptureSource.h
1 /*
2  * Copyright (C) 2017-2018 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #if ENABLE(MEDIA_STREAM)
29
30 #include "CAAudioStreamDescription.h"
31 #include "CaptureDevice.h"
32 #include "RealtimeMediaSource.h"
33 #include "RealtimeMediaSourceFactory.h"
34 #include <AudioToolbox/AudioToolbox.h>
35 #include <CoreAudio/CoreAudioTypes.h>
36 #include <wtf/HashMap.h>
37 #include <wtf/Lock.h>
38 #include <wtf/RefCounted.h>
39 #include <wtf/RefPtr.h>
40 #include <wtf/text/WTFString.h>
41
42 typedef struct OpaqueCMClock* CMClockRef;
43
44 namespace WTF {
45 class MediaTime;
46 }
47
48 namespace WebCore {
49
50 class AudioSampleBufferList;
51 class AudioSampleDataSource;
52 class CaptureDeviceInfo;
53 class WebAudioSourceProviderAVFObjC;
54
55 class CoreAudioCaptureSource : public RealtimeMediaSource {
56 public:
57
58     static CaptureSourceOrError create(String&& deviceID, String&& hashSalt, const MediaConstraints*);
59
60     WEBCORE_EXPORT static AudioCaptureFactory& factory();
61
62     void addEchoCancellationSource(AudioSampleDataSource&);
63     void removeEchoCancellationSource(AudioSampleDataSource&);
64
65     using MicrophoneDataCallback = WTF::Function<void(const MediaTime& sampleTime, const PlatformAudioData& audioData, const AudioStreamDescription& description, size_t sampleCount)>;
66
67     uint64_t addMicrophoneDataConsumer(MicrophoneDataCallback&&);
68     void removeMicrophoneDataConsumer(uint64_t);
69
70     CMClockRef timebaseClock();
71
72     void beginInterruption();
73     void endInterruption();
74     void scheduleReconfiguration();
75
76 protected:
77     CoreAudioCaptureSource(String&& deviceID, String&& label, String&& hashSalt, uint32_t persistentID);
78     virtual ~CoreAudioCaptureSource();
79
80 private:
81     friend class CoreAudioSharedUnit;
82     friend class CoreAudioCaptureSourceFactory;
83
84     bool isCaptureSource() const final { return true; }
85     void startProducingData() final;
86     void stopProducingData() final;
87
88     Optional<Vector<int>> discreteSampleRates() const final { return { { 8000, 16000, 32000, 44100, 48000, 96000 } }; }
89
90     const RealtimeMediaSourceCapabilities& capabilities() final;
91     const RealtimeMediaSourceSettings& settings() final;
92     void settingsDidChange(OptionSet<RealtimeMediaSourceSettings::Flag>) final;
93
94     bool interrupted() const final;
95
96     void initializeToStartProducingData();
97
98     uint32_t m_captureDeviceID { 0 };
99
100     Optional<RealtimeMediaSourceCapabilities> m_capabilities;
101     Optional<RealtimeMediaSourceSettings> m_currentSettings;
102
103     enum class SuspensionType { None, WhilePaused, WhilePlaying };
104     SuspensionType m_suspendType { SuspensionType::None };
105
106     enum class ReconfigurationState { None, Required, Ongoing };
107     ReconfigurationState m_reconfigurationState { ReconfigurationState::None };
108
109     bool m_reconfigurationRequired { false };
110     bool m_suspendPending { false };
111     bool m_resumePending { false };
112     bool m_isReadyToStart { false };
113 };
114
115 class CoreAudioCaptureSourceFactory : public AudioCaptureFactory {
116 public:
117     static CoreAudioCaptureSourceFactory& singleton();
118
119     void beginInterruption();
120     void endInterruption();
121     void scheduleReconfiguration();
122
123     void devicesChanged(const Vector<CaptureDevice>&);
124
125 #if PLATFORM(IOS_FAMILY)
126     void setCoreAudioActiveSource(CoreAudioCaptureSource& source) { setActiveSource(source); }
127     void unsetCoreAudioActiveSource(CoreAudioCaptureSource& source) { unsetActiveSource(source); }
128     CoreAudioCaptureSource* coreAudioActiveSource() { return static_cast<CoreAudioCaptureSource*>(activeSource()); }
129 #else
130     CoreAudioCaptureSource* coreAudioActiveSource() { return nullptr; }
131 #endif
132
133 private:
134     CaptureSourceOrError createAudioCaptureSource(const CaptureDevice& device, String&& hashSalt, const MediaConstraints* constraints) final
135     {
136         return CoreAudioCaptureSource::create(String { device.persistentId() }, WTFMove(hashSalt), constraints);
137     }
138
139     CaptureDeviceManager& audioCaptureDeviceManager() final;
140 };
141
142 } // namespace WebCore
143
144 #endif // ENABLE(MEDIA_STREAM)