Implement incoming webrtc data based on tracksCurr
[WebKit-https.git] / Source / WebCore / Modules / mediastream / libwebrtc / LibWebRTCPeerConnectionBackend.cpp
1 /*
2  * Copyright (C) 2017 Apple Inc.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1.  Redistributions of source code must retain the above copyright
8  *     notice, this list of conditions and the following disclaimer.
9  * 2.  Redistributions in binary form must reproduce the above copyright
10  *     notice, this list of conditions and the following disclaimer in the
11  *     documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
15  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
16  * DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR ANY
17  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
18  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
19  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
20  * ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
21  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
22  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
23  */
24
25 #include "config.h"
26 #include "LibWebRTCPeerConnectionBackend.h"
27
28 #if USE(LIBWEBRTC)
29
30 #include "Document.h"
31 #include "IceCandidate.h"
32 #include "JSRTCStatsReport.h"
33 #include "LibWebRTCDataChannelHandler.h"
34 #include "LibWebRTCMediaEndpoint.h"
35 #include "MediaEndpointConfiguration.h"
36 #include "Page.h"
37 #include "RTCIceCandidate.h"
38 #include "RTCPeerConnection.h"
39 #include "RTCRtpReceiver.h"
40 #include "RTCSessionDescription.h"
41 #include "RealtimeIncomingAudioSource.h"
42 #include "RealtimeIncomingVideoSource.h"
43
44 namespace WebCore {
45
46 static std::unique_ptr<PeerConnectionBackend> createLibWebRTCPeerConnectionBackend(RTCPeerConnection& peerConnection)
47 {
48     if (!LibWebRTCProvider::webRTCAvailable())
49         return nullptr;
50     return std::make_unique<LibWebRTCPeerConnectionBackend>(peerConnection);
51 }
52
53 CreatePeerConnectionBackend PeerConnectionBackend::create = createLibWebRTCPeerConnectionBackend;
54
55 static inline LibWebRTCProvider& libWebRTCProvider(RTCPeerConnection& peerConnection)
56 {
57     ASSERT(peerConnection.scriptExecutionContext()->isDocument());
58     auto* page = static_cast<Document*>(peerConnection.scriptExecutionContext())->page();
59     return page->libWebRTCProvider();
60 }
61
62 LibWebRTCPeerConnectionBackend::LibWebRTCPeerConnectionBackend(RTCPeerConnection& peerConnection)
63     : PeerConnectionBackend(peerConnection)
64     , m_endpoint(LibWebRTCMediaEndpoint::create(*this, libWebRTCProvider(peerConnection)))
65 {
66 }
67
68 LibWebRTCPeerConnectionBackend::~LibWebRTCPeerConnectionBackend()
69 {
70 }
71
72 static webrtc::PeerConnectionInterface::RTCConfiguration configurationFromMediaEndpointConfiguration(MediaEndpointConfiguration&& configuration)
73 {
74     webrtc::PeerConnectionInterface::RTCConfiguration rtcConfiguration;
75
76     if (configuration.iceTransportPolicy == RTCIceTransportPolicy::Relay)
77         rtcConfiguration.type = webrtc::PeerConnectionInterface::kRelay;
78
79     // FIXME: Support PeerConnectionStates::BundlePolicy::MaxBundle.
80     // LibWebRTC does not like it and will fail to set any configuration field otherwise.
81     // See https://bugs.webkit.org/show_bug.cgi?id=169389.
82
83     if (configuration.bundlePolicy == RTCBundlePolicy::MaxCompat)
84         rtcConfiguration.bundle_policy = webrtc::PeerConnectionInterface::kBundlePolicyMaxCompat;
85
86     for (auto& server : configuration.iceServers) {
87         webrtc::PeerConnectionInterface::IceServer iceServer;
88         iceServer.username = server.username.utf8().data();
89         iceServer.password = server.credential.utf8().data();
90         for (auto& url : server.urls)
91             iceServer.urls.push_back({ url.string().utf8().data() });
92         rtcConfiguration.servers.push_back(WTFMove(iceServer));
93     }
94
95     return rtcConfiguration;
96 }
97
98 void LibWebRTCPeerConnectionBackend::setConfiguration(MediaEndpointConfiguration&& configuration)
99 {
100     m_endpoint->backend().SetConfiguration(configurationFromMediaEndpointConfiguration(WTFMove(configuration)));
101 }
102
103 void LibWebRTCPeerConnectionBackend::getStats(MediaStreamTrack* track, Ref<DeferredPromise>&& promise)
104 {
105     if (m_endpoint->isStopped())
106         return;
107
108     auto& statsPromise = promise.get();
109     m_statsPromises.add(&statsPromise, WTFMove(promise));
110     m_endpoint->getStats(track, statsPromise);
111 }
112
113 void LibWebRTCPeerConnectionBackend::getStatsSucceeded(const DeferredPromise& promise, Ref<RTCStatsReport>&& report)
114 {
115     auto statsPromise = m_statsPromises.take(&promise);
116     ASSERT(statsPromise);
117     statsPromise.value()->resolve<IDLInterface<RTCStatsReport>>(WTFMove(report));
118 }
119
120 void LibWebRTCPeerConnectionBackend::getStatsFailed(const DeferredPromise& promise, Exception&& exception)
121 {
122     auto statsPromise = m_statsPromises.take(&promise);
123     ASSERT(statsPromise);
124     statsPromise.value()->reject(WTFMove(exception));
125 }
126
127 void LibWebRTCPeerConnectionBackend::doSetLocalDescription(RTCSessionDescription& description)
128 {
129     m_endpoint->doSetLocalDescription(description);
130     if (!m_isLocalDescriptionSet) {
131         if (m_isRemoteDescriptionSet) {
132             while (m_pendingCandidates.size())
133                 m_endpoint->addIceCandidate(*m_pendingCandidates.takeLast().release());
134         }
135         m_isLocalDescriptionSet = true;
136     }
137 }
138
139 void LibWebRTCPeerConnectionBackend::doSetRemoteDescription(RTCSessionDescription& description)
140 {
141     m_endpoint->doSetRemoteDescription(description);
142     if (!m_isRemoteDescriptionSet) {
143         if (m_isLocalDescriptionSet) {
144             while (m_pendingCandidates.size())
145                 m_endpoint->addIceCandidate(*m_pendingCandidates.takeLast().release());
146         }
147         m_isRemoteDescriptionSet = true;
148     }
149 }
150
151 void LibWebRTCPeerConnectionBackend::doCreateOffer(RTCOfferOptions&&)
152 {
153     m_endpoint->doCreateOffer();
154 }
155
156 void LibWebRTCPeerConnectionBackend::doCreateAnswer(RTCAnswerOptions&&)
157 {
158     if (!m_isRemoteDescriptionSet) {
159         createAnswerFailed(Exception { INVALID_STATE_ERR, "No remote description set" });
160         return;
161     }
162     m_endpoint->doCreateAnswer();
163 }
164
165 void LibWebRTCPeerConnectionBackend::doStop()
166 {
167     m_endpoint->stop();
168
169     m_remoteStreams.clear();
170     m_pendingReceivers.clear();
171 }
172
173 void LibWebRTCPeerConnectionBackend::doAddIceCandidate(RTCIceCandidate& candidate)
174 {
175     webrtc::SdpParseError error;
176     int sdpMLineIndex = candidate.sdpMLineIndex() ? candidate.sdpMLineIndex().value() : 0;
177     std::unique_ptr<webrtc::IceCandidateInterface> rtcCandidate(webrtc::CreateIceCandidate(candidate.sdpMid().utf8().data(), sdpMLineIndex, candidate.candidate().utf8().data(), &error));
178
179     if (!rtcCandidate) {
180         String message(error.description.data(), error.description.size());
181         addIceCandidateFailed(Exception { OperationError, WTFMove(message) });
182         return;
183     }
184
185     // libwebrtc does not like that ice candidates are set before the description.
186     if (!m_isLocalDescriptionSet || !m_isRemoteDescriptionSet)
187         m_pendingCandidates.append(WTFMove(rtcCandidate));
188     else if (!m_endpoint->addIceCandidate(*rtcCandidate.get())) {
189         ASSERT_NOT_REACHED();
190         addIceCandidateFailed(Exception { OperationError, ASCIILiteral("Failed to apply the received candidate") });
191         return;
192     }
193     addIceCandidateSucceeded();
194 }
195
196 void LibWebRTCPeerConnectionBackend::addAudioSource(Ref<RealtimeOutgoingAudioSource>&& source)
197 {
198     m_audioSources.append(WTFMove(source));
199 }
200
201 void LibWebRTCPeerConnectionBackend::addVideoSource(Ref<RealtimeOutgoingVideoSource>&& source)
202 {
203     m_videoSources.append(WTFMove(source));
204 }
205
206 static inline Ref<RTCRtpReceiver> createReceiverForSource(ScriptExecutionContext& context, Ref<RealtimeMediaSource>&& source)
207 {
208     auto remoteTrackPrivate = MediaStreamTrackPrivate::create(WTFMove(source));
209     auto remoteTrack = MediaStreamTrack::create(context, WTFMove(remoteTrackPrivate));
210
211     return RTCRtpReceiver::create(WTFMove(remoteTrack));
212 }
213
214 static inline Ref<RealtimeMediaSource> createEmptySource(const String& trackKind, String&& trackId)
215 {
216     // FIXME: trackKind should be an enumeration
217     if (trackKind == "audio")
218         return RealtimeIncomingAudioSource::create(nullptr, WTFMove(trackId));
219     ASSERT(trackKind == "video");
220     return RealtimeIncomingVideoSource::create(nullptr, WTFMove(trackId));
221 }
222
223 Ref<RTCRtpReceiver> LibWebRTCPeerConnectionBackend::createReceiver(const String&, const String& trackKind, const String& trackId)
224 {
225     auto receiver = createReceiverForSource(*m_peerConnection.scriptExecutionContext(), createEmptySource(trackKind, String(trackId)));
226     m_pendingReceivers.append(receiver.copyRef());
227     return receiver;
228 }
229
230 LibWebRTCPeerConnectionBackend::VideoReceiver LibWebRTCPeerConnectionBackend::videoReceiver(String&& trackId)
231 {
232     // FIXME: Add to Vector a utility routine for that take-or-create pattern.
233     // FIXME: We should be selecting the receiver based on track id.
234     for (size_t cptr = 0; cptr < m_pendingReceivers.size(); ++cptr) {
235         if (m_pendingReceivers[cptr]->track()->source().type() == RealtimeMediaSource::Type::Video) {
236             Ref<RTCRtpReceiver> receiver = m_pendingReceivers[cptr].copyRef();
237             m_pendingReceivers.remove(cptr);
238             Ref<RealtimeIncomingVideoSource> source = static_cast<RealtimeIncomingVideoSource&>(receiver->track()->source());
239             return { WTFMove(receiver), WTFMove(source) };
240         }
241     }
242     auto source = RealtimeIncomingVideoSource::create(nullptr, WTFMove(trackId));
243     auto receiver = createReceiverForSource(*m_peerConnection.scriptExecutionContext(), source.copyRef());
244     return { WTFMove(receiver), WTFMove(source) };
245 }
246
247 LibWebRTCPeerConnectionBackend::AudioReceiver LibWebRTCPeerConnectionBackend::audioReceiver(String&& trackId)
248 {
249     // FIXME: Add to Vector a utility routine for that take-or-create pattern.
250     // FIXME: We should be selecting the receiver based on track id.
251     for (size_t cptr = 0; cptr < m_pendingReceivers.size(); ++cptr) {
252         if (m_pendingReceivers[cptr]->track()->source().type() == RealtimeMediaSource::Type::Audio) {
253             Ref<RTCRtpReceiver> receiver = m_pendingReceivers[cptr].copyRef();
254             m_pendingReceivers.remove(cptr);
255             Ref<RealtimeIncomingAudioSource> source = static_cast<RealtimeIncomingAudioSource&>(receiver->track()->source());
256             return { WTFMove(receiver), WTFMove(source) };
257         }
258     }
259     auto source = RealtimeIncomingAudioSource::create(nullptr, WTFMove(trackId));
260     auto receiver = createReceiverForSource(*m_peerConnection.scriptExecutionContext(), source.copyRef());
261     return { WTFMove(receiver), WTFMove(source) };
262 }
263
264 std::unique_ptr<RTCDataChannelHandler> LibWebRTCPeerConnectionBackend::createDataChannelHandler(const String& label, const RTCDataChannelInit& options)
265 {
266     return m_endpoint->createDataChannel(label, options);
267 }
268
269 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::currentLocalDescription() const
270 {
271     return m_endpoint->currentLocalDescription();
272 }
273
274 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::currentRemoteDescription() const
275 {
276     return m_endpoint->currentRemoteDescription();
277 }
278
279 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::pendingLocalDescription() const
280 {
281     return m_endpoint->pendingLocalDescription();
282 }
283
284 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::pendingRemoteDescription() const
285 {
286     return m_endpoint->pendingRemoteDescription();
287 }
288
289 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::localDescription() const
290 {
291     return m_endpoint->localDescription();
292 }
293
294 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::remoteDescription() const
295 {
296     return m_endpoint->remoteDescription();
297 }
298
299 void LibWebRTCPeerConnectionBackend::notifyAddedTrack(RTCRtpSender& sender)
300 {
301     ASSERT(sender.track());
302     m_endpoint->addTrack(*sender.track(), sender.mediaStreamIds());
303 }
304
305 void LibWebRTCPeerConnectionBackend::removeRemoteStream(MediaStream* mediaStream)
306 {
307     m_remoteStreams.removeFirstMatching([mediaStream](const auto& item) {
308         return item.get() == mediaStream;
309     });
310 }
311
312 void LibWebRTCPeerConnectionBackend::addRemoteStream(Ref<MediaStream>&& mediaStream)
313 {
314     m_remoteStreams.append(WTFMove(mediaStream));
315 }
316
317 } // namespace WebCore
318
319 #endif // USE(LIBWEBRTC)