Stop sending media data as soon as peer connection is closed
[WebKit-https.git] / Source / WebCore / Modules / mediastream / libwebrtc / LibWebRTCPeerConnectionBackend.cpp
1 /*
2  * Copyright (C) 2017 Apple Inc.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1.  Redistributions of source code must retain the above copyright
8  *     notice, this list of conditions and the following disclaimer.
9  * 2.  Redistributions in binary form must reproduce the above copyright
10  *     notice, this list of conditions and the following disclaimer in the
11  *     documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
15  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
16  * DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR ANY
17  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
18  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
19  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
20  * ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
21  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
22  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
23  */
24
25 #include "config.h"
26 #include "LibWebRTCPeerConnectionBackend.h"
27
28 #if USE(LIBWEBRTC)
29
30 #include "Document.h"
31 #include "IceCandidate.h"
32 #include "JSRTCStatsReport.h"
33 #include "LibWebRTCDataChannelHandler.h"
34 #include "LibWebRTCMediaEndpoint.h"
35 #include "MediaEndpointConfiguration.h"
36 #include "Page.h"
37 #include "RTCIceCandidate.h"
38 #include "RTCPeerConnection.h"
39 #include "RTCRtpReceiver.h"
40 #include "RTCSessionDescription.h"
41 #include "RealtimeIncomingAudioSource.h"
42 #include "RealtimeIncomingVideoSource.h"
43
44 namespace WebCore {
45
46 static std::unique_ptr<PeerConnectionBackend> createLibWebRTCPeerConnectionBackend(RTCPeerConnection& peerConnection)
47 {
48     if (!LibWebRTCProvider::webRTCAvailable())
49         return nullptr;
50     return std::make_unique<LibWebRTCPeerConnectionBackend>(peerConnection);
51 }
52
53 CreatePeerConnectionBackend PeerConnectionBackend::create = createLibWebRTCPeerConnectionBackend;
54
55 static inline LibWebRTCProvider& libWebRTCProvider(RTCPeerConnection& peerConnection)
56 {
57     ASSERT(peerConnection.scriptExecutionContext()->isDocument());
58     auto* page = static_cast<Document*>(peerConnection.scriptExecutionContext())->page();
59     return page->libWebRTCProvider();
60 }
61
62 LibWebRTCPeerConnectionBackend::LibWebRTCPeerConnectionBackend(RTCPeerConnection& peerConnection)
63     : PeerConnectionBackend(peerConnection)
64     , m_endpoint(LibWebRTCMediaEndpoint::create(*this, libWebRTCProvider(peerConnection)))
65 {
66 }
67
68 LibWebRTCPeerConnectionBackend::~LibWebRTCPeerConnectionBackend()
69 {
70 }
71
72 static webrtc::PeerConnectionInterface::RTCConfiguration configurationFromMediaEndpointConfiguration(MediaEndpointConfiguration&& configuration)
73 {
74     webrtc::PeerConnectionInterface::RTCConfiguration rtcConfiguration;
75
76     if (configuration.iceTransportPolicy == RTCIceTransportPolicy::Relay)
77         rtcConfiguration.type = webrtc::PeerConnectionInterface::kRelay;
78
79     // FIXME: Support PeerConnectionStates::BundlePolicy::MaxBundle.
80     // LibWebRTC does not like it and will fail to set any configuration field otherwise.
81     // See https://bugs.webkit.org/show_bug.cgi?id=169389.
82
83     if (configuration.bundlePolicy == RTCBundlePolicy::MaxCompat)
84         rtcConfiguration.bundle_policy = webrtc::PeerConnectionInterface::kBundlePolicyMaxCompat;
85
86     for (auto& server : configuration.iceServers) {
87         webrtc::PeerConnectionInterface::IceServer iceServer;
88         iceServer.username = server.username.utf8().data();
89         iceServer.password = server.credential.utf8().data();
90         for (auto& url : server.urls)
91             iceServer.urls.push_back({ url.string().utf8().data() });
92         rtcConfiguration.servers.push_back(WTFMove(iceServer));
93     }
94
95     return rtcConfiguration;
96 }
97
98 void LibWebRTCPeerConnectionBackend::setConfiguration(MediaEndpointConfiguration&& configuration)
99 {
100     m_endpoint->backend().SetConfiguration(configurationFromMediaEndpointConfiguration(WTFMove(configuration)));
101 }
102
103 void LibWebRTCPeerConnectionBackend::getStats(MediaStreamTrack* track, Ref<DeferredPromise>&& promise)
104 {
105     if (m_endpoint->isStopped())
106         return;
107
108     auto& statsPromise = promise.get();
109     m_statsPromises.add(&statsPromise, WTFMove(promise));
110     m_endpoint->getStats(track, statsPromise);
111 }
112
113 void LibWebRTCPeerConnectionBackend::getStatsSucceeded(const DeferredPromise& promise, Ref<RTCStatsReport>&& report)
114 {
115     auto statsPromise = m_statsPromises.take(&promise);
116     ASSERT(statsPromise);
117     statsPromise.value()->resolve<IDLInterface<RTCStatsReport>>(WTFMove(report));
118 }
119
120 void LibWebRTCPeerConnectionBackend::getStatsFailed(const DeferredPromise& promise, Exception&& exception)
121 {
122     auto statsPromise = m_statsPromises.take(&promise);
123     ASSERT(statsPromise);
124     statsPromise.value()->reject(WTFMove(exception));
125 }
126
127 void LibWebRTCPeerConnectionBackend::doSetLocalDescription(RTCSessionDescription& description)
128 {
129     m_endpoint->doSetLocalDescription(description);
130     if (!m_isLocalDescriptionSet) {
131         if (m_isRemoteDescriptionSet) {
132             while (m_pendingCandidates.size())
133                 m_endpoint->addIceCandidate(*m_pendingCandidates.takeLast().release());
134         }
135         m_isLocalDescriptionSet = true;
136     }
137 }
138
139 void LibWebRTCPeerConnectionBackend::doSetRemoteDescription(RTCSessionDescription& description)
140 {
141     m_endpoint->doSetRemoteDescription(description);
142     if (!m_isRemoteDescriptionSet) {
143         if (m_isLocalDescriptionSet) {
144             while (m_pendingCandidates.size())
145                 m_endpoint->addIceCandidate(*m_pendingCandidates.takeLast().release());
146         }
147         m_isRemoteDescriptionSet = true;
148     }
149 }
150
151 void LibWebRTCPeerConnectionBackend::doCreateOffer(RTCOfferOptions&&)
152 {
153     m_endpoint->doCreateOffer();
154 }
155
156 void LibWebRTCPeerConnectionBackend::doCreateAnswer(RTCAnswerOptions&&)
157 {
158     if (!m_isRemoteDescriptionSet) {
159         createAnswerFailed(Exception { INVALID_STATE_ERR, "No remote description set" });
160         return;
161     }
162     m_endpoint->doCreateAnswer();
163 }
164
165 void LibWebRTCPeerConnectionBackend::doStop()
166 {
167     for (auto& source : m_audioSources)
168         source->stop();
169     for (auto& source : m_videoSources)
170         source->stop();
171
172     m_endpoint->stop();
173
174     m_remoteStreams.clear();
175     m_pendingReceivers.clear();
176 }
177
178 void LibWebRTCPeerConnectionBackend::doAddIceCandidate(RTCIceCandidate& candidate)
179 {
180     webrtc::SdpParseError error;
181     int sdpMLineIndex = candidate.sdpMLineIndex() ? candidate.sdpMLineIndex().value() : 0;
182     std::unique_ptr<webrtc::IceCandidateInterface> rtcCandidate(webrtc::CreateIceCandidate(candidate.sdpMid().utf8().data(), sdpMLineIndex, candidate.candidate().utf8().data(), &error));
183
184     if (!rtcCandidate) {
185         String message(error.description.data(), error.description.size());
186         addIceCandidateFailed(Exception { OperationError, WTFMove(message) });
187         return;
188     }
189
190     // libwebrtc does not like that ice candidates are set before the description.
191     if (!m_isLocalDescriptionSet || !m_isRemoteDescriptionSet)
192         m_pendingCandidates.append(WTFMove(rtcCandidate));
193     else if (!m_endpoint->addIceCandidate(*rtcCandidate.get())) {
194         ASSERT_NOT_REACHED();
195         addIceCandidateFailed(Exception { OperationError, ASCIILiteral("Failed to apply the received candidate") });
196         return;
197     }
198     addIceCandidateSucceeded();
199 }
200
201 void LibWebRTCPeerConnectionBackend::addAudioSource(Ref<RealtimeOutgoingAudioSource>&& source)
202 {
203     m_audioSources.append(WTFMove(source));
204 }
205
206 void LibWebRTCPeerConnectionBackend::addVideoSource(Ref<RealtimeOutgoingVideoSource>&& source)
207 {
208     m_videoSources.append(WTFMove(source));
209 }
210
211 static inline Ref<RTCRtpReceiver> createReceiverForSource(ScriptExecutionContext& context, Ref<RealtimeMediaSource>&& source)
212 {
213     auto remoteTrackPrivate = MediaStreamTrackPrivate::create(WTFMove(source));
214     auto remoteTrack = MediaStreamTrack::create(context, WTFMove(remoteTrackPrivate));
215
216     return RTCRtpReceiver::create(WTFMove(remoteTrack));
217 }
218
219 static inline Ref<RealtimeMediaSource> createEmptySource(const String& trackKind, String&& trackId)
220 {
221     // FIXME: trackKind should be an enumeration
222     if (trackKind == "audio")
223         return RealtimeIncomingAudioSource::create(nullptr, WTFMove(trackId));
224     ASSERT(trackKind == "video");
225     return RealtimeIncomingVideoSource::create(nullptr, WTFMove(trackId));
226 }
227
228 Ref<RTCRtpReceiver> LibWebRTCPeerConnectionBackend::createReceiver(const String&, const String& trackKind, const String& trackId)
229 {
230     auto receiver = createReceiverForSource(*m_peerConnection.scriptExecutionContext(), createEmptySource(trackKind, String(trackId)));
231     m_pendingReceivers.append(receiver.copyRef());
232     return receiver;
233 }
234
235 LibWebRTCPeerConnectionBackend::VideoReceiver LibWebRTCPeerConnectionBackend::videoReceiver(String&& trackId)
236 {
237     // FIXME: Add to Vector a utility routine for that take-or-create pattern.
238     // FIXME: We should be selecting the receiver based on track id.
239     for (size_t cptr = 0; cptr < m_pendingReceivers.size(); ++cptr) {
240         if (m_pendingReceivers[cptr]->track()->source().type() == RealtimeMediaSource::Type::Video) {
241             Ref<RTCRtpReceiver> receiver = m_pendingReceivers[cptr].copyRef();
242             m_pendingReceivers.remove(cptr);
243             Ref<RealtimeIncomingVideoSource> source = static_cast<RealtimeIncomingVideoSource&>(receiver->track()->source());
244             return { WTFMove(receiver), WTFMove(source) };
245         }
246     }
247     auto source = RealtimeIncomingVideoSource::create(nullptr, WTFMove(trackId));
248     auto receiver = createReceiverForSource(*m_peerConnection.scriptExecutionContext(), source.copyRef());
249     return { WTFMove(receiver), WTFMove(source) };
250 }
251
252 LibWebRTCPeerConnectionBackend::AudioReceiver LibWebRTCPeerConnectionBackend::audioReceiver(String&& trackId)
253 {
254     // FIXME: Add to Vector a utility routine for that take-or-create pattern.
255     // FIXME: We should be selecting the receiver based on track id.
256     for (size_t cptr = 0; cptr < m_pendingReceivers.size(); ++cptr) {
257         if (m_pendingReceivers[cptr]->track()->source().type() == RealtimeMediaSource::Type::Audio) {
258             Ref<RTCRtpReceiver> receiver = m_pendingReceivers[cptr].copyRef();
259             m_pendingReceivers.remove(cptr);
260             Ref<RealtimeIncomingAudioSource> source = static_cast<RealtimeIncomingAudioSource&>(receiver->track()->source());
261             return { WTFMove(receiver), WTFMove(source) };
262         }
263     }
264     auto source = RealtimeIncomingAudioSource::create(nullptr, WTFMove(trackId));
265     auto receiver = createReceiverForSource(*m_peerConnection.scriptExecutionContext(), source.copyRef());
266     return { WTFMove(receiver), WTFMove(source) };
267 }
268
269 std::unique_ptr<RTCDataChannelHandler> LibWebRTCPeerConnectionBackend::createDataChannelHandler(const String& label, const RTCDataChannelInit& options)
270 {
271     return m_endpoint->createDataChannel(label, options);
272 }
273
274 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::currentLocalDescription() const
275 {
276     return m_endpoint->currentLocalDescription();
277 }
278
279 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::currentRemoteDescription() const
280 {
281     return m_endpoint->currentRemoteDescription();
282 }
283
284 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::pendingLocalDescription() const
285 {
286     return m_endpoint->pendingLocalDescription();
287 }
288
289 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::pendingRemoteDescription() const
290 {
291     return m_endpoint->pendingRemoteDescription();
292 }
293
294 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::localDescription() const
295 {
296     return m_endpoint->localDescription();
297 }
298
299 RefPtr<RTCSessionDescription> LibWebRTCPeerConnectionBackend::remoteDescription() const
300 {
301     return m_endpoint->remoteDescription();
302 }
303
304 void LibWebRTCPeerConnectionBackend::notifyAddedTrack(RTCRtpSender& sender)
305 {
306     ASSERT(sender.track());
307     m_endpoint->addTrack(*sender.track(), sender.mediaStreamIds());
308 }
309
310 void LibWebRTCPeerConnectionBackend::removeRemoteStream(MediaStream* mediaStream)
311 {
312     m_remoteStreams.removeFirstMatching([mediaStream](const auto& item) {
313         return item.get() == mediaStream;
314     });
315 }
316
317 void LibWebRTCPeerConnectionBackend::addRemoteStream(Ref<MediaStream>&& mediaStream)
318 {
319     m_remoteStreams.append(WTFMove(mediaStream));
320 }
321
322 } // namespace WebCore
323
324 #endif // USE(LIBWEBRTC)