95aec28d3f48f0ae86d7c5f6e9f3f0d9faf9ab3c
[WebKit-https.git] / Source / WebCore / platform / graphics / gstreamer / WebKitWebSourceGStreamer.cpp
1 /*
2  *  Copyright (C) 2009, 2010 Sebastian Dröge <sebastian.droege@collabora.co.uk>
3  *  Copyright (C) 2013 Collabora Ltd.
4  *
5  *  This library is free software; you can redistribute it and/or
6  *  modify it under the terms of the GNU Lesser General Public
7  *  License as published by the Free Software Foundation; either
8  *  version 2 of the License, or (at your option) any later version.
9  *
10  *  This library is distributed in the hope that it will be useful,
11  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  *  Lesser General Public License for more details.
14  *
15  *  You should have received a copy of the GNU Lesser General Public
16  *  License along with this library; if not, write to the Free Software
17  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
18  */
19
20 #include "config.h"
21 #include "WebKitWebSourceGStreamer.h"
22
23 #if ENABLE(VIDEO) && USE(GSTREAMER)
24
25 #include "GRefPtrGStreamer.h"
26 #include "GStreamerUtilities.h"
27 #include "GUniquePtrGStreamer.h"
28 #include "HTTPHeaderNames.h"
29 #include "MainThreadNotifier.h"
30 #include "MediaPlayer.h"
31 #include "NotImplemented.h"
32 #include "PlatformMediaResourceLoader.h"
33 #include "ResourceError.h"
34 #include "ResourceHandle.h"
35 #include "ResourceHandleClient.h"
36 #include "ResourceRequest.h"
37 #include "ResourceResponse.h"
38 #include "SharedBuffer.h"
39 #include <gst/app/gstappsrc.h>
40 #include <gst/gst.h>
41 #include <gst/pbutils/missing-plugins.h>
42 #include <wtf/MainThread.h>
43 #include <wtf/Noncopyable.h>
44 #include <wtf/glib/GRefPtr.h>
45 #include <wtf/glib/GUniquePtr.h>
46 #include <wtf/text/CString.h>
47
48 #if USE(SOUP)
49 #include "SoupNetworkSession.h"
50 #endif
51
52 using namespace WebCore;
53
54 class CachedResourceStreamingClient final : public PlatformMediaResourceClient {
55     WTF_MAKE_NONCOPYABLE(CachedResourceStreamingClient);
56 public:
57     CachedResourceStreamingClient(WebKitWebSrc*, ResourceRequest&&);
58     virtual ~CachedResourceStreamingClient();
59 private:
60 #if USE(SOUP)
61     char* getOrCreateReadBuffer(PlatformMediaResource&, size_t requestedSize, size_t& actualSize) override;
62 #endif
63     // PlatformMediaResourceClient virtual methods.
64     void responseReceived(PlatformMediaResource&, const ResourceResponse&) override;
65     void dataReceived(PlatformMediaResource&, const char*, int) override;
66     void accessControlCheckFailed(PlatformMediaResource&, const ResourceError&) override;
67     void loadFailed(PlatformMediaResource&, const ResourceError&) override;
68     void loadFinished(PlatformMediaResource&) override;
69
70     GRefPtr<GstElement> m_src;
71     ResourceRequest m_request;
72 };
73
74 enum MainThreadSourceNotification {
75     Start = 1 << 0,
76     Stop = 1 << 1,
77     NeedData = 1 << 2,
78     EnoughData = 1 << 3,
79     Seek = 1 << 4
80 };
81
82 #define WEBKIT_WEB_SRC_GET_PRIVATE(obj) (G_TYPE_INSTANCE_GET_PRIVATE((obj), WEBKIT_TYPE_WEB_SRC, WebKitWebSrcPrivate))
83 struct _WebKitWebSrcPrivate {
84     GstAppSrc* appsrc;
85     GstPad* srcpad;
86     CString originalURI;
87     CString redirectedURI;
88     bool keepAlive;
89     GUniquePtr<GstStructure> extraHeaders;
90     bool compress;
91     GUniquePtr<gchar> httpMethod;
92
93     WebCore::MediaPlayer* player;
94
95     RefPtr<PlatformMediaResourceLoader> loader;
96     RefPtr<PlatformMediaResource> resource;
97
98     bool didPassAccessControlCheck;
99
100     guint64 offset;
101     guint64 size;
102     gboolean seekable;
103     bool paused;
104     bool isSeeking;
105
106     guint64 requestedOffset;
107
108     RefPtr<MainThreadNotifier<MainThreadSourceNotification>> notifier;
109     GRefPtr<GstBuffer> buffer;
110 };
111
112 enum {
113     PROP_0,
114     PROP_LOCATION,
115     PROP_RESOLVED_LOCATION,
116     PROP_KEEP_ALIVE,
117     PROP_EXTRA_HEADERS,
118     PROP_COMPRESS,
119     PROP_METHOD
120 };
121
122 static GstStaticPadTemplate srcTemplate = GST_STATIC_PAD_TEMPLATE("src",
123                                                                   GST_PAD_SRC,
124                                                                   GST_PAD_ALWAYS,
125                                                                   GST_STATIC_CAPS_ANY);
126
127 GST_DEBUG_CATEGORY_STATIC(webkit_web_src_debug);
128 #define GST_CAT_DEFAULT webkit_web_src_debug
129
130 static void webKitWebSrcUriHandlerInit(gpointer gIface, gpointer ifaceData);
131
132 static void webKitWebSrcDispose(GObject*);
133 static void webKitWebSrcFinalize(GObject*);
134 static void webKitWebSrcSetProperty(GObject*, guint propertyID, const GValue*, GParamSpec*);
135 static void webKitWebSrcGetProperty(GObject*, guint propertyID, GValue*, GParamSpec*);
136 static GstStateChangeReturn webKitWebSrcChangeState(GstElement*, GstStateChange);
137
138 static gboolean webKitWebSrcQueryWithParent(GstPad*, GstObject*, GstQuery*);
139
140 static void webKitWebSrcNeedData(WebKitWebSrc*);
141 static void webKitWebSrcEnoughData(WebKitWebSrc*);
142 static gboolean webKitWebSrcSeek(WebKitWebSrc*, guint64);
143
144 static GstAppSrcCallbacks appsrcCallbacks = {
145     // need_data
146     [](GstAppSrc*, guint, gpointer userData) {
147         webKitWebSrcNeedData(WEBKIT_WEB_SRC(userData));
148     },
149     // enough_data
150     [](GstAppSrc*, gpointer userData) {
151         webKitWebSrcEnoughData(WEBKIT_WEB_SRC(userData));
152     },
153     // seek_data
154     [](GstAppSrc*, guint64 offset, gpointer userData) -> gboolean {
155         return webKitWebSrcSeek(WEBKIT_WEB_SRC(userData), offset);
156     },
157     { nullptr }
158 };
159
160 #define webkit_web_src_parent_class parent_class
161 // We split this out into another macro to avoid a check-webkit-style error.
162 #define WEBKIT_WEB_SRC_CATEGORY_INIT GST_DEBUG_CATEGORY_INIT(webkit_web_src_debug, "webkitwebsrc", 0, "websrc element");
163 G_DEFINE_TYPE_WITH_CODE(WebKitWebSrc, webkit_web_src, GST_TYPE_BIN,
164                          G_IMPLEMENT_INTERFACE(GST_TYPE_URI_HANDLER, webKitWebSrcUriHandlerInit);
165                          WEBKIT_WEB_SRC_CATEGORY_INIT);
166
167 static void webkit_web_src_class_init(WebKitWebSrcClass* klass)
168 {
169     GObjectClass* oklass = G_OBJECT_CLASS(klass);
170     GstElementClass* eklass = GST_ELEMENT_CLASS(klass);
171
172     oklass->dispose = webKitWebSrcDispose;
173     oklass->finalize = webKitWebSrcFinalize;
174     oklass->set_property = webKitWebSrcSetProperty;
175     oklass->get_property = webKitWebSrcGetProperty;
176
177     gst_element_class_add_pad_template(eklass,
178                                        gst_static_pad_template_get(&srcTemplate));
179     gst_element_class_set_metadata(eklass, "WebKit Web source element", "Source", "Handles HTTP/HTTPS uris",
180                                "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
181
182     /* Allows setting the uri using the 'location' property, which is used
183      * for example by gst_element_make_from_uri() */
184     g_object_class_install_property(oklass, PROP_LOCATION,
185         g_param_spec_string("location", "location", "Location to read from",
186             nullptr, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
187
188     g_object_class_install_property(oklass, PROP_RESOLVED_LOCATION,
189         g_param_spec_string("resolved-location", "Resolved location", "The location resolved by the server",
190             nullptr, static_cast<GParamFlags>(G_PARAM_READABLE | G_PARAM_STATIC_STRINGS)));
191
192     g_object_class_install_property(oklass, PROP_KEEP_ALIVE,
193         g_param_spec_boolean("keep-alive", "keep-alive", "Use HTTP persistent connections",
194             FALSE, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
195
196     g_object_class_install_property(oklass, PROP_EXTRA_HEADERS,
197         g_param_spec_boxed("extra-headers", "Extra Headers", "Extra headers to append to the HTTP request",
198             GST_TYPE_STRUCTURE, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
199
200     g_object_class_install_property(oklass, PROP_COMPRESS,
201         g_param_spec_boolean("compress", "Compress", "Allow compressed content encodings",
202             FALSE, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
203
204     g_object_class_install_property(oklass, PROP_METHOD,
205         g_param_spec_string("method", "method", "The HTTP method to use (default: GET)",
206             nullptr, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
207
208     eklass->change_state = webKitWebSrcChangeState;
209
210     g_type_class_add_private(klass, sizeof(WebKitWebSrcPrivate));
211 }
212
213 static void webkit_web_src_init(WebKitWebSrc* src)
214 {
215     WebKitWebSrcPrivate* priv = WEBKIT_WEB_SRC_GET_PRIVATE(src);
216
217     src->priv = priv;
218     new (priv) WebKitWebSrcPrivate();
219
220     priv->notifier = MainThreadNotifier<MainThreadSourceNotification>::create();
221
222     priv->appsrc = GST_APP_SRC(gst_element_factory_make("appsrc", nullptr));
223     if (!priv->appsrc) {
224         GST_ERROR_OBJECT(src, "Failed to create appsrc");
225         return;
226     }
227
228     gst_bin_add(GST_BIN(src), GST_ELEMENT(priv->appsrc));
229
230     GRefPtr<GstPad> targetPad = adoptGRef(gst_element_get_static_pad(GST_ELEMENT(priv->appsrc), "src"));
231     priv->srcpad = webkitGstGhostPadFromStaticTemplate(&srcTemplate, "src", targetPad.get());
232
233     gst_element_add_pad(GST_ELEMENT(src), priv->srcpad);
234
235     GST_OBJECT_FLAG_SET(priv->srcpad, GST_PAD_FLAG_NEED_PARENT);
236     gst_pad_set_query_function(priv->srcpad, webKitWebSrcQueryWithParent);
237
238     gst_app_src_set_callbacks(priv->appsrc, &appsrcCallbacks, src, nullptr);
239     gst_app_src_set_emit_signals(priv->appsrc, FALSE);
240     gst_app_src_set_stream_type(priv->appsrc, GST_APP_STREAM_TYPE_SEEKABLE);
241
242     // 512k is a abitrary number but we should choose a value
243     // here to not pause/unpause the SoupMessage too often and
244     // to make sure there's always some data available for
245     // GStreamer to handle.
246     gst_app_src_set_max_bytes(priv->appsrc, 512 * 1024);
247
248     // Emit the need-data signal if the queue contains less
249     // than 20% of data. Without this the need-data signal
250     // is emitted when the queue is empty, we then dispatch
251     // the soup message unpausing to the main loop and from
252     // there unpause the soup message. This already takes
253     // quite some time and libsoup even needs some more time
254     // to actually provide data again. If we do all this
255     // already if the queue is 20% empty, it's much more
256     // likely that libsoup already provides new data before
257     // the queue is really empty.
258     // This might need tweaking for ports not using libsoup.
259     g_object_set(priv->appsrc, "min-percent", 20, nullptr);
260
261     gst_base_src_set_automatic_eos(GST_BASE_SRC(priv->appsrc), FALSE);
262
263     gst_app_src_set_caps(priv->appsrc, nullptr);
264     gst_app_src_set_size(priv->appsrc, -1);
265 }
266
267 static void webKitWebSrcDispose(GObject* object)
268 {
269     WebKitWebSrcPrivate* priv = WEBKIT_WEB_SRC(object)->priv;
270     if (priv->notifier) {
271         priv->notifier->invalidate();
272         priv->notifier = nullptr;
273     }
274
275     GST_CALL_PARENT(G_OBJECT_CLASS, dispose, (object));
276 }
277
278 static void webKitWebSrcFinalize(GObject* object)
279 {
280     WebKitWebSrcPrivate* priv = WEBKIT_WEB_SRC(object)->priv;
281
282     priv->~WebKitWebSrcPrivate();
283
284     GST_CALL_PARENT(G_OBJECT_CLASS, finalize, (object));
285 }
286
287 static void webKitWebSrcSetProperty(GObject* object, guint propID, const GValue* value, GParamSpec* pspec)
288 {
289     WebKitWebSrc* src = WEBKIT_WEB_SRC(object);
290
291     switch (propID) {
292     case PROP_LOCATION:
293         gst_uri_handler_set_uri(reinterpret_cast<GstURIHandler*>(src), g_value_get_string(value), nullptr);
294         break;
295     case PROP_KEEP_ALIVE:
296         src->priv->keepAlive = g_value_get_boolean(value);
297         break;
298     case PROP_EXTRA_HEADERS: {
299         const GstStructure* s = gst_value_get_structure(value);
300         src->priv->extraHeaders.reset(s ? gst_structure_copy(s) : nullptr);
301         break;
302     }
303     case PROP_COMPRESS:
304         src->priv->compress = g_value_get_boolean(value);
305         break;
306     case PROP_METHOD:
307         src->priv->httpMethod.reset(g_value_dup_string(value));
308         break;
309     default:
310         G_OBJECT_WARN_INVALID_PROPERTY_ID(object, propID, pspec);
311         break;
312     }
313 }
314
315 static void webKitWebSrcGetProperty(GObject* object, guint propID, GValue* value, GParamSpec* pspec)
316 {
317     WebKitWebSrc* src = WEBKIT_WEB_SRC(object);
318     WebKitWebSrcPrivate* priv = src->priv;
319
320     switch (propID) {
321     case PROP_LOCATION:
322         g_value_set_string(value, priv->originalURI.data());
323         break;
324     case PROP_RESOLVED_LOCATION:
325         g_value_set_string(value, priv->redirectedURI.isNull() ? priv->originalURI.data() : priv->redirectedURI.data());
326         break;
327     case PROP_KEEP_ALIVE:
328         g_value_set_boolean(value, priv->keepAlive);
329         break;
330     case PROP_EXTRA_HEADERS:
331         gst_value_set_structure(value, priv->extraHeaders.get());
332         break;
333     case PROP_COMPRESS:
334         g_value_set_boolean(value, priv->compress);
335         break;
336     case PROP_METHOD:
337         g_value_set_string(value, priv->httpMethod.get());
338         break;
339     default:
340         G_OBJECT_WARN_INVALID_PROPERTY_ID(object, propID, pspec);
341         break;
342     }
343 }
344
345 static void webKitWebSrcStop(WebKitWebSrc* src)
346 {
347     WebKitWebSrcPrivate* priv = src->priv;
348
349     if (priv->resource || (priv->loader && !priv->keepAlive)) {
350         GRefPtr<WebKitWebSrc> protector = WTF::ensureGRef(src);
351         priv->notifier->cancelPendingNotifications(MainThreadSourceNotification::NeedData | MainThreadSourceNotification::EnoughData | MainThreadSourceNotification::Seek);
352         priv->notifier->notify(MainThreadSourceNotification::Stop, [protector, keepAlive = priv->keepAlive] {
353             WebKitWebSrcPrivate* priv = protector->priv;
354
355             if (priv->resource) {
356                 priv->resource->stop();
357                 priv->resource->setClient(nullptr);
358                 priv->resource = nullptr;
359             }
360
361             if (!keepAlive)
362                 priv->loader = nullptr;
363         });
364     }
365
366     bool wasSeeking = std::exchange(priv->isSeeking, false);
367
368     if (priv->buffer) {
369         unmapGstBuffer(priv->buffer.get());
370         priv->buffer.clear();
371     }
372
373     priv->paused = false;
374
375     priv->offset = 0;
376
377     if (!wasSeeking) {
378         priv->size = 0;
379         priv->requestedOffset = 0;
380         priv->player = nullptr;
381         priv->seekable = FALSE;
382     }
383
384     if (priv->appsrc) {
385         gst_app_src_set_caps(priv->appsrc, nullptr);
386         if (!wasSeeking)
387             gst_app_src_set_size(priv->appsrc, -1);
388     }
389
390     GST_DEBUG_OBJECT(src, "Stopped request");
391 }
392
393 static bool webKitWebSrcSetExtraHeader(GQuark fieldId, const GValue* value, gpointer userData)
394 {
395     GUniquePtr<gchar> fieldContent;
396
397     if (G_VALUE_HOLDS_STRING(value))
398         fieldContent.reset(g_value_dup_string(value));
399     else {
400         GValue dest = G_VALUE_INIT;
401
402         g_value_init(&dest, G_TYPE_STRING);
403         if (g_value_transform(value, &dest))
404             fieldContent.reset(g_value_dup_string(&dest));
405     }
406
407     const gchar* fieldName = g_quark_to_string(fieldId);
408     if (!fieldContent.get()) {
409         GST_ERROR("extra-headers field '%s' contains no value or can't be converted to a string", fieldName);
410         return false;
411     }
412
413     GST_DEBUG("Appending extra header: \"%s: %s\"", fieldName, fieldContent.get());
414     ResourceRequest* request = static_cast<ResourceRequest*>(userData);
415     request->setHTTPHeaderField(fieldName, fieldContent.get());
416     return true;
417 }
418
419 static gboolean webKitWebSrcProcessExtraHeaders(GQuark fieldId, const GValue* value, gpointer userData)
420 {
421     if (G_VALUE_TYPE(value) == GST_TYPE_ARRAY) {
422         unsigned size = gst_value_array_get_size(value);
423
424         for (unsigned i = 0; i < size; i++) {
425             if (!webKitWebSrcSetExtraHeader(fieldId, gst_value_array_get_value(value, i), userData))
426                 return FALSE;
427         }
428         return TRUE;
429     }
430
431     if (G_VALUE_TYPE(value) == GST_TYPE_LIST) {
432         unsigned size = gst_value_list_get_size(value);
433
434         for (unsigned i = 0; i < size; i++) {
435             if (!webKitWebSrcSetExtraHeader(fieldId, gst_value_list_get_value(value, i), userData))
436                 return FALSE;
437         }
438         return TRUE;
439     }
440
441     return webKitWebSrcSetExtraHeader(fieldId, value, userData);
442 }
443
444 static void webKitWebSrcStart(WebKitWebSrc* src)
445 {
446     WebKitWebSrcPrivate* priv = src->priv;
447     ASSERT(priv->player);
448
449     priv->didPassAccessControlCheck = false;
450
451     if (priv->originalURI.isNull()) {
452         GST_ERROR_OBJECT(src, "No URI provided");
453         webKitWebSrcStop(src);
454         return;
455     }
456
457     GST_DEBUG_OBJECT(src, "Fetching %s", priv->originalURI.data());
458     URL url = URL(URL(), priv->originalURI.data());
459
460     ResourceRequest request(url);
461     request.setAllowCookies(true);
462     request.setFirstPartyForCookies(url);
463
464     priv->size = 0;
465
466     request.setHTTPReferrer(priv->player->referrer());
467
468     if (priv->httpMethod.get())
469         request.setHTTPMethod(priv->httpMethod.get());
470
471 #if USE(SOUP)
472     // By default, HTTP Accept-Encoding is disabled here as we don't
473     // want the received response to be encoded in any way as we need
474     // to rely on the proper size of the returned data on
475     // didReceiveResponse.
476     // If Accept-Encoding is used, the server may send the data in encoded format and
477     // request.expectedContentLength() will have the "wrong" size (the size of the
478     // compressed data), even though the data received in didReceiveData is uncompressed.
479     // This is however useful to enable for adaptive streaming
480     // scenarios, when the demuxer needs to download playlists.
481     if (!priv->compress)
482         request.setAcceptEncoding(false);
483 #endif
484
485     // Let Apple web servers know we want to access their nice movie trailers.
486     if (!g_ascii_strcasecmp("movies.apple.com", url.host().utf8().data())
487         || !g_ascii_strcasecmp("trailers.apple.com", url.host().utf8().data()))
488         request.setHTTPUserAgent("Quicktime/7.6.6");
489
490     if (priv->requestedOffset) {
491         GUniquePtr<gchar> val(g_strdup_printf("bytes=%" G_GUINT64_FORMAT "-", priv->requestedOffset));
492         request.setHTTPHeaderField(HTTPHeaderName::Range, val.get());
493     }
494     priv->offset = priv->requestedOffset;
495
496     if (!priv->keepAlive) {
497         GST_DEBUG_OBJECT(src, "Persistent connection support disabled");
498         request.setHTTPHeaderField(HTTPHeaderName::Connection, "close");
499     }
500
501     if (priv->extraHeaders)
502         gst_structure_foreach(priv->extraHeaders.get(), webKitWebSrcProcessExtraHeaders, &request);
503
504     // We always request Icecast/Shoutcast metadata, just in case ...
505     request.setHTTPHeaderField(HTTPHeaderName::IcyMetadata, "1");
506
507     GRefPtr<WebKitWebSrc> protector = WTF::ensureGRef(src);
508     priv->notifier->notify(MainThreadSourceNotification::Start, [protector, request = WTFMove(request)] {
509         WebKitWebSrcPrivate* priv = protector->priv;
510
511         if (!priv->loader)
512             priv->loader = priv->player->createResourceLoader();
513
514         PlatformMediaResourceLoader::LoadOptions loadOptions = 0;
515         if (request.url().protocolIsBlob())
516             loadOptions |= PlatformMediaResourceLoader::LoadOption::BufferData;
517         priv->resource = priv->loader->requestResource(ResourceRequest(request), loadOptions);
518         if (priv->resource) {
519             priv->resource->setClient(std::make_unique<CachedResourceStreamingClient>(protector.get(), ResourceRequest(request)));
520             GST_DEBUG_OBJECT(protector.get(), "Started request");
521         } else {
522             GST_ERROR_OBJECT(protector.get(), "Failed to setup streaming client");
523             priv->loader = nullptr;
524             webKitWebSrcStop(protector.get());
525         }
526     });
527 }
528
529 static GstStateChangeReturn webKitWebSrcChangeState(GstElement* element, GstStateChange transition)
530 {
531     GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
532     WebKitWebSrc* src = WEBKIT_WEB_SRC(element);
533     WebKitWebSrcPrivate* priv = src->priv;
534
535     switch (transition) {
536     case GST_STATE_CHANGE_NULL_TO_READY:
537         if (!priv->appsrc) {
538             gst_element_post_message(element,
539                                      gst_missing_element_message_new(element, "appsrc"));
540             GST_ELEMENT_ERROR(src, CORE, MISSING_PLUGIN, (nullptr), ("no appsrc"));
541             return GST_STATE_CHANGE_FAILURE;
542         }
543         break;
544     default:
545         break;
546     }
547
548     ret = GST_ELEMENT_CLASS(parent_class)->change_state(element, transition);
549     if (G_UNLIKELY(ret == GST_STATE_CHANGE_FAILURE)) {
550         GST_DEBUG_OBJECT(src, "State change failed");
551         return ret;
552     }
553
554     switch (transition) {
555     case GST_STATE_CHANGE_READY_TO_PAUSED:
556     {
557         GST_DEBUG_OBJECT(src, "READY->PAUSED");
558         webKitWebSrcStart(src);
559         break;
560     }
561     case GST_STATE_CHANGE_PAUSED_TO_READY:
562     {
563         GST_DEBUG_OBJECT(src, "PAUSED->READY");
564         webKitWebSrcStop(src);
565         break;
566     }
567     default:
568         break;
569     }
570
571     return ret;
572 }
573
574 static gboolean webKitWebSrcQueryWithParent(GstPad* pad, GstObject* parent, GstQuery* query)
575 {
576     WebKitWebSrc* src = WEBKIT_WEB_SRC(GST_ELEMENT(parent));
577     WebKitWebSrcPrivate* priv = src->priv;
578     gboolean result = FALSE;
579
580     switch (GST_QUERY_TYPE(query)) {
581     case GST_QUERY_DURATION: {
582         GstFormat format;
583
584         gst_query_parse_duration(query, &format, nullptr);
585
586         GST_DEBUG_OBJECT(src, "duration query in format %s", gst_format_get_name(format));
587         if (format == GST_FORMAT_BYTES && priv->size > 0) {
588             gst_query_set_duration(query, format, priv->size);
589             result = TRUE;
590         }
591         break;
592     }
593     case GST_QUERY_URI: {
594         gst_query_set_uri(query, priv->originalURI.data());
595         if (!priv->redirectedURI.isNull())
596             gst_query_set_uri_redirection(query, priv->redirectedURI.data());
597         result = TRUE;
598         break;
599     }
600     case GST_QUERY_SCHEDULING: {
601         GstSchedulingFlags flags;
602         int minSize, maxSize, align;
603
604         gst_query_parse_scheduling(query, &flags, &minSize, &maxSize, &align);
605         gst_query_set_scheduling(query, static_cast<GstSchedulingFlags>(flags | GST_SCHEDULING_FLAG_BANDWIDTH_LIMITED), minSize, maxSize, align);
606         result = TRUE;
607         break;
608     }
609     default: {
610         GRefPtr<GstPad> target = adoptGRef(gst_ghost_pad_get_target(GST_GHOST_PAD_CAST(pad)));
611
612         // Forward the query to the proxy target pad.
613         if (target)
614             result = gst_pad_query(target.get(), query);
615         break;
616     }
617     }
618
619     return result;
620 }
621
622 static bool urlHasSupportedProtocol(const URL& url)
623 {
624     return url.isValid() && (url.protocolIsInHTTPFamily() || url.protocolIsBlob());
625 }
626
627 // uri handler interface
628
629 static GstURIType webKitWebSrcUriGetType(GType)
630 {
631     return GST_URI_SRC;
632 }
633
634 const gchar* const* webKitWebSrcGetProtocols(GType)
635 {
636     static const char* protocols[] = {"webkit+http", "webkit+https", "blob", nullptr };
637     return protocols;
638 }
639
640 static URL convertPlaybinURI(const char* uriString)
641 {
642     URL url(URL(), uriString);
643     ASSERT(url.protocol().substring(0, 7) == "webkit+");
644     url.setProtocol(url.protocol().substring(7).toString());
645     return url;
646 }
647
648 static gchar* webKitWebSrcGetUri(GstURIHandler* handler)
649 {
650     WebKitWebSrc* src = WEBKIT_WEB_SRC(handler);
651     gchar* ret = g_strdup(src->priv->originalURI.data());
652     return ret;
653 }
654
655 static gboolean webKitWebSrcSetUri(GstURIHandler* handler, const gchar* uri, GError** error)
656 {
657     WebKitWebSrc* src = WEBKIT_WEB_SRC(handler);
658     WebKitWebSrcPrivate* priv = src->priv;
659
660     if (GST_STATE(src) >= GST_STATE_PAUSED) {
661         GST_ERROR_OBJECT(src, "URI can only be set in states < PAUSED");
662         return FALSE;
663     }
664
665     priv->redirectedURI = CString();
666     priv->originalURI = CString();
667     if (!uri)
668         return TRUE;
669
670     URL url = convertPlaybinURI(uri);
671     if (!urlHasSupportedProtocol(url)) {
672         g_set_error(error, GST_URI_ERROR, GST_URI_ERROR_BAD_URI, "Invalid URI '%s'", uri);
673         return FALSE;
674     }
675
676     priv->originalURI = url.string().utf8();
677     return TRUE;
678 }
679
680 static void webKitWebSrcUriHandlerInit(gpointer gIface, gpointer)
681 {
682     GstURIHandlerInterface* iface = (GstURIHandlerInterface *) gIface;
683
684     iface->get_type = webKitWebSrcUriGetType;
685     iface->get_protocols = webKitWebSrcGetProtocols;
686     iface->get_uri = webKitWebSrcGetUri;
687     iface->set_uri = webKitWebSrcSetUri;
688 }
689
690 static void webKitWebSrcNeedData(WebKitWebSrc* src)
691 {
692     WebKitWebSrcPrivate* priv = src->priv;
693
694     GST_DEBUG_OBJECT(src, "Need more data");
695
696     if (!priv->paused)
697         return;
698     priv->paused = false;
699
700     GRefPtr<WebKitWebSrc> protector = WTF::ensureGRef(src);
701     priv->notifier->notify(MainThreadSourceNotification::NeedData, [protector] {
702         WebKitWebSrcPrivate* priv = protector->priv;
703         if (priv->resource)
704             priv->resource->setDefersLoading(false);
705     });
706 }
707
708 static void webKitWebSrcEnoughData(WebKitWebSrc* src)
709 {
710     WebKitWebSrcPrivate* priv = src->priv;
711
712     GST_DEBUG_OBJECT(src, "Have enough data");
713
714     if (priv->paused)
715         return;
716     priv->paused = true;
717
718     GRefPtr<WebKitWebSrc> protector = WTF::ensureGRef(src);
719     priv->notifier->notify(MainThreadSourceNotification::EnoughData, [protector] {
720         WebKitWebSrcPrivate* priv = protector->priv;
721         if (priv->resource)
722             priv->resource->setDefersLoading(true);
723     });
724 }
725
726 static gboolean webKitWebSrcSeek(WebKitWebSrc* src, guint64 offset)
727 {
728     WebKitWebSrcPrivate* priv = src->priv;
729
730     if (offset == priv->offset && priv->requestedOffset == priv->offset)
731         return TRUE;
732
733     if (!priv->seekable)
734         return FALSE;
735
736     priv->isSeeking = true;
737     priv->requestedOffset = offset;
738
739     GST_DEBUG_OBJECT(src, "Seeking to offset: %" G_GUINT64_FORMAT, src->priv->requestedOffset);
740
741     GRefPtr<WebKitWebSrc> protector = WTF::ensureGRef(src);
742     priv->notifier->notify(MainThreadSourceNotification::Seek, [protector] {
743         webKitWebSrcStop(protector.get());
744         webKitWebSrcStart(protector.get());
745     });
746     return TRUE;
747 }
748
749 void webKitWebSrcSetMediaPlayer(WebKitWebSrc* src, WebCore::MediaPlayer* player)
750 {
751     ASSERT(player);
752     src->priv->player = player;
753 }
754
755 bool webKitSrcPassedCORSAccessCheck(WebKitWebSrc* src)
756 {
757     return src->priv->didPassAccessControlCheck;
758 }
759
760 CachedResourceStreamingClient::CachedResourceStreamingClient(WebKitWebSrc* src, ResourceRequest&& request)
761     : m_src(GST_ELEMENT(src))
762     , m_request(WTFMove(request))
763 {
764 }
765
766 CachedResourceStreamingClient::~CachedResourceStreamingClient()
767 {
768 }
769
770 #if USE(SOUP)
771 char* CachedResourceStreamingClient::getOrCreateReadBuffer(PlatformMediaResource&, size_t requestedSize, size_t& actualSize)
772 {
773     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src.get());
774     WebKitWebSrcPrivate* priv = src->priv;
775
776     ASSERT(!priv->buffer);
777
778     GstBuffer* buffer = gst_buffer_new_and_alloc(requestedSize);
779
780     mapGstBuffer(buffer, GST_MAP_WRITE);
781
782     priv->buffer = adoptGRef(buffer);
783
784     actualSize = gst_buffer_get_size(buffer);
785     return getGstBufferDataPointer(buffer);
786 }
787 #endif
788
789 void CachedResourceStreamingClient::responseReceived(PlatformMediaResource&, const ResourceResponse& response)
790 {
791     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src.get());
792     WebKitWebSrcPrivate* priv = src->priv;
793     priv->didPassAccessControlCheck = priv->resource->didPassAccessControlCheck();
794
795     GST_DEBUG_OBJECT(src, "Received response: %d", response.httpStatusCode());
796
797     auto responseURI = response.url().string().utf8();
798     if (priv->originalURI != responseURI)
799         priv->redirectedURI = WTFMove(responseURI);
800
801     if (response.httpStatusCode() >= 400) {
802         GST_ELEMENT_ERROR(src, RESOURCE, READ, ("Received %d HTTP error code", response.httpStatusCode()), (nullptr));
803         gst_app_src_end_of_stream(priv->appsrc);
804         webKitWebSrcStop(src);
805         return;
806     }
807
808     if (priv->isSeeking) {
809         GST_DEBUG_OBJECT(src, "Seek in progress, ignoring response");
810         return;
811     }
812
813     if (priv->requestedOffset) {
814         // Seeking ... we expect a 206 == PARTIAL_CONTENT
815         if (response.httpStatusCode() == 200) {
816             // Range request didn't have a ranged response; resetting offset.
817             priv->offset = 0;
818         } else if (response.httpStatusCode() != 206) {
819             // Range request completely failed.
820             GST_ELEMENT_ERROR(src, RESOURCE, READ, ("Received unexpected %d HTTP status code", response.httpStatusCode()), (nullptr));
821             gst_app_src_end_of_stream(priv->appsrc);
822             webKitWebSrcStop(src);
823             return;
824         }
825     }
826
827     long long length = response.expectedContentLength();
828     if (length > 0 && priv->requestedOffset && response.httpStatusCode() == 206)
829         length += priv->requestedOffset;
830
831     priv->size = length >= 0 ? length : 0;
832     priv->seekable = length > 0 && g_ascii_strcasecmp("none", response.httpHeaderField(HTTPHeaderName::AcceptRanges).utf8().data());
833
834     // notify size/duration
835     if (length > 0) {
836         gst_app_src_set_size(priv->appsrc, length);
837     } else
838         gst_app_src_set_size(priv->appsrc, -1);
839
840     // Signal to downstream if this is an Icecast stream.
841     GRefPtr<GstCaps> caps;
842     String metadataIntervalAsString = response.httpHeaderField(HTTPHeaderName::IcyMetaInt);
843     if (!metadataIntervalAsString.isEmpty()) {
844         bool isMetadataIntervalParsed;
845         int metadataInterval = metadataIntervalAsString.toInt(&isMetadataIntervalParsed);
846         if (isMetadataIntervalParsed && metadataInterval > 0)
847             caps = adoptGRef(gst_caps_new_simple("application/x-icy", "metadata-interval", G_TYPE_INT, metadataInterval, nullptr));
848     }
849     gst_app_src_set_caps(priv->appsrc, caps.get());
850
851     // Emit a GST_EVENT_CUSTOM_DOWNSTREAM_STICKY event to let GStreamer know about the HTTP headers sent and received.
852     GstStructure* httpHeaders = gst_structure_new_empty("http-headers");
853     gst_structure_set(httpHeaders, "uri", G_TYPE_STRING, priv->originalURI.data(), nullptr);
854     if (!priv->redirectedURI.isNull())
855         gst_structure_set(httpHeaders, "redirection-uri", G_TYPE_STRING, priv->redirectedURI.data(), nullptr);
856     GUniquePtr<GstStructure> headers(gst_structure_new_empty("request-headers"));
857     for (const auto& header : m_request.httpHeaderFields())
858         gst_structure_set(headers.get(), header.key.utf8().data(), G_TYPE_STRING, header.value.utf8().data(), nullptr);
859     gst_structure_set(httpHeaders, "request-headers", GST_TYPE_STRUCTURE, headers.get(), nullptr);
860     headers.reset(gst_structure_new_empty("response-headers"));
861     for (const auto& header : response.httpHeaderFields())
862         gst_structure_set(headers.get(), header.key.utf8().data(), G_TYPE_STRING, header.value.utf8().data(), nullptr);
863     gst_structure_set(httpHeaders, "response-headers", GST_TYPE_STRUCTURE, headers.get(), nullptr);
864     gst_pad_push_event(GST_BASE_SRC_PAD(priv->appsrc), gst_event_new_custom(GST_EVENT_CUSTOM_DOWNSTREAM_STICKY, httpHeaders));
865 }
866
867 void CachedResourceStreamingClient::dataReceived(PlatformMediaResource&, const char* data, int length)
868 {
869     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src.get());
870     WebKitWebSrcPrivate* priv = src->priv;
871
872     GST_LOG_OBJECT(src, "Have %lld bytes of data", priv->buffer ? static_cast<long long>(gst_buffer_get_size(priv->buffer.get())) : length);
873
874     ASSERT(!priv->buffer || data == getGstBufferDataPointer(priv->buffer.get()));
875
876     if (priv->buffer)
877         unmapGstBuffer(priv->buffer.get());
878
879     if (priv->isSeeking) {
880         GST_DEBUG_OBJECT(src, "Seek in progress, ignoring data");
881         priv->buffer.clear();
882         return;
883     }
884
885     if (priv->offset < priv->requestedOffset) {
886         // Range request failed; seeking manually.
887         if (priv->offset + length <= priv->requestedOffset) {
888             // Discard all the buffers coming before the requested seek position.
889             priv->offset += length;
890             priv->buffer.clear();
891             return;
892         }
893
894         if (priv->offset + length > priv->requestedOffset) {
895             guint64 offset = priv->requestedOffset - priv->offset;
896             data += offset;
897             length -= offset;
898             if (priv->buffer)
899                 gst_buffer_resize(priv->buffer.get(), offset, -1);
900             priv->offset = priv->requestedOffset;
901         }
902
903         priv->requestedOffset = 0;
904     }
905
906     // Ports using the GStreamer backend but not the soup implementation of ResourceHandle
907     // won't be using buffers provided by this client, the buffer is created here in that case.
908     if (!priv->buffer)
909         priv->buffer = adoptGRef(createGstBufferForData(data, length));
910     else
911         gst_buffer_set_size(priv->buffer.get(), static_cast<gssize>(length));
912
913     GST_BUFFER_OFFSET(priv->buffer.get()) = priv->offset;
914     if (priv->requestedOffset == priv->offset)
915         priv->requestedOffset += length;
916     priv->offset += length;
917     // priv->size == 0 if received length on didReceiveResponse < 0.
918     if (priv->size > 0 && priv->offset > priv->size) {
919         GST_DEBUG_OBJECT(src, "Updating internal size from %" G_GUINT64_FORMAT " to %" G_GUINT64_FORMAT, priv->size, priv->offset);
920         gst_app_src_set_size(priv->appsrc, priv->offset);
921         priv->size = priv->offset;
922     }
923     GST_BUFFER_OFFSET_END(priv->buffer.get()) = priv->offset;
924
925     GstFlowReturn ret = gst_app_src_push_buffer(priv->appsrc, priv->buffer.leakRef());
926     if (ret != GST_FLOW_OK && ret != GST_FLOW_EOS)
927         GST_ELEMENT_ERROR(src, CORE, FAILED, (nullptr), (nullptr));
928 }
929
930 void CachedResourceStreamingClient::accessControlCheckFailed(PlatformMediaResource&, const ResourceError& error)
931 {
932     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src.get());
933     GST_ELEMENT_ERROR(src, RESOURCE, READ, ("%s", error.localizedDescription().utf8().data()), (nullptr));
934     gst_app_src_end_of_stream(src->priv->appsrc);
935     webKitWebSrcStop(src);
936 }
937
938 void CachedResourceStreamingClient::loadFailed(PlatformMediaResource&, const ResourceError& error)
939 {
940     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src.get());
941
942     if (!error.isCancellation()) {
943         GST_ERROR_OBJECT(src, "Have failure: %s", error.localizedDescription().utf8().data());
944         GST_ELEMENT_ERROR(src, RESOURCE, FAILED, ("%s", error.localizedDescription().utf8().data()), (nullptr));
945     }
946
947     gst_app_src_end_of_stream(src->priv->appsrc);
948 }
949
950 void CachedResourceStreamingClient::loadFinished(PlatformMediaResource&)
951 {
952     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src.get());
953     WebKitWebSrcPrivate* priv = src->priv;
954
955     GST_DEBUG_OBJECT(src, "Have EOS");
956
957     if (!priv->isSeeking)
958         gst_app_src_end_of_stream(priv->appsrc);
959 }
960
961 #endif // USE(GSTREAMER)
962