14a5ea5e72c3adc3c9b3e1c48fc7e7d5ea2b285a
[WebKit-https.git] / Source / WebCore / platform / graphics / gstreamer / WebKitWebSourceGStreamer.cpp
1 /*
2  *  Copyright (C) 2009, 2010 Sebastian Dröge <sebastian.droege@collabora.co.uk>
3  *  Copyright (C) 2013 Collabora Ltd.
4  *
5  *  This library is free software; you can redistribute it and/or
6  *  modify it under the terms of the GNU Lesser General Public
7  *  License as published by the Free Software Foundation; either
8  *  version 2 of the License, or (at your option) any later version.
9  *
10  *  This library is distributed in the hope that it will be useful,
11  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  *  Lesser General Public License for more details.
14  *
15  *  You should have received a copy of the GNU Lesser General Public
16  *  License along with this library; if not, write to the Free Software
17  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
18  */
19
20 #include "config.h"
21 #include "WebKitWebSourceGStreamer.h"
22
23 #if ENABLE(VIDEO) && USE(GSTREAMER)
24
25 #include "GRefPtrGStreamer.h"
26 #include "GStreamerUtilities.h"
27 #include "GUniquePtrGStreamer.h"
28 #include "HTTPHeaderNames.h"
29 #include "MediaPlayer.h"
30 #include "NotImplemented.h"
31 #include "PlatformMediaResourceLoader.h"
32 #include "ResourceError.h"
33 #include "ResourceHandle.h"
34 #include "ResourceHandleClient.h"
35 #include "ResourceRequest.h"
36 #include "ResourceResponse.h"
37 #include "SharedBuffer.h"
38 #include <gst/app/gstappsrc.h>
39 #include <gst/gst.h>
40 #include <gst/pbutils/missing-plugins.h>
41 #include <wtf/MainThread.h>
42 #include <wtf/Noncopyable.h>
43 #include <wtf/glib/GMutexLocker.h>
44 #include <wtf/glib/GRefPtr.h>
45 #include <wtf/glib/GThreadSafeMainLoopSource.h>
46 #include <wtf/glib/GUniquePtr.h>
47 #include <wtf/text/CString.h>
48
49 using namespace WebCore;
50
51 class StreamingClient {
52     public:
53         StreamingClient(WebKitWebSrc*);
54         virtual ~StreamingClient();
55
56     protected:
57         char* createReadBuffer(size_t requestedSize, size_t& actualSize);
58         void handleResponseReceived(const ResourceResponse&);
59         void handleDataReceived(const char*, int);
60         void handleNotifyFinished();
61
62         GstElement* m_src;
63 };
64
65 class CachedResourceStreamingClient final : public PlatformMediaResourceLoaderClient, public StreamingClient {
66     WTF_MAKE_NONCOPYABLE(CachedResourceStreamingClient);
67     public:
68         CachedResourceStreamingClient(WebKitWebSrc*);
69         virtual ~CachedResourceStreamingClient();
70
71     private:
72         // PlatformMediaResourceLoaderClient virtual methods.
73 #if USE(SOUP)
74         virtual char* getOrCreateReadBuffer(size_t requestedSize, size_t& actualSize) override;
75 #endif
76         virtual void responseReceived(const ResourceResponse&) override;
77         virtual void dataReceived(const char*, int) override;
78         virtual void accessControlCheckFailed(const ResourceError&) override;
79         virtual void loadFailed(const ResourceError&) override;
80         virtual void loadFinished() override;
81 };
82
83 class ResourceHandleStreamingClient : public ResourceHandleClient, public StreamingClient {
84     WTF_MAKE_NONCOPYABLE(ResourceHandleStreamingClient); WTF_MAKE_FAST_ALLOCATED;
85     public:
86         ResourceHandleStreamingClient(WebKitWebSrc*, const ResourceRequest&);
87         virtual ~ResourceHandleStreamingClient();
88
89         // StreamingClient virtual methods.
90         bool loadFailed() const;
91         void setDefersLoading(bool);
92
93     private:
94         // ResourceHandleClient virtual methods.
95         virtual char* getOrCreateReadBuffer(size_t requestedSize, size_t& actualSize);
96         virtual void willSendRequest(ResourceHandle*, ResourceRequest&, const ResourceResponse&);
97         virtual void didReceiveResponse(ResourceHandle*, const ResourceResponse&);
98         virtual void didReceiveData(ResourceHandle*, const char*, unsigned, int);
99         virtual void didReceiveBuffer(ResourceHandle*, PassRefPtr<SharedBuffer>, int encodedLength);
100         virtual void didFinishLoading(ResourceHandle*, double /*finishTime*/);
101         virtual void didFail(ResourceHandle*, const ResourceError&);
102         virtual void wasBlocked(ResourceHandle*);
103         virtual void cannotShowURL(ResourceHandle*);
104
105         RefPtr<ResourceHandle> m_resource;
106 };
107
108 #define WEBKIT_WEB_SRC_GET_PRIVATE(obj) (G_TYPE_INSTANCE_GET_PRIVATE((obj), WEBKIT_TYPE_WEB_SRC, WebKitWebSrcPrivate))
109 struct _WebKitWebSrcPrivate {
110     GstAppSrc* appsrc;
111     GstPad* srcpad;
112     gchar* uri;
113     bool keepAlive;
114     GUniquePtr<GstStructure> extraHeaders;
115     bool compress;
116     GUniquePtr<gchar> httpMethod;
117
118     WebCore::MediaPlayer* player;
119
120     RefPtr<PlatformMediaResourceLoader> loader;
121     ResourceHandleStreamingClient* client;
122
123     bool didPassAccessControlCheck;
124
125     guint64 offset;
126     guint64 size;
127     gboolean seekable;
128     gboolean paused;
129
130     guint64 requestedOffset;
131
132     gboolean pendingStart;
133     GThreadSafeMainLoopSource startSource;
134     GThreadSafeMainLoopSource stopSource;
135     GThreadSafeMainLoopSource needDataSource;
136     GThreadSafeMainLoopSource enoughDataSource;
137     GThreadSafeMainLoopSource seekSource;
138
139     GRefPtr<GstBuffer> buffer;
140 };
141
142 enum {
143     PROP_0,
144     PROP_LOCATION,
145     PROP_KEEP_ALIVE,
146     PROP_EXTRA_HEADERS,
147     PROP_COMPRESS,
148     PROP_METHOD
149 };
150
151 static GstStaticPadTemplate srcTemplate = GST_STATIC_PAD_TEMPLATE("src",
152                                                                   GST_PAD_SRC,
153                                                                   GST_PAD_ALWAYS,
154                                                                   GST_STATIC_CAPS_ANY);
155
156 GST_DEBUG_CATEGORY_STATIC(webkit_web_src_debug);
157 #define GST_CAT_DEFAULT webkit_web_src_debug
158
159 static void webKitWebSrcUriHandlerInit(gpointer gIface, gpointer ifaceData);
160
161 static void webKitWebSrcDispose(GObject*);
162 static void webKitWebSrcFinalize(GObject*);
163 static void webKitWebSrcSetProperty(GObject*, guint propertyID, const GValue*, GParamSpec*);
164 static void webKitWebSrcGetProperty(GObject*, guint propertyID, GValue*, GParamSpec*);
165 static GstStateChangeReturn webKitWebSrcChangeState(GstElement*, GstStateChange);
166
167 static gboolean webKitWebSrcQueryWithParent(GstPad*, GstObject*, GstQuery*);
168
169 static void webKitWebSrcNeedDataCb(GstAppSrc*, guint length, gpointer userData);
170 static void webKitWebSrcEnoughDataCb(GstAppSrc*, gpointer userData);
171 static gboolean webKitWebSrcSeekDataCb(GstAppSrc*, guint64 offset, gpointer userData);
172
173 static GstAppSrcCallbacks appsrcCallbacks = {
174     webKitWebSrcNeedDataCb,
175     webKitWebSrcEnoughDataCb,
176     webKitWebSrcSeekDataCb,
177     { 0 }
178 };
179
180 #define webkit_web_src_parent_class parent_class
181 // We split this out into another macro to avoid a check-webkit-style error.
182 #define WEBKIT_WEB_SRC_CATEGORY_INIT GST_DEBUG_CATEGORY_INIT(webkit_web_src_debug, "webkitwebsrc", 0, "websrc element");
183 G_DEFINE_TYPE_WITH_CODE(WebKitWebSrc, webkit_web_src, GST_TYPE_BIN,
184                          G_IMPLEMENT_INTERFACE(GST_TYPE_URI_HANDLER, webKitWebSrcUriHandlerInit);
185                          WEBKIT_WEB_SRC_CATEGORY_INIT);
186
187 static void webkit_web_src_class_init(WebKitWebSrcClass* klass)
188 {
189     GObjectClass* oklass = G_OBJECT_CLASS(klass);
190     GstElementClass* eklass = GST_ELEMENT_CLASS(klass);
191
192     oklass->dispose = webKitWebSrcDispose;
193     oklass->finalize = webKitWebSrcFinalize;
194     oklass->set_property = webKitWebSrcSetProperty;
195     oklass->get_property = webKitWebSrcGetProperty;
196
197     gst_element_class_add_pad_template(eklass,
198                                        gst_static_pad_template_get(&srcTemplate));
199     gst_element_class_set_metadata(eklass, "WebKit Web source element", "Source", "Handles HTTP/HTTPS uris",
200                                "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
201
202     /* Allows setting the uri using the 'location' property, which is used
203      * for example by gst_element_make_from_uri() */
204     g_object_class_install_property(oklass,
205                                     PROP_LOCATION,
206                                     g_param_spec_string("location",
207                                                         "location",
208                                                         "Location to read from",
209                                                         0,
210                                                         (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
211
212     g_object_class_install_property(oklass, PROP_KEEP_ALIVE,
213         g_param_spec_boolean("keep-alive", "keep-alive", "Use HTTP persistent connections",
214             FALSE, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
215
216     g_object_class_install_property(oklass, PROP_EXTRA_HEADERS,
217         g_param_spec_boxed("extra-headers", "Extra Headers", "Extra headers to append to the HTTP request",
218             GST_TYPE_STRUCTURE, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
219
220     g_object_class_install_property(oklass, PROP_COMPRESS,
221         g_param_spec_boolean("compress", "Compress", "Allow compressed content encodings",
222             FALSE, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
223
224     g_object_class_install_property(oklass, PROP_METHOD,
225         g_param_spec_string("method", "method", "The HTTP method to use (default: GET)",
226             nullptr, static_cast<GParamFlags>(G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
227
228     eklass->change_state = webKitWebSrcChangeState;
229
230     g_type_class_add_private(klass, sizeof(WebKitWebSrcPrivate));
231 }
232
233 static void webkit_web_src_init(WebKitWebSrc* src)
234 {
235     WebKitWebSrcPrivate* priv = WEBKIT_WEB_SRC_GET_PRIVATE(src);
236
237     src->priv = priv;
238     new (priv) WebKitWebSrcPrivate();
239
240     priv->appsrc = GST_APP_SRC(gst_element_factory_make("appsrc", 0));
241     if (!priv->appsrc) {
242         GST_ERROR_OBJECT(src, "Failed to create appsrc");
243         return;
244     }
245
246     gst_bin_add(GST_BIN(src), GST_ELEMENT(priv->appsrc));
247
248
249     GRefPtr<GstPad> targetPad = adoptGRef(gst_element_get_static_pad(GST_ELEMENT(priv->appsrc), "src"));
250     priv->srcpad = webkitGstGhostPadFromStaticTemplate(&srcTemplate, "src", targetPad.get());
251
252     gst_element_add_pad(GST_ELEMENT(src), priv->srcpad);
253
254     GST_OBJECT_FLAG_SET(priv->srcpad, GST_PAD_FLAG_NEED_PARENT);
255     gst_pad_set_query_function(priv->srcpad, webKitWebSrcQueryWithParent);
256
257     gst_app_src_set_callbacks(priv->appsrc, &appsrcCallbacks, src, 0);
258     gst_app_src_set_emit_signals(priv->appsrc, FALSE);
259     gst_app_src_set_stream_type(priv->appsrc, GST_APP_STREAM_TYPE_SEEKABLE);
260
261     // 512k is a abitrary number but we should choose a value
262     // here to not pause/unpause the SoupMessage too often and
263     // to make sure there's always some data available for
264     // GStreamer to handle.
265     gst_app_src_set_max_bytes(priv->appsrc, 512 * 1024);
266
267     // Emit the need-data signal if the queue contains less
268     // than 20% of data. Without this the need-data signal
269     // is emitted when the queue is empty, we then dispatch
270     // the soup message unpausing to the main loop and from
271     // there unpause the soup message. This already takes
272     // quite some time and libsoup even needs some more time
273     // to actually provide data again. If we do all this
274     // already if the queue is 20% empty, it's much more
275     // likely that libsoup already provides new data before
276     // the queue is really empty.
277     // This might need tweaking for ports not using libsoup.
278     g_object_set(priv->appsrc, "min-percent", 20, NULL);
279
280     gst_app_src_set_caps(priv->appsrc, 0);
281     gst_app_src_set_size(priv->appsrc, -1);
282 }
283
284 static void webKitWebSrcDispose(GObject* object)
285 {
286     WebKitWebSrc* src = WEBKIT_WEB_SRC(object);
287     WebKitWebSrcPrivate* priv = src->priv;
288
289     priv->player = 0;
290
291     GST_CALL_PARENT(G_OBJECT_CLASS, dispose, (object));
292 }
293
294 static void webKitWebSrcFinalize(GObject* object)
295 {
296     WebKitWebSrc* src = WEBKIT_WEB_SRC(object);
297     WebKitWebSrcPrivate* priv = src->priv;
298
299     g_free(priv->uri);
300     priv->~WebKitWebSrcPrivate();
301
302     GST_CALL_PARENT(G_OBJECT_CLASS, finalize, (object));
303 }
304
305 static void webKitWebSrcSetProperty(GObject* object, guint propID, const GValue* value, GParamSpec* pspec)
306 {
307     WebKitWebSrc* src = WEBKIT_WEB_SRC(object);
308
309     switch (propID) {
310     case PROP_LOCATION:
311         gst_uri_handler_set_uri(reinterpret_cast<GstURIHandler*>(src), g_value_get_string(value), 0);
312         break;
313     case PROP_KEEP_ALIVE:
314         src->priv->keepAlive = g_value_get_boolean(value);
315         break;
316     case PROP_EXTRA_HEADERS: {
317         const GstStructure* s = gst_value_get_structure(value);
318         src->priv->extraHeaders.reset(s ? gst_structure_copy(s) : nullptr);
319         break;
320     }
321     case PROP_COMPRESS:
322         src->priv->compress = g_value_get_boolean(value);
323         break;
324     case PROP_METHOD:
325         src->priv->httpMethod.reset(g_value_dup_string(value));
326         break;
327     default:
328         G_OBJECT_WARN_INVALID_PROPERTY_ID(object, propID, pspec);
329         break;
330     }
331 }
332
333 static void webKitWebSrcGetProperty(GObject* object, guint propID, GValue* value, GParamSpec* pspec)
334 {
335     WebKitWebSrc* src = WEBKIT_WEB_SRC(object);
336     WebKitWebSrcPrivate* priv = src->priv;
337
338     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
339     switch (propID) {
340     case PROP_LOCATION:
341         g_value_set_string(value, priv->uri);
342         break;
343     case PROP_KEEP_ALIVE:
344         g_value_set_boolean(value, priv->keepAlive);
345         break;
346     case PROP_EXTRA_HEADERS:
347         gst_value_set_structure(value, priv->extraHeaders.get());
348         break;
349     case PROP_COMPRESS:
350         g_value_set_boolean(value, priv->compress);
351         break;
352     case PROP_METHOD:
353         g_value_set_string(value, priv->httpMethod.get());
354         break;
355     default:
356         G_OBJECT_WARN_INVALID_PROPERTY_ID(object, propID, pspec);
357         break;
358     }
359 }
360
361 static void removeTimeoutSources(WebKitWebSrc* src)
362 {
363     WebKitWebSrcPrivate* priv = src->priv;
364
365     if (!priv->pendingStart)
366         priv->startSource.cancel();
367     priv->needDataSource.cancel();
368     priv->enoughDataSource.cancel();
369     priv->seekSource.cancel();
370 }
371
372 static void webKitWebSrcStop(WebKitWebSrc* src)
373 {
374     WebKitWebSrcPrivate* priv = src->priv;
375
376     ASSERT(isMainThread());
377
378     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
379
380     bool seeking = priv->seekSource.isActive();
381
382     removeTimeoutSources(src);
383
384     if (priv->client) {
385         delete priv->client;
386         priv->client = 0;
387     }
388
389     if (!priv->keepAlive)
390         priv->loader = nullptr;
391
392     if (priv->buffer) {
393         unmapGstBuffer(priv->buffer.get());
394         priv->buffer.clear();
395     }
396
397     priv->paused = FALSE;
398
399     priv->offset = 0;
400     priv->seekable = FALSE;
401
402     if (!seeking) {
403         priv->size = 0;
404         priv->requestedOffset = 0;
405         priv->player = 0;
406     }
407
408     locker.unlock();
409
410     if (priv->appsrc) {
411         gst_app_src_set_caps(priv->appsrc, 0);
412         if (!seeking)
413             gst_app_src_set_size(priv->appsrc, -1);
414     }
415
416     GST_DEBUG_OBJECT(src, "Stopped request");
417 }
418
419 static bool webKitWebSrcSetExtraHeader(GQuark fieldId, const GValue* value, gpointer userData)
420 {
421     GUniquePtr<gchar> fieldContent;
422
423     if (G_VALUE_HOLDS_STRING(value))
424         fieldContent.reset(g_value_dup_string(value));
425     else {
426         GValue dest = G_VALUE_INIT;
427
428         g_value_init(&dest, G_TYPE_STRING);
429         if (g_value_transform(value, &dest))
430             fieldContent.reset(g_value_dup_string(&dest));
431     }
432
433     const gchar* fieldName = g_quark_to_string(fieldId);
434     if (!fieldContent.get()) {
435         GST_ERROR("extra-headers field '%s' contains no value or can't be converted to a string", fieldName);
436         return false;
437     }
438
439     GST_DEBUG("Appending extra header: \"%s: %s\"", fieldName, fieldContent.get());
440     ResourceRequest* request = static_cast<ResourceRequest*>(userData);
441     request->setHTTPHeaderField(fieldName, fieldContent.get());
442     return true;
443 }
444
445 static gboolean webKitWebSrcProcessExtraHeaders(GQuark fieldId, const GValue* value, gpointer userData)
446 {
447     if (G_VALUE_TYPE(value) == GST_TYPE_ARRAY) {
448         unsigned size = gst_value_array_get_size(value);
449
450         for (unsigned i = 0; i < size; i++) {
451             if (!webKitWebSrcSetExtraHeader(fieldId, gst_value_array_get_value(value, i), userData))
452                 return FALSE;
453         }
454         return TRUE;
455     }
456
457     if (G_VALUE_TYPE(value) == GST_TYPE_LIST) {
458         unsigned size = gst_value_list_get_size(value);
459
460         for (unsigned i = 0; i < size; i++) {
461             if (!webKitWebSrcSetExtraHeader(fieldId, gst_value_list_get_value(value, i), userData))
462                 return FALSE;
463         }
464         return TRUE;
465     }
466
467     return webKitWebSrcSetExtraHeader(fieldId, value, userData);
468 }
469
470 static void webKitWebSrcStart(WebKitWebSrc* src)
471 {
472     WebKitWebSrcPrivate* priv = src->priv;
473
474     ASSERT(isMainThread());
475
476     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
477
478     priv->pendingStart = FALSE;
479     priv->didPassAccessControlCheck = false;
480
481     if (!priv->uri) {
482         GST_ERROR_OBJECT(src, "No URI provided");
483         locker.unlock();
484         webKitWebSrcStop(src);
485         return;
486     }
487
488     ASSERT(!priv->client);
489
490     GST_DEBUG_OBJECT(src, "Fetching %s", priv->uri);
491     URL url = URL(URL(), priv->uri);
492
493     ResourceRequest request(url);
494     request.setAllowCookies(true);
495     request.setFirstPartyForCookies(url);
496
497     priv->size = 0;
498
499     if (priv->player)
500         request.setHTTPReferrer(priv->player->referrer());
501
502     if (priv->httpMethod.get())
503         request.setHTTPMethod(priv->httpMethod.get());
504
505 #if USE(SOUP)
506     // By default, HTTP Accept-Encoding is disabled here as we don't
507     // want the received response to be encoded in any way as we need
508     // to rely on the proper size of the returned data on
509     // didReceiveResponse.
510     // If Accept-Encoding is used, the server may send the data in encoded format and
511     // request.expectedContentLength() will have the "wrong" size (the size of the
512     // compressed data), even though the data received in didReceiveData is uncompressed.
513     // This is however useful to enable for adaptive streaming
514     // scenarios, when the demuxer needs to download playlists.
515     if (!priv->compress)
516         request.setAcceptEncoding(false);
517 #endif
518
519     // Let Apple web servers know we want to access their nice movie trailers.
520     if (!g_ascii_strcasecmp("movies.apple.com", url.host().utf8().data())
521         || !g_ascii_strcasecmp("trailers.apple.com", url.host().utf8().data()))
522         request.setHTTPUserAgent("Quicktime/7.6.6");
523
524     if (priv->requestedOffset) {
525         GUniquePtr<gchar> val(g_strdup_printf("bytes=%" G_GUINT64_FORMAT "-", priv->requestedOffset));
526         request.setHTTPHeaderField(HTTPHeaderName::Range, val.get());
527     }
528     priv->offset = priv->requestedOffset;
529
530     if (!priv->keepAlive) {
531         GST_DEBUG_OBJECT(src, "Persistent connection support disabled");
532         request.setHTTPHeaderField(HTTPHeaderName::Connection, "close");
533     }
534
535     if (priv->extraHeaders)
536         gst_structure_foreach(priv->extraHeaders.get(), webKitWebSrcProcessExtraHeaders, &request);
537
538     // We always request Icecast/Shoutcast metadata, just in case ...
539     request.setHTTPHeaderField(HTTPHeaderName::IcyMetadata, "1");
540
541     bool loadFailed = true;
542     if (priv->player && !priv->loader)
543         priv->loader = priv->player->createResourceLoader(std::make_unique<CachedResourceStreamingClient>(src));
544
545     if (priv->loader) {
546         PlatformMediaResourceLoader::LoadOptions loadOptions = 0;
547         if (request.url().protocolIs("blob"))
548             loadOptions |= PlatformMediaResourceLoader::LoadOption::BufferData;
549         loadFailed = !priv->loader->start(request, loadOptions);
550     } else {
551         priv->client = new ResourceHandleStreamingClient(src, request);
552         loadFailed = priv->client->loadFailed();
553     }
554
555     if (loadFailed) {
556         GST_ERROR_OBJECT(src, "Failed to setup streaming client");
557         if (priv->client) {
558             delete priv->client;
559             priv->client = nullptr;
560         }
561         priv->loader = nullptr;
562         locker.unlock();
563         webKitWebSrcStop(src);
564         return;
565     }
566     GST_DEBUG_OBJECT(src, "Started request");
567 }
568
569 static GstStateChangeReturn webKitWebSrcChangeState(GstElement* element, GstStateChange transition)
570 {
571     GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
572     WebKitWebSrc* src = WEBKIT_WEB_SRC(element);
573     WebKitWebSrcPrivate* priv = src->priv;
574
575     switch (transition) {
576     case GST_STATE_CHANGE_NULL_TO_READY:
577         if (!priv->appsrc) {
578             gst_element_post_message(element,
579                                      gst_missing_element_message_new(element, "appsrc"));
580             GST_ELEMENT_ERROR(src, CORE, MISSING_PLUGIN, (0), ("no appsrc"));
581             return GST_STATE_CHANGE_FAILURE;
582         }
583         break;
584     default:
585         break;
586     }
587
588     ret = GST_ELEMENT_CLASS(parent_class)->change_state(element, transition);
589     if (G_UNLIKELY(ret == GST_STATE_CHANGE_FAILURE)) {
590         GST_DEBUG_OBJECT(src, "State change failed");
591         return ret;
592     }
593
594     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
595     switch (transition) {
596     case GST_STATE_CHANGE_READY_TO_PAUSED:
597     {
598         GST_DEBUG_OBJECT(src, "READY->PAUSED");
599         priv->pendingStart = TRUE;
600         GRefPtr<WebKitWebSrc> protector(src);
601         priv->startSource.schedule("[WebKit] webKitWebSrcStart",
602             std::function<void()>([protector] { webKitWebSrcStart(protector.get()); }));
603         break;
604     }
605     case GST_STATE_CHANGE_PAUSED_TO_READY:
606     {
607         GST_DEBUG_OBJECT(src, "PAUSED->READY");
608         priv->pendingStart = FALSE;
609         // cancel pending sources
610         removeTimeoutSources(src);
611         GRefPtr<WebKitWebSrc> protector(src);
612         priv->stopSource.schedule("[WebKit] webKitWebSrcStop",
613             std::function<void()>([protector] { webKitWebSrcStop(protector.get()); }));
614         break;
615     }
616     default:
617         break;
618     }
619
620     return ret;
621 }
622
623 static gboolean webKitWebSrcQueryWithParent(GstPad* pad, GstObject* parent, GstQuery* query)
624 {
625     WebKitWebSrc* src = WEBKIT_WEB_SRC(GST_ELEMENT(parent));
626     gboolean result = FALSE;
627
628     switch (GST_QUERY_TYPE(query)) {
629     case GST_QUERY_DURATION: {
630         GstFormat format;
631
632         gst_query_parse_duration(query, &format, NULL);
633
634         GST_DEBUG_OBJECT(src, "duration query in format %s", gst_format_get_name(format));
635         WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
636         if (format == GST_FORMAT_BYTES && src->priv->size > 0) {
637             gst_query_set_duration(query, format, src->priv->size);
638             result = TRUE;
639         }
640         break;
641     }
642     case GST_QUERY_URI: {
643         WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
644         gst_query_set_uri(query, src->priv->uri);
645         result = TRUE;
646         break;
647     }
648 #if GST_CHECK_VERSION(1, 2, 0)
649     case GST_QUERY_SCHEDULING: {
650         GstSchedulingFlags flags;
651         int minSize, maxSize, align;
652
653         gst_query_parse_scheduling(query, &flags, &minSize, &maxSize, &align);
654         gst_query_set_scheduling(query, static_cast<GstSchedulingFlags>(flags | GST_SCHEDULING_FLAG_BANDWIDTH_LIMITED), minSize, maxSize, align);
655         result = TRUE;
656         break;
657     }
658 #endif
659     default: {
660         GRefPtr<GstPad> target = adoptGRef(gst_ghost_pad_get_target(GST_GHOST_PAD_CAST(pad)));
661
662         // Forward the query to the proxy target pad.
663         if (target)
664             result = gst_pad_query(target.get(), query);
665         break;
666     }
667     }
668
669     return result;
670 }
671
672 static bool urlHasSupportedProtocol(const URL& url)
673 {
674     return url.isValid() && (url.protocolIsInHTTPFamily() || url.protocolIs("blob"));
675 }
676
677 // uri handler interface
678
679 static GstURIType webKitWebSrcUriGetType(GType)
680 {
681     return GST_URI_SRC;
682 }
683
684 const gchar* const* webKitWebSrcGetProtocols(GType)
685 {
686     static const char* protocols[] = {"http", "https", "blob", 0 };
687     return protocols;
688 }
689
690 static gchar* webKitWebSrcGetUri(GstURIHandler* handler)
691 {
692     WebKitWebSrc* src = WEBKIT_WEB_SRC(handler);
693     gchar* ret;
694
695     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
696     ret = g_strdup(src->priv->uri);
697     return ret;
698 }
699
700 static gboolean webKitWebSrcSetUri(GstURIHandler* handler, const gchar* uri, GError** error)
701 {
702     WebKitWebSrc* src = WEBKIT_WEB_SRC(handler);
703     WebKitWebSrcPrivate* priv = src->priv;
704
705     if (GST_STATE(src) >= GST_STATE_PAUSED) {
706         GST_ERROR_OBJECT(src, "URI can only be set in states < PAUSED");
707         return FALSE;
708     }
709
710     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
711
712     g_free(priv->uri);
713     priv->uri = 0;
714
715     if (!uri)
716         return TRUE;
717
718     URL url(URL(), uri);
719     if (!urlHasSupportedProtocol(url)) {
720         g_set_error(error, GST_URI_ERROR, GST_URI_ERROR_BAD_URI, "Invalid URI '%s'", uri);
721         return FALSE;
722     }
723
724     priv->uri = g_strdup(url.string().utf8().data());
725     return TRUE;
726 }
727
728 static void webKitWebSrcUriHandlerInit(gpointer gIface, gpointer)
729 {
730     GstURIHandlerInterface* iface = (GstURIHandlerInterface *) gIface;
731
732     iface->get_type = webKitWebSrcUriGetType;
733     iface->get_protocols = webKitWebSrcGetProtocols;
734     iface->get_uri = webKitWebSrcGetUri;
735     iface->set_uri = webKitWebSrcSetUri;
736 }
737
738 // appsrc callbacks
739
740 static void webKitWebSrcNeedDataMainCb(WebKitWebSrc* src)
741 {
742     WebKitWebSrcPrivate* priv = src->priv;
743
744     ASSERT(isMainThread());
745
746     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
747     priv->paused = FALSE;
748     locker.unlock();
749
750     if (priv->client)
751         priv->client->setDefersLoading(false);
752     if (priv->loader)
753         priv->loader->setDefersLoading(false);
754 }
755
756 static void webKitWebSrcNeedDataCb(GstAppSrc*, guint length, gpointer userData)
757 {
758     WebKitWebSrc* src = WEBKIT_WEB_SRC(userData);
759     WebKitWebSrcPrivate* priv = src->priv;
760
761     GST_DEBUG_OBJECT(src, "Need more data: %u", length);
762
763     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
764     if (priv->needDataSource.isScheduled() || !priv->paused)
765         return;
766
767     GRefPtr<WebKitWebSrc> protector(src);
768     priv->needDataSource.schedule("[WebKit] webKitWebSrcNeedDataMainCb",
769         std::function<void()>([protector] { webKitWebSrcNeedDataMainCb(protector.get()); }));
770 }
771
772 static void webKitWebSrcEnoughDataMainCb(WebKitWebSrc* src)
773 {
774     WebKitWebSrcPrivate* priv = src->priv;
775
776     ASSERT(isMainThread());
777
778     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
779     priv->paused = TRUE;
780     locker.unlock();
781
782     if (priv->client)
783         priv->client->setDefersLoading(true);
784     if (priv->loader)
785         priv->loader->setDefersLoading(true);
786 }
787
788 static void webKitWebSrcEnoughDataCb(GstAppSrc*, gpointer userData)
789 {
790     WebKitWebSrc* src = WEBKIT_WEB_SRC(userData);
791     WebKitWebSrcPrivate* priv = src->priv;
792
793     GST_DEBUG_OBJECT(src, "Have enough data");
794
795     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
796     if (priv->enoughDataSource.isScheduled() || priv->paused)
797         return;
798
799     GRefPtr<WebKitWebSrc> protector(src);
800     priv->enoughDataSource.schedule("[WebKit] webKitWebSrcEnoughDataMainCb",
801         std::function<void()>([protector] { webKitWebSrcEnoughDataMainCb(protector.get()); }));
802 }
803
804 static void webKitWebSrcSeekMainCb(WebKitWebSrc* src)
805 {
806     ASSERT(isMainThread());
807
808     webKitWebSrcStop(src);
809     webKitWebSrcStart(src);
810 }
811
812 static gboolean webKitWebSrcSeekDataCb(GstAppSrc*, guint64 offset, gpointer userData)
813 {
814     WebKitWebSrc* src = WEBKIT_WEB_SRC(userData);
815     WebKitWebSrcPrivate* priv = src->priv;
816
817     GST_DEBUG_OBJECT(src, "Seeking to offset: %" G_GUINT64_FORMAT, offset);
818     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
819     if (offset == priv->offset && priv->requestedOffset == priv->offset)
820         return TRUE;
821
822     if (!priv->seekable)
823         return FALSE;
824
825     GST_DEBUG_OBJECT(src, "Doing range-request seek");
826     priv->requestedOffset = offset;
827
828     GRefPtr<WebKitWebSrc> protector(src);
829     priv->seekSource.schedule("[WebKit] webKitWebSrcSeekMainCb",
830         std::function<void()>([protector] { webKitWebSrcSeekMainCb(WEBKIT_WEB_SRC(protector.get())); }));
831     return TRUE;
832 }
833
834 void webKitWebSrcSetMediaPlayer(WebKitWebSrc* src, WebCore::MediaPlayer* player)
835 {
836     ASSERT(player);
837     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
838     src->priv->player = player;
839 }
840
841 bool webKitSrcPassedCORSAccessCheck(WebKitWebSrc* src)
842 {
843     return src->priv->didPassAccessControlCheck;
844 }
845
846 StreamingClient::StreamingClient(WebKitWebSrc* src)
847     : m_src(static_cast<GstElement*>(gst_object_ref(src)))
848 {
849 }
850
851 StreamingClient::~StreamingClient()
852 {
853     gst_object_unref(m_src);
854 }
855
856 char* StreamingClient::createReadBuffer(size_t requestedSize, size_t& actualSize)
857 {
858     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
859     WebKitWebSrcPrivate* priv = src->priv;
860
861     ASSERT(!priv->buffer);
862
863     GstBuffer* buffer = gst_buffer_new_and_alloc(requestedSize);
864
865     mapGstBuffer(buffer);
866
867     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
868     priv->buffer = adoptGRef(buffer);
869     locker.unlock();
870
871     actualSize = gst_buffer_get_size(buffer);
872     return getGstBufferDataPointer(buffer);
873 }
874
875 void StreamingClient::handleResponseReceived(const ResourceResponse& response)
876 {
877     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
878     WebKitWebSrcPrivate* priv = src->priv;
879
880     GST_DEBUG_OBJECT(src, "Received response: %d", response.httpStatusCode());
881
882     if (response.httpStatusCode() >= 400) {
883         GST_ELEMENT_ERROR(src, RESOURCE, READ, ("Received %d HTTP error code", response.httpStatusCode()), (nullptr));
884         gst_app_src_end_of_stream(priv->appsrc);
885         webKitWebSrcStop(src);
886         return;
887     }
888
889     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
890
891     if (priv->seekSource.isActive()) {
892         GST_DEBUG_OBJECT(src, "Seek in progress, ignoring response");
893         return;
894     }
895
896     if (priv->requestedOffset) {
897         // Seeking ... we expect a 206 == PARTIAL_CONTENT
898         if (response.httpStatusCode() == 200) {
899             // Range request didn't have a ranged response; resetting offset.
900             priv->offset = 0;
901         } else if (response.httpStatusCode() != 206) {
902             // Range request completely failed.
903             locker.unlock();
904             GST_ELEMENT_ERROR(src, RESOURCE, READ, ("Received unexpected %d HTTP status code", response.httpStatusCode()), (nullptr));
905             gst_app_src_end_of_stream(priv->appsrc);
906             webKitWebSrcStop(src);
907             return;
908         }
909     }
910
911     long long length = response.expectedContentLength();
912     if (length > 0 && priv->requestedOffset && response.httpStatusCode() == 206)
913         length += priv->requestedOffset;
914
915     priv->size = length >= 0 ? length : 0;
916     priv->seekable = length > 0 && g_ascii_strcasecmp("none", response.httpHeaderField(HTTPHeaderName::AcceptRanges).utf8().data());
917
918     locker.unlock();
919
920     // notify size/duration
921     if (length > 0) {
922         gst_app_src_set_size(priv->appsrc, length);
923     } else
924         gst_app_src_set_size(priv->appsrc, -1);
925
926     gst_app_src_set_caps(priv->appsrc, 0);
927 }
928
929 void StreamingClient::handleDataReceived(const char* data, int length)
930 {
931     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
932     WebKitWebSrcPrivate* priv = src->priv;
933
934     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
935
936     GST_LOG_OBJECT(src, "Have %lld bytes of data", priv->buffer ? static_cast<long long>(gst_buffer_get_size(priv->buffer.get())) : length);
937
938     ASSERT(!priv->buffer || data == getGstBufferDataPointer(priv->buffer.get()));
939
940     if (priv->buffer)
941         unmapGstBuffer(priv->buffer.get());
942
943     if (priv->seekSource.isActive()) {
944         GST_DEBUG_OBJECT(src, "Seek in progress, ignoring data");
945         priv->buffer.clear();
946         return;
947     }
948
949     if (priv->offset < priv->requestedOffset) {
950         // Range request failed; seeking manually.
951         if (priv->offset + length <= priv->requestedOffset) {
952             // Discard all the buffers coming before the requested seek position.
953             priv->offset += length;
954             priv->buffer.clear();
955             return;
956         }
957
958         if (priv->offset + length > priv->requestedOffset) {
959             guint64 offset = priv->requestedOffset - priv->offset;
960             data += offset;
961             length -= offset;
962             if (priv->buffer)
963                 gst_buffer_resize(priv->buffer.get(), offset, -1);
964             priv->offset = priv->requestedOffset;
965         }
966
967         priv->requestedOffset = 0;
968     }
969
970     // Ports using the GStreamer backend but not the soup implementation of ResourceHandle
971     // won't be using buffers provided by this client, the buffer is created here in that case.
972     if (!priv->buffer)
973         priv->buffer = adoptGRef(createGstBufferForData(data, length));
974     else
975         gst_buffer_set_size(priv->buffer.get(), static_cast<gssize>(length));
976
977     GST_BUFFER_OFFSET(priv->buffer.get()) = priv->offset;
978     if (priv->requestedOffset == priv->offset)
979         priv->requestedOffset += length;
980     priv->offset += length;
981     // priv->size == 0 if received length on didReceiveResponse < 0.
982     if (priv->size > 0 && priv->offset > priv->size) {
983         GST_DEBUG_OBJECT(src, "Updating internal size from %" G_GUINT64_FORMAT " to %" G_GUINT64_FORMAT, priv->size, priv->offset);
984         gst_app_src_set_size(priv->appsrc, priv->offset);
985         priv->size = priv->offset;
986     }
987     GST_BUFFER_OFFSET_END(priv->buffer.get()) = priv->offset;
988
989     locker.unlock();
990
991     GstFlowReturn ret = gst_app_src_push_buffer(priv->appsrc, priv->buffer.leakRef());
992     if (ret != GST_FLOW_OK && ret != GST_FLOW_EOS)
993         GST_ELEMENT_ERROR(src, CORE, FAILED, (0), (0));
994 }
995
996 void StreamingClient::handleNotifyFinished()
997 {
998     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
999     WebKitWebSrcPrivate* priv = src->priv;
1000
1001     GST_DEBUG_OBJECT(src, "Have EOS");
1002
1003     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
1004     if (!priv->seekSource.isActive()) {
1005         locker.unlock();
1006         gst_app_src_end_of_stream(priv->appsrc);
1007     }
1008 }
1009
1010 CachedResourceStreamingClient::CachedResourceStreamingClient(WebKitWebSrc* src)
1011     : StreamingClient(src)
1012 {
1013 }
1014
1015 CachedResourceStreamingClient::~CachedResourceStreamingClient()
1016 {
1017 }
1018
1019 #if USE(SOUP)
1020 char* CachedResourceStreamingClient::getOrCreateReadBuffer(size_t requestedSize, size_t& actualSize)
1021 {
1022     return createReadBuffer(requestedSize, actualSize);
1023 }
1024 #endif
1025
1026 void CachedResourceStreamingClient::responseReceived(const ResourceResponse& response)
1027 {
1028     WebKitWebSrcPrivate* priv = WEBKIT_WEB_SRC(m_src)->priv;
1029     priv->didPassAccessControlCheck = priv->loader->didPassAccessControlCheck();
1030     handleResponseReceived(response);
1031 }
1032
1033 void CachedResourceStreamingClient::dataReceived(const char* data, int length)
1034 {
1035     handleDataReceived(data, length);
1036 }
1037
1038 void CachedResourceStreamingClient::accessControlCheckFailed(const ResourceError& error)
1039 {
1040     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
1041     GST_ELEMENT_ERROR(src, RESOURCE, READ, ("%s", error.localizedDescription().utf8().data()), (nullptr));
1042     gst_app_src_end_of_stream(src->priv->appsrc);
1043     webKitWebSrcStop(src);
1044 }
1045
1046 void CachedResourceStreamingClient::loadFailed(const ResourceError& error)
1047 {
1048     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
1049
1050     if (!error.isCancellation()) {
1051         GST_ERROR_OBJECT(src, "Have failure: %s", error.localizedDescription().utf8().data());
1052         GST_ELEMENT_ERROR(src, RESOURCE, FAILED, ("%s", error.localizedDescription().utf8().data()), (nullptr));
1053     }
1054
1055     gst_app_src_end_of_stream(src->priv->appsrc);
1056 }
1057
1058 void CachedResourceStreamingClient::loadFinished()
1059 {
1060     handleNotifyFinished();
1061 }
1062
1063 ResourceHandleStreamingClient::ResourceHandleStreamingClient(WebKitWebSrc* src, const ResourceRequest& request)
1064     : StreamingClient(src)
1065 {
1066     m_resource = ResourceHandle::create(0 /*context*/, request, this, false, false);
1067 }
1068
1069 ResourceHandleStreamingClient::~ResourceHandleStreamingClient()
1070 {
1071     if (m_resource) {
1072         m_resource->cancel();
1073         m_resource = nullptr;
1074     }
1075 }
1076
1077 bool ResourceHandleStreamingClient::loadFailed() const
1078 {
1079     return !m_resource;
1080 }
1081
1082 void ResourceHandleStreamingClient::setDefersLoading(bool defers)
1083 {
1084     if (m_resource)
1085         m_resource->setDefersLoading(defers);
1086 }
1087
1088 char* ResourceHandleStreamingClient::getOrCreateReadBuffer(size_t requestedSize, size_t& actualSize)
1089 {
1090     return createReadBuffer(requestedSize, actualSize);
1091 }
1092
1093 void ResourceHandleStreamingClient::willSendRequest(ResourceHandle*, ResourceRequest&, const ResourceResponse&)
1094 {
1095 }
1096
1097 void ResourceHandleStreamingClient::didReceiveResponse(ResourceHandle*, const ResourceResponse& response)
1098 {
1099     handleResponseReceived(response);
1100 }
1101
1102 void ResourceHandleStreamingClient::didReceiveData(ResourceHandle*, const char* /* data */, unsigned /* length */, int)
1103 {
1104     ASSERT_NOT_REACHED();
1105 }
1106
1107 void ResourceHandleStreamingClient::didReceiveBuffer(ResourceHandle*, PassRefPtr<SharedBuffer> buffer, int /* encodedLength */)
1108 {
1109     // This pattern is suggested by SharedBuffer.h.
1110     const char* segment;
1111     unsigned position = 0;
1112     while (unsigned length = buffer->getSomeData(segment, position)) {
1113         handleDataReceived(segment, length);
1114         position += length;
1115     }
1116 }
1117
1118 void ResourceHandleStreamingClient::didFinishLoading(ResourceHandle*, double)
1119 {
1120     handleNotifyFinished();
1121 }
1122
1123 void ResourceHandleStreamingClient::didFail(ResourceHandle*, const ResourceError& error)
1124 {
1125     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
1126
1127     GST_ERROR_OBJECT(src, "Have failure: %s", error.localizedDescription().utf8().data());
1128     GST_ELEMENT_ERROR(src, RESOURCE, FAILED, ("%s", error.localizedDescription().utf8().data()), (0));
1129     gst_app_src_end_of_stream(src->priv->appsrc);
1130 }
1131
1132 void ResourceHandleStreamingClient::wasBlocked(ResourceHandle*)
1133 {
1134     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
1135     GUniquePtr<gchar> uri;
1136
1137     GST_ERROR_OBJECT(src, "Request was blocked");
1138
1139     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
1140     uri.reset(g_strdup(src->priv->uri));
1141     locker.unlock();
1142
1143     GST_ELEMENT_ERROR(src, RESOURCE, OPEN_READ, ("Access to \"%s\" was blocked", uri.get()), (0));
1144 }
1145
1146 void ResourceHandleStreamingClient::cannotShowURL(ResourceHandle*)
1147 {
1148     WebKitWebSrc* src = WEBKIT_WEB_SRC(m_src);
1149     GUniquePtr<gchar> uri;
1150
1151     GST_ERROR_OBJECT(src, "Cannot show URL");
1152
1153     WTF::GMutexLocker<GMutex> locker(*GST_OBJECT_GET_LOCK(src));
1154     uri.reset(g_strdup(src->priv->uri));
1155     locker.unlock();
1156
1157     GST_ELEMENT_ERROR(src, RESOURCE, OPEN_READ, ("Can't show \"%s\"", uri.get()), (0));
1158 }
1159
1160 #endif // USE(GSTREAMER)
1161