31444e0185af99e447b9bba2765fd990a3c4635f
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27
28 #if ENABLE(VIDEO)
29
30 #include "HTMLMediaElement.h"
31
32 #include "ApplicationCacheHost.h"
33 #include "ApplicationCacheResource.h"
34 #include "Attribute.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSValueKeywords.h"
37 #include "ChromeClient.h"
38 #include "ClientRect.h"
39 #include "ClientRectList.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "ExceptionCodePlaceholder.h"
51 #include "FrameLoader.h"
52 #include "FrameLoaderClient.h"
53 #include "FrameView.h"
54 #include "HTMLSourceElement.h"
55 #include "HTMLVideoElement.h"
56 #include "JSDOMError.h"
57 #include "JSHTMLMediaElement.h"
58 #include "Language.h"
59 #include "Logging.h"
60 #include "MIMETypeRegistry.h"
61 #include "MainFrame.h"
62 #include "MediaController.h"
63 #include "MediaControls.h"
64 #include "MediaDocument.h"
65 #include "MediaError.h"
66 #include "MediaFragmentURIParser.h"
67 #include "MediaKeyEvent.h"
68 #include "MediaList.h"
69 #include "MediaPlayer.h"
70 #include "MediaQueryEvaluator.h"
71 #include "MediaResourceLoader.h"
72 #include "MemoryPressureHandler.h"
73 #include "NetworkingContext.h"
74 #include "NoEventDispatchAssertion.h"
75 #include "Page.h"
76 #include "PageGroup.h"
77 #include "PageThrottler.h"
78 #include "PlatformMediaSessionManager.h"
79 #include "ProgressTracker.h"
80 #include "RenderLayerCompositor.h"
81 #include "RenderVideo.h"
82 #include "RenderView.h"
83 #include "ResourceLoadInfo.h"
84 #include "ScriptController.h"
85 #include "ScriptSourceCode.h"
86 #include "SecurityPolicy.h"
87 #include "SessionID.h"
88 #include "Settings.h"
89 #include "ShadowRoot.h"
90 #include "TimeRanges.h"
91 #include "UserContentController.h"
92 #include "UserGestureIndicator.h"
93 #include <limits>
94 #include <runtime/Uint8Array.h>
95 #include <wtf/CurrentTime.h>
96 #include <wtf/MathExtras.h>
97 #include <wtf/Ref.h>
98 #include <wtf/text/CString.h>
99
100 #if ENABLE(VIDEO_TRACK)
101 #include "AudioTrackList.h"
102 #include "HTMLTrackElement.h"
103 #include "InbandGenericTextTrack.h"
104 #include "InbandTextTrackPrivate.h"
105 #include "InbandWebVTTTextTrack.h"
106 #include "RuntimeEnabledFeatures.h"
107 #include "TextTrackCueList.h"
108 #include "TextTrackList.h"
109 #include "VideoTrackList.h"
110 #endif
111
112 #if ENABLE(WEB_AUDIO)
113 #include "AudioSourceProvider.h"
114 #include "MediaElementAudioSourceNode.h"
115 #endif
116
117 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
118 #include "WebVideoFullscreenInterface.h"
119 #endif
120
121 #if PLATFORM(IOS)
122 #include "RuntimeApplicationChecks.h"
123 #include "WebVideoFullscreenInterfaceAVKit.h"
124 #endif
125
126 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
127 #include "WebKitPlaybackTargetAvailabilityEvent.h"
128 #endif
129
130 #if ENABLE(MEDIA_SESSION)
131 #include "MediaSession.h"
132 #endif
133
134 #if ENABLE(MEDIA_SOURCE)
135 #include "DOMWindow.h"
136 #include "MediaSource.h"
137 #include "Performance.h"
138 #include "VideoPlaybackQuality.h"
139 #endif
140
141 #if ENABLE(MEDIA_STREAM)
142 #include "DOMURL.h"
143 #include "MediaStream.h"
144 #include "MediaStreamRegistry.h"
145 #endif
146
147 #if ENABLE(ENCRYPTED_MEDIA_V2)
148 #include "MediaKeyNeededEvent.h"
149 #include "MediaKeys.h"
150 #endif
151
152 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
153 #include "JSMediaControlsHost.h"
154 #include "MediaControlsHost.h"
155 #include <bindings/ScriptObject.h>
156 #endif
157
158 namespace WebCore {
159
160 static const double SeekRepeatDelay = 0.1;
161 static const double SeekTime = 0.2;
162 static const double ScanRepeatDelay = 1.5;
163 static const double ScanMaximumRate = 8;
164
165 static void setFlags(unsigned& value, unsigned flags)
166 {
167     value |= flags;
168 }
169
170 static void clearFlags(unsigned& value, unsigned flags)
171 {
172     value &= ~flags;
173 }
174     
175 #if !LOG_DISABLED
176 static String urlForLoggingMedia(const URL& url)
177 {
178     static const unsigned maximumURLLengthForLogging = 128;
179
180     if (url.string().length() < maximumURLLengthForLogging)
181         return url.string();
182     return url.string().substring(0, maximumURLLengthForLogging) + "...";
183 }
184
185 static const char* boolString(bool val)
186 {
187     return val ? "true" : "false";
188 }
189
190 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
191 {
192     StringBuilder actionBuilder;
193
194 #define ACTION(_actionType) \
195     if (action & (HTMLMediaElementEnums::_actionType)) { \
196         if (!actionBuilder.isEmpty()) \
197         actionBuilder.append(", "); \
198         actionBuilder.append(#_actionType); \
199     } \
200
201     ACTION(LoadMediaResource);
202     ACTION(ConfigureTextTracks);
203     ACTION(TextTrackChangesNotification);
204     ACTION(ConfigureTextTrackDisplay);
205     ACTION(CheckPlaybackTargetCompatablity);
206     ACTION(CheckMediaState);
207     ACTION(MediaEngineUpdated);
208
209     return actionBuilder.toString();
210
211 #undef ACTION
212 }
213
214 #endif
215
216 #ifndef LOG_MEDIA_EVENTS
217 // Default to not logging events because so many are generated they can overwhelm the rest of 
218 // the logging.
219 #define LOG_MEDIA_EVENTS 0
220 #endif
221
222 #ifndef LOG_CACHED_TIME_WARNINGS
223 // Default to not logging warnings about excessive drift in the cached media time because it adds a
224 // fair amount of overhead and logging.
225 #define LOG_CACHED_TIME_WARNINGS 0
226 #endif
227
228 #if ENABLE(MEDIA_SOURCE)
229 // URL protocol used to signal that the media source API is being used.
230 static const char* mediaSourceBlobProtocol = "blob";
231 #endif
232
233 #if ENABLE(MEDIA_STREAM)
234 // URL protocol used to signal that the media stream API is being used.
235 static const char* mediaStreamBlobProtocol = "blob";
236 #endif
237
238 using namespace HTMLNames;
239
240 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
241 static DocumentElementSetMap& documentToElementSetMap()
242 {
243     static NeverDestroyed<DocumentElementSetMap> map;
244     return map;
245 }
246
247 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
248 {
249     DocumentElementSetMap& map = documentToElementSetMap();
250     HashSet<HTMLMediaElement*> set = map.take(&document);
251     set.add(&element);
252     map.add(&document, set);
253 }
254
255 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
256 {
257     DocumentElementSetMap& map = documentToElementSetMap();
258     HashSet<HTMLMediaElement*> set = map.take(&document);
259     set.remove(&element);
260     if (!set.isEmpty())
261         map.add(&document, set);
262 }
263
264 #if ENABLE(ENCRYPTED_MEDIA)
265 static ExceptionCode exceptionCodeForMediaKeyException(MediaPlayer::MediaKeyException exception)
266 {
267     switch (exception) {
268     case MediaPlayer::NoError:
269         return 0;
270     case MediaPlayer::InvalidPlayerState:
271         return INVALID_STATE_ERR;
272     case MediaPlayer::KeySystemNotSupported:
273         return NOT_SUPPORTED_ERR;
274     }
275
276     ASSERT_NOT_REACHED();
277     return INVALID_STATE_ERR;
278 }
279 #endif
280
281 #if ENABLE(VIDEO_TRACK)
282 class TrackDisplayUpdateScope {
283 public:
284     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
285     {
286         m_mediaElement = mediaElement;
287         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
288     }
289     ~TrackDisplayUpdateScope()
290     {
291         ASSERT(m_mediaElement);
292         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
293     }
294     
295 private:
296     HTMLMediaElement* m_mediaElement;
297 };
298 #endif
299
300 struct HTMLMediaElement::TrackGroup {
301     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
302
303     TrackGroup(GroupKind kind)
304         : visibleTrack(0)
305         , defaultTrack(0)
306         , kind(kind)
307         , hasSrcLang(false)
308     {
309     }
310
311     Vector<RefPtr<TextTrack>> tracks;
312     RefPtr<TextTrack> visibleTrack;
313     RefPtr<TextTrack> defaultTrack;
314     GroupKind kind;
315     bool hasSrcLang;
316 };
317
318 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
319 {
320     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
321     return elements;
322 }
323
324 #if ENABLE(MEDIA_SESSION)
325 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
326
327 static IDToElementMap& elementIDsToElements()
328 {
329     static NeverDestroyed<IDToElementMap> map;
330     return map;
331 }
332
333 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
334 {
335     if (id == HTMLMediaElementInvalidID)
336         return nullptr;
337     
338     return elementIDsToElements().get(id);
339 }
340
341 static uint64_t nextElementID()
342 {
343     static uint64_t elementID = 0;
344     return ++elementID;
345 }
346 #endif
347
348 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
349     : HTMLElement(tagName, document)
350     , ActiveDOMObject(&document)
351     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
352     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
353     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
354     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
355     , m_playedTimeRanges()
356     , m_asyncEventQueue(*this)
357     , m_requestedPlaybackRate(1)
358     , m_reportedPlaybackRate(1)
359     , m_defaultPlaybackRate(1)
360     , m_webkitPreservesPitch(true)
361     , m_networkState(NETWORK_EMPTY)
362     , m_readyState(HAVE_NOTHING)
363     , m_readyStateMaximum(HAVE_NOTHING)
364     , m_volume(1.0f)
365     , m_volumeInitialized(false)
366     , m_previousProgressTime(std::numeric_limits<double>::max())
367     , m_clockTimeAtLastUpdateEvent(0)
368     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
369     , m_loadState(WaitingForSource)
370     , m_videoFullscreenMode(VideoFullscreenModeNone)
371 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
372     , m_videoFullscreenGravity(MediaPlayer::VideoGravityResizeAspect)
373 #endif
374     , m_preload(MediaPlayer::Auto)
375     , m_displayMode(Unknown)
376     , m_processingMediaPlayerCallback(0)
377 #if ENABLE(MEDIA_SOURCE)
378     , m_droppedVideoFrames(0)
379 #endif
380     , m_clockTimeAtLastCachedTimeUpdate(0)
381     , m_minimumClockTimeToUpdateCachedTime(0)
382     , m_pendingActionFlags(0)
383     , m_actionAfterScan(Nothing)
384     , m_scanType(Scan)
385     , m_scanDirection(Forward)
386     , m_firstTimePlaying(true)
387     , m_playing(false)
388     , m_isWaitingUntilMediaCanStart(false)
389     , m_shouldDelayLoadEvent(false)
390     , m_haveFiredLoadedData(false)
391     , m_inActiveDocument(true)
392     , m_autoplaying(true)
393     , m_muted(false)
394     , m_explicitlyMuted(false)
395     , m_initiallyMuted(false)
396     , m_paused(true)
397     , m_seeking(false)
398     , m_sentStalledEvent(false)
399     , m_sentEndEvent(false)
400     , m_pausedInternal(false)
401     , m_sendProgressEvents(true)
402     , m_closedCaptionsVisible(false)
403     , m_webkitLegacyClosedCaptionOverride(false)
404     , m_completelyLoaded(false)
405     , m_havePreparedToPlay(false)
406     , m_parsingInProgress(createdByParser)
407     , m_elementIsHidden(document.hidden())
408     , m_creatingControls(false)
409     , m_receivedLayoutSizeChanged(false)
410 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
411     , m_mediaControlsDependOnPageScaleFactor(false)
412     , m_haveSetUpCaptionContainer(false)
413 #endif
414 #if ENABLE(VIDEO_TRACK)
415     , m_tracksAreReady(true)
416     , m_haveVisibleTextTrack(false)
417     , m_processingPreferenceChange(false)
418     , m_lastTextTrackUpdateTime(MediaTime(-1, 1))
419     , m_captionDisplayMode(CaptionUserPreferences::Automatic)
420     , m_audioTracks(0)
421     , m_textTracks(0)
422     , m_videoTracks(0)
423     , m_ignoreTrackDisplayUpdate(0)
424 #endif
425 #if ENABLE(WEB_AUDIO)
426     , m_audioSourceNode(0)
427 #endif
428     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
429     , m_reportedExtraMemoryCost(0)
430 #if ENABLE(MEDIA_STREAM)
431     , m_mediaStreamSrcObject(nullptr)
432 #endif
433 {
434     allMediaElements().add(this);
435
436     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
437     setHasCustomStyleResolveCallbacks();
438
439     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
440     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
441 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
442     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
443 #endif
444     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
445
446     Settings* settings = document.settings();
447 #if PLATFORM(IOS)
448     m_sendProgressEvents = false;
449 #endif
450
451     if (settings && settings->invisibleAutoplayNotPermitted())
452         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
453
454     if (document.ownerElement() || !document.isMediaDocument()) {
455         if (settings && settings->videoPlaybackRequiresUserGesture()) {
456             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
457             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
458         }
459
460         if (settings && settings->audioPlaybackRequiresUserGesture())
461             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
462
463 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
464         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
465             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
466 #endif
467
468         if (!settings || !settings->mediaDataLoadsAutomatically())
469             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
470
471         if (settings && settings->mainContentUserGestureOverrideEnabled())
472             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
473     }
474
475 #if PLATFORM(IOS)
476     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
477         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
478         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
479     }
480 #endif
481
482 #if ENABLE(VIDEO_TRACK)
483     if (document.page())
484         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
485 #endif
486
487 #if ENABLE(MEDIA_SESSION)
488     m_elementID = nextElementID();
489     elementIDsToElements().add(m_elementID, this);
490
491     setSessionInternal(document.defaultMediaSession());
492 #endif
493
494     registerWithDocument(document);
495 }
496
497 HTMLMediaElement::~HTMLMediaElement()
498 {
499     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
500
501     beginIgnoringTrackDisplayUpdateRequests();
502     allMediaElements().remove(this);
503
504     m_asyncEventQueue.close();
505
506     setShouldDelayLoadEvent(false);
507     unregisterWithDocument(document());
508
509 #if ENABLE(VIDEO_TRACK)
510     if (m_audioTracks) {
511         m_audioTracks->clearElement();
512         for (unsigned i = 0; i < m_audioTracks->length(); ++i)
513             m_audioTracks->item(i)->clearClient();
514     }
515     if (m_textTracks)
516         m_textTracks->clearElement();
517     if (m_textTracks) {
518         for (unsigned i = 0; i < m_textTracks->length(); ++i)
519             m_textTracks->item(i)->clearClient();
520     }
521     if (m_videoTracks) {
522         m_videoTracks->clearElement();
523         for (unsigned i = 0; i < m_videoTracks->length(); ++i)
524             m_videoTracks->item(i)->clearClient();
525     }
526 #endif
527
528 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
529     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
530         m_hasPlaybackTargetAvailabilityListeners = false;
531         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
532         updateMediaState();
533     }
534 #endif
535
536     if (m_mediaController) {
537         m_mediaController->removeMediaElement(this);
538         m_mediaController = nullptr;
539     }
540
541 #if ENABLE(MEDIA_SOURCE)
542     closeMediaSource();
543 #endif
544
545 #if ENABLE(ENCRYPTED_MEDIA_V2)
546     setMediaKeys(0);
547 #endif
548
549 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
550     if (m_isolatedWorld)
551         m_isolatedWorld->clearWrappers();
552 #endif
553
554 #if ENABLE(MEDIA_SESSION)
555     if (m_session) {
556         m_session->removeMediaElement(*this);
557         m_session = nullptr;
558     }
559
560     elementIDsToElements().remove(m_elementID);
561 #endif
562
563     m_seekTaskQueue.close();
564     m_promiseTaskQueue.close();
565     m_pauseAfterDetachedTaskQueue.close();
566
567     m_completelyLoaded = true;
568
569     m_player = nullptr;
570     updatePlaybackControlsManager();
571 }
572
573 void HTMLMediaElement::registerWithDocument(Document& document)
574 {
575     m_mediaSession->registerWithDocument(document);
576
577     if (m_isWaitingUntilMediaCanStart)
578         document.addMediaCanStartListener(this);
579
580 #if !PLATFORM(IOS)
581     document.registerForMediaVolumeCallbacks(this);
582     document.registerForPrivateBrowsingStateChangedCallbacks(this);
583 #endif
584
585     document.registerForVisibilityStateChangedCallbacks(this);
586
587 #if ENABLE(VIDEO_TRACK)
588     if (m_requireCaptionPreferencesChangedCallbacks)
589         document.registerForCaptionPreferencesChangedCallbacks(this);
590 #endif
591
592 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
593     if (m_mediaControlsDependOnPageScaleFactor)
594         document.registerForPageScaleFactorChangedCallbacks(this);
595     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
596 #endif
597
598 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
599     document.registerForDocumentSuspensionCallbacks(this);
600 #endif
601
602     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
603
604     document.addAudioProducer(this);
605     addElementToDocumentMap(*this, document);
606 }
607
608 void HTMLMediaElement::unregisterWithDocument(Document& document)
609 {
610     m_mediaSession->unregisterWithDocument(document);
611
612     if (m_isWaitingUntilMediaCanStart)
613         document.removeMediaCanStartListener(this);
614
615 #if !PLATFORM(IOS)
616     document.unregisterForMediaVolumeCallbacks(this);
617     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
618 #endif
619
620     document.unregisterForVisibilityStateChangedCallbacks(this);
621
622 #if ENABLE(VIDEO_TRACK)
623     if (m_requireCaptionPreferencesChangedCallbacks)
624         document.unregisterForCaptionPreferencesChangedCallbacks(this);
625 #endif
626
627 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
628     if (m_mediaControlsDependOnPageScaleFactor)
629         document.unregisterForPageScaleFactorChangedCallbacks(this);
630     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
631 #endif
632
633 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
634     document.unregisterForDocumentSuspensionCallbacks(this);
635 #endif
636
637     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
638
639     document.removeAudioProducer(this);
640     removeElementFromDocumentMap(*this, document);
641 }
642
643 void HTMLMediaElement::didMoveToNewDocument(Document* oldDocument)
644 {
645     if (m_shouldDelayLoadEvent) {
646         if (oldDocument)
647             oldDocument->decrementLoadEventDelayCount();
648         document().incrementLoadEventDelayCount();
649     }
650
651     if (oldDocument)
652         unregisterWithDocument(*oldDocument);
653
654     registerWithDocument(document());
655
656     HTMLElement::didMoveToNewDocument(oldDocument);
657     updateShouldAutoplay();
658 }
659
660 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
661 void HTMLMediaElement::prepareForDocumentSuspension()
662 {
663     m_mediaSession->unregisterWithDocument(document());
664 }
665
666 void HTMLMediaElement::resumeFromDocumentSuspension()
667 {
668     m_mediaSession->registerWithDocument(document());
669     updateShouldAutoplay();
670 }
671 #endif
672
673 bool HTMLMediaElement::supportsFocus() const
674 {
675     if (document().isMediaDocument())
676         return false;
677
678     // If no controls specified, we should still be able to focus the element if it has tabIndex.
679     return controls() ||  HTMLElement::supportsFocus();
680 }
681
682 bool HTMLMediaElement::isMouseFocusable() const
683 {
684     return false;
685 }
686
687 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
688 {
689     if (name == srcAttr) {
690 #if PLATFORM(IOS)
691         // Note, unless the restriction on requiring user action has been removed,
692         // do not begin downloading data on iOS.
693         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
694 #else
695         // Trigger a reload, as long as the 'src' attribute is present.
696         if (!value.isNull())
697 #endif
698         {
699             clearMediaPlayer(LoadMediaResource);
700             scheduleDelayedAction(LoadMediaResource);
701         }
702     } else if (name == controlsAttr)
703         configureMediaControls();
704     else if (name == loopAttr)
705         updateSleepDisabling();
706     else if (name == preloadAttr) {
707         if (equalLettersIgnoringASCIICase(value, "none"))
708             m_preload = MediaPlayer::None;
709         else if (equalLettersIgnoringASCIICase(value, "metadata"))
710             m_preload = MediaPlayer::MetaData;
711         else {
712             // The spec does not define an "invalid value default" but "auto" is suggested as the
713             // "missing value default", so use it for everything except "none" and "metadata"
714             m_preload = MediaPlayer::Auto;
715         }
716
717         // The attribute must be ignored if the autoplay attribute is present
718         if (!autoplay() && m_player)
719             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
720
721     } else if (name == mediagroupAttr)
722         setMediaGroup(value);
723     else
724         HTMLElement::parseAttribute(name, value);
725 }
726
727 void HTMLMediaElement::finishParsingChildren()
728 {
729     HTMLElement::finishParsingChildren();
730     m_parsingInProgress = false;
731     
732 #if ENABLE(VIDEO_TRACK)
733     if (descendantsOfType<HTMLTrackElement>(*this).first())
734         scheduleDelayedAction(ConfigureTextTracks);
735 #endif
736 }
737
738 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
739 {
740     return controls() && HTMLElement::rendererIsNeeded(style);
741 }
742
743 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
744 {
745     return createRenderer<RenderMedia>(*this, WTFMove(style));
746 }
747
748 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
749 {
750 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
751     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
752 #else
753     if (!hasMediaControls())
754         return false;
755     // <media> doesn't allow its content, including shadow subtree, to
756     // be rendered. So this should return false for most of the children.
757     // One exception is a shadow tree built for rendering controls which should be visible.
758     // So we let them go here by comparing its subtree root with one of the controls.
759     return &mediaControls()->treeScope() == &child.treeScope()
760         && hasShadowRootParent(child)
761         && HTMLElement::childShouldCreateRenderer(child);
762 #endif
763 }
764
765 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
766 {
767     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
768
769     HTMLElement::insertedInto(insertionPoint);
770     if (insertionPoint.inDocument()) {
771         m_inActiveDocument = true;
772
773 #if PLATFORM(IOS)
774         if (m_networkState == NETWORK_EMPTY && !fastGetAttribute(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
775 #else
776         if (m_networkState == NETWORK_EMPTY && !fastGetAttribute(srcAttr).isEmpty())
777 #endif
778             scheduleDelayedAction(LoadMediaResource);
779     }
780
781     if (!m_explicitlyMuted) {
782         m_explicitlyMuted = true;
783         m_muted = fastHasAttribute(mutedAttr);
784     }
785
786     configureMediaControls();
787     return InsertionDone;
788 }
789
790 void HTMLMediaElement::pauseAfterDetachedTask()
791 {
792     // If we were re-inserted into an active document, no need to pause.
793     if (m_inActiveDocument)
794         return;
795
796     if (hasMediaControls())
797         mediaControls()->hide();
798     if (m_networkState > NETWORK_EMPTY)
799         pause();
800     if (m_videoFullscreenMode != VideoFullscreenModeNone)
801         exitFullscreen();
802
803     if (!m_player)
804         return;
805
806     size_t extraMemoryCost = m_player->extraMemoryCost();
807     if (extraMemoryCost > m_reportedExtraMemoryCost) {
808         JSC::VM& vm = JSDOMWindowBase::commonVM();
809         JSC::JSLockHolder lock(vm);
810
811         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
812         m_reportedExtraMemoryCost = extraMemoryCost;
813         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
814         // https://bugs.webkit.org/show_bug.cgi?id=142595
815         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
816     }
817 }
818
819 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
820 {
821     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
822
823     m_inActiveDocument = false;
824     if (insertionPoint.inDocument()) {
825         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
826         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
827     }
828
829     HTMLElement::removedFrom(insertionPoint);
830 }
831
832 void HTMLMediaElement::willAttachRenderers()
833 {
834     ASSERT(!renderer());
835 }
836
837 inline void HTMLMediaElement::updateRenderer()
838 {
839     if (auto* renderer = this->renderer())
840         renderer->updateFromElement();
841 }
842
843 void HTMLMediaElement::didAttachRenderers()
844 {
845     if (auto* renderer = this->renderer()) {
846         renderer->updateFromElement();
847         if (m_mediaSession->hasBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted)
848             || m_mediaSession->hasBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent))
849             renderer->registerForVisibleInViewportCallback();
850     }
851     updateShouldAutoplay();
852 }
853
854 void HTMLMediaElement::willDetachRenderers()
855 {
856     if (auto* renderer = this->renderer())
857         renderer->unregisterForVisibleInViewportCallback();
858 }
859
860 void HTMLMediaElement::didDetachRenderers()
861 {
862     updateShouldAutoplay();
863 }
864
865 void HTMLMediaElement::didRecalcStyle(Style::Change)
866 {
867     updateRenderer();
868 }
869
870 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
871 {
872     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
873
874     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
875         prepareForLoad();
876         setFlags(m_pendingActionFlags, LoadMediaResource);
877     }
878
879 #if ENABLE(VIDEO_TRACK)
880     if (actionType & ConfigureTextTracks)
881         setFlags(m_pendingActionFlags, ConfigureTextTracks);
882 #endif
883
884 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
885     if (actionType & CheckPlaybackTargetCompatablity)
886         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
887 #endif
888
889     if (actionType & CheckMediaState)
890         setFlags(m_pendingActionFlags, CheckMediaState);
891
892     if (actionType & MediaEngineUpdated)
893         setFlags(m_pendingActionFlags, MediaEngineUpdated);
894
895     m_pendingActionTimer.startOneShot(0);
896 }
897
898 void HTMLMediaElement::scheduleNextSourceChild()
899 {
900     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
901     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
902     setFlags(m_pendingActionFlags, LoadMediaResource);
903     m_pendingActionTimer.startOneShot(0);
904 }
905
906 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
907 {
908 #if LOG_MEDIA_EVENTS
909     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
910 #endif
911     RefPtr<Event> event = Event::create(eventName, false, true);
912     
913     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
914     // will trigger an ASSERT if this element has been marked for deletion.
915
916     m_asyncEventQueue.enqueueEvent(WTFMove(event));
917 }
918
919 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
920 {
921     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
922 }
923
924 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
925 {
926     Vector<PlayPromise> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
927
928     for (auto& promise : pendingPlayPromises)
929         promise.reject(error);
930 }
931
932 void HTMLMediaElement::resolvePendingPlayPromises()
933 {
934     Vector<PlayPromise> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
935
936     for (auto& promise : pendingPlayPromises)
937         promise.resolve(nullptr);
938 }
939
940 void HTMLMediaElement::scheduleNotifyAboutPlaying()
941 {
942     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
943 }
944
945 void HTMLMediaElement::notifyAboutPlaying()
946 {
947     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
948     resolvePendingPlayPromises();
949 }
950
951 void HTMLMediaElement::pendingActionTimerFired()
952 {
953     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
954     PendingActionFlags pendingActions = m_pendingActionFlags;
955     m_pendingActionFlags = 0;
956
957 #if ENABLE(VIDEO_TRACK)
958     if (pendingActions & ConfigureTextTracks)
959         configureTextTracks();
960 #endif
961
962     if (pendingActions & LoadMediaResource) {
963         if (m_loadState == LoadingFromSourceElement)
964             loadNextSourceChild();
965         else
966             loadInternal();
967     }
968
969 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
970     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
971         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
972         m_failedToPlayToWirelessTarget = true;
973         m_player->setShouldPlayToPlaybackTarget(false);
974     }
975
976     if (pendingActions & CheckMediaState)
977         updateMediaState();
978 #endif
979
980     if (pendingActions & MediaEngineUpdated)
981         mediaEngineWasUpdated();
982 }
983
984 MediaError* HTMLMediaElement::error() const
985 {
986     return m_error.get();
987 }
988
989 void HTMLMediaElement::setSrc(const String& url)
990 {
991     setAttribute(srcAttr, url);
992 }
993
994 #if ENABLE(MEDIA_STREAM)
995 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
996 {
997     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
998     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
999     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1000     // the UA must re-run the media element load algorithm.
1001     //
1002     // https://bugs.webkit.org/show_bug.cgi?id=124896
1003
1004     m_mediaStreamSrcObject = mediaStream;
1005     setSrc(DOMURL::createPublicURL(context, mediaStream));
1006 }
1007 #endif
1008
1009 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1010 {
1011     return m_networkState;
1012 }
1013
1014 String HTMLMediaElement::canPlayType(const String& mimeType, const String& keySystem, const URL& url) const
1015 {
1016     MediaEngineSupportParameters parameters;
1017     ContentType contentType(mimeType);
1018     parameters.type = contentType.type().convertToASCIILowercase();
1019     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1020     parameters.url = url;
1021 #if ENABLE(ENCRYPTED_MEDIA)
1022     parameters.keySystem = keySystem;
1023 #else
1024     UNUSED_PARAM(keySystem);
1025 #endif
1026     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1027     String canPlay;
1028
1029     // 4.8.10.3
1030     switch (support)
1031     {
1032         case MediaPlayer::IsNotSupported:
1033             canPlay = emptyString();
1034             break;
1035         case MediaPlayer::MayBeSupported:
1036             canPlay = ASCIILiteral("maybe");
1037             break;
1038         case MediaPlayer::IsSupported:
1039             canPlay = ASCIILiteral("probably");
1040             break;
1041     }
1042     
1043     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s, %s, %s] -> %s", this, mimeType.utf8().data(), keySystem.utf8().data(), url.stringCenterEllipsizedToLength().utf8().data(), canPlay.utf8().data());
1044
1045     return canPlay;
1046 }
1047
1048 double HTMLMediaElement::getStartDate() const
1049 {
1050     return m_player->getStartDate().toDouble();
1051 }
1052
1053 void HTMLMediaElement::load()
1054 {
1055     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1056     
1057     LOG(Media, "HTMLMediaElement::load(%p)", this);
1058     
1059     if (!m_mediaSession->dataLoadingPermitted(*this))
1060         return;
1061     if (ScriptController::processingUserGestureForMedia())
1062         removeBehaviorsRestrictionsAfterFirstUserGesture();
1063
1064     prepareForLoad();
1065     loadInternal();
1066     prepareToPlay();
1067 }
1068
1069 void HTMLMediaElement::prepareForLoad()
1070 {
1071     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1072
1073     // Perform the cleanup required for the resource load algorithm to run.
1074     stopPeriodicTimers();
1075     m_pendingActionTimer.stop();
1076     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1077     m_pendingActionFlags &= ~LoadMediaResource;
1078     m_sentEndEvent = false;
1079     m_sentStalledEvent = false;
1080     m_haveFiredLoadedData = false;
1081     m_completelyLoaded = false;
1082     m_havePreparedToPlay = false;
1083     m_displayMode = Unknown;
1084     m_currentSrc = URL();
1085
1086 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1087     m_failedToPlayToWirelessTarget = false;
1088 #endif
1089
1090     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1091     m_loadState = WaitingForSource;
1092     m_currentSourceNode = nullptr;
1093
1094     // 2 - If there are any tasks from the media element's media element event task source in 
1095     // one of the task queues, then remove those tasks.
1096     cancelPendingEventsAndCallbacks();
1097
1098     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1099     // a task to fire a simple event named abort at the media element.
1100     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1101         scheduleEvent(eventNames().abortEvent);
1102
1103 #if ENABLE(MEDIA_SOURCE)
1104     closeMediaSource();
1105 #endif
1106
1107     createMediaPlayer();
1108
1109     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1110     if (m_networkState != NETWORK_EMPTY) {
1111         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1112         scheduleEvent(eventNames().emptiedEvent);
1113
1114         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1115         m_networkState = NETWORK_EMPTY;
1116
1117         // 4.3 - Forget the media element's media-resource-specific tracks.
1118         forgetResourceSpecificTracks();
1119
1120         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1121         m_readyState = HAVE_NOTHING;
1122         m_readyStateMaximum = HAVE_NOTHING;
1123
1124         // 4.5 - If the paused attribute is false, then set it to true.
1125         m_paused = true;
1126
1127         // 4.6 - If seeking is true, set it to false.
1128         clearSeeking();
1129
1130         // 4.7 - Set the current playback position to 0.
1131         //       Set the official playback position to 0.
1132         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1133         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1134
1135         // 4.8 - Set the initial playback position to 0.
1136         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1137         // above.
1138         refreshCachedTime();
1139
1140         invalidateCachedTime();
1141
1142         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1143         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1144
1145         updateMediaController();
1146 #if ENABLE(VIDEO_TRACK)
1147         updateActiveTextTrackCues(MediaTime::zeroTime());
1148 #endif
1149     }
1150
1151     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1152     setPlaybackRate(defaultPlaybackRate());
1153
1154     // 6 - Set the error attribute to null and the autoplaying flag to true.
1155     m_error = nullptr;
1156     m_autoplaying = true;
1157     mediaSession().clientWillBeginAutoplaying();
1158
1159     // 7 - Invoke the media element's resource selection algorithm.
1160
1161     // 8 - Note: Playback of any previously playing media resource for this element stops.
1162
1163     // The resource selection algorithm
1164     // 1 - Set the networkState to NETWORK_NO_SOURCE
1165     m_networkState = NETWORK_NO_SOURCE;
1166
1167     // 2 - Asynchronously await a stable state.
1168
1169     m_playedTimeRanges = TimeRanges::create();
1170
1171     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1172     // so they are closer to the relevant spec steps.
1173     m_lastSeekTime = MediaTime::zeroTime();
1174
1175     // The spec doesn't say to block the load event until we actually run the asynchronous section
1176     // algorithm, but do it now because we won't start that until after the timer fires and the 
1177     // event may have already fired by then.
1178     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1179     if (effectivePreload != MediaPlayer::None)
1180         setShouldDelayLoadEvent(true);
1181
1182 #if PLATFORM(IOS)
1183     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1184         prepareToPlay();
1185 #endif
1186
1187     configureMediaControls();
1188 }
1189
1190 void HTMLMediaElement::loadInternal()
1191 {
1192     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1193
1194     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1195     // us catch those bugs more quickly without needing all the branches to align to actually
1196     // trigger the event.
1197     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1198
1199     // If we can't start a load right away, start it later.
1200     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1201         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1202         setShouldDelayLoadEvent(false);
1203         if (m_isWaitingUntilMediaCanStart)
1204             return;
1205         m_isWaitingUntilMediaCanStart = true;
1206         document().addMediaCanStartListener(this);
1207         return;
1208     }
1209
1210     clearFlags(m_pendingActionFlags, LoadMediaResource);
1211
1212     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1213     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1214     // put into the background.
1215     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1216
1217 #if ENABLE(VIDEO_TRACK)
1218     if (hasMediaControls())
1219         mediaControls()->changedClosedCaptionsVisibility();
1220
1221     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1222     // disabled state when the element's resource selection algorithm last started".
1223     m_textTracksWhenResourceSelectionBegan.clear();
1224     if (m_textTracks) {
1225         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1226             TextTrack* track = m_textTracks->item(i);
1227             if (track->mode() != TextTrack::Mode::Disabled)
1228                 m_textTracksWhenResourceSelectionBegan.append(track);
1229         }
1230     }
1231 #endif
1232
1233     selectMediaResource();
1234 }
1235
1236 void HTMLMediaElement::selectMediaResource()
1237 {
1238     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1239
1240     ASSERT(m_player);
1241     if (!m_player)
1242         return;
1243
1244     enum Mode { attribute, children };
1245
1246     // 3 - If the media element has a src attribute, then let mode be attribute.
1247     Mode mode = attribute;
1248     if (!fastHasAttribute(srcAttr)) {
1249         // Otherwise, if the media element does not have a src attribute but has a source 
1250         // element child, then let mode be children and let candidate be the first such 
1251         // source element child in tree order.
1252         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1253             mode = children;
1254             m_nextChildNodeToConsider = firstSource;
1255             m_currentSourceNode = nullptr;
1256         } else {
1257             // Otherwise the media element has neither a src attribute nor a source element 
1258             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1259             // synchronous section ends.
1260             m_loadState = WaitingForSource;
1261             setShouldDelayLoadEvent(false);
1262             m_networkState = NETWORK_EMPTY;
1263
1264             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1265             return;
1266         }
1267     }
1268
1269     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1270     // and set its networkState to NETWORK_LOADING.
1271     setShouldDelayLoadEvent(true);
1272     m_networkState = NETWORK_LOADING;
1273
1274     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1275     scheduleEvent(eventNames().loadstartEvent);
1276
1277     // 6 - If mode is attribute, then run these substeps
1278     if (mode == attribute) {
1279         m_loadState = LoadingFromSrcAttr;
1280
1281         // If the src attribute's value is the empty string ... jump down to the failed step below
1282         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1283         if (mediaURL.isEmpty()) {
1284             mediaLoadingFailed(MediaPlayer::FormatError);
1285             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1286             return;
1287         }
1288
1289         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1290             mediaLoadingFailed(MediaPlayer::FormatError);
1291             return;
1292         }
1293
1294         // No type or key system information is available when the url comes
1295         // from the 'src' attribute so MediaPlayer
1296         // will have to pick a media engine based on the file extension.
1297         ContentType contentType((String()));
1298         loadResource(mediaURL, contentType, String());
1299         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1300         return;
1301     }
1302
1303     // Otherwise, the source elements will be used
1304     loadNextSourceChild();
1305 }
1306
1307 void HTMLMediaElement::loadNextSourceChild()
1308 {
1309     ContentType contentType((String()));
1310     String keySystem;
1311     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1312     if (!mediaURL.isValid()) {
1313         waitForSourceChange();
1314         return;
1315     }
1316
1317     // Recreate the media player for the new url
1318     createMediaPlayer();
1319
1320     m_loadState = LoadingFromSourceElement;
1321     loadResource(mediaURL, contentType, keySystem);
1322 }
1323
1324 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1325 {
1326     ASSERT(isSafeToLoadURL(initialURL, Complain));
1327
1328     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1329
1330     Frame* frame = document().frame();
1331     if (!frame) {
1332         mediaLoadingFailed(MediaPlayer::FormatError);
1333         return;
1334     }
1335
1336     Page* page = frame->page();
1337     if (!page) {
1338         mediaLoadingFailed(MediaPlayer::FormatError);
1339         return;
1340     }
1341
1342     URL url = initialURL;
1343     if (!frame->loader().willLoadMediaElementURL(url)) {
1344         mediaLoadingFailed(MediaPlayer::FormatError);
1345         return;
1346     }
1347
1348 #if ENABLE(CONTENT_EXTENSIONS)
1349     ResourceRequest request(url);
1350     DocumentLoader* documentLoader = frame->loader().documentLoader();
1351
1352     if (documentLoader && page->userContentProvider().processContentExtensionRulesForLoad(request, ResourceType::Media, *documentLoader) == ContentExtensions::BlockedStatus::Blocked) {
1353         request = { };
1354         mediaLoadingFailed(MediaPlayer::FormatError);
1355         return;
1356     }
1357 #endif
1358
1359     // The resource fetch algorithm 
1360     m_networkState = NETWORK_LOADING;
1361
1362     // If the url should be loaded from the application cache, pass the url of the cached file
1363     // to the media engine.
1364     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1365     ApplicationCacheResource* resource = 0;
1366     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1367         // Resources that are not present in the manifest will always fail to load (at least, after the
1368         // cache has been primed the first time), making the testing of offline applications simpler.
1369         if (!resource || resource->path().isEmpty()) {
1370             mediaLoadingFailed(MediaPlayer::NetworkError);
1371             return;
1372         }
1373     }
1374
1375     // Log that we started loading a media element.
1376     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1377
1378     m_firstTimePlaying = true;
1379
1380     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1381     // cache is an internal detail not exposed through the media element API.
1382     m_currentSrc = url;
1383
1384     if (resource) {
1385         url = ApplicationCacheHost::createFileURL(resource->path());
1386         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1387     }
1388
1389     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1390
1391     if (m_sendProgressEvents)
1392         startProgressEventTimer();
1393
1394     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1395     m_player->setPrivateBrowsingMode(privateMode);
1396
1397     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1398     setDisplayMode(Unknown);
1399
1400     if (!autoplay())
1401         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1402     m_player->setPreservesPitch(m_webkitPreservesPitch);
1403
1404     if (!m_explicitlyMuted) {
1405         m_explicitlyMuted = true;
1406         m_muted = fastHasAttribute(mutedAttr);
1407     }
1408
1409     updateVolume();
1410
1411     bool loadAttempted = false;
1412 #if ENABLE(MEDIA_SOURCE)
1413     ASSERT(!m_mediaSource);
1414
1415     if (url.protocolIs(mediaSourceBlobProtocol))
1416         m_mediaSource = MediaSource::lookup(url.string());
1417
1418     if (m_mediaSource) {
1419         if (m_mediaSource->attachToElement(this))
1420             m_player->load(url, contentType, m_mediaSource.get());
1421         else {
1422             // Forget our reference to the MediaSource, so we leave it alone
1423             // while processing remainder of load failure.
1424             m_mediaSource = nullptr;
1425             mediaLoadingFailed(MediaPlayer::FormatError);
1426         }
1427         loadAttempted = true;
1428     }
1429 #endif
1430
1431 #if ENABLE(MEDIA_STREAM)
1432     if (!loadAttempted) {
1433         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1434             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1435
1436         if (m_mediaStreamSrcObject) {
1437             loadAttempted = true;
1438             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1439                 mediaLoadingFailed(MediaPlayer::FormatError);
1440         }
1441     }
1442 #endif
1443
1444     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1445         mediaLoadingFailed(MediaPlayer::FormatError);
1446
1447     // If there is no poster to display, allow the media engine to render video frames as soon as
1448     // they are available.
1449     updateDisplayState();
1450
1451     updateRenderer();
1452 }
1453
1454 #if ENABLE(VIDEO_TRACK)
1455 static bool trackIndexCompare(TextTrack* a,
1456                               TextTrack* b)
1457 {
1458     return a->trackIndex() - b->trackIndex() < 0;
1459 }
1460
1461 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1462 {
1463     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1464     // times first).
1465     if (a.first != b.first)
1466         return a.first - b.first < MediaTime::zeroTime();
1467
1468     // If the cues belong to different text tracks, it doesn't make sense to
1469     // compare the two tracks by the relative cue order, so return the relative
1470     // track order.
1471     if (a.second->track() != b.second->track())
1472         return trackIndexCompare(a.second->track(), b.second->track());
1473
1474     // 12 - Further sort tasks in events that have the same time by the
1475     // relative text track cue order of the text track cues associated
1476     // with these tasks.
1477     return a.second->cueIndex() - b.second->cueIndex() < 0;
1478 }
1479
1480 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1481 {
1482     return one.data()->isOrderedBefore(two.data());
1483 };
1484
1485
1486 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1487 {
1488     // 4.8.10.8 Playing the media resource
1489
1490     //  If the current playback position changes while the steps are running,
1491     //  then the user agent must wait for the steps to complete, and then must
1492     //  immediately rerun the steps.
1493     if (ignoreTrackDisplayUpdateRequests())
1494         return;
1495
1496     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1497
1498     // 1 - Let current cues be a list of cues, initialized to contain all the
1499     // cues of all the hidden, showing, or showing by default text tracks of the
1500     // media element (not the disabled ones) whose start times are less than or
1501     // equal to the current playback position and whose end times are greater
1502     // than the current playback position.
1503     CueList currentCues;
1504
1505     // The user agent must synchronously unset [the text track cue active] flag
1506     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1507     if (m_readyState != HAVE_NOTHING && m_player) {
1508         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1509         if (currentCues.size() > 1)
1510             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1511     }
1512
1513     CueList previousCues;
1514     CueList missedCues;
1515
1516     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1517     // of hidden, showing, and showing by default text tracks of the media
1518     // element that are not present in current cues.
1519     previousCues = m_currentlyActiveCues;
1520
1521     // 3 - Let last time be the current playback position at the time this
1522     // algorithm was last run for this media element, if this is not the first
1523     // time it has run.
1524     MediaTime lastTime = m_lastTextTrackUpdateTime;
1525
1526     // 4 - If the current playback position has, since the last time this
1527     // algorithm was run, only changed through its usual monotonic increase
1528     // during normal playback, then let missed cues be the list of cues in other
1529     // cues whose start times are greater than or equal to last time and whose
1530     // end times are less than or equal to the current playback position.
1531     // Otherwise, let missed cues be an empty list.
1532     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1533         CueList potentiallySkippedCues =
1534             m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime));
1535
1536         for (size_t i = 0; i < potentiallySkippedCues.size(); ++i) {
1537             MediaTime cueStartTime = potentiallySkippedCues[i].low();
1538             MediaTime cueEndTime = potentiallySkippedCues[i].high();
1539
1540             // Consider cues that may have been missed since the last seek time.
1541             if (cueStartTime > std::max(m_lastSeekTime, lastTime) && cueEndTime < movieTime)
1542                 missedCues.append(potentiallySkippedCues[i]);
1543         }
1544     }
1545
1546     m_lastTextTrackUpdateTime = movieTime;
1547
1548     // 5 - If the time was reached through the usual monotonic increase of the
1549     // current playback position during normal playback, and if the user agent
1550     // has not fired a timeupdate event at the element in the past 15 to 250ms
1551     // and is not still running event handlers for such an event, then the user
1552     // agent must queue a task to fire a simple event named timeupdate at the
1553     // element. (In the other cases, such as explicit seeks, relevant events get
1554     // fired as part of the overall process of changing the current playback
1555     // position.)
1556     if (!m_paused && m_lastSeekTime <= lastTime)
1557         scheduleTimeupdateEvent(false);
1558
1559     // Explicitly cache vector sizes, as their content is constant from here.
1560     size_t currentCuesSize = currentCues.size();
1561     size_t missedCuesSize = missedCues.size();
1562     size_t previousCuesSize = previousCues.size();
1563
1564     // 6 - If all of the cues in current cues have their text track cue active
1565     // flag set, none of the cues in other cues have their text track cue active
1566     // flag set, and missed cues is empty, then abort these steps.
1567     bool activeSetChanged = missedCuesSize;
1568
1569     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1570         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1571             activeSetChanged = true;
1572
1573     for (size_t i = 0; i < currentCuesSize; ++i) {
1574         TextTrackCue* cue = currentCues[i].data();
1575
1576         if (cue->isRenderable())
1577             toVTTCue(cue)->updateDisplayTree(movieTime);
1578
1579         if (!cue->isActive())
1580             activeSetChanged = true;
1581     }
1582
1583     if (!activeSetChanged)
1584         return;
1585
1586     // 7 - If the time was reached through the usual monotonic increase of the
1587     // current playback position during normal playback, and there are cues in
1588     // other cues that have their text track cue pause-on-exi flag set and that
1589     // either have their text track cue active flag set or are also in missed
1590     // cues, then immediately pause the media element.
1591     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1592         if (previousCues[i].data()->pauseOnExit()
1593             && previousCues[i].data()->isActive()
1594             && !currentCues.contains(previousCues[i]))
1595             pause();
1596     }
1597
1598     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1599         if (missedCues[i].data()->pauseOnExit())
1600             pause();
1601     }
1602
1603     // 8 - Let events be a list of tasks, initially empty. Each task in this
1604     // list will be associated with a text track, a text track cue, and a time,
1605     // which are used to sort the list before the tasks are queued.
1606     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1607
1608     // 8 - Let affected tracks be a list of text tracks, initially empty.
1609     Vector<TextTrack*> affectedTracks;
1610
1611     for (size_t i = 0; i < missedCuesSize; ++i) {
1612         // 9 - For each text track cue in missed cues, prepare an event named enter
1613         // for the TextTrackCue object with the text track cue start time.
1614         eventTasks.append(std::make_pair(missedCues[i].data()->startMediaTime(),
1615                                          missedCues[i].data()));
1616
1617         // 10 - For each text track [...] in missed cues, prepare an event
1618         // named exit for the TextTrackCue object with the  with the later of
1619         // the text track cue end time and the text track cue start time.
1620
1621         // Note: An explicit task is added only if the cue is NOT a zero or
1622         // negative length cue. Otherwise, the need for an exit event is
1623         // checked when these tasks are actually queued below. This doesn't
1624         // affect sorting events before dispatch either, because the exit
1625         // event has the same time as the enter event.
1626         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1627             eventTasks.append(std::make_pair(missedCues[i].data()->endMediaTime(), missedCues[i].data()));
1628     }
1629
1630     for (size_t i = 0; i < previousCuesSize; ++i) {
1631         // 10 - For each text track cue in other cues that has its text
1632         // track cue active flag set prepare an event named exit for the
1633         // TextTrackCue object with the text track cue end time.
1634         if (!currentCues.contains(previousCues[i]))
1635             eventTasks.append(std::make_pair(previousCues[i].data()->endMediaTime(),
1636                                              previousCues[i].data()));
1637     }
1638
1639     for (size_t i = 0; i < currentCuesSize; ++i) {
1640         // 11 - For each text track cue in current cues that does not have its
1641         // text track cue active flag set, prepare an event named enter for the
1642         // TextTrackCue object with the text track cue start time.
1643         if (!previousCues.contains(currentCues[i]))
1644             eventTasks.append(std::make_pair(currentCues[i].data()->startMediaTime(),
1645                                              currentCues[i].data()));
1646     }
1647
1648     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1649     // times first).
1650     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1651
1652     for (size_t i = 0; i < eventTasks.size(); ++i) {
1653         if (!affectedTracks.contains(eventTasks[i].second->track()))
1654             affectedTracks.append(eventTasks[i].second->track());
1655
1656         // 13 - Queue each task in events, in list order.
1657         RefPtr<Event> event;
1658
1659         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1660         // depending on the time that is associated with the event. This
1661         // correctly identifies the type of the event, if the startTime is
1662         // less than the endTime in the cue.
1663         if (eventTasks[i].second->startTime() >= eventTasks[i].second->endTime()) {
1664             event = Event::create(eventNames().enterEvent, false, false);
1665             event->setTarget(eventTasks[i].second);
1666             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1667
1668             event = Event::create(eventNames().exitEvent, false, false);
1669             event->setTarget(eventTasks[i].second);
1670             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1671         } else {
1672             if (eventTasks[i].first == eventTasks[i].second->startMediaTime())
1673                 event = Event::create(eventNames().enterEvent, false, false);
1674             else
1675                 event = Event::create(eventNames().exitEvent, false, false);
1676
1677             event->setTarget(eventTasks[i].second);
1678             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1679         }
1680     }
1681
1682     // 14 - Sort affected tracks in the same order as the text tracks appear in
1683     // the media element's list of text tracks, and remove duplicates.
1684     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1685
1686     // 15 - For each text track in affected tracks, in the list order, queue a
1687     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1688     for (size_t i = 0; i < affectedTracks.size(); ++i) {
1689         RefPtr<Event> event = Event::create(eventNames().cuechangeEvent, false, false);
1690         event->setTarget(affectedTracks[i]);
1691
1692         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1693
1694         // ... if the text track has a corresponding track element, to then fire a
1695         // simple event named cuechange at the track element as well.
1696         if (is<LoadableTextTrack>(*affectedTracks[i])) {
1697             RefPtr<Event> event = Event::create(eventNames().cuechangeEvent, false, false);
1698             HTMLTrackElement* trackElement = downcast<LoadableTextTrack>(*affectedTracks[i]).trackElement();
1699             ASSERT(trackElement);
1700             event->setTarget(trackElement);
1701             
1702             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1703         }
1704     }
1705
1706     // 16 - Set the text track cue active flag of all the cues in the current
1707     // cues, and unset the text track cue active flag of all the cues in the
1708     // other cues.
1709     for (size_t i = 0; i < currentCuesSize; ++i)
1710         currentCues[i].data()->setIsActive(true);
1711
1712     for (size_t i = 0; i < previousCuesSize; ++i)
1713         if (!currentCues.contains(previousCues[i]))
1714             previousCues[i].data()->setIsActive(false);
1715
1716     // Update the current active cues.
1717     m_currentlyActiveCues = currentCues;
1718
1719     if (activeSetChanged)
1720         updateTextTrackDisplay();
1721 }
1722
1723 bool HTMLMediaElement::textTracksAreReady() const
1724 {
1725     // 4.8.10.12.1 Text track model
1726     // ...
1727     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1728     // in the disabled state when the element's resource selection algorithm last started now
1729     // have a text track readiness state of loaded or failed to load.
1730     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1731         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1732             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1733             return false;
1734     }
1735
1736     return true;
1737 }
1738
1739 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1740 {
1741     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1742         if (track->readinessState() != TextTrack::Loading)
1743             setReadyState(m_player->readyState());
1744     } else {
1745         // The track readiness state might have changed as a result of the user
1746         // clicking the captions button. In this case, a check whether all the
1747         // resources have failed loading should be done in order to hide the CC button.
1748         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1749             mediaControls()->refreshClosedCaptionsButtonVisibility();
1750     }
1751 }
1752
1753 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1754 {
1755     ASSERT(track);
1756     if (m_audioTracks && m_audioTracks->contains(*track))
1757         m_audioTracks->scheduleChangeEvent();
1758     if (ScriptController::processingUserGestureForMedia())
1759         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1760 }
1761
1762 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1763 {
1764     bool trackIsLoaded = true;
1765     if (track->trackType() == TextTrack::TrackElement) {
1766         trackIsLoaded = false;
1767         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1768             if (trackElement.track() == track) {
1769                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1770                     trackIsLoaded = true;
1771                 break;
1772             }
1773         }
1774     }
1775
1776     // If this is the first added track, create the list of text tracks.
1777     if (!m_textTracks)
1778         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1779     
1780     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1781     track->setHasBeenConfigured(true);
1782     
1783     if (track->mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1784         textTrackAddCues(track, track->cues());
1785
1786     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1787
1788     if (m_textTracks && m_textTracks->contains(*track))
1789         m_textTracks->scheduleChangeEvent();
1790
1791 #if ENABLE(AVF_CAPTIONS)
1792     if (track->trackType() == TextTrack::TrackElement && m_player)
1793         m_player->notifyTrackModeChanged();
1794 #endif
1795 }
1796
1797 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1798 {
1799     ASSERT(track);
1800     if (m_videoTracks && m_videoTracks->contains(*track))
1801         m_videoTracks->scheduleChangeEvent();
1802 }
1803
1804 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1805 {
1806     if (track->kind() != TextTrack::Kind::Captions && track->kind() != TextTrack::Kind::Subtitles && track->mode() == TextTrack::Mode::Showing)
1807         track->setMode(TextTrack::Mode::Hidden);
1808 }
1809
1810 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1811 {
1812     ++m_ignoreTrackDisplayUpdate;
1813 }
1814
1815 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1816 {
1817     ASSERT(m_ignoreTrackDisplayUpdate);
1818     --m_ignoreTrackDisplayUpdate;
1819     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1820         updateActiveTextTrackCues(currentMediaTime());
1821 }
1822
1823 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1824 {
1825     if (track->mode() == TextTrack::Mode::Disabled)
1826         return;
1827
1828     TrackDisplayUpdateScope scope(this);
1829     for (size_t i = 0; i < cues->length(); ++i)
1830         textTrackAddCue(track, cues->item(i));
1831 }
1832
1833 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues)
1834 {
1835     TrackDisplayUpdateScope scope(this);
1836     for (size_t i = 0; i < cues->length(); ++i)
1837         textTrackRemoveCue(cues->item(i)->track(), cues->item(i));
1838 }
1839
1840 void HTMLMediaElement::textTrackAddCue(TextTrack* track, PassRefPtr<TextTrackCue> prpCue)
1841 {
1842     if (track->mode() == TextTrack::Mode::Disabled)
1843         return;
1844
1845     RefPtr<TextTrackCue> cue = prpCue;
1846
1847     // Negative duration cues need be treated in the interval tree as
1848     // zero-length cues.
1849     MediaTime endTime = std::max(cue->startMediaTime(), cue->endMediaTime());
1850
1851     CueInterval interval = m_cueTree.createInterval(cue->startMediaTime(), endTime, cue.get());
1852     if (!m_cueTree.contains(interval))
1853         m_cueTree.add(interval);
1854     updateActiveTextTrackCues(currentMediaTime());
1855 }
1856
1857 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, PassRefPtr<TextTrackCue> prpCue)
1858 {
1859     RefPtr<TextTrackCue> cue = prpCue;
1860     // Negative duration cues need to be treated in the interval tree as
1861     // zero-length cues.
1862     MediaTime endTime = std::max(cue->startMediaTime(), cue->endMediaTime());
1863
1864     CueInterval interval = m_cueTree.createInterval(cue->startMediaTime(), endTime, cue.get());
1865     m_cueTree.remove(interval);
1866
1867     // Since the cue will be removed from the media element and likely the
1868     // TextTrack might also be destructed, notifying the region of the cue
1869     // removal shouldn't be done.
1870     if (cue->isRenderable())
1871         toVTTCue(cue.get())->notifyRegionWhenRemovingDisplayTree(false);
1872
1873     size_t index = m_currentlyActiveCues.find(interval);
1874     if (index != notFound) {
1875         cue->setIsActive(false);
1876         m_currentlyActiveCues.remove(index);
1877     }
1878
1879     if (cue->isRenderable())
1880         toVTTCue(cue.get())->removeDisplayTree();
1881     updateActiveTextTrackCues(currentMediaTime());
1882
1883     if (cue->isRenderable())
1884         toVTTCue(cue.get())->notifyRegionWhenRemovingDisplayTree(true);
1885 }
1886
1887 #endif
1888
1889 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1890 {
1891     if (!url.isValid()) {
1892         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1893         return false;
1894     }
1895
1896     Frame* frame = document().frame();
1897     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1898         if (actionIfInvalid == Complain)
1899             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1900         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1901         return false;
1902     }
1903
1904     if (!document().contentSecurityPolicy()->allowMediaFromSource(url, isInUserAgentShadowTree())) {
1905         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1906         return false;
1907     }
1908
1909     return true;
1910 }
1911
1912 void HTMLMediaElement::startProgressEventTimer()
1913 {
1914     if (m_progressEventTimer.isActive())
1915         return;
1916
1917     m_previousProgressTime = monotonicallyIncreasingTime();
1918     // 350ms is not magic, it is in the spec!
1919     m_progressEventTimer.startRepeating(0.350);
1920 }
1921
1922 void HTMLMediaElement::waitForSourceChange()
1923 {
1924     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
1925
1926     stopPeriodicTimers();
1927     m_loadState = WaitingForSource;
1928
1929     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
1930     m_networkState = NETWORK_NO_SOURCE;
1931
1932     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1933     setShouldDelayLoadEvent(false);
1934
1935     updateDisplayState();
1936     updateRenderer();
1937 }
1938
1939 void HTMLMediaElement::noneSupported()
1940 {
1941     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
1942
1943     stopPeriodicTimers();
1944     m_loadState = WaitingForSource;
1945     m_currentSourceNode = nullptr;
1946
1947     // 4.8.10.5 
1948     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
1949     // URL could not be resolved. In one atomic operation, run the following steps:
1950
1951     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
1952     // MEDIA_ERR_SRC_NOT_SUPPORTED.
1953     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
1954
1955     // 6.2 - Forget the media element's media-resource-specific text tracks.
1956     forgetResourceSpecificTracks();
1957
1958     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
1959     m_networkState = NETWORK_NO_SOURCE;
1960
1961     // 7 - Queue a task to fire a simple event named error at the media element.
1962     scheduleEvent(eventNames().errorEvent);
1963
1964     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
1965
1966 #if ENABLE(MEDIA_SOURCE)
1967     closeMediaSource();
1968 #endif
1969
1970     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1971     setShouldDelayLoadEvent(false);
1972
1973     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
1974     // the element won't attempt to load another resource.
1975
1976     updateDisplayState();
1977     updateRenderer();
1978 }
1979
1980 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
1981 {
1982     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
1983
1984     // 1 - The user agent should cancel the fetching process.
1985     stopPeriodicTimers();
1986     m_loadState = WaitingForSource;
1987
1988     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
1989     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
1990     if (error == MediaPlayer::NetworkError)
1991         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
1992     else if (error == MediaPlayer::DecodeError)
1993         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
1994     else
1995         ASSERT_NOT_REACHED();
1996
1997     // 3 - Queue a task to fire a simple event named error at the media element.
1998     scheduleEvent(eventNames().errorEvent);
1999
2000 #if ENABLE(MEDIA_SOURCE)
2001     closeMediaSource();
2002 #endif
2003
2004     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2005     // task to fire a simple event called emptied at the element.
2006     m_networkState = NETWORK_EMPTY;
2007     scheduleEvent(eventNames().emptiedEvent);
2008
2009     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2010     setShouldDelayLoadEvent(false);
2011
2012     // 6 - Abort the overall resource selection algorithm.
2013     m_currentSourceNode = nullptr;
2014
2015 #if PLATFORM(COCOA)
2016     if (is<MediaDocument>(document()))
2017         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2018 #endif
2019 }
2020
2021 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2022 {
2023     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2024     m_asyncEventQueue.cancelAllEvents();
2025
2026     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2027         source.cancelPendingErrorEvent();
2028
2029     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2030 }
2031
2032 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2033 {
2034     beginProcessingMediaPlayerCallback();
2035     setNetworkState(m_player->networkState());
2036     endProcessingMediaPlayerCallback();
2037 }
2038
2039 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2040 {
2041     if (!page)
2042         return;
2043
2044     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2045     if (!succeeded) {
2046         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2047         return;
2048     }
2049
2050     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2051
2052     if (!page->hasSeenAnyMediaEngine())
2053         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2054
2055     if (!page->hasSeenMediaEngine(mediaEngine))
2056         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2057
2058     page->sawMediaEngine(mediaEngine);
2059 }
2060
2061 static String stringForNetworkState(MediaPlayer::NetworkState state)
2062 {
2063     switch (state) {
2064     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2065     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2066     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2067     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2068     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2069     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2070     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2071     default: return emptyString();
2072     }
2073 }
2074
2075 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2076 {
2077     stopPeriodicTimers();
2078     
2079     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2080     // <source> children, schedule the next one
2081     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2082         
2083         // resource selection algorithm
2084         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2085         if (m_currentSourceNode)
2086             m_currentSourceNode->scheduleErrorEvent();
2087         else
2088             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2089         
2090         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2091         
2092         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2093         forgetResourceSpecificTracks();
2094
2095         if (havePotentialSourceChild()) {
2096             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2097             scheduleNextSourceChild();
2098         } else {
2099             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2100             waitForSourceChange();
2101         }
2102         
2103         return;
2104     }
2105     
2106     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2107         mediaLoadingFailedFatally(error);
2108     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2109         noneSupported();
2110     
2111     updateDisplayState();
2112     if (hasMediaControls()) {
2113         mediaControls()->reset();
2114         mediaControls()->reportedError();
2115     }
2116
2117     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2118
2119     m_mediaSession->clientCharacteristicsChanged();
2120 }
2121
2122 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2123 {
2124     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2125
2126     if (state == MediaPlayer::Empty) {
2127         // Just update the cached state and leave, we can't do anything.
2128         m_networkState = NETWORK_EMPTY;
2129         return;
2130     }
2131
2132     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2133         mediaLoadingFailed(state);
2134         return;
2135     }
2136
2137     if (state == MediaPlayer::Idle) {
2138         if (m_networkState > NETWORK_IDLE) {
2139             changeNetworkStateFromLoadingToIdle();
2140             setShouldDelayLoadEvent(false);
2141         } else {
2142             m_networkState = NETWORK_IDLE;
2143         }
2144     }
2145
2146     if (state == MediaPlayer::Loading) {
2147         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2148             startProgressEventTimer();
2149         m_networkState = NETWORK_LOADING;
2150     }
2151
2152     if (state == MediaPlayer::Loaded) {
2153         if (m_networkState != NETWORK_IDLE)
2154             changeNetworkStateFromLoadingToIdle();
2155         m_completelyLoaded = true;
2156     }
2157
2158     if (hasMediaControls())
2159         mediaControls()->updateStatusDisplay();
2160 }
2161
2162 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2163 {
2164     m_progressEventTimer.stop();
2165     if (hasMediaControls() && m_player->didLoadingProgress())
2166         mediaControls()->bufferingProgressed();
2167
2168     // Schedule one last progress event so we guarantee that at least one is fired
2169     // for files that load very quickly.
2170     scheduleEvent(eventNames().progressEvent);
2171     scheduleEvent(eventNames().suspendEvent);
2172     m_networkState = NETWORK_IDLE;
2173 }
2174
2175 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2176 {
2177     beginProcessingMediaPlayerCallback();
2178
2179     setReadyState(m_player->readyState());
2180
2181     endProcessingMediaPlayerCallback();
2182 }
2183
2184 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2185 {
2186     return isAutoplaying()
2187         && paused()
2188         && autoplay()
2189         && !pausedForUserInteraction()
2190         && !document().isSandboxed(SandboxAutomaticFeatures)
2191         && mediaSession().playbackPermitted(*this);
2192 }
2193
2194 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2195 {
2196     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2197
2198     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2199     bool wasPotentiallyPlaying = potentiallyPlaying();
2200
2201     ReadyState oldState = m_readyState;
2202     ReadyState newState = static_cast<ReadyState>(state);
2203
2204 #if ENABLE(VIDEO_TRACK)
2205     bool tracksAreReady = textTracksAreReady();
2206
2207     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2208         return;
2209
2210     m_tracksAreReady = tracksAreReady;
2211 #else
2212     if (newState == oldState)
2213         return;
2214     bool tracksAreReady = true;
2215 #endif
2216     
2217     if (tracksAreReady)
2218         m_readyState = newState;
2219     else {
2220         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2221         // the text tracks are ready, regardless of the state of the media file.
2222         if (newState <= HAVE_METADATA)
2223             m_readyState = newState;
2224         else
2225             m_readyState = HAVE_CURRENT_DATA;
2226     }
2227     
2228     if (oldState > m_readyStateMaximum)
2229         m_readyStateMaximum = oldState;
2230
2231     if (m_networkState == NETWORK_EMPTY)
2232         return;
2233
2234     if (m_seeking) {
2235         // 4.8.10.9, step 11
2236         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2237             scheduleEvent(eventNames().waitingEvent);
2238
2239         // 4.8.10.10 step 14 & 15.
2240         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2241             finishSeek();
2242     } else {
2243         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2244             // 4.8.10.8
2245             invalidateCachedTime();
2246             scheduleTimeupdateEvent(false);
2247             scheduleEvent(eventNames().waitingEvent);
2248         }
2249     }
2250
2251     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2252         prepareMediaFragmentURI();
2253         scheduleEvent(eventNames().durationchangeEvent);
2254         scheduleResizeEvent();
2255         scheduleEvent(eventNames().loadedmetadataEvent);
2256 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2257         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2258             enqueuePlaybackTargetAvailabilityChangedEvent();
2259 #endif
2260         m_initiallyMuted = m_volume < 0.05 || muted();
2261
2262         if (hasMediaControls())
2263             mediaControls()->loadedMetadata();
2264         updateRenderer();
2265
2266         if (is<MediaDocument>(document()))
2267             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2268
2269         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2270
2271 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2272         updateMediaState(UpdateMediaState::Asynchronously);
2273 #endif
2274
2275         m_mediaSession->clientCharacteristicsChanged();
2276     }
2277
2278     bool shouldUpdateDisplayState = false;
2279
2280     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2281         m_haveFiredLoadedData = true;
2282         shouldUpdateDisplayState = true;
2283         scheduleEvent(eventNames().loadeddataEvent);
2284         setShouldDelayLoadEvent(false);
2285         applyMediaFragmentURI();
2286     }
2287
2288     bool isPotentiallyPlaying = potentiallyPlaying();
2289     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2290         scheduleEvent(eventNames().canplayEvent);
2291         if (isPotentiallyPlaying)
2292             scheduleNotifyAboutPlaying();
2293         shouldUpdateDisplayState = true;
2294     }
2295
2296     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2297         if (oldState <= HAVE_CURRENT_DATA)
2298             scheduleEvent(eventNames().canplayEvent);
2299
2300         scheduleEvent(eventNames().canplaythroughEvent);
2301
2302         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2303             scheduleNotifyAboutPlaying();
2304
2305         if (canTransitionFromAutoplayToPlay()) {
2306             m_paused = false;
2307             invalidateCachedTime();
2308             scheduleEvent(eventNames().playEvent);
2309             scheduleNotifyAboutPlaying();
2310         }
2311
2312         shouldUpdateDisplayState = true;
2313     }
2314
2315     if (shouldUpdateDisplayState) {
2316         updateDisplayState();
2317         if (hasMediaControls()) {
2318             mediaControls()->refreshClosedCaptionsButtonVisibility();
2319             mediaControls()->updateStatusDisplay();
2320         }
2321     }
2322
2323     updatePlayState();
2324     updateMediaController();
2325 #if ENABLE(VIDEO_TRACK)
2326     updateActiveTextTrackCues(currentMediaTime());
2327 #endif
2328 }
2329
2330 #if ENABLE(ENCRYPTED_MEDIA)
2331 void HTMLMediaElement::mediaPlayerKeyAdded(MediaPlayer*, const String& keySystem, const String& sessionId)
2332 {
2333     Ref<Event> event = MediaKeyEvent::create(eventNames().webkitkeyaddedEvent, keySystem, sessionId, nullptr, nullptr, emptyString(), nullptr, 0);
2334     event->setTarget(this);
2335     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2336 }
2337
2338 void HTMLMediaElement::mediaPlayerKeyError(MediaPlayer*, const String& keySystem, const String& sessionId, MediaPlayerClient::MediaKeyErrorCode errorCode, unsigned short systemCode)
2339 {
2340     MediaKeyError::Code mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_UNKNOWN;
2341     switch (errorCode) {
2342     case MediaPlayerClient::UnknownError:
2343         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_UNKNOWN;
2344         break;
2345     case MediaPlayerClient::ClientError:
2346         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_CLIENT;
2347         break;
2348     case MediaPlayerClient::ServiceError:
2349         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_SERVICE;
2350         break;
2351     case MediaPlayerClient::OutputError:
2352         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_OUTPUT;
2353         break;
2354     case MediaPlayerClient::HardwareChangeError:
2355         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_HARDWARECHANGE;
2356         break;
2357     case MediaPlayerClient::DomainError:
2358         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_DOMAIN;
2359         break;
2360     }
2361
2362     Ref<Event> event = MediaKeyEvent::create(eventNames().webkitkeyerrorEvent, keySystem, sessionId, nullptr, nullptr, emptyString(), MediaKeyError::create(mediaKeyErrorCode), systemCode);
2363     event->setTarget(this);
2364     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2365 }
2366
2367 void HTMLMediaElement::mediaPlayerKeyMessage(MediaPlayer*, const String& keySystem, const String& sessionId, const unsigned char* message, unsigned messageLength, const URL& defaultURL)
2368 {
2369     Ref<Event> event = MediaKeyEvent::create(eventNames().webkitkeymessageEvent, keySystem, sessionId, nullptr, Uint8Array::create(message, messageLength), defaultURL, nullptr, 0);
2370     event->setTarget(this);
2371     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2372 }
2373
2374 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, const String& keySystem, const String& sessionId, const unsigned char* initData, unsigned initDataLength)
2375 {
2376     if (!hasEventListeners(eventNames().webkitneedkeyEvent)) {
2377         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2378         scheduleEvent(eventNames().errorEvent);
2379         return false;
2380     }
2381
2382     Ref<Event> event = MediaKeyEvent::create(eventNames().webkitneedkeyEvent, keySystem, sessionId, Uint8Array::create(initData, initDataLength), nullptr, emptyString(), nullptr, 0);
2383     event->setTarget(this);
2384     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2385     return true;
2386 }
2387 #endif
2388
2389 #if ENABLE(ENCRYPTED_MEDIA_V2)
2390 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2391 {
2392     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2393 }
2394
2395 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2396 {
2397     if (!hasEventListeners("webkitneedkey")) {
2398         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2399         scheduleEvent(eventNames().errorEvent);
2400         return false;
2401     }
2402
2403     auto event = MediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2404     event->setTarget(this);
2405     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2406
2407     return true;
2408 }
2409
2410 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2411 {
2412     Settings* settings = document().settings();
2413     if (!settings)
2414         return emptyString();
2415
2416     String storageDirectory = settings->mediaKeysStorageDirectory();
2417     if (storageDirectory.isEmpty())
2418         return emptyString();
2419
2420     SecurityOrigin* origin = document().securityOrigin();
2421     if (!origin)
2422         return emptyString();
2423
2424     return pathByAppendingComponent(storageDirectory, origin->databaseIdentifier());
2425 }
2426
2427 void HTMLMediaElement::setMediaKeys(MediaKeys* mediaKeys)
2428 {
2429     if (m_mediaKeys == mediaKeys)
2430         return;
2431
2432     if (m_mediaKeys)
2433         m_mediaKeys->setMediaElement(0);
2434     m_mediaKeys = mediaKeys;
2435     if (m_mediaKeys)
2436         m_mediaKeys->setMediaElement(this);
2437 }
2438
2439 void HTMLMediaElement::keyAdded()
2440 {
2441     if (m_player)
2442         m_player->keyAdded();
2443 }
2444 #endif
2445
2446 void HTMLMediaElement::progressEventTimerFired()
2447 {
2448     ASSERT(m_player);
2449     if (m_networkState != NETWORK_LOADING)
2450         return;
2451
2452     double time = monotonicallyIncreasingTime();
2453     double timedelta = time - m_previousProgressTime;
2454
2455     if (m_player->didLoadingProgress()) {
2456         scheduleEvent(eventNames().progressEvent);
2457         m_previousProgressTime = time;
2458         m_sentStalledEvent = false;
2459         updateRenderer();
2460         if (hasMediaControls())
2461             mediaControls()->bufferingProgressed();
2462     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2463         scheduleEvent(eventNames().stalledEvent);
2464         m_sentStalledEvent = true;
2465         setShouldDelayLoadEvent(false);
2466     }
2467 }
2468
2469 void HTMLMediaElement::rewind(double timeDelta)
2470 {
2471     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2472     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2473 }
2474
2475 void HTMLMediaElement::returnToRealtime()
2476 {
2477     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2478     setCurrentTime(maxTimeSeekable());
2479 }
2480
2481 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2482 {
2483     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2484     if (!m_playedTimeRanges)
2485         m_playedTimeRanges = TimeRanges::create();
2486     m_playedTimeRanges->ranges().add(start, end);
2487 }  
2488
2489 bool HTMLMediaElement::supportsScanning() const
2490 {
2491     return m_player ? m_player->supportsScanning() : false;
2492 }
2493
2494 void HTMLMediaElement::prepareToPlay()
2495 {
2496     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2497     if (m_havePreparedToPlay)
2498         return;
2499     m_havePreparedToPlay = true;
2500     m_player->prepareToPlay();
2501 }
2502
2503 void HTMLMediaElement::fastSeek(double time)
2504 {
2505     fastSeek(MediaTime::createWithDouble(time));
2506 }
2507
2508 void HTMLMediaElement::fastSeek(const MediaTime& time)
2509 {
2510     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2511     // 4.7.10.9 Seeking
2512     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2513     // allow for playback to resume promptly. If new playback position before this step is before current
2514     // playback position, then the adjusted new playback position must also be before the current playback
2515     // position. Similarly, if the new playback position before this step is after current playback position,
2516     // then the adjusted new playback position must also be after the current playback position.
2517     refreshCachedTime();
2518     MediaTime delta = time - currentMediaTime();
2519     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2520     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2521
2522     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2523 }
2524
2525 void HTMLMediaElement::seek(const MediaTime& time)
2526 {
2527     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2528     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2529 }
2530
2531 void HTMLMediaElement::seekInternal(const MediaTime& time)
2532 {
2533     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2534     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2535 }
2536
2537 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2538 {
2539     // 4.8.10.9 Seeking
2540     MediaTime time = inTime;
2541
2542     // 1 - Set the media element's show poster flag to false.
2543     setDisplayMode(Video);
2544
2545     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2546     if (m_readyState == HAVE_NOTHING || !m_player)
2547         return;
2548
2549     // If the media engine has been told to postpone loading data, let it go ahead now.
2550     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2551         prepareToPlay();
2552
2553     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2554     refreshCachedTime();
2555     MediaTime now = currentMediaTime();
2556
2557     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2558     // already running. Abort that other instance of the algorithm without waiting for the step that
2559     // it is running to complete.
2560     if (m_seekTaskQueue.hasPendingTasks()) {
2561         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2562         m_seekTaskQueue.cancelAllTasks();
2563         if (m_pendingSeek) {
2564             now = m_pendingSeek->now;
2565             m_pendingSeek = nullptr;
2566         }
2567         m_pendingSeekType = NoSeek;
2568     }
2569
2570     // 4 - Set the seeking IDL attribute to true.
2571     // The flag will be cleared when the engine tells us the time has actually changed.
2572     m_seeking = true;
2573     if (m_playing) {
2574         if (m_lastSeekTime < now)
2575             addPlayedRange(m_lastSeekTime, now);
2576     }
2577     m_lastSeekTime = time;
2578
2579     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2580     // the script. The remainder of these steps must be run asynchronously.
2581     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2582     if (fromDOM) {
2583         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2584         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2585     } else
2586         seekTask();
2587 }
2588
2589 void HTMLMediaElement::seekTask()
2590 {
2591     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2592
2593     if (!m_player) {
2594         clearSeeking();
2595         return;
2596     }
2597
2598     ASSERT(m_pendingSeek);
2599     MediaTime now = m_pendingSeek->now;
2600     MediaTime time = m_pendingSeek->targetTime;
2601     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2602     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2603     m_pendingSeek = nullptr;
2604
2605     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2606     // of the media resource instead.
2607     time = std::min(time, durationMediaTime());
2608
2609     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2610     MediaTime earliestTime = m_player->startTime();
2611     time = std::max(time, earliestTime);
2612
2613     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2614     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2615     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2616     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2617     // fire a 'seeked' event.
2618 #if !LOG_DISABLED
2619     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2620     if (time != mediaTime)
2621         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2622 #endif
2623     time = m_player->mediaTimeForTimeValue(time);
2624
2625     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2626     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2627     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2628     // attribute then set the seeking IDL attribute to false and abort these steps.
2629     RefPtr<TimeRanges> seekableRanges = seekable();
2630     bool noSeekRequired = !seekableRanges->length();
2631
2632     // Short circuit seeking to the current time by just firing the events if no seek is required.
2633     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2634     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2635     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2636     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2637         noSeekRequired = true;
2638
2639 #if ENABLE(MEDIA_SOURCE)
2640     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2641     // always in a flushed state when the 'seeking' event fires.
2642     if (m_mediaSource && !m_mediaSource->isClosed())
2643         noSeekRequired = false;
2644 #endif
2645
2646     if (noSeekRequired) {
2647         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2648         if (time == now) {
2649             scheduleEvent(eventNames().seekingEvent);
2650             scheduleTimeupdateEvent(false);
2651             scheduleEvent(eventNames().seekedEvent);
2652         }
2653         clearSeeking();
2654         return;
2655     }
2656     time = seekableRanges->ranges().nearest(time);
2657
2658     m_sentEndEvent = false;
2659     m_lastSeekTime = time;
2660     m_pendingSeekType = thisSeekType;
2661     m_seeking = true;
2662
2663     // 10 - Queue a task to fire a simple event named seeking at the element.
2664     scheduleEvent(eventNames().seekingEvent);
2665
2666     // 11 - Set the current playback position to the given new playback position
2667     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2668
2669     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2670     // position is available, and, if it is, until it has decoded enough data to play back that position.
2671     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2672 }
2673
2674 void HTMLMediaElement::clearSeeking()
2675 {
2676     m_seeking = false;
2677     m_pendingSeekType = NoSeek;
2678     invalidateCachedTime();
2679 }
2680
2681 void HTMLMediaElement::finishSeek()
2682 {
2683     // 4.8.10.9 Seeking
2684     // 14 - Set the seeking IDL attribute to false.
2685     clearSeeking();
2686
2687     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2688
2689     // 15 - Run the time maches on steps.
2690     // Handled by mediaPlayerTimeChanged().
2691
2692     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2693     scheduleEvent(eventNames().timeupdateEvent);
2694
2695     // 17 - Queue a task to fire a simple event named seeked at the element.
2696     scheduleEvent(eventNames().seekedEvent);
2697
2698 #if ENABLE(MEDIA_SOURCE)
2699     if (m_mediaSource)
2700         m_mediaSource->monitorSourceBuffers();
2701 #endif
2702 }
2703
2704 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2705 {
2706     return m_readyState;
2707 }
2708
2709 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2710 {
2711     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2712 }
2713
2714 bool HTMLMediaElement::hasAudio() const
2715 {
2716     return m_player ? m_player->hasAudio() : false;
2717 }
2718
2719 bool HTMLMediaElement::seeking() const
2720 {
2721     return m_seeking;
2722 }
2723
2724 void HTMLMediaElement::refreshCachedTime() const
2725 {
2726     if (!m_player)
2727         return;
2728
2729     m_cachedTime = m_player->currentTime();
2730     if (!m_cachedTime) {
2731         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2732         // estimate current time until playback actually begins. 
2733         invalidateCachedTime(); 
2734         return; 
2735     } 
2736
2737     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2738 }
2739
2740 void HTMLMediaElement::invalidateCachedTime() const
2741 {
2742     m_cachedTime = MediaTime::invalidTime();
2743     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2744         return;
2745
2746 #if !LOG_DISABLED
2747     if (m_cachedTime.isValid())
2748         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2749 #endif
2750
2751     // Don't try to cache movie time when playback first starts as the time reported by the engine
2752     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2753     // too early.
2754     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2755
2756     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2757 }
2758
2759 // playback state
2760 double HTMLMediaElement::currentTime() const
2761 {
2762     return currentMediaTime().toDouble();
2763 }
2764
2765 MediaTime HTMLMediaElement::currentMediaTime() const
2766 {
2767 #if LOG_CACHED_TIME_WARNINGS
2768     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2769 #endif
2770
2771     if (!m_player)
2772         return MediaTime::zeroTime();
2773
2774     if (m_seeking) {
2775         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2776         return m_lastSeekTime;
2777     }
2778
2779     if (m_cachedTime.isValid() && m_paused) {
2780 #if LOG_CACHED_TIME_WARNINGS
2781         MediaTime delta = m_cachedTime - m_player->currentTime();
2782         if (delta > minCachedDeltaForWarning)
2783             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2784 #endif
2785         return m_cachedTime;
2786     }
2787
2788     // Is it too soon use a cached time?
2789     double now = monotonicallyIncreasingTime();
2790     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2791
2792     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2793         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2794
2795         // Not too soon, use the cached time only if it hasn't expired.
2796         if (clockDelta < maximumDurationToCacheMediaTime) {
2797             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2798
2799 #if LOG_CACHED_TIME_WARNINGS
2800             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2801             if (delta > minCachedDeltaForWarning)
2802                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2803 #endif
2804             return adjustedCacheTime;
2805         }
2806     }
2807
2808 #if LOG_CACHED_TIME_WARNINGS
2809     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2810         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2811         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2812         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2813     }
2814 #endif
2815
2816     refreshCachedTime();
2817
2818     if (m_cachedTime.isInvalid())
2819         return MediaTime::zeroTime();
2820     
2821     return m_cachedTime;
2822 }
2823
2824 void HTMLMediaElement::setCurrentTime(double time)
2825 {
2826     setCurrentTime(MediaTime::createWithDouble(time));
2827 }
2828
2829 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2830 {
2831     if (m_mediaController)
2832         return;
2833
2834     seekInternal(time);
2835 }
2836
2837 void HTMLMediaElement::setCurrentTime(double time, ExceptionCode& ec)
2838 {
2839     // On setting, if the media element has a current media controller, then the user agent must
2840     // throw an InvalidStateError exception
2841     if (m_mediaController) {
2842         ec = INVALID_STATE_ERR;
2843         return;
2844     }
2845
2846     seek(MediaTime::createWithDouble(time));
2847 }
2848
2849 double HTMLMediaElement::duration() const
2850 {
2851     return durationMediaTime().toDouble();
2852 }
2853
2854 MediaTime HTMLMediaElement::durationMediaTime() const
2855 {
2856     if (m_player && m_readyState >= HAVE_METADATA)
2857         return m_player->duration();
2858
2859     return MediaTime::invalidTime();
2860 }
2861
2862 bool HTMLMediaElement::paused() const
2863 {
2864     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2865     // we had problems where this was called on an object after a bad cast. The assertion below
2866     // made our regression test detect the problem, so we should keep it because of that. But note
2867     // that the value of the assertion relies on the compiler not being smart enough to know that
2868     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2869     ASSERT(!isHTMLUnknownElement());
2870
2871     return m_paused;
2872 }
2873
2874 double HTMLMediaElement::defaultPlaybackRate() const
2875 {
2876 #if ENABLE(MEDIA_STREAM)
2877     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2878     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2879     // A MediaStream is not seekable. Therefore, this attribute must always have the
2880     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2881     // that the ratechange event will not fire.
2882     if (m_mediaStreamSrcObject)
2883         return 1;
2884 #endif
2885
2886     return m_defaultPlaybackRate;
2887 }
2888
2889 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2890 {
2891 #if ENABLE(MEDIA_STREAM)
2892     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2893     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2894     // A MediaStream is not seekable. Therefore, this attribute must always have the
2895     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2896     // that the ratechange event will not fire.
2897     if (m_mediaStreamSrcObject)
2898         return;
2899 #endif
2900
2901     if (m_defaultPlaybackRate != rate) {
2902         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2903         m_defaultPlaybackRate = rate;
2904         scheduleEvent(eventNames().ratechangeEvent);
2905     }
2906 }
2907
2908 double HTMLMediaElement::effectivePlaybackRate() const
2909 {
2910     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2911 }
2912
2913 double HTMLMediaElement::requestedPlaybackRate() const
2914 {
2915     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2916 }
2917
2918 double HTMLMediaElement::playbackRate() const
2919 {
2920 #if ENABLE(MEDIA_STREAM)
2921     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2922     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2923     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2924     // means that the ratechange event will not fire.
2925     if (m_mediaStreamSrcObject)
2926         return 1;
2927 #endif
2928
2929     return m_requestedPlaybackRate;
2930 }
2931
2932 void HTMLMediaElement::setPlaybackRate(double rate)
2933 {
2934     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2935
2936 #if ENABLE(MEDIA_STREAM)
2937     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2938     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2939     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2940     // means that the ratechange event will not fire.
2941     if (m_mediaStreamSrcObject)
2942         return;
2943 #endif
2944
2945     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2946         m_player->setRate(rate);
2947
2948     if (m_requestedPlaybackRate != rate) {
2949         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2950         invalidateCachedTime();
2951         scheduleEvent(eventNames().ratechangeEvent);
2952     }
2953 }
2954
2955 void HTMLMediaElement::updatePlaybackRate()
2956 {
2957     double requestedRate = requestedPlaybackRate();
2958     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2959         m_player->setRate(requestedRate);
2960 }
2961
2962 bool HTMLMediaElement::webkitPreservesPitch() const
2963 {
2964     return m_webkitPreservesPitch;
2965 }
2966
2967 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
2968 {
2969     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
2970
2971     m_webkitPreservesPitch = preservesPitch;
2972     
2973     if (!m_player)
2974         return;
2975
2976     m_player->setPreservesPitch(preservesPitch);
2977 }
2978
2979 bool HTMLMediaElement::ended() const
2980 {
2981 #if ENABLE(MEDIA_STREAM)
2982     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2983     // When the MediaStream state moves from the active to the inactive state, the User Agent
2984     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
2985     if (m_mediaStreamSrcObject && m_player && m_player->ended())
2986         return true;
2987 #endif
2988
2989     // 4.8.10.8 Playing the media resource
2990     // The ended attribute must return true if the media element has ended 
2991     // playback and the direction of playback is forwards, and false otherwise.
2992     return endedPlayback() && requestedPlaybackRate() > 0;
2993 }
2994
2995 bool HTMLMediaElement::autoplay() const
2996 {
2997     return fastHasAttribute(autoplayAttr);
2998 }
2999
3000 String HTMLMediaElement::preload() const
3001 {
3002 #if ENABLE(MEDIA_STREAM)
3003     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3004     // "preload" - On getting: none. On setting: ignored.
3005     if (m_mediaStreamSrcObject)
3006         return ASCIILiteral("none");
3007 #endif
3008
3009     switch (m_preload) {
3010     case MediaPlayer::None:
3011         return ASCIILiteral("none");
3012     case MediaPlayer::MetaData:
3013         return ASCIILiteral("metadata");
3014     case MediaPlayer::Auto:
3015         return ASCIILiteral("auto");
3016     }
3017
3018     ASSERT_NOT_REACHED();
3019     return String();
3020 }
3021
3022 void HTMLMediaElement::setPreload(const String& preload)
3023 {
3024     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3025 #if ENABLE(MEDIA_STREAM)
3026     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3027     // "preload" - On getting: none. On setting: ignored.
3028     if (m_mediaStreamSrcObject)
3029         return;
3030 #endif
3031
3032     setAttribute(preloadAttr, preload);
3033 }
3034
3035 void HTMLMediaElement::play(PlayPromise&& promise)
3036 {
3037     LOG(Media, "HTMLMediaElement::play(%p)", this);
3038
3039     if (!m_mediaSession->playbackPermitted(*this)) {
3040         promise.reject(NotAllowedError);
3041         return;
3042     }
3043
3044     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3045         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3046         return;
3047     }
3048
3049     if (ScriptController::processingUserGestureForMedia())
3050         removeBehaviorsRestrictionsAfterFirstUserGesture();
3051
3052     if (!playInternal())
3053         promise.reject(NotAllowedError);
3054
3055     m_pendingPlayPromises.append(WTFMove(promise));
3056 }
3057
3058 void HTMLMediaElement::play()
3059 {
3060     LOG(Media, "HTMLMediaElement::play(%p)", this);
3061
3062     if (!m_mediaSession->playbackPermitted(*this))
3063         return;
3064     if (ScriptController::processingUserGestureForMedia())
3065         removeBehaviorsRestrictionsAfterFirstUserGesture();
3066
3067     playInternal();
3068 }
3069
3070 bool HTMLMediaElement::playInternal()
3071 {
3072     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3073     
3074     if (!m_mediaSession->clientWillBeginPlayback()) {
3075         LOG(Media, "  returning because of interruption");
3076         return false;
3077     }
3078
3079     // 4.8.10.9. Playing the media resource
3080     if (!m_player || m_networkState == NETWORK_EMPTY)
3081         scheduleDelayedAction(LoadMediaResource);
3082
3083     if (endedPlayback())
3084         seekInternal(MediaTime::zeroTime());
3085
3086     if (m_mediaController)
3087         m_mediaController->bringElementUpToSpeed(this);
3088
3089     if (m_paused) {
3090         m_paused = false;
3091         invalidateCachedTime();
3092         scheduleEvent(eventNames().playEvent);
3093
3094         if (m_readyState <= HAVE_CURRENT_DATA)
3095             scheduleEvent(eventNames().waitingEvent);
3096         else if (m_readyState >= HAVE_FUTURE_DATA)
3097             scheduleNotifyAboutPlaying();
3098
3099 #if ENABLE(MEDIA_SESSION)
3100         // 6.3 Activating a media session from a media element
3101         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3102         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3103         // 1. Let media session be the value of the current media session.
3104         // 2. If we are not currently in media session's list of active participating media elements then append
3105         //    ourselves to this list.
3106         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3107         // 4. If activated is failure, pause ourselves.
3108         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3109             if (m_session) {
3110                 m_session->addActiveMediaElement(*this);
3111
3112                 if (m_session->kind() == MediaSessionKind::Content) {
3113                     if (Page* page = document().page())
3114                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3115                 }
3116
3117                 if (!m_session->invoke()) {
3118                     pause();
3119                     return false;
3120                 }
3121             }
3122         }
3123 #endif
3124     } else if (m_readyState >= HAVE_FUTURE_DATA)
3125         scheduleResolvePendingPlayPromises();
3126
3127     m_autoplaying = false;
3128     updatePlayState();
3129     updateMediaController();
3130     return true;
3131 }
3132
3133 void HTMLMediaElement::pause()
3134 {
3135     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3136
3137     if (!m_mediaSession->playbackPermitted(*this))
3138         return;
3139
3140     pauseInternal();
3141 }
3142
3143
3144 void HTMLMediaElement::pauseInternal()
3145 {
3146     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3147
3148     if (!m_mediaSession->clientWillPausePlayback()) {
3149         LOG(Media, "  returning because of interruption");
3150         return;
3151     }
3152
3153     // 4.8.10.9. Playing the media resource
3154     if (!m_player || m_networkState == NETWORK_EMPTY) {
3155         // Unless the restriction on media requiring user action has been lifted
3156         // don't trigger loading if a script calls pause().
3157         if (!m_mediaSession->playbackPermitted(*this))
3158             return;
3159         scheduleDelayedAction(LoadMediaResource);
3160     }
3161
3162     m_autoplaying = false;
3163
3164     if (!m_paused) {
3165         m_paused = true;
3166         scheduleTimeupdateEvent(false);
3167         scheduleEvent(eventNames().pauseEvent);
3168         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3169
3170         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3171             purgeBufferedDataIfPossible();
3172     }
3173
3174     updatePlayState();
3175 }
3176
3177 #if ENABLE(MEDIA_SOURCE)
3178 void HTMLMediaElement::closeMediaSource()
3179 {
3180     if (!m_mediaSource)
3181         return;
3182
3183     m_mediaSource->close();
3184     m_mediaSource = nullptr;
3185 }
3186 #endif
3187
3188 #if ENABLE(ENCRYPTED_MEDIA)
3189 void HTMLMediaElement::webkitGenerateKeyRequest(const String& keySystem, const RefPtr<Uint8Array>& initData, ExceptionCode& ec)
3190 {
3191 #if ENABLE(ENCRYPTED_MEDIA_V2)
3192     static bool firstTime = true;
3193     if (firstTime && scriptExecutionContext()) {
3194         scriptExecutionContext()->addConsoleMessage(MessageSource::JS, MessageLevel::Warning, ASCIILiteral("'HTMLMediaElement.webkitGenerateKeyRequest()' is deprecated.  Use 'MediaKeys.createSession()' instead."));
3195         firstTime = false;
3196     }
3197 #endif
3198
3199     if (keySystem.isEmpty()) {
3200         ec = SYNTAX_ERR;
3201         return;
3202     }
3203
3204     if (!m_player) {
3205         ec = INVALID_STATE_ERR;
3206         return;
3207     }
3208
3209     const unsigned char* initDataPointer = nullptr;
3210     unsigned initDataLength = 0;
3211     if (initData) {
3212         initDataPointer = initData->data();
3213         initDataLength = initData->length();
3214     }
3215
3216     MediaPlayer::MediaKeyException result = m_player->generateKeyRequest(keySystem, initDataPointer, initDataLength);
3217     ec = exceptionCodeForMediaKeyException(result);
3218 }
3219
3220 void HTMLMediaElement::webkitAddKey(const String& keySystem, Uint8Array& key, const RefPtr<Uint8Array>& initData, const String& sessionId, ExceptionCode& ec)
3221 {
3222 #if ENABLE(ENCRYPTED_MEDIA_V2)
3223     static bool firstTime = true;
3224     if (firstTime && scriptExecutionContext()) {
3225         scriptExecutionContext()->addConsoleMessage(MessageSource::JS, MessageLevel::Warning, ASCIILiteral("'HTMLMediaElement.webkitAddKey()' is deprecated.  Use 'MediaKeySession.update()' instead."));
3226         firstTime = false;
3227     }
3228 #endif
3229
3230     if (keySystem.isEmpty()) {
3231         ec = SYNTAX_ERR;
3232         return;
3233     }
3234
3235     if (!key.length()) {
3236         ec = TYPE_MISMATCH_ERR;
3237         return;
3238     }
3239
3240     if (!m_player) {
3241         ec = INVALID_STATE_ERR;
3242         return;
3243     }
3244
3245     const unsigned char* initDataPointer = nullptr;
3246     unsigned initDataLength = 0;
3247     if (initData) {
3248         initDataPointer = initData->data();
3249         initDataLength = initData->length();
3250     }
3251
3252     MediaPlayer::MediaKeyException result = m_player->addKey(keySystem, key.data(), key.length(), initDataPointer, initDataLength, sessionId);
3253     ec = exceptionCodeForMediaKeyException(result);
3254 }
3255
3256 void HTMLMediaElement::webkitCancelKeyRequest(const String& keySystem, const String& sessionId, ExceptionCode& ec)
3257 {
3258     if (keySystem.isEmpty()) {
3259         ec = SYNTAX_ERR;
3260         return;
3261     }
3262
3263     if (!m_player) {
3264         ec = INVALID_STATE_ERR;
3265         return;
3266     }
3267
3268     MediaPlayer::MediaKeyException result = m_player->cancelKeyRequest(keySystem, sessionId);
3269     ec = exceptionCodeForMediaKeyException(result);
3270 }
3271
3272 #endif
3273
3274 bool HTMLMediaElement::loop() const
3275 {
3276     return fastHasAttribute(loopAttr);
3277 }
3278
3279 void HTMLMediaElement::setLoop(bool b)
3280 {
3281     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3282     setBooleanAttribute(loopAttr, b);
3283 }
3284
3285 bool HTMLMediaElement::controls() const
3286 {
3287     Frame* frame = document().frame();
3288
3289     // always show controls when scripting is disabled
3290     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3291         return true;
3292
3293     return fastHasAttribute(controlsAttr);
3294 }
3295
3296 void HTMLMediaElement::setControls(bool b)
3297 {
3298     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3299     setBooleanAttribute(controlsAttr, b);
3300 }
3301
3302 double HTMLMediaElement::volume() const
3303 {
3304     return m_volume;
3305 }
3306
3307 void HTMLMediaElement::setVolume(double vol, ExceptionCode& ec)
3308 {
3309     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, vol);
3310
3311     if (vol < 0.0f || vol > 1.0f) {
3312         ec = INDEX_SIZE_ERR;
3313         return;
3314     }
3315     
3316 #if !PLATFORM(IOS)
3317     if (m_volume != vol) {
3318         m_volume = vol;
3319         m_volumeInitialized = true;
3320         updateVolume();
3321         scheduleEvent(eventNames().volumechangeEvent);
3322     }
3323 #endif
3324 }
3325
3326 bool HTMLMediaElement::muted() const
3327 {
3328     return m_explicitlyMuted ? m_muted : fastHasAttribute(mutedAttr);
3329 }
3330
3331 void HTMLMediaElement::setMuted(bool muted)
3332 {
3333     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3334
3335     if (m_muted != muted || !m_explicitlyMuted) {
3336         m_muted = muted;
3337         m_explicitlyMuted = true;
3338
3339         if (ScriptController::processingUserGestureForMedia())
3340             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3341
3342         // Avoid recursion when the player reports volume changes.
3343         if (!processingMediaPlayerCallback()) {
3344             if (m_player) {
3345                 m_player->setMuted(effectiveMuted());
3346                 if (hasMediaControls())
3347                     mediaControls()->changedMute();
3348             }
3349         }
3350         scheduleEvent(eventNames().volumechangeEvent);
3351
3352         updateShouldPlay();
3353
3354 #if ENABLE(MEDIA_SESSION)
3355         document().updateIsPlayingMedia(m_elementID);
3356 #else
3357         document().updateIsPlayingMedia();
3358 #endif
3359
3360 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3361         updateMediaState(UpdateMediaState::Asynchronously);
3362 #endif
3363     }
3364
3365     updatePlaybackControlsManager();
3366 }
3367
3368 void HTMLMediaElement::togglePlayState()
3369 {
3370     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3371
3372     // We can safely call the internal play/pause methods, which don't check restrictions, because
3373     // this method is only called from the built-in media controller
3374     if (canPlay()) {
3375         updatePlaybackRate();
3376         playInternal();
3377     } else 
3378         pauseInternal();
3379 }
3380
3381 void HTMLMediaElement::beginScrubbing()
3382 {
3383     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3384
3385     if (!paused()) {
3386         if (ended()) {
3387             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3388             // when the slider is dragged from the end to another position unless we pause first. Do 
3389             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3390             pause();
3391         } else {
3392             // Not at the end but we still want to pause playback so the media engine doesn't try to
3393             // continue playing during scrubbing. Pause without generating an event as we will 
3394             // unpause after scrubbing finishes.
3395             setPausedInternal(true);
3396         }
3397     }
3398 }
3399
3400 void HTMLMediaElement::endScrubbing()
3401 {
3402     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3403
3404     if (m_pausedInternal)
3405         setPausedInternal(false);
3406 }
3407
3408 void HTMLMediaElement::beginScanning(ScanDirection direction)
3409 {
3410     m_scanType = supportsScanning() ? Scan : Seek;
3411     m_scanDirection = direction;
3412
3413     if (m_scanType == Seek) {
3414         // Scanning by seeking requires the video to be paused during scanning.
3415         m_actionAfterScan = paused() ? Nothing : Play;
3416         pause();
3417     } else {
3418         // Scanning by scanning requires the video to be playing during scanninging.
3419         m_actionAfterScan = paused() ? Pause : Nothing;
3420         play();
3421         setPlaybackRate(nextScanRate());
3422     }
3423
3424     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3425 }
3426
3427 void HTMLMediaElement::endScanning()
3428 {
3429     if (m_scanType == Scan)
3430         setPlaybackRate(defaultPlaybackRate());
3431
3432     if (m_actionAfterScan == Play)
3433         play();
3434     else if (m_actionAfterScan == Pause)
3435         pause();
3436
3437     if (m_scanTimer.isActive())
3438         m_scanTimer.stop();
3439 }
3440
3441 double HTMLMediaElement::nextScanRate()
3442 {
3443     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3444     if (m_scanDirection == Backward)
3445         rate *= -1;
3446 #if PLATFORM(IOS)
3447     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3448 #endif
3449     return rate;
3450 }
3451
3452 void HTMLMediaElement::scanTimerFired()
3453 {
3454     if (m_scanType == Seek) {
3455         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3456         setCurrentTime(currentTime() + seekTime);
3457     } else
3458         setPlaybackRate(nextScanRate());
3459 }
3460
3461 // The spec says to fire periodic timeupdate events (those sent while playing) every
3462 // "15 to 250ms", we choose the slowest frequency
3463 static const double maxTimeupdateEventFrequency = 0.25;
3464
3465 void HTMLMediaElement::startPlaybackProgressTimer()
3466 {
3467     if (m_playbackProgressTimer.isActive())
3468         return;
3469
3470     m_previousProgressTime = monotonicallyIncreasingTime();
3471     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3472 }
3473
3474 void HTMLMediaElement::playbackProgressTimerFired()
3475 {
3476     ASSERT(m_player);
3477
3478     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3479         m_fragmentEndTime = MediaTime::invalidTime();
3480         if (!m_mediaController && !m_paused) {
3481             // changes paused to true and fires a simple event named pause at the media element.
3482             pauseInternal();
3483         }
3484     }
3485     
3486     scheduleTimeupdateEvent(true);
3487
3488     if (!requestedPlaybackRate())
3489         return;
3490
3491     if (!m_paused && hasMediaControls())
3492         mediaControls()->playbackProgressed();
3493
3494 #if ENABLE(VIDEO_TRACK)
3495     updateActiveTextTrackCues(currentMediaTime());
3496 #endif
3497
3498 #if ENABLE(MEDIA_SOURCE)
3499     if (m_mediaSource)
3500         m_mediaSource->monitorSourceBuffers();
3501 #endif
3502 }
3503
3504 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3505 {
3506     double now = monotonicallyIncreasingTime();
3507     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3508
3509     // throttle the periodic events
3510     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3511         return;
3512
3513     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3514     // event at a given time so filter here
3515     MediaTime movieTime = currentMediaTime();
3516     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3517         scheduleEvent(eventNames().timeupdateEvent);
3518         m_clockTimeAtLastUpdateEvent = now;
3519         m_lastTimeUpdateEventMovieTime = movieTime;
3520     }
3521 }
3522
3523 bool HTMLMediaElement::canPlay() const
3524 {
3525     return paused() || ended() || m_readyState < HAVE_METADATA;
3526 }
3527
3528 double HTMLMediaElement::percentLoaded() const
3529 {
3530     if (!m_player)
3531         return 0;
3532     MediaTime duration = m_player->duration();
3533
3534     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3535         return 0;
3536
3537     MediaTime buffered = MediaTime::zeroTime();
3538     bool ignored;
3539     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3540     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3541         MediaTime start = timeRanges->start(i, ignored);
3542         MediaTime end = timeRanges->end(i, ignored);
3543         buffered += end - start;
3544     }
3545     return buffered.toDouble() / duration.toDouble();
3546 }
3547
3548 #if ENABLE(VIDEO_TRACK)
3549
3550 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(PassRefPtr<AudioTrackPrivate> prpTrack)
3551 {
3552     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3553         pauseInternal();
3554
3555     addAudioTrack(AudioTrack::create(this, prpTrack));
3556 }
3557
3558 void HTMLMediaElement::mediaPlayerDidAddTextTrack(PassRefPtr<InbandTextTrackPrivate> prpTrack)
3559 {
3560     // 4.8.10.12.2 Sourcing in-band text tracks
3561     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3562     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, prpTrack);
3563     textTrack->setMediaElement(this);
3564     
3565     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3566     // as defined by the relevant specification. If there is no label in that data, then the label must
3567     // be set to the empty string.
3568     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3569     // for the format in question.
3570     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3571     // as follows, based on the type of the media resource:
3572     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3573     // cues, and begin updating it dynamically as necessary.
3574     //   - Thess are all done by the media engine.
3575     
3576     // 6. Set the new text track's readiness state to loaded.
3577     textTrack->setReadinessState(TextTrack::Loaded);
3578     
3579     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3580     // the relevant specification for the data.
3581     //  - This will happen in configureTextTracks()
3582     scheduleDelayedAction(ConfigureTextTracks);
3583     
3584     // 8. Add the new text track to the media element's list of text tracks.
3585     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3586     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3587     // textTracks attribute's TextTrackList object.
3588     addTextTrack(textTrack.releaseNonNull());
3589 }
3590
3591 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(PassRefPtr<VideoTrackPrivate> prpTrack)
3592 {
3593     addVideoTrack(VideoTrack::create(this, prpTrack));
3594 }
3595
3596 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(PassRefPtr<AudioTrackPrivate> prpTrack)
3597 {
3598     prpTrack->willBeRemoved();
3599 }
3600
3601 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(PassRefPtr<InbandTextTrackPrivate> prpTrack)
3602 {
3603     prpTrack->willBeRemoved();
3604 }
3605
3606 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(PassRefPtr<VideoTrackPrivate> prpTrack)
3607 {
3608     prpTrack->willBeRemoved();
3609 }
3610
3611 void HTMLMediaElement::closeCaptionTracksChanged()
3612 {
3613     if (hasMediaControls())
3614         mediaControls()->closedCaptionTracksChanged();
3615 }
3616
3617 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3618 {
3619     audioTracks().append(WTFMove(track));
3620 }
3621
3622 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3623 {
3624     if (!m_requireCaptionPreferencesChangedCallbacks) {
3625         m_requireCaptionPreferencesChangedCallbacks = true;
3626         Document& document = this->document();
3627         document.registerForCaptionPreferencesChangedCallbacks(this);
3628         if (Page* page = document.page())
3629             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3630     }
3631
3632     textTracks().append(WTFMove(track));
3633
3634     closeCaptionTracksChanged();
3635 }
3636
3637 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3638 {
3639     videoTracks().append(WTFMove(track));
3640 }
3641
3642 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3643 {
3644     m_audioTracks->remove(track);
3645 }
3646
3647 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3648 {
3649     TrackDisplayUpdateScope scope(this);
3650     if (TextTrackCueList* cues = track.cues())
3651         textTrackRemoveCues(&track, cues);
3652     track.clearClient();
3653     if (m_textTracks)
3654         m_textTracks->remove(track, scheduleEvent);
3655
3656     closeCaptionTracksChanged();
3657 }
3658
3659 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3660 {
3661     m_videoTracks->remove(track);
3662 }
3663
3664 void HTMLMediaElement::forgetResourceSpecificTracks()
3665 {
3666     while (m_audioTracks &&  m_audioTracks->length())
3667         removeAudioTrack(*m_audioTracks->lastItem());
3668
3669     if (m_textTracks) {
3670         TrackDisplayUpdateScope scope(this);
3671         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3672             auto& track = *m_textTracks->item(i);
3673             if (track.trackType() == TextTrack::InBand)
3674                 removeTextTrack(track, false);
3675         }
3676     }
3677
3678     while (m_videoTracks &&  m_videoTracks->length())
3679         removeVideoTrack(*m_videoTracks->lastItem());
3680 }
3681
3682 RefPtr<TextTrack> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language, ExceptionCode& ec)
3683 {
3684     // 4.8.10.12.4 Text track API
3685     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3686
3687     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3688     if (!TextTrack::isValidKindKeyword(kind)) {
3689         ec = TypeError;
3690         return nullptr;
3691     }
3692
3693     // 2. If the label argument was omitted, let label be the empty string.
3694     // 3. If the language argument was omitted, let language be the empty string.
3695     // 4. Create a new TextTrack object.
3696
3697     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3698     // track label to label, its text track language to language...
3699     auto textTrack = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3700
3701     // Note, due to side effects when changing track parameters, we have to
3702     // first append the track to the text track list.
3703
3704     // 6. Add the new text track to the media element's list of text tracks.
3705     addTextTrack(textTrack.copyRef());
3706
3707     // ... its text track readiness state to the text track loaded state ...
3708     textTrack->setReadinessState(TextTrack::Loaded);
3709
3710     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3711     textTrack->setMode(TextTrack::Mode::Hidden);
3712
3713     return WTFMove(textTrack);
3714 }
3715
3716 AudioTrackList& HTMLMediaElement::audioTracks()
3717 {
3718     if (!m_audioTracks)
3719         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3720
3721     return *m_audioTracks;
3722 }
3723
3724 TextTrackList& HTMLMediaElement::textTracks()
3725 {
3726     if (!m_textTracks)
3727         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3728
3729     return *m_textTracks;
3730 }
3731
3732 VideoTrackList& HTMLMediaElement::videoTracks()
3733 {
3734     if (!m_videoTracks)
3735         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3736
3737     return *m_videoTracks;
3738 }
3739
3740 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement* trackElement)
3741 {
3742     ASSERT(trackElement->hasTagName(trackTag));
3743
3744     // 4.8.10.12.3 Sourcing out-of-band text tracks
3745     // When a track element's parent element changes and the new parent is a media element, 
3746     // then the user agent must add the track element's corresponding text track to the 
3747     // media element's list of text tracks ... [continues in TextTrackList::append]
3748     RefPtr<TextTrack> textTrack = trackElement->track();
3749     if (!textTrack)
3750         return;
3751     
3752     addTextTrack(textTrack.releaseNonNull());
3753     
3754     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3755     // in the markup have been added.
3756     if (!m_parsingInProgress)
3757         scheduleDelayedAction(ConfigureTextTracks);
3758
3759     if (hasMediaControls())
3760         mediaControls()->closedCaptionTracksChanged();
3761 }
3762
3763 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement* trackElement)
3764 {
3765     ASSERT(trackElement->hasTagName(trackTag));
3766
3767 #if !LOG_DISABLED
3768     if (trackElement->hasTagName(trackTag)) {
3769         URL url = trackElement->getNonEmptyURLAttribute(srcAttr);
3770         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3771     }
3772 #endif
3773
3774     RefPtr<TextTrack> textTrack = trackElement->track();
3775     if (!textTrack)
3776         return;
3777     
3778     textTrack->setHasBeenConfigured(false);
3779
3780     if (!m_textTracks)
3781         return;
3782     
3783     // 4.8.10.12.3 Sourcing out-of-band text tracks
3784     // When a track element's parent element changes and the old parent was a media element, 
3785     // then the user agent must remove the track element's corresponding text track from the 
3786     // media element's list of text tracks.
3787     removeTextTrack(*textTrack);
3788
3789     size_t index = m_textTracksWhenResourceSelectionBegan.find(textTrack.get());
3790     if (index != notFound)
3791         m_textTracksWhenResourceSelectionBegan.remove(index);
3792 }
3793
3794 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3795 {
3796     ASSERT(group.tracks.size());
3797
3798     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3799
3800     Page* page = document().page();
3801     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3802     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3803
3804     // First, find the track in the group that should be enabled (if any).
3805     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3806     RefPtr<TextTrack> trackToEnable;
3807     RefPtr<TextTrack> defaultTrack;
3808     RefPtr<TextTrack> fallbackTrack;
3809     RefPtr<TextTrack> forcedSubitleTrack;
3810     int highestTrackScore = 0;
3811     int highestForcedScore = 0;
3812
3813     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3814     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3815     int alreadyVisibleTrackScore = 0;
3816     if (group.visibleTrack && captionPreferences) {
3817         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3818         currentlyEnabledTracks.append(group.visibleTrack);
3819     }
3820
3821     for (size_t i = 0; i < group.tracks.size(); ++i) {
3822         RefPtr<TextTrack> textTrack = group.tracks[i];
3823
3824         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3825             currentlyEnabledTracks.append(textTrack);
3826
3827         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3828         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' has score %i", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), trackScore);
3829
3830         if (trackScore) {
3831
3832             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3833             // track with this text track kind, text track language, and text track label enabled, and there is no
3834             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3835             // or captions whose text track mode is showing
3836             // ...
3837             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3838             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3839             // text tracks with a text track kind of chapters whose text track mode is showing
3840             //    Let the text track mode be showing.
3841             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3842                 highestTrackScore = trackScore;
3843                 trackToEnable = textTrack;
3844             }
3845
3846             if (!defaultTrack && textTrack->isDefault())
3847                 defaultTrack = textTrack;
3848             if (!defaultTrack && !fallbackTrack)
3849                 fallbackTrack = textTrack;
3850             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3851                 forcedSubitleTrack = textTrack;
3852                 highestForcedScore = trackScore;
3853             }
3854         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3855             // * If the track element has a default attribute specified, and there is no other text track in the media
3856             // element's list of text tracks whose text track mode is showing or showing by default
3857             //    Let the text track mode be showing by default.
3858             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3859                 defaultTrack = textTrack;
3860         }
3861     }
3862
3863     if (displayMode != CaptionUserPreferences::Manual) {
3864         if (!trackToEnable && defaultTrack)
3865             trackToEnable = defaultTrack;
3866
3867         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3868         // in the same language as the language of the primary audio track, enable it.
3869         if (!trackToEnable && forcedSubitleTrack)
3870             trackToEnable = forcedSubitleTrack;
3871
3872         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3873         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3874             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3875                 trackToEnable = group.visibleTrack;
3876         }
3877
3878         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3879         // because the user has explicitly stated a preference for this kind of track.
3880         if (!trackToEnable && fallbackTrack)
3881             trackToEnable = fallbackTrack;
3882
3883         if (trackToEnable)
3884             m_subtitleTrackLanguage = trackToEnable->language();
3885         else
3886             m_subtitleTrackLanguage = emptyString();
3887     }
3888
3889     if (currentlyEnabledTracks.size()) {
3890         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3891             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3892             if (textTrack != trackToEnable)
3893                 textTrack->setMode(TextTrack::Mode::Disabled);
3894         }
3895     }
3896
3897     if (trackToEnable) {
3898         trackToEnable->setMode(TextTrack::Mode::Showing);
3899
3900         // If user preferences indicate we should always display captions, make sure we reflect the
3901         // proper status via the webkitClosedCaptionsVisible API call:
3902         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3903             m_webkitLegacyClosedCaptionOverride = true;
3904     }
3905
3906     m_processingPreferenceChange = false;
3907 }
3908
3909 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3910 {
3911     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3912     
3913     // Retrieve the controller through the JS object graph
3914     JSC::JSObject* mediaJSWrapperObject = JSC::jsDynamicCast<JSC::JSObject*>(mediaJSWrapper);
3915     if (!mediaJSWrapperObject)
3916         return JSC::jsNull();
3917     
3918     JSC::Identifier controlsHost = JSC::Identifier::fromString(&exec.vm(), "controlsHost");
3919     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3920     if (exec.hadException())
3921         return JSC::jsNull();
3922
3923     JSC::JSObject* controlsHostJSWrapperObject = JSC::jsDynamicCast<JSC::JSObject*>(controlsHostJSWrapper);
3924     if (!controlsHostJSWrapperObject)
3925         return JSC::jsNull();
3926
3927     JSC::Identifier controllerID = JSC::Identifier::fromString(&exec.vm(), "controller");
3928     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3929     if (exec.hadException())
3930         return JSC::jsNull();
3931
3932     return controllerJSWrapper;
3933 }
3934
3935 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3936 {
3937     ASSERT(!m_creatingControls);
3938     m_creatingControls = true;
3939     ensureUserAgentShadowRoot();
3940     m_creatingControls = false;
3941 }
3942
3943 void HTMLMediaElement::updateCaptionContainer()
3944 {
3945     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3946 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3947     if (m_haveSetUpCaptionContainer)
3948         return;
3949
3950     Page* page = document().page();
3951     if (!page)
3952         return;
3953
3954     DOMWrapperWorld& world = ensureIsolatedWorld();
3955
3956     if (!ensureMediaControlsInjectedScript())
3957         return;
3958
3959     ensureMediaControlsShadowRoot();
3960
3961     if (!m_mediaControlsHost)
3962         m_mediaControlsHost = MediaControlsHost::create(this);
3963
3964     ScriptController& scriptController = document().frame()->script();
3965     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3966     JSC::ExecState* exec = globalObject->globalExec();
3967     JSC::JSLockHolder lock(exec);
3968
3969     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3970     JSC::JSObject* controllerObject = JSC::jsDynamicCast<JSC::JSObject*>(controllerValue);
3971     if (!controllerObject)
3972         return;
3973
3974     // The media controls script must provide a method on the Controller object with the following details.
3975     // Name: updateCaptionContainer
3976     // Parameters:
3977     //     None
3978     // Return value:
3979     //     None
3980     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3981     JSC::JSObject* methodObject = JSC::jsDynamicCast<JSC::JSObject*>(methodValue);
3982     if (!methodObject)
3983         return;
3984
3985     JSC::CallData callData;
3986     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3987     if (callType == JSC::CallType::None)
3988         return;
3989
3990     JSC::MarkedArgumentBuffer noArguments;
3991     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3992     exec->clearException();
3993
3994     m_haveSetUpCaptionContainer = true;
3995 #endif
3996 }
3997
3998 void HTMLMediaElement::layoutSizeChanged()
3999 {
4000 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
4001     auto task = [this, protectedThis = Ref<Element>(*this)] {
4002         if (ShadowRoot* root = userAgentShadowRoot())
4003             root->dispatchEvent(Event::create("resize", false, false));
4004     };
4005     m_resizeTaskQueue.enqueueTask(WTFMove(task));
4006 #endif
4007
4008     if (!m_receivedLayoutSizeChanged) {
4009         m_receivedLayoutSizeChanged = true;
4010         updatePlaybackControlsManager();
4011     }
4012 }
4013
4014 void HTMLMediaElement::visibilityDidChange()
4015 {
4016     updateShouldAutoplay();
4017 }
4018
4019 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
4020 {
4021     TextTrackList& trackList = textTracks();
4022     if (!trackList.length())
4023         return;
4024
4025     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
4026         if (!trackToSelect || !trackList.contains(*trackToSelect))
4027             return;
4028         
4029         for (int i = 0, length = trackList.length(); i < length; ++i) {
4030             auto& track = *trackList.item(i);
4031             if (&track != trackToSelect)
4032                 track.setMode(TextTrack::Mode::Disabled);
4033             else
4034                 track.setMode(TextTrack::Mode::Showing);
4035         }
4036     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
4037         for (int i = 0, length = trackList.length(); i < length; ++i)
4038             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
4039     }
4040
4041     if (!document().page())
4042         return;
4043
4044     auto& captionPreferences = document().page()->group().captionPreferences();
4045     CaptionUserPreferences::CaptionDisplayMode displayMode;
4046     if (trackToSelect == TextTrack::captionMenuOffItem())
4047         displayMode = CaptionUserPreferences::ForcedOnly;
4048     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
4049         displayMode = CaptionUserPreferences::Automatic;
4050     else {
4051         displayMode = CaptionUserPreferences::AlwaysOn;
4052         if (trackToSelect->language().length())
4053             captionPreferences.setPreferredLanguage(trackToSelect->language());
4054     }
4055
4056     captionPreferences.setCaptionDisplayMode(displayMode);
4057 }
4058
4059 void HTMLMediaElement::configureTextTracks()
4060 {
4061     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
4062     TrackGroup descriptionTracks(TrackGroup::Description);
4063     TrackGroup chapterTracks(TrackGroup::Chapter);
4064     TrackGroup metadataTracks(TrackGroup::Metadata);
4065     TrackGroup otherTracks(TrackGroup::Other);
4066
4067     if (!m_textTracks)
4068         return;
4069
4070     for (size_t i = 0; i < m_textTracks->length(); ++i) {
4071         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
4072         if (!textTrack)
4073             continue;
4074
4075         auto kind = textTrack->kind();
4076         TrackGroup* currentGroup;
4077         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
4078             currentGroup = &captionAndSubtitleTracks;
4079         else if (kind == TextTrack::Kind::Descriptions)
4080             currentGroup = &descriptionTracks;
4081         else if (kind == TextTrack::Kind::Chapters)
4082             currentGroup = &chapterTracks;
4083         else if (kind == TextTrack::Kind::Metadata)
4084             currentGroup = &metadataTracks;
4085         else
4086             currentGroup = &otherTracks;
4087
4088         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4089             currentGroup->visibleTrack = textTrack;
4090         if (!currentGroup->defaultTrack && textTrack->isDefault())
4091             currentGroup->defaultTrack = textTrack;
4092
4093         // Do not add this track to the group if it has already been automatically configured
4094         // as we only want to call configureTextTrack once per track so that adding another 
4095         // track after the initial configuration doesn't reconfigure every track - only those 
4096         // that should be changed by the new addition. For example all metadata tracks are 
4097         // disabled by default, and we don't want a track that has been enabled by script 
4098         // to be disabled automatically when a new metadata track is added later.
4099         if (textTrack->hasBeenConfigured())
4100             continue;
4101         
4102         if (textTrack->language().length())
4103             currentGroup->hasSrcLang = true;
4104         currentGroup->tracks.append(textTrack);
4105     }