Protect MediaPlayer from being destroyed mid-load()
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "HTMLMediaElement.h"
28
29 #if ENABLE(VIDEO)
30
31 #include "ApplicationCacheHost.h"
32 #include "ApplicationCacheResource.h"
33 #include "Attribute.h"
34 #include "CSSPropertyNames.h"
35 #include "CSSValueKeywords.h"
36 #include "ChromeClient.h"
37 #include "ClientRect.h"
38 #include "ClientRectList.h"
39 #include "CommonVM.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "FrameLoader.h"
51 #include "FrameLoaderClient.h"
52 #include "FrameView.h"
53 #include "HTMLParserIdioms.h"
54 #include "HTMLSourceElement.h"
55 #include "HTMLVideoElement.h"
56 #include "JSDOMError.h"
57 #include "JSDOMPromise.h"
58 #include "JSHTMLMediaElement.h"
59 #include "Language.h"
60 #include "Logging.h"
61 #include "MIMETypeRegistry.h"
62 #include "MainFrame.h"
63 #include "MediaController.h"
64 #include "MediaControls.h"
65 #include "MediaDocument.h"
66 #include "MediaError.h"
67 #include "MediaFragmentURIParser.h"
68 #include "MediaList.h"
69 #include "MediaPlayer.h"
70 #include "MediaQueryEvaluator.h"
71 #include "MediaResourceLoader.h"
72 #include "MemoryPressureHandler.h"
73 #include "NetworkingContext.h"
74 #include "NoEventDispatchAssertion.h"
75 #include "Page.h"
76 #include "PageGroup.h"
77 #include "PlatformMediaSessionManager.h"
78 #include "ProgressTracker.h"
79 #include "RenderLayerCompositor.h"
80 #include "RenderVideo.h"
81 #include "RenderView.h"
82 #include "ResourceLoadInfo.h"
83 #include "ScriptController.h"
84 #include "ScriptSourceCode.h"
85 #include "SecurityOriginData.h"
86 #include "SecurityPolicy.h"
87 #include "SessionID.h"
88 #include "Settings.h"
89 #include "ShadowRoot.h"
90 #include "TimeRanges.h"
91 #include "UserContentController.h"
92 #include "UserGestureIndicator.h"
93 #include <limits>
94 #include <runtime/Uint8Array.h>
95 #include <wtf/CurrentTime.h>
96 #include <wtf/MathExtras.h>
97 #include <wtf/Ref.h>
98 #include <wtf/text/CString.h>
99
100 #if ENABLE(VIDEO_TRACK)
101 #include "AudioTrackList.h"
102 #include "HTMLTrackElement.h"
103 #include "InbandGenericTextTrack.h"
104 #include "InbandTextTrackPrivate.h"
105 #include "InbandWebVTTTextTrack.h"
106 #include "RuntimeEnabledFeatures.h"
107 #include "TextTrackCueList.h"
108 #include "TextTrackList.h"
109 #include "VideoTrackList.h"
110 #endif
111
112 #if ENABLE(WEB_AUDIO)
113 #include "AudioSourceProvider.h"
114 #include "MediaElementAudioSourceNode.h"
115 #endif
116
117 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
118 #include "WebVideoFullscreenInterface.h"
119 #endif
120
121 #if PLATFORM(IOS)
122 #include "RuntimeApplicationChecks.h"
123 #include "WebVideoFullscreenInterfaceAVKit.h"
124 #endif
125
126 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
127 #include "WebKitPlaybackTargetAvailabilityEvent.h"
128 #endif
129
130 #if ENABLE(MEDIA_SESSION)
131 #include "MediaSession.h"
132 #endif
133
134 #if ENABLE(MEDIA_SOURCE)
135 #include "DOMWindow.h"
136 #include "MediaSource.h"
137 #include "Performance.h"
138 #include "VideoPlaybackQuality.h"
139 #endif
140
141 #if ENABLE(MEDIA_STREAM)
142 #include "DOMURL.h"
143 #include "MediaStream.h"
144 #include "MediaStreamRegistry.h"
145 #endif
146
147 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
148 #include "WebKitMediaKeyNeededEvent.h"
149 #include "WebKitMediaKeys.h"
150 #endif
151
152 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
153 #include "JSMediaControlsHost.h"
154 #include "MediaControlsHost.h"
155 #include <bindings/ScriptObject.h>
156 #endif
157
158 #if ENABLE(ENCRYPTED_MEDIA)
159 #include "NotImplemented.h"
160 #endif
161
162 namespace WebCore {
163
164 static const double SeekRepeatDelay = 0.1;
165 static const double SeekTime = 0.2;
166 static const double ScanRepeatDelay = 1.5;
167 static const double ScanMaximumRate = 8;
168
169 static const double HideMediaControlsAfterEndedDelay = 6;
170
171 static void setFlags(unsigned& value, unsigned flags)
172 {
173     value |= flags;
174 }
175
176 static void clearFlags(unsigned& value, unsigned flags)
177 {
178     value &= ~flags;
179 }
180     
181 #if !LOG_DISABLED
182 static String urlForLoggingMedia(const URL& url)
183 {
184     static const unsigned maximumURLLengthForLogging = 128;
185
186     if (url.string().length() < maximumURLLengthForLogging)
187         return url.string();
188     return url.string().substring(0, maximumURLLengthForLogging) + "...";
189 }
190
191 static const char* boolString(bool val)
192 {
193     return val ? "true" : "false";
194 }
195
196 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
197 {
198     StringBuilder actionBuilder;
199
200 #define ACTION(_actionType) \
201     if (action & (HTMLMediaElementEnums::_actionType)) { \
202         if (!actionBuilder.isEmpty()) \
203         actionBuilder.appendLiteral(", "); \
204         actionBuilder.append(#_actionType); \
205     } \
206
207     ACTION(LoadMediaResource);
208     ACTION(ConfigureTextTracks);
209     ACTION(TextTrackChangesNotification);
210     ACTION(ConfigureTextTrackDisplay);
211     ACTION(CheckPlaybackTargetCompatablity);
212     ACTION(CheckMediaState);
213     ACTION(MediaEngineUpdated);
214
215     return actionBuilder.toString();
216
217 #undef ACTION
218 }
219
220 #endif
221
222 #ifndef LOG_MEDIA_EVENTS
223 // Default to not logging events because so many are generated they can overwhelm the rest of 
224 // the logging.
225 #define LOG_MEDIA_EVENTS 0
226 #endif
227
228 #ifndef LOG_CACHED_TIME_WARNINGS
229 // Default to not logging warnings about excessive drift in the cached media time because it adds a
230 // fair amount of overhead and logging.
231 #define LOG_CACHED_TIME_WARNINGS 0
232 #endif
233
234 #if ENABLE(MEDIA_SOURCE)
235 // URL protocol used to signal that the media source API is being used.
236 static const char* mediaSourceBlobProtocol = "blob";
237 #endif
238
239 #if ENABLE(MEDIA_STREAM)
240 // URL protocol used to signal that the media stream API is being used.
241 static const char* mediaStreamBlobProtocol = "blob";
242 #endif
243
244 using namespace HTMLNames;
245
246 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
247 static DocumentElementSetMap& documentToElementSetMap()
248 {
249     static NeverDestroyed<DocumentElementSetMap> map;
250     return map;
251 }
252
253 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
254 {
255     DocumentElementSetMap& map = documentToElementSetMap();
256     HashSet<HTMLMediaElement*> set = map.take(&document);
257     set.add(&element);
258     map.add(&document, set);
259 }
260
261 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
262 {
263     DocumentElementSetMap& map = documentToElementSetMap();
264     HashSet<HTMLMediaElement*> set = map.take(&document);
265     set.remove(&element);
266     if (!set.isEmpty())
267         map.add(&document, set);
268 }
269
270 #if ENABLE(VIDEO_TRACK)
271
272 class TrackDisplayUpdateScope {
273 public:
274     TrackDisplayUpdateScope(HTMLMediaElement& element)
275         : m_element(element)
276     {
277         m_element.beginIgnoringTrackDisplayUpdateRequests();
278     }
279     ~TrackDisplayUpdateScope()
280     {
281         m_element.endIgnoringTrackDisplayUpdateRequests();
282     }
283     
284 private:
285     HTMLMediaElement& m_element;
286 };
287
288 #endif
289
290 struct HTMLMediaElement::TrackGroup {
291     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
292
293     TrackGroup(GroupKind kind)
294         : kind(kind)
295     {
296     }
297
298     Vector<RefPtr<TextTrack>> tracks;
299     RefPtr<TextTrack> visibleTrack;
300     RefPtr<TextTrack> defaultTrack;
301     GroupKind kind;
302     bool hasSrcLang { false };
303 };
304
305 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
306 {
307     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
308     return elements;
309 }
310
311 #if ENABLE(MEDIA_SESSION)
312 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
313
314 static IDToElementMap& elementIDsToElements()
315 {
316     static NeverDestroyed<IDToElementMap> map;
317     return map;
318 }
319
320 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
321 {
322     if (id == HTMLMediaElementInvalidID)
323         return nullptr;
324     
325     return elementIDsToElements().get(id);
326 }
327
328 static uint64_t nextElementID()
329 {
330     static uint64_t elementID = 0;
331     return ++elementID;
332 }
333 #endif
334
335 struct MediaElementSessionInfo {
336     const MediaElementSession* session;
337     MediaElementSession::PlaybackControlsPurpose purpose;
338
339     double timeOfLastUserInteraction;
340     bool canShowControlsManager : 1;
341     bool isVisibleInViewportOrFullscreen : 1;
342     bool isLargeEnoughForMainContent : 1;
343     bool isPlayingAudio : 1;
344 };
345
346 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
347 {
348     const HTMLMediaElement& element = session.element();
349     return {
350         &session,
351         purpose,
352         session.mostRecentUserInteractionTime(),
353         session.canShowControlsManager(purpose),
354         element.isFullscreen() || element.isVisibleInViewport(),
355         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
356         element.isPlaying() && element.hasAudio() && !element.muted()
357     };
358 }
359
360 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
361 {
362     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
363     ASSERT(purpose == otherSession.purpose);
364
365     // For the controls manager, prioritize visible media over offscreen media.
366     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
367         return session.isVisibleInViewportOrFullscreen;
368
369     // For Now Playing, prioritize elements that would normally satisfy main content.
370     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
371         return session.isLargeEnoughForMainContent;
372
373     // As a tiebreaker, prioritize elements that the user recently interacted with.
374     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
375 }
376
377 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
378 {
379     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
380         return session.isPlayingAudio;
381
382     if (!session.isVisibleInViewportOrFullscreen)
383         return false;
384
385     if (!session.isLargeEnoughForMainContent)
386         return false;
387
388     // Even if this video is not a candidate, if it is visible to the user and large enough
389     // to be main content, it poses a risk for being confused with main content.
390     return true;
391 }
392
393 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
394     : HTMLElement(tagName, document)
395     , ActiveDOMObject(&document)
396     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
397     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
398     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
399     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
400     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
401     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
402     , m_asyncEventQueue(*this)
403     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
404     , m_firstTimePlaying(true)
405     , m_playing(false)
406     , m_isWaitingUntilMediaCanStart(false)
407     , m_shouldDelayLoadEvent(false)
408     , m_haveFiredLoadedData(false)
409     , m_inActiveDocument(true)
410     , m_autoplaying(true)
411     , m_muted(false)
412     , m_explicitlyMuted(false)
413     , m_initiallyMuted(false)
414     , m_paused(true)
415     , m_seeking(false)
416     , m_sentStalledEvent(false)
417     , m_sentEndEvent(false)
418     , m_pausedInternal(false)
419     , m_sendProgressEvents(true)
420     , m_closedCaptionsVisible(false)
421     , m_webkitLegacyClosedCaptionOverride(false)
422     , m_completelyLoaded(false)
423     , m_havePreparedToPlay(false)
424     , m_parsingInProgress(createdByParser)
425     , m_elementIsHidden(document.hidden())
426     , m_creatingControls(false)
427     , m_receivedLayoutSizeChanged(false)
428     , m_hasEverNotifiedAboutPlaying(false)
429     , m_hasEverHadAudio(false)
430     , m_hasEverHadVideo(false)
431 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
432     , m_mediaControlsDependOnPageScaleFactor(false)
433     , m_haveSetUpCaptionContainer(false)
434 #endif
435     , m_isScrubbingRemotely(false)
436 #if ENABLE(VIDEO_TRACK)
437     , m_tracksAreReady(true)
438     , m_haveVisibleTextTrack(false)
439     , m_processingPreferenceChange(false)
440 #endif
441     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
442 {
443     allMediaElements().add(this);
444
445     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
446     setHasCustomStyleResolveCallbacks();
447
448     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
449     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
450 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
451     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
452 #endif
453     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
454     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
455
456     Settings* settings = document.settings();
457 #if PLATFORM(IOS)
458     m_sendProgressEvents = false;
459 #endif
460
461     if (settings && settings->invisibleAutoplayNotPermitted())
462         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
463
464     if (document.ownerElement() || !document.isMediaDocument()) {
465         if (settings && settings->videoPlaybackRequiresUserGesture()) {
466             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
467             if (settings->requiresUserGestureToLoadVideo())
468                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
469         }
470
471         if (settings && settings->audioPlaybackRequiresUserGesture())
472             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
473
474 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
475         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
476             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
477 #endif
478
479         if (!settings || !settings->mediaDataLoadsAutomatically())
480             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
481
482         if (settings && settings->mainContentUserGestureOverrideEnabled())
483             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
484     }
485
486 #if PLATFORM(IOS)
487     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
488         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
489         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
490     }
491 #endif
492
493 #if ENABLE(VIDEO_TRACK)
494     if (document.page())
495         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
496 #endif
497
498 #if ENABLE(MEDIA_SESSION)
499     m_elementID = nextElementID();
500     elementIDsToElements().add(m_elementID, this);
501
502     setSessionInternal(document.defaultMediaSession());
503 #endif
504
505     registerWithDocument(document);
506 }
507
508 HTMLMediaElement::~HTMLMediaElement()
509 {
510     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
511
512     beginIgnoringTrackDisplayUpdateRequests();
513     allMediaElements().remove(this);
514
515     m_asyncEventQueue.close();
516
517     setShouldDelayLoadEvent(false);
518     unregisterWithDocument(document());
519
520 #if ENABLE(VIDEO_TRACK)
521     if (m_audioTracks)
522         m_audioTracks->clearElement();
523     if (m_textTracks)
524         m_textTracks->clearElement();
525     if (m_videoTracks)
526         m_videoTracks->clearElement();
527 #endif
528
529 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
530     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
531         m_hasPlaybackTargetAvailabilityListeners = false;
532         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
533         updateMediaState();
534     }
535 #endif
536
537     if (m_mediaController) {
538         m_mediaController->removeMediaElement(*this);
539         m_mediaController = nullptr;
540     }
541
542 #if ENABLE(MEDIA_SOURCE)
543     detachMediaSource();
544 #endif
545
546 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
547     webkitSetMediaKeys(nullptr);
548 #endif
549
550 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
551     if (m_isolatedWorld)
552         m_isolatedWorld->clearWrappers();
553 #endif
554
555 #if ENABLE(MEDIA_SESSION)
556     if (m_session) {
557         m_session->removeMediaElement(*this);
558         m_session = nullptr;
559     }
560
561     elementIDsToElements().remove(m_elementID);
562 #endif
563
564     m_seekTaskQueue.close();
565     m_promiseTaskQueue.close();
566     m_pauseAfterDetachedTaskQueue.close();
567     m_updatePlaybackControlsManagerQueue.close();
568     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
569
570     m_completelyLoaded = true;
571
572     if (m_player) {
573         m_player->invalidate();
574         m_player = nullptr;
575     }
576     updatePlaybackControlsManager();
577 }
578
579 static bool needsPlaybackControlsManagerQuirk(Page& page)
580 {
581     if (!page.settings().needsSiteSpecificQuirks())
582         return false;
583
584     String host = page.mainFrame().document()->url().host();
585     return equalLettersIgnoringASCIICase(host, "netflix.com") || host.endsWithIgnoringASCIICase(".netflix.com");
586 }
587
588 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
589 {
590     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
591         return is<MediaElementSession>(session);
592     });
593
594     Vector<MediaElementSessionInfo> candidateSessions;
595     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
596     for (auto& session : allSessions) {
597         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
598         if (mediaElementSessionInfo.canShowControlsManager)
599             candidateSessions.append(mediaElementSessionInfo);
600         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
601             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
602     }
603
604     if (!candidateSessions.size())
605         return nullptr;
606
607     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
608     auto strongestSessionCandidate = candidateSessions.first();
609     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
610         return nullptr;
611
612     HTMLMediaElement* strongestElementCandidate = &strongestSessionCandidate.session->element();
613     if (strongestElementCandidate) {
614         if (Page* page = strongestElementCandidate->document().page()) {
615             if (needsPlaybackControlsManagerQuirk(*page))
616                 return nullptr;
617         }
618     }
619
620     return strongestElementCandidate;
621 }
622
623 void HTMLMediaElement::registerWithDocument(Document& document)
624 {
625     m_mediaSession->registerWithDocument(document);
626
627     if (m_isWaitingUntilMediaCanStart)
628         document.addMediaCanStartListener(this);
629
630 #if !PLATFORM(IOS)
631     document.registerForMediaVolumeCallbacks(this);
632     document.registerForPrivateBrowsingStateChangedCallbacks(this);
633 #endif
634
635     document.registerForVisibilityStateChangedCallbacks(this);
636
637 #if ENABLE(VIDEO_TRACK)
638     if (m_requireCaptionPreferencesChangedCallbacks)
639         document.registerForCaptionPreferencesChangedCallbacks(this);
640 #endif
641
642 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
643     if (m_mediaControlsDependOnPageScaleFactor)
644         document.registerForPageScaleFactorChangedCallbacks(this);
645     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
646 #endif
647
648 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
649     document.registerForDocumentSuspensionCallbacks(this);
650 #endif
651
652     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
653
654     document.addAudioProducer(this);
655     addElementToDocumentMap(*this, document);
656 }
657
658 void HTMLMediaElement::unregisterWithDocument(Document& document)
659 {
660     m_mediaSession->unregisterWithDocument(document);
661
662     if (m_isWaitingUntilMediaCanStart)
663         document.removeMediaCanStartListener(this);
664
665 #if !PLATFORM(IOS)
666     document.unregisterForMediaVolumeCallbacks(this);
667     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
668 #endif
669
670     document.unregisterForVisibilityStateChangedCallbacks(this);
671
672 #if ENABLE(VIDEO_TRACK)
673     if (m_requireCaptionPreferencesChangedCallbacks)
674         document.unregisterForCaptionPreferencesChangedCallbacks(this);
675 #endif
676
677 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
678     if (m_mediaControlsDependOnPageScaleFactor)
679         document.unregisterForPageScaleFactorChangedCallbacks(this);
680     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
681 #endif
682
683 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
684     document.unregisterForDocumentSuspensionCallbacks(this);
685 #endif
686
687     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
688
689     document.removeAudioProducer(this);
690     removeElementFromDocumentMap(*this, document);
691 }
692
693 void HTMLMediaElement::didMoveToNewDocument(Document& oldDocument)
694 {
695     if (m_shouldDelayLoadEvent) {
696         oldDocument.decrementLoadEventDelayCount();
697         document().incrementLoadEventDelayCount();
698     }
699
700     unregisterWithDocument(oldDocument);
701
702     registerWithDocument(document());
703
704     HTMLElement::didMoveToNewDocument(oldDocument);
705     updateShouldAutoplay();
706 }
707
708 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
709 void HTMLMediaElement::prepareForDocumentSuspension()
710 {
711     m_mediaSession->unregisterWithDocument(document());
712 }
713
714 void HTMLMediaElement::resumeFromDocumentSuspension()
715 {
716     m_mediaSession->registerWithDocument(document());
717     updateShouldAutoplay();
718 }
719 #endif
720
721 bool HTMLMediaElement::supportsFocus() const
722 {
723     if (document().isMediaDocument())
724         return false;
725
726     // If no controls specified, we should still be able to focus the element if it has tabIndex.
727     return controls() ||  HTMLElement::supportsFocus();
728 }
729
730 bool HTMLMediaElement::isMouseFocusable() const
731 {
732     return false;
733 }
734
735 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
736 {
737     if (name == srcAttr) {
738 #if PLATFORM(IOS)
739         // Note, unless the restriction on requiring user action has been removed,
740         // do not begin downloading data on iOS.
741         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
742 #else
743         // Trigger a reload, as long as the 'src' attribute is present.
744         if (!value.isNull())
745 #endif
746         {
747             clearMediaPlayer(LoadMediaResource);
748             scheduleDelayedAction(LoadMediaResource);
749         }
750     } else if (name == controlsAttr)
751         configureMediaControls();
752     else if (name == loopAttr)
753         updateSleepDisabling();
754     else if (name == preloadAttr) {
755         if (equalLettersIgnoringASCIICase(value, "none"))
756             m_preload = MediaPlayer::None;
757         else if (equalLettersIgnoringASCIICase(value, "metadata"))
758             m_preload = MediaPlayer::MetaData;
759         else {
760             // The spec does not define an "invalid value default" but "auto" is suggested as the
761             // "missing value default", so use it for everything except "none" and "metadata"
762             m_preload = MediaPlayer::Auto;
763         }
764
765         // The attribute must be ignored if the autoplay attribute is present
766         if (!autoplay() && m_player)
767             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
768
769     } else if (name == mediagroupAttr)
770         setMediaGroup(value);
771     else
772         HTMLElement::parseAttribute(name, value);
773 }
774
775 void HTMLMediaElement::finishParsingChildren()
776 {
777     HTMLElement::finishParsingChildren();
778     m_parsingInProgress = false;
779     
780 #if ENABLE(VIDEO_TRACK)
781     if (descendantsOfType<HTMLTrackElement>(*this).first())
782         scheduleDelayedAction(ConfigureTextTracks);
783 #endif
784 }
785
786 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
787 {
788     return controls() && HTMLElement::rendererIsNeeded(style);
789 }
790
791 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
792 {
793     return createRenderer<RenderMedia>(*this, WTFMove(style));
794 }
795
796 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
797 {
798 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
799     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
800 #else
801     if (!hasMediaControls())
802         return false;
803     // <media> doesn't allow its content, including shadow subtree, to
804     // be rendered. So this should return false for most of the children.
805     // One exception is a shadow tree built for rendering controls which should be visible.
806     // So we let them go here by comparing its subtree root with one of the controls.
807     return &mediaControls()->treeScope() == &child.treeScope()
808         && hasShadowRootParent(child)
809         && HTMLElement::childShouldCreateRenderer(child);
810 #endif
811 }
812
813 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
814 {
815     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
816
817     HTMLElement::insertedInto(insertionPoint);
818     if (insertionPoint.inDocument()) {
819         m_inActiveDocument = true;
820
821 #if PLATFORM(IOS)
822         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
823 #else
824         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
825 #endif
826             scheduleDelayedAction(LoadMediaResource);
827     }
828
829     if (!m_explicitlyMuted) {
830         m_explicitlyMuted = true;
831         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
832     }
833
834     return InsertionShouldCallFinishedInsertingSubtree;
835 }
836
837 void HTMLMediaElement::finishedInsertingSubtree()
838 {
839     configureMediaControls();
840 }
841
842 void HTMLMediaElement::pauseAfterDetachedTask()
843 {
844     // If we were re-inserted into an active document, no need to pause.
845     if (m_inActiveDocument)
846         return;
847
848     if (hasMediaControls())
849         mediaControls()->hide();
850     if (m_networkState > NETWORK_EMPTY)
851         pause();
852     if (m_videoFullscreenMode != VideoFullscreenModeNone)
853         exitFullscreen();
854
855     if (!m_player)
856         return;
857
858     size_t extraMemoryCost = m_player->extraMemoryCost();
859     if (extraMemoryCost > m_reportedExtraMemoryCost) {
860         JSC::VM& vm = commonVM();
861         JSC::JSLockHolder lock(vm);
862
863         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
864         m_reportedExtraMemoryCost = extraMemoryCost;
865         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
866         // https://bugs.webkit.org/show_bug.cgi?id=142595
867         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
868     }
869 }
870
871 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
872 {
873     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
874
875     m_inActiveDocument = false;
876     if (insertionPoint.inDocument()) {
877         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
878         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
879     }
880
881     HTMLElement::removedFrom(insertionPoint);
882 }
883
884 void HTMLMediaElement::willAttachRenderers()
885 {
886     ASSERT(!renderer());
887 }
888
889 inline void HTMLMediaElement::updateRenderer()
890 {
891     if (auto* renderer = this->renderer())
892         renderer->updateFromElement();
893 }
894
895 void HTMLMediaElement::didAttachRenderers()
896 {
897     if (auto* renderer = this->renderer()) {
898         renderer->updateFromElement();
899         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
900             renderer->registerForVisibleInViewportCallback();
901     }
902     updateShouldAutoplay();
903 }
904
905 void HTMLMediaElement::willDetachRenderers()
906 {
907     if (auto* renderer = this->renderer())
908         renderer->unregisterForVisibleInViewportCallback();
909 }
910
911 void HTMLMediaElement::didDetachRenderers()
912 {
913     updateShouldAutoplay();
914 }
915
916 void HTMLMediaElement::didRecalcStyle(Style::Change)
917 {
918     updateRenderer();
919 }
920
921 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
922 {
923     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
924
925     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
926         prepareForLoad();
927         setFlags(m_pendingActionFlags, LoadMediaResource);
928     }
929
930 #if ENABLE(VIDEO_TRACK)
931     if (actionType & ConfigureTextTracks)
932         setFlags(m_pendingActionFlags, ConfigureTextTracks);
933 #endif
934
935 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
936     if (actionType & CheckPlaybackTargetCompatablity)
937         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
938 #endif
939
940     if (actionType & CheckMediaState)
941         setFlags(m_pendingActionFlags, CheckMediaState);
942
943     if (actionType & MediaEngineUpdated)
944         setFlags(m_pendingActionFlags, MediaEngineUpdated);
945
946     if (actionType & UpdatePlayState)
947         setFlags(m_pendingActionFlags, UpdatePlayState);
948
949     m_pendingActionTimer.startOneShot(0);
950 }
951
952 void HTMLMediaElement::scheduleNextSourceChild()
953 {
954     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
955     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
956     setFlags(m_pendingActionFlags, LoadMediaResource);
957     m_pendingActionTimer.startOneShot(0);
958 }
959
960 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
961 {
962     m_hasEverHadAudio |= hasAudio();
963     m_hasEverHadVideo |= hasVideo();
964 }
965
966 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
967 {
968 #if LOG_MEDIA_EVENTS
969     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
970 #endif
971     RefPtr<Event> event = Event::create(eventName, false, true);
972     
973     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
974     // will trigger an ASSERT if this element has been marked for deletion.
975
976     m_asyncEventQueue.enqueueEvent(WTFMove(event));
977 }
978
979 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
980 {
981     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
982 }
983
984 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
985 {
986     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
987
988     for (auto& promise : pendingPlayPromises)
989         promise.rejectType<IDLInterface<DOMError>>(error);
990 }
991
992 void HTMLMediaElement::resolvePendingPlayPromises()
993 {
994     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
995
996     for (auto& promise : pendingPlayPromises)
997         promise.resolve();
998 }
999
1000 void HTMLMediaElement::scheduleNotifyAboutPlaying()
1001 {
1002     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
1003 }
1004
1005 void HTMLMediaElement::notifyAboutPlaying()
1006 {
1007     m_playbackStartedTime = currentMediaTime().toDouble();
1008     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
1009     resolvePendingPlayPromises();
1010
1011     m_hasEverNotifiedAboutPlaying = true;
1012     scheduleUpdatePlaybackControlsManager();
1013 }
1014
1015 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
1016 {
1017     return m_hasEverNotifiedAboutPlaying;
1018 }
1019
1020 void HTMLMediaElement::pendingActionTimerFired()
1021 {
1022     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
1023     PendingActionFlags pendingActions = m_pendingActionFlags;
1024     m_pendingActionFlags = 0;
1025
1026 #if ENABLE(VIDEO_TRACK)
1027     if (pendingActions & ConfigureTextTracks)
1028         configureTextTracks();
1029 #endif
1030
1031     if (pendingActions & LoadMediaResource) {
1032         if (m_loadState == LoadingFromSourceElement)
1033             loadNextSourceChild();
1034         else
1035             loadInternal();
1036     }
1037
1038 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1039     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1040         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1041         m_failedToPlayToWirelessTarget = true;
1042         m_player->setShouldPlayToPlaybackTarget(false);
1043     }
1044
1045     if (pendingActions & CheckMediaState)
1046         updateMediaState();
1047 #endif
1048
1049     if (pendingActions & MediaEngineUpdated)
1050         mediaEngineWasUpdated();
1051
1052     if (pendingActions & UpdatePlayState)
1053         updatePlayState();
1054 }
1055
1056 MediaError* HTMLMediaElement::error() const
1057 {
1058     return m_error.get();
1059 }
1060
1061 void HTMLMediaElement::setSrc(const String& url)
1062 {
1063     setAttributeWithoutSynchronization(srcAttr, url);
1064 }
1065
1066 #if ENABLE(MEDIA_STREAM)
1067 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1068 {
1069     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1070     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1071     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1072     // the UA must re-run the media element load algorithm.
1073     //
1074     // https://bugs.webkit.org/show_bug.cgi?id=124896
1075
1076     m_mediaStreamSrcObject = mediaStream;
1077     if (mediaStream) {
1078         m_settingMediaStreamSrcObject = true;
1079         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1080         m_settingMediaStreamSrcObject = false;
1081     }
1082 }
1083 #endif
1084
1085 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1086 {
1087     setAttributeWithoutSynchronization(crossoriginAttr, value);
1088 }
1089
1090 String HTMLMediaElement::crossOrigin() const
1091 {
1092     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1093 }
1094
1095 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1096 {
1097     return m_networkState;
1098 }
1099
1100 String HTMLMediaElement::canPlayType(const String& mimeType) const
1101 {
1102     MediaEngineSupportParameters parameters;
1103     ContentType contentType(mimeType);
1104     parameters.type = contentType.type().convertToASCIILowercase();
1105     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1106     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1107     String canPlay;
1108
1109     // 4.8.10.3
1110     switch (support)
1111     {
1112         case MediaPlayer::IsNotSupported:
1113             canPlay = emptyString();
1114             break;
1115         case MediaPlayer::MayBeSupported:
1116             canPlay = ASCIILiteral("maybe");
1117             break;
1118         case MediaPlayer::IsSupported:
1119             canPlay = ASCIILiteral("probably");
1120             break;
1121     }
1122     
1123     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1124
1125     return canPlay;
1126 }
1127
1128 double HTMLMediaElement::getStartDate() const
1129 {
1130     if (!m_player)
1131         return std::numeric_limits<double>::quiet_NaN();
1132     return m_player->getStartDate().toDouble();
1133 }
1134
1135 void HTMLMediaElement::load()
1136 {
1137     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1138     
1139     LOG(Media, "HTMLMediaElement::load(%p)", this);
1140     
1141     if (!m_mediaSession->dataLoadingPermitted(*this))
1142         return;
1143     if (ScriptController::processingUserGestureForMedia())
1144         removeBehaviorsRestrictionsAfterFirstUserGesture();
1145
1146     prepareForLoad();
1147     loadInternal();
1148     prepareToPlay();
1149 }
1150
1151 void HTMLMediaElement::prepareForLoad()
1152 {
1153     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1154
1155     // Perform the cleanup required for the resource load algorithm to run.
1156     stopPeriodicTimers();
1157     m_pendingActionTimer.stop();
1158     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1159     m_pendingActionFlags &= ~LoadMediaResource;
1160     m_sentEndEvent = false;
1161     m_sentStalledEvent = false;
1162     m_haveFiredLoadedData = false;
1163     m_completelyLoaded = false;
1164     m_havePreparedToPlay = false;
1165     m_displayMode = Unknown;
1166     m_currentSrc = URL();
1167
1168 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1169     m_failedToPlayToWirelessTarget = false;
1170 #endif
1171
1172     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1173     m_loadState = WaitingForSource;
1174     m_currentSourceNode = nullptr;
1175
1176     // 2 - If there are any tasks from the media element's media element event task source in 
1177     // one of the task queues, then remove those tasks.
1178     cancelPendingEventsAndCallbacks();
1179
1180     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1181     // a task to fire a simple event named abort at the media element.
1182     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1183         scheduleEvent(eventNames().abortEvent);
1184
1185 #if ENABLE(MEDIA_SOURCE)
1186     detachMediaSource();
1187 #endif
1188
1189     createMediaPlayer();
1190
1191     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1192     if (m_networkState != NETWORK_EMPTY) {
1193         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1194         scheduleEvent(eventNames().emptiedEvent);
1195
1196         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1197         m_networkState = NETWORK_EMPTY;
1198
1199         // 4.3 - Forget the media element's media-resource-specific tracks.
1200         forgetResourceSpecificTracks();
1201
1202         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1203         m_readyState = HAVE_NOTHING;
1204         m_readyStateMaximum = HAVE_NOTHING;
1205
1206         // 4.5 - If the paused attribute is false, then set it to true.
1207         m_paused = true;
1208
1209         // 4.6 - If seeking is true, set it to false.
1210         clearSeeking();
1211
1212         // 4.7 - Set the current playback position to 0.
1213         //       Set the official playback position to 0.
1214         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1215         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1216
1217         // 4.8 - Set the initial playback position to 0.
1218         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1219         // above.
1220         refreshCachedTime();
1221
1222         invalidateCachedTime();
1223
1224         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1225         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1226
1227         updateMediaController();
1228 #if ENABLE(VIDEO_TRACK)
1229         updateActiveTextTrackCues(MediaTime::zeroTime());
1230 #endif
1231     }
1232
1233     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1234     setPlaybackRate(defaultPlaybackRate());
1235
1236     // 6 - Set the error attribute to null and the autoplaying flag to true.
1237     m_error = nullptr;
1238     m_autoplaying = true;
1239     mediaSession().clientWillBeginAutoplaying();
1240
1241     // 7 - Invoke the media element's resource selection algorithm.
1242
1243     // 8 - Note: Playback of any previously playing media resource for this element stops.
1244
1245     // The resource selection algorithm
1246     // 1 - Set the networkState to NETWORK_NO_SOURCE
1247     m_networkState = NETWORK_NO_SOURCE;
1248
1249     // 2 - Asynchronously await a stable state.
1250
1251     m_playedTimeRanges = TimeRanges::create();
1252
1253     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1254     // so they are closer to the relevant spec steps.
1255     m_lastSeekTime = MediaTime::zeroTime();
1256
1257     // The spec doesn't say to block the load event until we actually run the asynchronous section
1258     // algorithm, but do it now because we won't start that until after the timer fires and the 
1259     // event may have already fired by then.
1260     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1261     if (effectivePreload != MediaPlayer::None)
1262         setShouldDelayLoadEvent(true);
1263
1264 #if PLATFORM(IOS)
1265     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1266         prepareToPlay();
1267 #endif
1268
1269     configureMediaControls();
1270 }
1271
1272 void HTMLMediaElement::loadInternal()
1273 {
1274     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1275
1276     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1277     // us catch those bugs more quickly without needing all the branches to align to actually
1278     // trigger the event.
1279     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1280
1281     // If we can't start a load right away, start it later.
1282     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1283         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1284         setShouldDelayLoadEvent(false);
1285         if (m_isWaitingUntilMediaCanStart)
1286             return;
1287         m_isWaitingUntilMediaCanStart = true;
1288         document().addMediaCanStartListener(this);
1289         return;
1290     }
1291
1292     clearFlags(m_pendingActionFlags, LoadMediaResource);
1293
1294     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1295     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1296     // put into the background.
1297     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1298
1299 #if ENABLE(VIDEO_TRACK)
1300     if (hasMediaControls())
1301         mediaControls()->changedClosedCaptionsVisibility();
1302
1303     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1304     // disabled state when the element's resource selection algorithm last started".
1305     m_textTracksWhenResourceSelectionBegan.clear();
1306     if (m_textTracks) {
1307         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1308             TextTrack* track = m_textTracks->item(i);
1309             if (track->mode() != TextTrack::Mode::Disabled)
1310                 m_textTracksWhenResourceSelectionBegan.append(track);
1311         }
1312     }
1313 #endif
1314
1315     selectMediaResource();
1316 }
1317
1318 void HTMLMediaElement::selectMediaResource()
1319 {
1320     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1321
1322     ASSERT(m_player);
1323     if (!m_player)
1324         return;
1325
1326     enum Mode { attribute, children };
1327
1328     // 3 - If the media element has a src attribute, then let mode be attribute.
1329     Mode mode = attribute;
1330     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1331         // Otherwise, if the media element does not have a src attribute but has a source 
1332         // element child, then let mode be children and let candidate be the first such 
1333         // source element child in tree order.
1334         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1335             mode = children;
1336             m_nextChildNodeToConsider = firstSource;
1337             m_currentSourceNode = nullptr;
1338         } else {
1339             // Otherwise the media element has neither a src attribute nor a source element 
1340             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1341             // synchronous section ends.
1342             m_loadState = WaitingForSource;
1343             setShouldDelayLoadEvent(false);
1344             m_networkState = NETWORK_EMPTY;
1345
1346             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1347             return;
1348         }
1349     }
1350
1351     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1352     // and set its networkState to NETWORK_LOADING.
1353     setShouldDelayLoadEvent(true);
1354     m_networkState = NETWORK_LOADING;
1355
1356     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1357     scheduleEvent(eventNames().loadstartEvent);
1358
1359     // 6 - If mode is attribute, then run these substeps
1360     if (mode == attribute) {
1361         m_loadState = LoadingFromSrcAttr;
1362
1363         // If the src attribute's value is the empty string ... jump down to the failed step below
1364         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1365         if (mediaURL.isEmpty()) {
1366             mediaLoadingFailed(MediaPlayer::FormatError);
1367             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1368             return;
1369         }
1370
1371         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1372             mediaLoadingFailed(MediaPlayer::FormatError);
1373             return;
1374         }
1375
1376         // No type or key system information is available when the url comes
1377         // from the 'src' attribute so MediaPlayer
1378         // will have to pick a media engine based on the file extension.
1379         ContentType contentType((String()));
1380         loadResource(mediaURL, contentType, String());
1381         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1382         return;
1383     }
1384
1385     // Otherwise, the source elements will be used
1386     loadNextSourceChild();
1387 }
1388
1389 void HTMLMediaElement::loadNextSourceChild()
1390 {
1391     ContentType contentType((String()));
1392     String keySystem;
1393     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1394     if (!mediaURL.isValid()) {
1395         waitForSourceChange();
1396         return;
1397     }
1398
1399     // Recreate the media player for the new url
1400     createMediaPlayer();
1401
1402     m_loadState = LoadingFromSourceElement;
1403     loadResource(mediaURL, contentType, keySystem);
1404 }
1405
1406 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1407 {
1408     ASSERT(isSafeToLoadURL(initialURL, Complain));
1409
1410     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1411
1412     Frame* frame = document().frame();
1413     if (!frame) {
1414         mediaLoadingFailed(MediaPlayer::FormatError);
1415         return;
1416     }
1417
1418     Page* page = frame->page();
1419     if (!page) {
1420         mediaLoadingFailed(MediaPlayer::FormatError);
1421         return;
1422     }
1423
1424     URL url = initialURL;
1425     if (!frame->loader().willLoadMediaElementURL(url)) {
1426         mediaLoadingFailed(MediaPlayer::FormatError);
1427         return;
1428     }
1429
1430 #if ENABLE(CONTENT_EXTENSIONS)
1431     DocumentLoader* documentLoader = frame->loader().documentLoader();
1432
1433     if (documentLoader) {
1434         auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader);
1435         if (blockedStatus.blockedLoad) {
1436             mediaLoadingFailed(MediaPlayer::FormatError);
1437             return;
1438         }
1439     }
1440 #endif
1441
1442     // The resource fetch algorithm 
1443     m_networkState = NETWORK_LOADING;
1444
1445     // If the url should be loaded from the application cache, pass the url of the cached file
1446     // to the media engine.
1447     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1448     ApplicationCacheResource* resource = nullptr;
1449     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1450         // Resources that are not present in the manifest will always fail to load (at least, after the
1451         // cache has been primed the first time), making the testing of offline applications simpler.
1452         if (!resource || resource->path().isEmpty()) {
1453             mediaLoadingFailed(MediaPlayer::NetworkError);
1454             return;
1455         }
1456     }
1457
1458     // Log that we started loading a media element.
1459     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1460
1461     m_firstTimePlaying = true;
1462
1463     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1464     // cache is an internal detail not exposed through the media element API.
1465     m_currentSrc = url;
1466
1467     if (resource) {
1468         url = ApplicationCacheHost::createFileURL(resource->path());
1469         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1470     }
1471
1472     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1473
1474     if (m_sendProgressEvents)
1475         startProgressEventTimer();
1476
1477     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1478     m_player->setPrivateBrowsingMode(privateMode);
1479
1480     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1481     setDisplayMode(Unknown);
1482
1483     if (!autoplay())
1484         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1485     m_player->setPreservesPitch(m_webkitPreservesPitch);
1486
1487     if (!m_explicitlyMuted) {
1488         m_explicitlyMuted = true;
1489         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1490     }
1491
1492     updateVolume();
1493
1494     bool loadAttempted = false;
1495 #if ENABLE(MEDIA_SOURCE)
1496     ASSERT(!m_mediaSource);
1497
1498     if (url.protocolIs(mediaSourceBlobProtocol))
1499         m_mediaSource = MediaSource::lookup(url.string());
1500
1501     if (m_mediaSource) {
1502         if (m_mediaSource->attachToElement(*this))
1503             m_player->load(url, contentType, m_mediaSource.get());
1504         else {
1505             // Forget our reference to the MediaSource, so we leave it alone
1506             // while processing remainder of load failure.
1507             m_mediaSource = nullptr;
1508             mediaLoadingFailed(MediaPlayer::FormatError);
1509         }
1510         loadAttempted = true;
1511     }
1512 #endif
1513
1514 #if ENABLE(MEDIA_STREAM)
1515     if (!loadAttempted) {
1516         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1517             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1518
1519         if (m_mediaStreamSrcObject) {
1520             loadAttempted = true;
1521             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1522                 mediaLoadingFailed(MediaPlayer::FormatError);
1523         }
1524     }
1525 #endif
1526
1527     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1528         mediaLoadingFailed(MediaPlayer::FormatError);
1529
1530     // If there is no poster to display, allow the media engine to render video frames as soon as
1531     // they are available.
1532     updateDisplayState();
1533
1534     updateRenderer();
1535 }
1536
1537 #if ENABLE(VIDEO_TRACK)
1538
1539 static bool trackIndexCompare(TextTrack* a, TextTrack* b)
1540 {
1541     return a->trackIndex() - b->trackIndex() < 0;
1542 }
1543
1544 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1545 {
1546     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1547     // times first).
1548     if (a.first != b.first)
1549         return a.first - b.first < MediaTime::zeroTime();
1550
1551     // If the cues belong to different text tracks, it doesn't make sense to
1552     // compare the two tracks by the relative cue order, so return the relative
1553     // track order.
1554     if (a.second->track() != b.second->track())
1555         return trackIndexCompare(a.second->track(), b.second->track());
1556
1557     // 12 - Further sort tasks in events that have the same time by the
1558     // relative text track cue order of the text track cues associated
1559     // with these tasks.
1560     return a.second->isOrderedBefore(b.second);
1561 }
1562
1563 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1564 {
1565     return one.data()->isOrderedBefore(two.data());
1566 }
1567
1568 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1569 {
1570     // 4.8.10.8 Playing the media resource
1571
1572     //  If the current playback position changes while the steps are running,
1573     //  then the user agent must wait for the steps to complete, and then must
1574     //  immediately rerun the steps.
1575     if (ignoreTrackDisplayUpdateRequests())
1576         return;
1577
1578     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1579
1580     // 1 - Let current cues be a list of cues, initialized to contain all the
1581     // cues of all the hidden, showing, or showing by default text tracks of the
1582     // media element (not the disabled ones) whose start times are less than or
1583     // equal to the current playback position and whose end times are greater
1584     // than the current playback position.
1585     CueList currentCues;
1586
1587     // The user agent must synchronously unset [the text track cue active] flag
1588     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1589     if (m_readyState != HAVE_NOTHING && m_player) {
1590         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1591         if (currentCues.size() > 1)
1592             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1593     }
1594
1595     CueList previousCues;
1596     CueList missedCues;
1597
1598     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1599     // of hidden, showing, and showing by default text tracks of the media
1600     // element that are not present in current cues.
1601     previousCues = m_currentlyActiveCues;
1602
1603     // 3 - Let last time be the current playback position at the time this
1604     // algorithm was last run for this media element, if this is not the first
1605     // time it has run.
1606     MediaTime lastTime = m_lastTextTrackUpdateTime;
1607
1608     // 4 - If the current playback position has, since the last time this
1609     // algorithm was run, only changed through its usual monotonic increase
1610     // during normal playback, then let missed cues be the list of cues in other
1611     // cues whose start times are greater than or equal to last time and whose
1612     // end times are less than or equal to the current playback position.
1613     // Otherwise, let missed cues be an empty list.
1614     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1615         for (auto& cue : m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime))) {
1616             // Consider cues that may have been missed since the last seek time.
1617             if (cue.low() > std::max(m_lastSeekTime, lastTime) && cue.high() < movieTime)
1618                 missedCues.append(cue);
1619         }
1620     }
1621
1622     m_lastTextTrackUpdateTime = movieTime;
1623
1624     // 5 - If the time was reached through the usual monotonic increase of the
1625     // current playback position during normal playback, and if the user agent
1626     // has not fired a timeupdate event at the element in the past 15 to 250ms
1627     // and is not still running event handlers for such an event, then the user
1628     // agent must queue a task to fire a simple event named timeupdate at the
1629     // element. (In the other cases, such as explicit seeks, relevant events get
1630     // fired as part of the overall process of changing the current playback
1631     // position.)
1632     if (!m_paused && m_lastSeekTime <= lastTime)
1633         scheduleTimeupdateEvent(false);
1634
1635     // Explicitly cache vector sizes, as their content is constant from here.
1636     size_t currentCuesSize = currentCues.size();
1637     size_t missedCuesSize = missedCues.size();
1638     size_t previousCuesSize = previousCues.size();
1639
1640     // 6 - If all of the cues in current cues have their text track cue active
1641     // flag set, none of the cues in other cues have their text track cue active
1642     // flag set, and missed cues is empty, then abort these steps.
1643     bool activeSetChanged = missedCuesSize;
1644
1645     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1646         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1647             activeSetChanged = true;
1648
1649     for (size_t i = 0; i < currentCuesSize; ++i) {
1650         TextTrackCue* cue = currentCues[i].data();
1651
1652         if (cue->isRenderable())
1653             toVTTCue(cue)->updateDisplayTree(movieTime);
1654
1655         if (!cue->isActive())
1656             activeSetChanged = true;
1657     }
1658
1659     if (!activeSetChanged)
1660         return;
1661
1662     // 7 - If the time was reached through the usual monotonic increase of the
1663     // current playback position during normal playback, and there are cues in
1664     // other cues that have their text track cue pause-on-exi flag set and that
1665     // either have their text track cue active flag set or are also in missed
1666     // cues, then immediately pause the media element.
1667     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1668         if (previousCues[i].data()->pauseOnExit()
1669             && previousCues[i].data()->isActive()
1670             && !currentCues.contains(previousCues[i]))
1671             pause();
1672     }
1673
1674     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1675         if (missedCues[i].data()->pauseOnExit())
1676             pause();
1677     }
1678
1679     // 8 - Let events be a list of tasks, initially empty. Each task in this
1680     // list will be associated with a text track, a text track cue, and a time,
1681     // which are used to sort the list before the tasks are queued.
1682     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1683
1684     // 8 - Let affected tracks be a list of text tracks, initially empty.
1685     Vector<TextTrack*> affectedTracks;
1686
1687     for (size_t i = 0; i < missedCuesSize; ++i) {
1688         // 9 - For each text track cue in missed cues, prepare an event named enter
1689         // for the TextTrackCue object with the text track cue start time.
1690         eventTasks.append({ missedCues[i].data()->startMediaTime(), missedCues[i].data() });
1691
1692         // 10 - For each text track [...] in missed cues, prepare an event
1693         // named exit for the TextTrackCue object with the  with the later of
1694         // the text track cue end time and the text track cue start time.
1695
1696         // Note: An explicit task is added only if the cue is NOT a zero or
1697         // negative length cue. Otherwise, the need for an exit event is
1698         // checked when these tasks are actually queued below. This doesn't
1699         // affect sorting events before dispatch either, because the exit
1700         // event has the same time as the enter event.
1701         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1702             eventTasks.append({ missedCues[i].data()->endMediaTime(), missedCues[i].data() });
1703     }
1704
1705     for (size_t i = 0; i < previousCuesSize; ++i) {
1706         // 10 - For each text track cue in other cues that has its text
1707         // track cue active flag set prepare an event named exit for the
1708         // TextTrackCue object with the text track cue end time.
1709         if (!currentCues.contains(previousCues[i]))
1710             eventTasks.append({ previousCues[i].data()->endMediaTime(), previousCues[i].data() });
1711     }
1712
1713     for (size_t i = 0; i < currentCuesSize; ++i) {
1714         // 11 - For each text track cue in current cues that does not have its
1715         // text track cue active flag set, prepare an event named enter for the
1716         // TextTrackCue object with the text track cue start time.
1717         if (!previousCues.contains(currentCues[i]))
1718             eventTasks.append({ currentCues[i].data()->startMediaTime(), currentCues[i].data() });
1719     }
1720
1721     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1722     // times first).
1723     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1724
1725     for (auto& eventTask : eventTasks) {
1726         if (!affectedTracks.contains(eventTask.second->track()))
1727             affectedTracks.append(eventTask.second->track());
1728
1729         // 13 - Queue each task in events, in list order.
1730
1731         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1732         // depending on the time that is associated with the event. This
1733         // correctly identifies the type of the event, if the startTime is
1734         // less than the endTime in the cue.
1735         if (eventTask.second->startTime() >= eventTask.second->endTime()) {
1736             auto enterEvent = Event::create(eventNames().enterEvent, false, false);
1737             enterEvent->setTarget(eventTask.second);
1738             m_asyncEventQueue.enqueueEvent(WTFMove(enterEvent));
1739
1740             auto exitEvent = Event::create(eventNames().exitEvent, false, false);
1741             exitEvent->setTarget(eventTask.second);
1742             m_asyncEventQueue.enqueueEvent(WTFMove(exitEvent));
1743         } else {
1744             RefPtr<Event> event;
1745             if (eventTask.first == eventTask.second->startMediaTime())
1746                 event = Event::create(eventNames().enterEvent, false, false);
1747             else
1748                 event = Event::create(eventNames().exitEvent, false, false);
1749             event->setTarget(eventTask.second);
1750             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1751         }
1752     }
1753
1754     // 14 - Sort affected tracks in the same order as the text tracks appear in
1755     // the media element's list of text tracks, and remove duplicates.
1756     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1757
1758     // 15 - For each text track in affected tracks, in the list order, queue a
1759     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1760     for (auto& affectedTrack : affectedTracks) {
1761         auto event = Event::create(eventNames().cuechangeEvent, false, false);
1762         event->setTarget(affectedTrack);
1763         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1764
1765         // ... if the text track has a corresponding track element, to then fire a
1766         // simple event named cuechange at the track element as well.
1767         if (is<LoadableTextTrack>(*affectedTrack)) {
1768             auto event = Event::create(eventNames().cuechangeEvent, false, false);
1769             auto* trackElement = downcast<LoadableTextTrack>(*affectedTrack).trackElement();
1770             ASSERT(trackElement);
1771             event->setTarget(trackElement);
1772             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1773         }
1774     }
1775
1776     // 16 - Set the text track cue active flag of all the cues in the current
1777     // cues, and unset the text track cue active flag of all the cues in the
1778     // other cues.
1779     for (size_t i = 0; i < currentCuesSize; ++i)
1780         currentCues[i].data()->setIsActive(true);
1781
1782     for (size_t i = 0; i < previousCuesSize; ++i)
1783         if (!currentCues.contains(previousCues[i]))
1784             previousCues[i].data()->setIsActive(false);
1785
1786     // Update the current active cues.
1787     m_currentlyActiveCues = currentCues;
1788
1789     if (activeSetChanged)
1790         updateTextTrackDisplay();
1791 }
1792
1793 bool HTMLMediaElement::textTracksAreReady() const
1794 {
1795     // 4.8.10.12.1 Text track model
1796     // ...
1797     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1798     // in the disabled state when the element's resource selection algorithm last started now
1799     // have a text track readiness state of loaded or failed to load.
1800     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1801         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1802             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1803             return false;
1804     }
1805
1806     return true;
1807 }
1808
1809 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1810 {
1811     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1812         if (track->readinessState() != TextTrack::Loading)
1813             setReadyState(m_player->readyState());
1814     } else {
1815         // The track readiness state might have changed as a result of the user
1816         // clicking the captions button. In this case, a check whether all the
1817         // resources have failed loading should be done in order to hide the CC button.
1818         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1819             mediaControls()->refreshClosedCaptionsButtonVisibility();
1820     }
1821 }
1822
1823 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack& track)
1824 {
1825     if (m_audioTracks && m_audioTracks->contains(track))
1826         m_audioTracks->scheduleChangeEvent();
1827     if (ScriptController::processingUserGestureForMedia())
1828         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1829 }
1830
1831 void HTMLMediaElement::textTrackModeChanged(TextTrack& track)
1832 {
1833     bool trackIsLoaded = true;
1834     if (track.trackType() == TextTrack::TrackElement) {
1835         trackIsLoaded = false;
1836         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1837             if (&trackElement.track() == &track) {
1838                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1839                     trackIsLoaded = true;
1840                 break;
1841             }
1842         }
1843     }
1844
1845     // If this is the first added track, create the list of text tracks.
1846     if (!m_textTracks)
1847         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1848     
1849     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1850     track.setHasBeenConfigured(true);
1851     
1852     if (track.mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1853         textTrackAddCues(track, *track.cues());
1854
1855     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1856
1857     if (m_textTracks && m_textTracks->contains(track))
1858         m_textTracks->scheduleChangeEvent();
1859
1860 #if ENABLE(AVF_CAPTIONS)
1861     if (track.trackType() == TextTrack::TrackElement && m_player)
1862         m_player->notifyTrackModeChanged();
1863 #endif
1864 }
1865
1866 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack& track)
1867 {
1868     if (m_videoTracks && m_videoTracks->contains(track))
1869         m_videoTracks->scheduleChangeEvent();
1870 }
1871
1872 void HTMLMediaElement::textTrackKindChanged(TextTrack& track)
1873 {
1874     if (track.kind() != TextTrack::Kind::Captions && track.kind() != TextTrack::Kind::Subtitles && track.mode() == TextTrack::Mode::Showing)
1875         track.setMode(TextTrack::Mode::Hidden);
1876 }
1877
1878 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1879 {
1880     ++m_ignoreTrackDisplayUpdate;
1881 }
1882
1883 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1884 {
1885     ASSERT(m_ignoreTrackDisplayUpdate);
1886     --m_ignoreTrackDisplayUpdate;
1887     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1888         updateActiveTextTrackCues(currentMediaTime());
1889 }
1890
1891 void HTMLMediaElement::textTrackAddCues(TextTrack& track, const TextTrackCueList& cues)
1892 {
1893     if (track.mode() == TextTrack::Mode::Disabled)
1894         return;
1895
1896     TrackDisplayUpdateScope scope { *this };
1897     for (unsigned i = 0; i < cues.length(); ++i)
1898         textTrackAddCue(track, *cues.item(i));
1899 }
1900
1901 void HTMLMediaElement::textTrackRemoveCues(TextTrack&, const TextTrackCueList& cues)
1902 {
1903     TrackDisplayUpdateScope scope { *this };
1904     for (unsigned i = 0; i < cues.length(); ++i) {
1905         auto& cue = *cues.item(i);
1906         textTrackRemoveCue(*cue.track(), cue);
1907     }
1908 }
1909
1910 void HTMLMediaElement::textTrackAddCue(TextTrack& track, TextTrackCue& cue)
1911 {
1912     if (track.mode() == TextTrack::Mode::Disabled)
1913         return;
1914
1915     // Negative duration cues need be treated in the interval tree as
1916     // zero-length cues.
1917     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1918
1919     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1920     if (!m_cueTree.contains(interval))
1921         m_cueTree.add(interval);
1922     updateActiveTextTrackCues(currentMediaTime());
1923 }
1924
1925 void HTMLMediaElement::textTrackRemoveCue(TextTrack&, TextTrackCue& cue)
1926 {
1927     // Negative duration cues need to be treated in the interval tree as
1928     // zero-length cues.
1929     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1930
1931     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1932     m_cueTree.remove(interval);
1933
1934     // Since the cue will be removed from the media element and likely the
1935     // TextTrack might also be destructed, notifying the region of the cue
1936     // removal shouldn't be done.
1937     if (cue.isRenderable())
1938         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1939
1940     size_t index = m_currentlyActiveCues.find(interval);
1941     if (index != notFound) {
1942         cue.setIsActive(false);
1943         m_currentlyActiveCues.remove(index);
1944     }
1945
1946     if (cue.isRenderable())
1947         toVTTCue(&cue)->removeDisplayTree();
1948     updateActiveTextTrackCues(currentMediaTime());
1949
1950     if (cue.isRenderable())
1951         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1952 }
1953
1954 #endif
1955
1956 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1957 {
1958     // Elements in user agent show tree should load whatever the embedding document policy is.
1959     if (isInUserAgentShadowTree)
1960         return true;
1961
1962     ASSERT(element.document().contentSecurityPolicy());
1963     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1964 }
1965
1966 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1967 {
1968     if (!url.isValid()) {
1969         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1970         return false;
1971     }
1972
1973     Frame* frame = document().frame();
1974     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1975         if (actionIfInvalid == Complain)
1976             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1977         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1978         return false;
1979     }
1980
1981     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
1982         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1983         return false;
1984     }
1985
1986     return true;
1987 }
1988
1989 void HTMLMediaElement::startProgressEventTimer()
1990 {
1991     if (m_progressEventTimer.isActive())
1992         return;
1993
1994     m_previousProgressTime = monotonicallyIncreasingTime();
1995     // 350ms is not magic, it is in the spec!
1996     m_progressEventTimer.startRepeating(0.350);
1997 }
1998
1999 void HTMLMediaElement::waitForSourceChange()
2000 {
2001     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
2002
2003     stopPeriodicTimers();
2004     m_loadState = WaitingForSource;
2005
2006     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
2007     m_networkState = NETWORK_NO_SOURCE;
2008
2009     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2010     setShouldDelayLoadEvent(false);
2011
2012     updateDisplayState();
2013     updateRenderer();
2014 }
2015
2016 void HTMLMediaElement::noneSupported()
2017 {
2018     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
2019
2020     stopPeriodicTimers();
2021     m_loadState = WaitingForSource;
2022     m_currentSourceNode = nullptr;
2023
2024     // 4.8.10.5 
2025     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
2026     // URL could not be resolved. In one atomic operation, run the following steps:
2027
2028     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
2029     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2030     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2031
2032     // 6.2 - Forget the media element's media-resource-specific text tracks.
2033     forgetResourceSpecificTracks();
2034
2035     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2036     m_networkState = NETWORK_NO_SOURCE;
2037
2038     // 7 - Queue a task to fire a simple event named error at the media element.
2039     scheduleEvent(eventNames().errorEvent);
2040
2041     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2042
2043 #if ENABLE(MEDIA_SOURCE)
2044     detachMediaSource();
2045 #endif
2046
2047     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2048     setShouldDelayLoadEvent(false);
2049
2050     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2051     // the element won't attempt to load another resource.
2052
2053     updateDisplayState();
2054     updateRenderer();
2055 }
2056
2057 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2058 {
2059     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2060
2061     // 1 - The user agent should cancel the fetching process.
2062     stopPeriodicTimers();
2063     m_loadState = WaitingForSource;
2064
2065     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2066     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2067     if (error == MediaPlayer::NetworkError)
2068         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2069     else if (error == MediaPlayer::DecodeError)
2070         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2071     else
2072         ASSERT_NOT_REACHED();
2073
2074     // 3 - Queue a task to fire a simple event named error at the media element.
2075     scheduleEvent(eventNames().errorEvent);
2076
2077 #if ENABLE(MEDIA_SOURCE)
2078     detachMediaSource();
2079 #endif
2080
2081     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2082     // task to fire a simple event called emptied at the element.
2083     m_networkState = NETWORK_EMPTY;
2084     scheduleEvent(eventNames().emptiedEvent);
2085
2086     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2087     setShouldDelayLoadEvent(false);
2088
2089     // 6 - Abort the overall resource selection algorithm.
2090     m_currentSourceNode = nullptr;
2091
2092 #if PLATFORM(COCOA)
2093     if (is<MediaDocument>(document()))
2094         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2095 #endif
2096 }
2097
2098 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2099 {
2100     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2101     m_asyncEventQueue.cancelAllEvents();
2102
2103     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2104         source.cancelPendingErrorEvent();
2105
2106     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2107 }
2108
2109 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2110 {
2111     beginProcessingMediaPlayerCallback();
2112     setNetworkState(m_player->networkState());
2113     endProcessingMediaPlayerCallback();
2114 }
2115
2116 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2117 {
2118     if (!page)
2119         return;
2120
2121     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2122     if (!succeeded) {
2123         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2124         return;
2125     }
2126
2127     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2128
2129     if (!page->hasSeenAnyMediaEngine())
2130         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2131
2132     if (!page->hasSeenMediaEngine(mediaEngine))
2133         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2134
2135     page->sawMediaEngine(mediaEngine);
2136 }
2137
2138 static String stringForNetworkState(MediaPlayer::NetworkState state)
2139 {
2140     switch (state) {
2141     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2142     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2143     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2144     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2145     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2146     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2147     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2148     default: return emptyString();
2149     }
2150 }
2151
2152 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2153 {
2154     stopPeriodicTimers();
2155     
2156     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2157     // <source> children, schedule the next one
2158     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2159         
2160         // resource selection algorithm
2161         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2162         if (m_currentSourceNode)
2163             m_currentSourceNode->scheduleErrorEvent();
2164         else
2165             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2166         
2167         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2168         
2169         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2170         forgetResourceSpecificTracks();
2171
2172         if (havePotentialSourceChild()) {
2173             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2174             scheduleNextSourceChild();
2175         } else {
2176             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2177             waitForSourceChange();
2178         }
2179         
2180         return;
2181     }
2182     
2183     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2184         mediaLoadingFailedFatally(error);
2185     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2186         noneSupported();
2187     
2188     updateDisplayState();
2189     if (hasMediaControls()) {
2190         mediaControls()->reset();
2191         mediaControls()->reportedError();
2192     }
2193
2194     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2195
2196     m_mediaSession->clientCharacteristicsChanged();
2197 }
2198
2199 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2200 {
2201     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2202
2203     if (state == MediaPlayer::Empty) {
2204         // Just update the cached state and leave, we can't do anything.
2205         m_networkState = NETWORK_EMPTY;
2206         return;
2207     }
2208
2209     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2210         mediaLoadingFailed(state);
2211         return;
2212     }
2213
2214     if (state == MediaPlayer::Idle) {
2215         if (m_networkState > NETWORK_IDLE) {
2216             changeNetworkStateFromLoadingToIdle();
2217             setShouldDelayLoadEvent(false);
2218         } else {
2219             m_networkState = NETWORK_IDLE;
2220         }
2221     }
2222
2223     if (state == MediaPlayer::Loading) {
2224         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2225             startProgressEventTimer();
2226         m_networkState = NETWORK_LOADING;
2227     }
2228
2229     if (state == MediaPlayer::Loaded) {
2230         if (m_networkState != NETWORK_IDLE)
2231             changeNetworkStateFromLoadingToIdle();
2232         m_completelyLoaded = true;
2233     }
2234
2235     if (hasMediaControls())
2236         mediaControls()->updateStatusDisplay();
2237 }
2238
2239 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2240 {
2241     m_progressEventTimer.stop();
2242     if (hasMediaControls() && m_player->didLoadingProgress())
2243         mediaControls()->bufferingProgressed();
2244
2245     // Schedule one last progress event so we guarantee that at least one is fired
2246     // for files that load very quickly.
2247     scheduleEvent(eventNames().progressEvent);
2248     scheduleEvent(eventNames().suspendEvent);
2249     m_networkState = NETWORK_IDLE;
2250 }
2251
2252 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2253 {
2254     beginProcessingMediaPlayerCallback();
2255
2256     setReadyState(m_player->readyState());
2257
2258     endProcessingMediaPlayerCallback();
2259 }
2260
2261 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2262 {
2263     return isAutoplaying()
2264         && mediaSession().autoplayPermitted()
2265         && paused()
2266         && autoplay()
2267         && !pausedForUserInteraction()
2268         && !document().isSandboxed(SandboxAutomaticFeatures)
2269         && mediaSession().playbackPermitted(*this);
2270 }
2271
2272 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2273 {
2274     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2275
2276     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2277     bool wasPotentiallyPlaying = potentiallyPlaying();
2278
2279     ReadyState oldState = m_readyState;
2280     ReadyState newState = static_cast<ReadyState>(state);
2281
2282 #if ENABLE(VIDEO_TRACK)
2283     bool tracksAreReady = textTracksAreReady();
2284
2285     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2286         return;
2287
2288     m_tracksAreReady = tracksAreReady;
2289 #else
2290     if (newState == oldState)
2291         return;
2292     bool tracksAreReady = true;
2293 #endif
2294     
2295     if (tracksAreReady)
2296         m_readyState = newState;
2297     else {
2298         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2299         // the text tracks are ready, regardless of the state of the media file.
2300         if (newState <= HAVE_METADATA)
2301             m_readyState = newState;
2302         else
2303             m_readyState = HAVE_CURRENT_DATA;
2304     }
2305     
2306     if (oldState > m_readyStateMaximum)
2307         m_readyStateMaximum = oldState;
2308
2309     if (m_networkState == NETWORK_EMPTY)
2310         return;
2311
2312     if (m_seeking) {
2313         // 4.8.10.9, step 11
2314         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2315             scheduleEvent(eventNames().waitingEvent);
2316
2317         // 4.8.10.10 step 14 & 15.
2318         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2319             finishSeek();
2320     } else {
2321         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2322             // 4.8.10.8
2323             invalidateCachedTime();
2324             scheduleTimeupdateEvent(false);
2325             scheduleEvent(eventNames().waitingEvent);
2326         }
2327     }
2328
2329     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2330         prepareMediaFragmentURI();
2331         scheduleEvent(eventNames().durationchangeEvent);
2332         scheduleResizeEvent();
2333         scheduleEvent(eventNames().loadedmetadataEvent);
2334 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2335         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2336             enqueuePlaybackTargetAvailabilityChangedEvent();
2337 #endif
2338         m_initiallyMuted = m_volume < 0.05 || muted();
2339
2340         if (hasMediaControls())
2341             mediaControls()->loadedMetadata();
2342         updateRenderer();
2343
2344         if (is<MediaDocument>(document()))
2345             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2346
2347         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2348
2349 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2350         updateMediaState(UpdateState::Asynchronously);
2351 #endif
2352
2353         m_mediaSession->clientCharacteristicsChanged();
2354     }
2355
2356     bool shouldUpdateDisplayState = false;
2357
2358     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2359         m_haveFiredLoadedData = true;
2360         shouldUpdateDisplayState = true;
2361         scheduleEvent(eventNames().loadeddataEvent);
2362         setShouldDelayLoadEvent(false);
2363         applyMediaFragmentURI();
2364     }
2365
2366     bool isPotentiallyPlaying = potentiallyPlaying();
2367     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2368         scheduleEvent(eventNames().canplayEvent);
2369         if (isPotentiallyPlaying)
2370             scheduleNotifyAboutPlaying();
2371         shouldUpdateDisplayState = true;
2372     }
2373
2374     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2375         if (oldState <= HAVE_CURRENT_DATA)
2376             scheduleEvent(eventNames().canplayEvent);
2377
2378         scheduleEvent(eventNames().canplaythroughEvent);
2379
2380         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2381             scheduleNotifyAboutPlaying();
2382
2383         if (canTransitionFromAutoplayToPlay()) {
2384             m_paused = false;
2385             invalidateCachedTime();
2386             m_playbackStartedTime = currentMediaTime().toDouble();
2387             scheduleEvent(eventNames().playEvent);
2388             scheduleNotifyAboutPlaying();
2389         }
2390
2391         shouldUpdateDisplayState = true;
2392     }
2393
2394     if (shouldUpdateDisplayState) {
2395         updateDisplayState();
2396         if (hasMediaControls()) {
2397             mediaControls()->refreshClosedCaptionsButtonVisibility();
2398             mediaControls()->updateStatusDisplay();
2399         }
2400     }
2401
2402     updatePlayState();
2403     updateMediaController();
2404 #if ENABLE(VIDEO_TRACK)
2405     updateActiveTextTrackCues(currentMediaTime());
2406 #endif
2407 }
2408
2409 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2410 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2411 {
2412     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2413 }
2414
2415 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2416 {
2417     if (!hasEventListeners("webkitneedkey")) {
2418         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2419         scheduleEvent(eventNames().errorEvent);
2420         return false;
2421     }
2422
2423     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2424     event->setTarget(this);
2425     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2426
2427     return true;
2428 }
2429
2430 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2431 {
2432     Settings* settings = document().settings();
2433     if (!settings)
2434         return emptyString();
2435
2436     String storageDirectory = settings->mediaKeysStorageDirectory();
2437     if (storageDirectory.isEmpty())
2438         return emptyString();
2439
2440     SecurityOrigin* origin = document().securityOrigin();
2441     if (!origin)
2442         return emptyString();
2443
2444     return pathByAppendingComponent(storageDirectory, SecurityOriginData::fromSecurityOrigin(*origin).databaseIdentifier());
2445 }
2446
2447 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2448 {
2449     if (m_mediaKeys == mediaKeys)
2450         return;
2451
2452     if (m_mediaKeys)
2453         m_mediaKeys->setMediaElement(nullptr);
2454     m_mediaKeys = mediaKeys;
2455     if (m_mediaKeys)
2456         m_mediaKeys->setMediaElement(this);
2457 }
2458
2459 void HTMLMediaElement::keyAdded()
2460 {
2461     if (m_player)
2462         m_player->keyAdded();
2463 }
2464
2465 #endif
2466
2467 #if ENABLE(ENCRYPTED_MEDIA)
2468
2469 MediaKeys* HTMLMediaElement::mediaKeys() const
2470 {
2471     return nullptr;
2472 }
2473
2474 void HTMLMediaElement::setMediaKeys(MediaKeys*, Ref<DeferredPromise>&&)
2475 {
2476     notImplemented();
2477 }
2478
2479 #endif // ENABLE(ENCRYPTED_MEDIA)
2480
2481 void HTMLMediaElement::progressEventTimerFired()
2482 {
2483     ASSERT(m_player);
2484     if (m_networkState != NETWORK_LOADING)
2485         return;
2486
2487     double time = monotonicallyIncreasingTime();
2488     double timedelta = time - m_previousProgressTime;
2489
2490     if (m_player->didLoadingProgress()) {
2491         scheduleEvent(eventNames().progressEvent);
2492         m_previousProgressTime = time;
2493         m_sentStalledEvent = false;
2494         updateRenderer();
2495         if (hasMediaControls())
2496             mediaControls()->bufferingProgressed();
2497     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2498         scheduleEvent(eventNames().stalledEvent);
2499         m_sentStalledEvent = true;
2500         setShouldDelayLoadEvent(false);
2501     }
2502 }
2503
2504 void HTMLMediaElement::rewind(double timeDelta)
2505 {
2506     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2507     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2508 }
2509
2510 void HTMLMediaElement::returnToRealtime()
2511 {
2512     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2513     setCurrentTime(maxTimeSeekable());
2514 }
2515
2516 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2517 {
2518     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2519     if (!m_playedTimeRanges)
2520         m_playedTimeRanges = TimeRanges::create();
2521     m_playedTimeRanges->ranges().add(start, end);
2522 }  
2523
2524 bool HTMLMediaElement::supportsScanning() const
2525 {
2526     return m_player ? m_player->supportsScanning() : false;
2527 }
2528
2529 void HTMLMediaElement::prepareToPlay()
2530 {
2531     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2532     if (m_havePreparedToPlay)
2533         return;
2534     m_havePreparedToPlay = true;
2535     m_player->prepareToPlay();
2536 }
2537
2538 void HTMLMediaElement::fastSeek(double time)
2539 {
2540     fastSeek(MediaTime::createWithDouble(time));
2541 }
2542
2543 void HTMLMediaElement::fastSeek(const MediaTime& time)
2544 {
2545     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2546     // 4.7.10.9 Seeking
2547     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2548     // allow for playback to resume promptly. If new playback position before this step is before current
2549     // playback position, then the adjusted new playback position must also be before the current playback
2550     // position. Similarly, if the new playback position before this step is after current playback position,
2551     // then the adjusted new playback position must also be after the current playback position.
2552     refreshCachedTime();
2553     MediaTime delta = time - currentMediaTime();
2554     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2555     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2556
2557     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2558 }
2559
2560 void HTMLMediaElement::seek(const MediaTime& time)
2561 {
2562     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2563     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2564 }
2565
2566 void HTMLMediaElement::seekInternal(const MediaTime& time)
2567 {
2568     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2569     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2570 }
2571
2572 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2573 {
2574     // 4.8.10.9 Seeking
2575     MediaTime time = inTime;
2576
2577     // 1 - Set the media element's show poster flag to false.
2578     setDisplayMode(Video);
2579
2580     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2581     if (m_readyState == HAVE_NOTHING || !m_player)
2582         return;
2583
2584     // If the media engine has been told to postpone loading data, let it go ahead now.
2585     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2586         prepareToPlay();
2587
2588     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2589     refreshCachedTime();
2590     MediaTime now = currentMediaTime();
2591
2592     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2593     // already running. Abort that other instance of the algorithm without waiting for the step that
2594     // it is running to complete.
2595     if (m_seekTaskQueue.hasPendingTasks()) {
2596         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2597         m_seekTaskQueue.cancelAllTasks();
2598         if (m_pendingSeek) {
2599             now = m_pendingSeek->now;
2600             m_pendingSeek = nullptr;
2601         }
2602         m_pendingSeekType = NoSeek;
2603     }
2604
2605     // 4 - Set the seeking IDL attribute to true.
2606     // The flag will be cleared when the engine tells us the time has actually changed.
2607     m_seeking = true;
2608     if (m_playing) {
2609         if (m_lastSeekTime < now)
2610             addPlayedRange(m_lastSeekTime, now);
2611     }
2612     m_lastSeekTime = time;
2613
2614     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2615     // the script. The remainder of these steps must be run asynchronously.
2616     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2617     if (fromDOM) {
2618         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2619         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2620     } else
2621         seekTask();
2622
2623     if (ScriptController::processingUserGestureForMedia())
2624         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2625 }
2626
2627 void HTMLMediaElement::seekTask()
2628 {
2629     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2630
2631     if (!m_player) {
2632         clearSeeking();
2633         return;
2634     }
2635
2636     ASSERT(m_pendingSeek);
2637     MediaTime now = m_pendingSeek->now;
2638     MediaTime time = m_pendingSeek->targetTime;
2639     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2640     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2641     m_pendingSeek = nullptr;
2642
2643     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2644     // of the media resource instead.
2645     time = std::min(time, durationMediaTime());
2646
2647     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2648     MediaTime earliestTime = m_player->startTime();
2649     time = std::max(time, earliestTime);
2650
2651     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2652     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2653     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2654     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2655     // fire a 'seeked' event.
2656 #if !LOG_DISABLED
2657     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2658     if (time != mediaTime)
2659         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2660 #endif
2661     time = m_player->mediaTimeForTimeValue(time);
2662
2663     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2664     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2665     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2666     // attribute then set the seeking IDL attribute to false and abort these steps.
2667     RefPtr<TimeRanges> seekableRanges = seekable();
2668     bool noSeekRequired = !seekableRanges->length();
2669
2670     // Short circuit seeking to the current time by just firing the events if no seek is required.
2671     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2672     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2673     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2674     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2675         noSeekRequired = true;
2676
2677 #if ENABLE(MEDIA_SOURCE)
2678     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2679     // always in a flushed state when the 'seeking' event fires.
2680     if (m_mediaSource && !m_mediaSource->isClosed())
2681         noSeekRequired = false;
2682 #endif
2683
2684     if (noSeekRequired) {
2685         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2686         if (time == now) {
2687             scheduleEvent(eventNames().seekingEvent);
2688             scheduleTimeupdateEvent(false);
2689             scheduleEvent(eventNames().seekedEvent);
2690         }
2691         clearSeeking();
2692         return;
2693     }
2694     time = seekableRanges->ranges().nearest(time);
2695
2696     m_sentEndEvent = false;
2697     m_lastSeekTime = time;
2698     m_pendingSeekType = thisSeekType;
2699     m_seeking = true;
2700
2701     // 10 - Queue a task to fire a simple event named seeking at the element.
2702     scheduleEvent(eventNames().seekingEvent);
2703
2704     // 11 - Set the current playback position to the given new playback position
2705     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2706
2707     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2708     // position is available, and, if it is, until it has decoded enough data to play back that position.
2709     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2710 }
2711
2712 void HTMLMediaElement::clearSeeking()
2713 {
2714     m_seeking = false;
2715     m_pendingSeekType = NoSeek;
2716     invalidateCachedTime();
2717 }
2718
2719 void HTMLMediaElement::finishSeek()
2720 {
2721     // 4.8.10.9 Seeking
2722     // 14 - Set the seeking IDL attribute to false.
2723     clearSeeking();
2724
2725     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2726
2727     // 15 - Run the time maches on steps.
2728     // Handled by mediaPlayerTimeChanged().
2729
2730     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2731     scheduleEvent(eventNames().timeupdateEvent);
2732
2733     // 17 - Queue a task to fire a simple event named seeked at the element.
2734     scheduleEvent(eventNames().seekedEvent);
2735
2736 #if ENABLE(MEDIA_SOURCE)
2737     if (m_mediaSource)
2738         m_mediaSource->monitorSourceBuffers();
2739 #endif
2740 }
2741
2742 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2743 {
2744     return m_readyState;
2745 }
2746
2747 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2748 {
2749     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2750 }
2751
2752 bool HTMLMediaElement::hasAudio() const
2753 {
2754     return m_player ? m_player->hasAudio() : false;
2755 }
2756
2757 bool HTMLMediaElement::seeking() const
2758 {
2759     return m_seeking;
2760 }
2761
2762 void HTMLMediaElement::refreshCachedTime() const
2763 {
2764     if (!m_player)
2765         return;
2766
2767     m_cachedTime = m_player->currentTime();
2768     if (!m_cachedTime) {
2769         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2770         // estimate current time until playback actually begins. 
2771         invalidateCachedTime(); 
2772         return; 
2773     } 
2774
2775     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2776 }
2777
2778 void HTMLMediaElement::invalidateCachedTime() const
2779 {
2780     m_cachedTime = MediaTime::invalidTime();
2781     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2782         return;
2783
2784 #if !LOG_DISABLED
2785     if (m_cachedTime.isValid())
2786         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2787 #endif
2788
2789     // Don't try to cache movie time when playback first starts as the time reported by the engine
2790     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2791     // too early.
2792     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2793
2794     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2795 }
2796
2797 // playback state
2798 double HTMLMediaElement::currentTime() const
2799 {
2800     return currentMediaTime().toDouble();
2801 }
2802
2803 MediaTime HTMLMediaElement::currentMediaTime() const
2804 {
2805 #if LOG_CACHED_TIME_WARNINGS
2806     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2807 #endif
2808
2809     if (!m_player)
2810         return MediaTime::zeroTime();
2811
2812     if (m_seeking) {
2813         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2814         return m_lastSeekTime;
2815     }
2816
2817     if (m_cachedTime.isValid() && m_paused) {
2818 #if LOG_CACHED_TIME_WARNINGS
2819         MediaTime delta = m_cachedTime - m_player->currentTime();
2820         if (delta > minCachedDeltaForWarning)
2821             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2822 #endif
2823         return m_cachedTime;
2824     }
2825
2826     // Is it too soon use a cached time?
2827     double now = monotonicallyIncreasingTime();
2828     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2829
2830     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2831         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2832
2833         // Not too soon, use the cached time only if it hasn't expired.
2834         if (clockDelta < maximumDurationToCacheMediaTime) {
2835             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2836
2837 #if LOG_CACHED_TIME_WARNINGS
2838             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2839             if (delta > minCachedDeltaForWarning)
2840                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2841 #endif
2842             return adjustedCacheTime;
2843         }
2844     }
2845
2846 #if LOG_CACHED_TIME_WARNINGS
2847     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2848         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2849         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2850         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2851     }
2852 #endif
2853
2854     refreshCachedTime();
2855
2856     if (m_cachedTime.isInvalid())
2857         return MediaTime::zeroTime();
2858     
2859     return m_cachedTime;
2860 }
2861
2862 void HTMLMediaElement::setCurrentTime(double time)
2863 {
2864     setCurrentTime(MediaTime::createWithDouble(time));
2865 }
2866
2867 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2868 {
2869     if (m_mediaController)
2870         return;
2871
2872     seekInternal(time);
2873 }
2874
2875 ExceptionOr<void> HTMLMediaElement::setCurrentTimeForBindings(double time)
2876 {
2877     if (m_mediaController)
2878         return Exception { INVALID_STATE_ERR };
2879     seek(MediaTime::createWithDouble(time));
2880     return { };
2881 }
2882
2883 double HTMLMediaElement::duration() const
2884 {
2885     return durationMediaTime().toDouble();
2886 }
2887
2888 MediaTime HTMLMediaElement::durationMediaTime() const
2889 {
2890     if (m_player && m_readyState >= HAVE_METADATA)
2891         return m_player->duration();
2892
2893     return MediaTime::invalidTime();
2894 }
2895
2896 bool HTMLMediaElement::paused() const
2897 {
2898     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2899     // we had problems where this was called on an object after a bad cast. The assertion below
2900     // made our regression test detect the problem, so we should keep it because of that. But note
2901     // that the value of the assertion relies on the compiler not being smart enough to know that
2902     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2903     ASSERT(!isHTMLUnknownElement());
2904
2905     return m_paused;
2906 }
2907
2908 double HTMLMediaElement::defaultPlaybackRate() const
2909 {
2910 #if ENABLE(MEDIA_STREAM)
2911     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2912     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2913     // A MediaStream is not seekable. Therefore, this attribute must always have the
2914     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2915     // that the ratechange event will not fire.
2916     if (m_mediaStreamSrcObject)
2917         return 1;
2918 #endif
2919
2920     return m_defaultPlaybackRate;
2921 }
2922
2923 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2924 {
2925 #if ENABLE(MEDIA_STREAM)
2926     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2927     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2928     // A MediaStream is not seekable. Therefore, this attribute must always have the
2929     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2930     // that the ratechange event will not fire.
2931     if (m_mediaStreamSrcObject)
2932         return;
2933 #endif
2934
2935     if (m_defaultPlaybackRate != rate) {
2936         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2937         m_defaultPlaybackRate = rate;
2938         scheduleEvent(eventNames().ratechangeEvent);
2939     }
2940 }
2941
2942 double HTMLMediaElement::effectivePlaybackRate() const
2943 {
2944     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2945 }
2946
2947 double HTMLMediaElement::requestedPlaybackRate() const
2948 {
2949     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2950 }
2951
2952 double HTMLMediaElement::playbackRate() const
2953 {
2954 #if ENABLE(MEDIA_STREAM)
2955     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2956     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2957     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2958     // means that the ratechange event will not fire.
2959     if (m_mediaStreamSrcObject)
2960         return 1;
2961 #endif
2962
2963     return m_requestedPlaybackRate;
2964 }
2965
2966 void HTMLMediaElement::setPlaybackRate(double rate)
2967 {
2968     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2969
2970 #if ENABLE(MEDIA_STREAM)
2971     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2972     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2973     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2974     // means that the ratechange event will not fire.
2975     if (m_mediaStreamSrcObject)
2976         return;
2977 #endif
2978
2979     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2980         m_player->setRate(rate);
2981
2982     if (m_requestedPlaybackRate != rate) {
2983         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2984         invalidateCachedTime();
2985         scheduleEvent(eventNames().ratechangeEvent);
2986     }
2987 }
2988
2989 void HTMLMediaElement::updatePlaybackRate()
2990 {
2991     double requestedRate = requestedPlaybackRate();
2992     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2993         m_player->setRate(requestedRate);
2994 }
2995
2996 bool HTMLMediaElement::webkitPreservesPitch() const
2997 {
2998     return m_webkitPreservesPitch;
2999 }
3000
3001 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
3002 {
3003     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
3004
3005     m_webkitPreservesPitch = preservesPitch;
3006     
3007     if (!m_player)
3008         return;
3009
3010     m_player->setPreservesPitch(preservesPitch);
3011 }
3012
3013 bool HTMLMediaElement::ended() const
3014 {
3015 #if ENABLE(MEDIA_STREAM)
3016     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3017     // When the MediaStream state moves from the active to the inactive state, the User Agent
3018     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
3019     if (m_mediaStreamSrcObject && m_player && m_player->ended())
3020         return true;
3021 #endif
3022
3023     // 4.8.10.8 Playing the media resource
3024     // The ended attribute must return true if the media element has ended 
3025     // playback and the direction of playback is forwards, and false otherwise.
3026     return endedPlayback() && requestedPlaybackRate() > 0;
3027 }
3028
3029 bool HTMLMediaElement::autoplay() const
3030 {
3031     return hasAttributeWithoutSynchronization(autoplayAttr);
3032 }
3033
3034 String HTMLMediaElement::preload() const
3035 {
3036 #if ENABLE(MEDIA_STREAM)
3037     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3038     // "preload" - On getting: none. On setting: ignored.
3039     if (m_mediaStreamSrcObject)
3040         return ASCIILiteral("none");
3041 #endif
3042
3043     switch (m_preload) {
3044     case MediaPlayer::None:
3045         return ASCIILiteral("none");
3046     case MediaPlayer::MetaData:
3047         return ASCIILiteral("metadata");
3048     case MediaPlayer::Auto:
3049         return ASCIILiteral("auto");
3050     }
3051
3052     ASSERT_NOT_REACHED();
3053     return String();
3054 }
3055
3056 void HTMLMediaElement::setPreload(const String& preload)
3057 {
3058     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3059 #if ENABLE(MEDIA_STREAM)
3060     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3061     // "preload" - On getting: none. On setting: ignored.
3062     if (m_mediaStreamSrcObject)
3063         return;
3064 #endif
3065
3066     setAttributeWithoutSynchronization(preloadAttr, preload);
3067 }
3068
3069 void HTMLMediaElement::play(DOMPromise<void>&& promise)
3070 {
3071     LOG(Media, "HTMLMediaElement::play(%p)", this);
3072
3073     if (!m_mediaSession->playbackPermitted(*this)) {
3074         promise.reject(NotAllowedError);
3075         return;
3076     }
3077
3078     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3079         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3080         return;
3081     }
3082
3083     if (ScriptController::processingUserGestureForMedia())
3084         removeBehaviorsRestrictionsAfterFirstUserGesture();
3085
3086     if (!playInternal()) {
3087         promise.reject(NotAllowedError);
3088         return;
3089     }
3090
3091     m_pendingPlayPromises.append(WTFMove(promise));
3092 }
3093
3094 void HTMLMediaElement::play()
3095 {
3096     LOG(Media, "HTMLMediaElement::play(%p)", this);
3097
3098     if (!m_mediaSession->playbackPermitted(*this))
3099         return;
3100     if (ScriptController::processingUserGestureForMedia())
3101         removeBehaviorsRestrictionsAfterFirstUserGesture();
3102
3103     playInternal();
3104 }
3105
3106 bool HTMLMediaElement::playInternal()
3107 {
3108     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3109     
3110     if (!m_mediaSession->clientWillBeginPlayback()) {
3111         LOG(Media, "  returning because of interruption");
3112         return true; // Treat as success because we will begin playback on cessation of the interruption.
3113     }
3114
3115     // 4.8.10.9. Playing the media resource
3116     if (!m_player || m_networkState == NETWORK_EMPTY)
3117         scheduleDelayedAction(LoadMediaResource);
3118
3119     if (endedPlayback())
3120         seekInternal(MediaTime::zeroTime());
3121
3122     if (m_mediaController)
3123         m_mediaController->bringElementUpToSpeed(*this);
3124
3125     if (m_paused) {
3126         m_paused = false;
3127         invalidateCachedTime();
3128         m_playbackStartedTime = currentMediaTime().toDouble();
3129         scheduleEvent(eventNames().playEvent);
3130
3131         if (m_readyState <= HAVE_CURRENT_DATA)
3132             scheduleEvent(eventNames().waitingEvent);
3133         else if (m_readyState >= HAVE_FUTURE_DATA)
3134             scheduleNotifyAboutPlaying();
3135
3136 #if ENABLE(MEDIA_SESSION)
3137         // 6.3 Activating a media session from a media element
3138         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3139         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3140         // 1. Let media session be the value of the current media session.
3141         // 2. If we are not currently in media session's list of active participating media elements then append
3142         //    ourselves to this list.
3143         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3144         // 4. If activated is failure, pause ourselves.
3145         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3146             if (m_session) {
3147                 m_session->addActiveMediaElement(*this);
3148
3149                 if (m_session->kind() == MediaSessionKind::Content) {
3150                     if (Page* page = document().page())
3151                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3152                 }
3153
3154                 if (!m_session->invoke()) {
3155                     pause();
3156                     return false;
3157                 }
3158             }
3159         }
3160 #endif
3161     } else if (m_readyState >= HAVE_FUTURE_DATA)
3162         scheduleResolvePendingPlayPromises();
3163
3164     m_autoplaying = false;
3165     updatePlayState();
3166
3167     return true;
3168 }
3169
3170 void HTMLMediaElement::pause()
3171 {
3172     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3173
3174     if (!m_mediaSession->playbackPermitted(*this))
3175         return;
3176
3177     if (ScriptController::processingUserGestureForMedia())
3178         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3179
3180     pauseInternal();
3181 }
3182
3183
3184 void HTMLMediaElement::pauseInternal()
3185 {
3186     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3187
3188     if (!m_mediaSession->clientWillPausePlayback()) {
3189         LOG(Media, "  returning because of interruption");
3190         return;
3191     }
3192
3193     // 4.8.10.9. Playing the media resource
3194     if (!m_player || m_networkState == NETWORK_EMPTY) {
3195         // Unless the restriction on media requiring user action has been lifted
3196         // don't trigger loading if a script calls pause().
3197         if (!m_mediaSession->playbackPermitted(*this))
3198             return;
3199         scheduleDelayedAction(LoadMediaResource);
3200     }
3201
3202     m_autoplaying = false;
3203
3204     if (!m_paused) {
3205         m_paused = true;
3206         scheduleTimeupdateEvent(false);
3207         scheduleEvent(eventNames().pauseEvent);
3208         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3209
3210         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3211             purgeBufferedDataIfPossible();
3212     }
3213
3214     updatePlayState();
3215 }
3216
3217 #if ENABLE(MEDIA_SOURCE)
3218
3219 void HTMLMediaElement::detachMediaSource()
3220 {
3221     if (!m_mediaSource)
3222         return;
3223
3224     m_mediaSource->detachFromElement(*this);
3225     m_mediaSource = nullptr;
3226 }
3227
3228 #endif
3229
3230 bool HTMLMediaElement::loop() const
3231 {
3232     return hasAttributeWithoutSynchronization(loopAttr);
3233 }
3234
3235 void HTMLMediaElement::setLoop(bool b)
3236 {
3237     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3238     setBooleanAttribute(loopAttr, b);
3239 }
3240
3241 bool HTMLMediaElement::controls() const
3242 {
3243     Frame* frame = document().frame();
3244
3245     // always show controls when scripting is disabled
3246     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3247         return true;
3248
3249     return hasAttributeWithoutSynchronization(controlsAttr);
3250 }
3251
3252 void HTMLMediaElement::setControls(bool b)
3253 {
3254     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3255     setBooleanAttribute(controlsAttr, b);
3256 }
3257
3258 double HTMLMediaElement::volume() const
3259 {
3260     return m_volume;
3261 }
3262
3263 ExceptionOr<void> HTMLMediaElement::setVolume(double volume)
3264 {
3265     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, volume);
3266
3267     if (!(volume >= 0 && volume <= 1))
3268         return Exception { INDEX_SIZE_ERR };
3269
3270 #if !PLATFORM(IOS)
3271     if (m_volume == volume)
3272         return { };
3273
3274     m_volume = volume;
3275     m_volumeInitialized = true;
3276     updateVolume();
3277     scheduleEvent(eventNames().volumechangeEvent);
3278 #endif
3279     return { };
3280 }
3281
3282 bool HTMLMediaElement::muted() const
3283 {
3284     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3285 }
3286
3287 void HTMLMediaElement::setMuted(bool muted)
3288 {
3289     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3290
3291     bool mutedStateChanged = m_muted != muted;
3292     if (mutedStateChanged || !m_explicitlyMuted) {
3293         m_muted = muted;
3294         m_explicitlyMuted = true;
3295
3296         if (ScriptController::processingUserGestureForMedia())
3297             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3298
3299         // Avoid recursion when the player reports volume changes.
3300         if (!processingMediaPlayerCallback()) {
3301             if (m_player) {
3302                 m_player->setMuted(effectiveMuted());
3303                 if (hasMediaControls())
3304                     mediaControls()->changedMute();
3305             }
3306         }
3307
3308         if (mutedStateChanged)
3309             scheduleEvent(eventNames().volumechangeEvent);
3310
3311         updateShouldPlay();
3312
3313 #if ENABLE(MEDIA_SESSION)
3314         document().updateIsPlayingMedia(m_elementID);
3315 #else
3316         document().updateIsPlayingMedia();
3317 #endif
3318
3319 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3320         updateMediaState(UpdateState::Asynchronously);
3321 #endif
3322     }
3323
3324     scheduleUpdatePlaybackControlsManager();
3325 }
3326
3327 void HTMLMediaElement::togglePlayState()
3328 {
3329     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3330
3331     // We can safely call the internal play/pause methods, which don't check restrictions, because
3332     // this method is only called from the built-in media controller
3333     if (canPlay()) {
3334         updatePlaybackRate();
3335         playInternal();
3336     } else 
3337         pauseInternal();
3338 }
3339
3340 void HTMLMediaElement::beginScrubbing()
3341 {
3342     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3343
3344     if (!paused()) {
3345         if (ended()) {
3346             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3347             // when the slider is dragged from the end to another position unless we pause first. Do 
3348             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3349             pause();
3350         } else {
3351             // Not at the end but we still want to pause playback so the media engine doesn't try to
3352             // continue playing during scrubbing. Pause without generating an event as we will 
3353             // unpause after scrubbing finishes.
3354             setPausedInternal(true);
3355         }
3356     }
3357
3358     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3359 }
3360
3361 void HTMLMediaElement::endScrubbing()
3362 {
3363     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3364
3365     if (m_pausedInternal)
3366         setPausedInternal(false);
3367 }
3368
3369 void HTMLMediaElement::beginScanning(ScanDirection direction)
3370 {
3371     m_scanType = supportsScanning() ? Scan : Seek;
3372     m_scanDirection = direction;
3373
3374     if (m_scanType == Seek) {
3375         // Scanning by seeking requires the video to be paused during scanning.
3376         m_actionAfterScan = paused() ? Nothing : Play;
3377         pause();
3378     } else {
3379         // Scanning by scanning requires the video to be playing during scanninging.
3380         m_actionAfterScan = paused() ? Pause : Nothing;
3381         play();
3382         setPlaybackRate(nextScanRate());
3383     }
3384
3385     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3386 }
3387
3388 void HTMLMediaElement::endScanning()
3389 {
3390     if (m_scanType == Scan)
3391         setPlaybackRate(defaultPlaybackRate());
3392
3393     if (m_actionAfterScan == Play)
3394         play();
3395     else if (m_actionAfterScan == Pause)
3396         pause();
3397
3398     if (m_scanTimer.isActive())
3399         m_scanTimer.stop();
3400 }
3401
3402 double HTMLMediaElement::nextScanRate()
3403 {
3404     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3405     if (m_scanDirection == Backward)
3406         rate *= -1;
3407 #if PLATFORM(IOS)
3408     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3409 #endif
3410     return rate;
3411 }
3412
3413 void HTMLMediaElement::scanTimerFired()
3414 {
3415     if (m_scanType == Seek) {
3416         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3417         setCurrentTime(currentTime() + seekTime);
3418     } else
3419         setPlaybackRate(nextScanRate());
3420 }
3421
3422 // The spec says to fire periodic timeupdate events (those sent while playing) every
3423 // "15 to 250ms", we choose the slowest frequency
3424 static const double maxTimeupdateEventFrequency = 0.25;
3425
3426 void HTMLMediaElement::startPlaybackProgressTimer()
3427 {
3428     if (m_playbackProgressTimer.isActive())
3429         return;
3430
3431     m_previousProgressTime = monotonicallyIncreasingTime();
3432     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3433 }
3434
3435 void HTMLMediaElement::playbackProgressTimerFired()
3436 {
3437     ASSERT(m_player);
3438
3439     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3440         m_fragmentEndTime = MediaTime::invalidTime();
3441         if (!m_mediaController && !m_paused) {
3442             // changes paused to true and fires a simple event named pause at the media element.
3443             pauseInternal();
3444         }
3445     }
3446     
3447     scheduleTimeupdateEvent(true);
3448
3449     if (!requestedPlaybackRate())
3450         return;
3451
3452     if (!m_paused && hasMediaControls())
3453         mediaControls()->playbackProgressed();
3454
3455 #if ENABLE(VIDEO_TRACK)
3456     updateActiveTextTrackCues(currentMediaTime());
3457 #endif
3458
3459 #if ENABLE(MEDIA_SOURCE)
3460     if (m_mediaSource)
3461         m_mediaSource->monitorSourceBuffers();
3462 #endif
3463 }
3464
3465 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3466 {
3467     double now = monotonicallyIncreasingTime();
3468     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3469
3470     // throttle the periodic events
3471     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3472         return;
3473
3474     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3475     // event at a given time so filter here
3476     MediaTime movieTime = currentMediaTime();
3477     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3478         scheduleEvent(eventNames().timeupdateEvent);
3479         m_clockTimeAtLastUpdateEvent = now;
3480         m_lastTimeUpdateEventMovieTime = movieTime;
3481     }
3482 }
3483
3484 bool HTMLMediaElement::canPlay() const
3485 {
3486     return paused() || ended() || m_readyState < HAVE_METADATA;
3487 }
3488
3489 double HTMLMediaElement::percentLoaded() const
3490 {
3491     if (!m_player)
3492         return 0;
3493     MediaTime duration = m_player->duration();
3494
3495     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3496         return 0;
3497
3498     MediaTime buffered = MediaTime::zeroTime();
3499     bool ignored;
3500     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3501     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3502         MediaTime start = timeRanges->start(i, ignored);
3503         MediaTime end = timeRanges->end(i, ignored);
3504         buffered += end - start;
3505     }
3506     return buffered.toDouble() / duration.toDouble();
3507 }
3508
3509 #if ENABLE(VIDEO_TRACK)
3510
3511 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(AudioTrackPrivate& track)
3512 {
3513     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3514         pauseInternal();
3515
3516     addAudioTrack(AudioTrack::create(*this, track));
3517 }
3518
3519 void HTMLMediaElement::mediaPlayerDidAddTextTrack(InbandTextTrackPrivate& track)
3520 {
3521     // 4.8.10.12.2 Sourcing in-band text tracks
3522     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3523     auto textTrack = InbandTextTrack::create(*ActiveDOMObject::scriptExecutionContext(), *this, track);
3524     textTrack->setMediaElement(this);
3525     
3526     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3527     // as defined by the relevant specification. If there is no label in that data, then the label must
3528     // be set to the empty string.
3529     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3530     // for the format in question.
3531     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3532     // as follows, based on the type of the media resource:
3533     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3534     // cues, and begin updating it dynamically as necessary.
3535     //   - Thess are all done by the media engine.
3536     
3537     // 6. Set the new text track's readiness state to loaded.
3538     textTrack->setReadinessState(TextTrack::Loaded);
3539     
3540     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3541     // the relevant specification for the data.
3542     //  - This will happen in configureTextTracks()
3543     scheduleDelayedAction(ConfigureTextTracks);
3544     
3545     // 8. Add the new text track to the media element's list of text tracks.
3546     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3547     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3548     // textTracks attribute's TextTrackList object.
3549     addTextTrack(WTFMove(textTrack));
3550 }
3551
3552 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(VideoTrackPrivate& track)
3553 {
3554     addVideoTrack(VideoTrack::create(*this, track));
3555 }
3556
3557 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(AudioTrackPrivate& track)
3558 {
3559     track.willBeRemoved();
3560 }
3561
3562 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(InbandTextTrackPrivate& track)
3563 {
3564     track.willBeRemoved();
3565 }
3566
3567 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(VideoTrackPrivate& track)
3568 {
3569     track.willBeRemoved();
3570 }
3571
3572 void HTMLMediaElement::closeCaptionTracksChanged()
3573 {
3574     if (hasMediaControls())
3575         mediaControls()->closedCaptionTracksChanged();
3576 }
3577
3578 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3579 {
3580     audioTracks().append(WTFMove(track));
3581 }
3582
3583 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3584 {
3585     if (!m_requireCaptionPreferencesChangedCallbacks) {
3586         m_requireCaptionPreferencesChangedCallbacks = true;
3587         Document& document = this->document();
3588         document.registerForCaptionPreferencesChangedCallbacks(this);
3589         if (Page* page = document.page())
3590             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3591     }
3592
3593     textTracks().append(WTFMove(track));
3594
3595     closeCaptionTracksChanged();
3596 }
3597
3598 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3599 {
3600     videoTracks().append(WTFMove(track));
3601 }
3602
3603 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3604 {
3605     m_audioTracks->remove(track);
3606     track.clearClient();
3607 }
3608
3609 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3610 {
3611     TrackDisplayUpdateScope scope { *this };
3612     if (auto* cues = track.cues())
3613         textTrackRemoveCues(track, *cues);
3614     track.clearClient();
3615     if (m_textTracks)
3616         m_textTracks->remove(track, scheduleEvent);
3617
3618     closeCaptionTracksChanged();
3619 }
3620
3621 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3622 {
3623     m_videoTracks->remove(track);
3624     track.clearClient();
3625 }
3626
3627 void HTMLMediaElement::forgetResourceSpecificTracks()
3628 {
3629     while (m_audioTracks &&  m_audioTracks->length())
3630         removeAudioTrack(*m_audioTracks->lastItem());
3631
3632     if (m_textTracks) {
3633         TrackDisplayUpdateScope scope { *this };
3634         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3635             auto& track = *m_textTracks->item(i);
3636             if (track.trackType() == TextTrack::InBand)
3637                 removeTextTrack(track, false);
3638         }
3639     }
3640
3641     while (m_videoTracks &&  m_videoTracks->length())
3642         removeVideoTrack(*m_videoTracks->lastItem());
3643 }
3644
3645 ExceptionOr<TextTrack&> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language)
3646 {
3647     // 4.8.10.12.4 Text track API
3648     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3649
3650     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3651     if (!TextTrack::isValidKindKeyword(kind))
3652         return Exception { TypeError };
3653
3654     // 2. If the label argument was omitted, let label be the empty string.
3655     // 3. If the language argument was omitted, let language be the empty string.
3656     // 4. Create a new TextTrack object.
3657
3658     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3659     // track label to label, its text track language to language...
3660     auto track = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3661     auto& trackReference = track.get();
3662
3663     // Note, due to side effects when changing track parameters, we have to
3664     // first append the track to the text track list.
3665
3666     // 6. Add the new text track to the media element's list of text tracks.
3667     addTextTrack(WTFMove(track));
3668
3669     // ... its text track readiness state to the text track loaded state ...
3670     trackReference.setReadinessState(TextTrack::Loaded);
3671
3672     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3673     trackReference.setMode(TextTrack::Mode::Hidden);
3674
3675     return trackReference;
3676 }
3677
3678 AudioTrackList& HTMLMediaElement::audioTracks()
3679 {
3680     if (!m_audioTracks)
3681         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3682
3683     return *m_audioTracks;
3684 }
3685
3686 TextTrackList& HTMLMediaElement::textTracks()
3687 {
3688     if (!m_textTracks)
3689         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3690
3691     return *m_textTracks;
3692 }
3693
3694 VideoTrackList& HTMLMediaElement::videoTracks()
3695 {
3696     if (!m_videoTracks)
3697         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3698
3699     return *m_videoTracks;
3700 }
3701
3702 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement& trackElement)
3703 {
3704     ASSERT(trackElement.hasTagName(trackTag));
3705
3706     // 4.8.10.12.3 Sourcing out-of-band text tracks
3707     // When a track element's parent element changes and the new parent is a media element, 
3708     // then the user agent must add the track element's corresponding text track to the 
3709     // media element's list of text tracks ... [continues in TextTrackList::append]
3710     addTextTrack(trackElement.track());
3711
3712     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3713     // in the markup have been added.
3714     if (!m_parsingInProgress)
3715         scheduleDelayedAction(ConfigureTextTracks);
3716
3717     if (hasMediaControls())
3718         mediaControls()->closedCaptionTracksChanged();
3719 }
3720
3721 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement& trackElement)
3722 {
3723     ASSERT(trackElement.hasTagName(trackTag));
3724
3725 #if !LOG_DISABLED
3726     if (trackElement.hasTagName(trackTag)) {
3727         URL url = trackElement.getNonEmptyURLAttribute(srcAttr);
3728         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3729     }
3730 #endif
3731
3732     auto& textTrack = trackElement.track();
3733
3734     textTrack.setHasBeenConfigured(false);
3735
3736     if (!m_textTracks)
3737         return;
3738     
3739     // 4.8.10.12.3 Sourcing out-of-band text tracks
3740     // When a track element's parent element changes and the old parent was a media element, 
3741     // then the user agent must remove the track element's corresponding text track from the 
3742     // media element's list of text tracks.
3743     removeTextTrack(textTrack);
3744
3745     m_textTracksWhenResourceSelectionBegan.removeFirst(&textTrack);
3746 }
3747
3748 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3749 {
3750     ASSERT(group.tracks.size());
3751
3752     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3753
3754     Page* page = document().page();
3755     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3756     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3757
3758     // First, find the track in the group that should be enabled (if any).
3759     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3760     RefPtr<TextTrack> trackToEnable;
3761     RefPtr<TextTrack> defaultTrack;
3762     RefPtr<TextTrack> fallbackTrack;
3763     RefPtr<TextTrack> forcedSubitleTrack;
3764     int highestTrackScore = 0;
3765     int highestForcedScore = 0;
3766
3767     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3768     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3769     int alreadyVisibleTrackScore = 0;
3770     if (group.visibleTrack && captionPreferences) {
3771         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3772         currentlyEnabledTracks.append(group.visibleTrack);
3773     }
3774
3775     for (size_t i = 0; i < group.tracks.size(); ++i) {
3776         RefPtr<TextTrack> textTrack = group.tracks[i];
3777
3778         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3779             currentlyEnabledTracks.append(textTrack);
3780
3781         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3782         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' and BCP 47 language '%s' has score %d", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), textTrack->validBCP47Language().string().utf8().data(), trackScore);
3783
3784         if (trackScore) {
3785
3786             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3787             // track with this text track kind, text track language, and text track label enabled, and there is no
3788             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3789             // or captions whose text track mode is showing
3790             // ...
3791             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3792             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3793             // text tracks with a text track kind of chapters whose text track mode is showing
3794             //    Let the text track mode be showing.
3795             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3796                 highestTrackScore = trackScore;
3797                 trackToEnable = textTrack;
3798             }
3799
3800             if (!defaultTrack && textTrack->isDefault())
3801                 defaultTrack = textTrack;
3802             if (!defaultTrack && !fallbackTrack)
3803                 fallbackTrack = textTrack;
3804             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3805                 forcedSubitleTrack = textTrack;
3806                 highestForcedScore = trackScore;
3807             }
3808         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3809             // * If the track element has a default attribute specified, and there is no other text track in the media
3810             // element's list of text tracks whose text track mode is showing or showing by default
3811             //    Let the text track mode be showing by default.
3812             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3813                 defaultTrack = textTrack;
3814         }
3815     }
3816
3817     if (displayMode != CaptionUserPreferences::Manual) {
3818         if (!trackToEnable && defaultTrack)
3819             trackToEnable = defaultTrack;
3820
3821         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3822         // in the same language as the language of the primary audio track, enable it.
3823         if (!trackToEnable && forcedSubitleTrack)
3824             trackToEnable = forcedSubitleTrack;
3825
3826         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3827         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3828             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3829                 trackToEnable = group.visibleTrack;
3830         }
3831
3832         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3833         // because the user has explicitly stated a preference for this kind of track.
3834         if (!trackToEnable && fallbackTrack)
3835             trackToEnable = fallbackTrack;
3836
3837         if (trackToEnable)
3838             m_subtitleTrackLanguage = trackToEnable->language();
3839         else
3840             m_subtitleTrackLanguage = emptyString();
3841     }
3842
3843     if (currentlyEnabledTracks.size()) {
3844         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3845             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3846             if (textTrack != trackToEnable)
3847                 textTrack->setMode(TextTrack::Mode::Disabled);
3848         }
3849     }
3850
3851     if (trackToEnable) {
3852         trackToEnable->setMode(TextTrack::Mode::Showing);
3853
3854         // If user preferences indicate we should always display captions, make sure we reflect the
3855         // proper status via the webkitClosedCaptionsVisible API call:
3856         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3857             m_webkitLegacyClosedCaptionOverride = true;
3858     }
3859
3860     m_processingPreferenceChange = false;
3861 }
3862
3863 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3864 {
3865     JSC::VM& vm = globalObject.vm();
3866     auto scope = DECLARE_THROW_SCOPE(vm);
3867     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3868     
3869     // Retrieve the controller through the JS object graph
3870     JSC::JSObject* mediaJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(mediaJSWrapper);
3871     if (!mediaJSWrapperObject)
3872         return JSC::jsNull();
3873     
3874     JSC::Identifier controlsHost = JSC::Identifier::fromString(&vm, "controlsHost");
3875     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3876     RETURN_IF_EXCEPTION(scope, JSC::jsNull());
3877
3878     JSC::JSObject* controlsHostJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(controlsHostJSWrapper);
3879     if (!controlsHostJSWrapperObject)
3880         return JSC::jsNull();
3881
3882     JSC::Identifier controllerID = JSC::Identifier::fromString(&vm, "controller");
3883     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3884     RETURN_IF_EXCEPTION(scope, JSC::jsNull());
3885
3886     return controllerJSWrapper;
3887 }
3888
3889 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3890 {
3891     ASSERT(!m_creatingControls);
3892     m_creatingControls = true;
3893     ensureUserAgentShadowRoot();
3894     m_creatingControls = false;
3895 }
3896
3897 void HTMLMediaElement::updateCaptionContainer()
3898 {
3899     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3900 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3901     if (m_haveSetUpCaptionContainer)
3902         return;
3903
3904     Page* page = document().page();
3905     if (!page)
3906         return;
3907
3908     DOMWrapperWorld& world = ensureIsolatedWorld();
3909
3910     if (!ensureMediaControlsInjectedScript())
3911         return;
3912
3913     ensureMediaControlsShadowRoot();
3914
3915     if (!m_mediaControlsHost)
3916         m_mediaControlsHost = MediaControlsHost::create(this);
3917
3918     ScriptController& scriptController = document().frame()->script();
3919     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3920     JSC::VM& vm = globalObject->vm();
3921     JSC::JSLockHolder lock(vm);
3922     auto scope = DECLARE_CATCH_SCOPE(vm);
3923     JSC::ExecState* exec = globalObject->globalExec();
3924
3925     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3926     JSC::JSObject* controllerObject = jsDynamicDowncast<JSC::JSObject*>(controllerValue);
3927     if (!controllerObject)
3928         return;
3929
3930     // The media controls script must provide a method on the Controller object with the following details.
3931     // Name: updateCaptionContainer
3932     // Parameters:
3933     //     None
3934     // Return value:
3935     //     None
3936     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3937     JSC::JSObject* methodObject = jsDynamicDowncast<JSC::JSObject*>(methodValue);
3938     if (!methodObject)
3939         return;
3940
3941     JSC::CallData callData;
3942     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3943     if (callType == JSC::CallType::None)
3944         return;
3945
3946     JSC::MarkedArgumentBuffer noArguments;
3947     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3948     scope.clearException();
3949
3950     m_haveSetUpCaptionContainer = true;
3951 #endif
3952 }
3953
3954 void HTMLMediaElement::layoutSizeChanged()
3955 {
3956 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3957     auto task = [this, protectedThis = makeRef(*this)] {
3958         if (ShadowRoot* root = userAgentShadowRoot())
3959             root->dispatchEvent(Event::create("resize", false, false));
3960     };
3961     m_resizeTaskQueue.enqueueTask(WTFMove(task));
3962 #endif
3963
3964     if (!m_receivedLayoutSizeChanged) {
3965         m_receivedLayoutSizeChanged = true;
3966         scheduleUpdatePlaybackControlsManager();
3967     }
3968
3969     // If the video is a candidate for main content, we should register it for viewport visibility callbacks
3970     // if it hasn't already been registered.
3971     if (renderer() && m_mediaSession && !m_mediaSession->wantsToObserveViewportVisibilityForAutoplay() && m_mediaSession->wantsToObserveViewportVisibilityForMediaControls())
3972         renderer()->registerForVisibleInViewportCallback();
3973 }
3974
3975 void HTMLMediaElement::visibilityDidChange()
3976 {
3977     updateShouldAutoplay();
3978 }
3979
3980 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
3981 {
3982     TextTrackList& trackList = textTracks();
3983     if (!trackList.length())
3984         return;
3985
3986     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
3987         if (!trackToSelect || !trackList.contains(*trackToSelect))
3988             return;
3989         
3990         for (int i = 0, length = trackList.length(); i < length; ++i) {
3991             auto& track = *trackList.item(i);
3992             if (&track != trackToSelect)
3993                 track.setMode(TextTrack::Mode::Disabled);
3994             else
3995                 track.setMode(TextTrack::Mode::Showing);
3996         }
3997     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
3998         for (int i = 0, length = trackList.length(); i < length; ++i)
3999             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
4000     }
4001
4002     if (!document().page())
4003         return;
4004
4005     auto& captionPreferences = document().page()->group().captionPreferences();
4006     CaptionUserPreferences::CaptionDisplayMode displayMode;
4007     if (trackToSelect == TextTrack::captionMenuOffItem())
4008         displayMode = CaptionUserPreferences::ForcedOnly;
4009     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
4010         displayMode = CaptionUserPreferences::Automatic;
4011     else {
4012         displayMode = CaptionUserPreferences::AlwaysOn;
4013         if (trackToSelect->validBCP47Language().length())
4014             captionPreferences.setPreferredLanguage(trackToSelect->validBCP47Language());
4015     }
4016
4017     captionPreferences.setCaptionDisplayMode(displayMode);
4018 }
4019
4020 void HTMLMediaElement::configureTextTracks()
4021 {
4022     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
4023     TrackGroup descriptionTracks(TrackGroup::Description);
4024     TrackGroup chapterTracks(TrackGroup::Chapter);
4025     TrackGroup metadataTracks(TrackGroup::Metadata);
4026     TrackGroup otherTracks(TrackGroup::Other);
4027
4028     if (!m_textTracks)
4029         return;
4030
4031     for (size_t i = 0; i < m_textTracks->length(); ++i) {
4032         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
4033         if (!textTrack)
4034             continue;
4035
4036         auto kind = textTrack->kind();
4037         TrackGroup* currentGroup;
4038         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
4039             currentGroup = &captionAndSubtitleTracks;
4040         else if (kind == TextTrack::Kind::Descriptions)
4041             currentGroup = &descriptionTracks;
4042         else if (kind == TextTrack::Kind::Chapters)
4043             currentGroup = &chapterTracks;
4044         else if (kind == TextTrack::Kind::Metadata)
4045             currentGroup = &metadataTracks;
4046         else
4047             currentGroup = &otherTracks;
4048
4049         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4050             currentGroup->visibleTrack = textTrack;
4051         if (!currentGroup->defaultTrack && textTrack->isDefault())
4052             currentGroup->defaultTrack = textTrack;
4053
4054         // Do not add this track to the group if it has already been automatically configured
4055         // as we only want to call configureTextTrack once per track so that adding another 
4056         // track after the initial configuration doesn't reconfigure every track - only those 
4057         // that should be changed by the new addition. For example all metadata tracks are 
4058         // disabled by default, and we don't want a track that has been enabled by script 
4059         // to be disabled automatically when a new metadata track is added later.
4060         if (textTrack->hasBeenConfigured())
4061             continue;
4062         
4063         if (textTrack->language().length())
4064             currentGroup->hasSrcLang = true;
4065         currentGroup->tracks.append(textTrack);
4066     }
4067     
4068     if (captionAndSubtitleTracks.tracks.size())
4069         configureTextTrackGroup(captionAndSubtitleTracks);
4070     if (descriptionTracks.tracks.size())
4071         configureTextTrackGroup(descriptionTracks);
4072     if (chapterTracks.tracks.size())
4073         configureTextTrackGroup(chapterTracks);
4074     if (metadataTracks.tracks.size())
4075         configureTextTrackGroup(metadataTracks);
4076     if (otherTracks.tracks.size())
4077         configureTextTrackGroup(otherTracks);
4078
4079     updateCaptionContainer();
4080     configureTextTrackDisplay();
4081     if (hasMediaControls())
4082         mediaControls()->closedCaptionTracksChanged();
4083 }
4084 #endif
4085
4086 bool HTMLMediaElement::havePotentialSourceChild()