Unreviewed, rolling out r211193.
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "HTMLMediaElement.h"
28
29 #if ENABLE(VIDEO)
30
31 #include "ApplicationCacheHost.h"
32 #include "ApplicationCacheResource.h"
33 #include "Attribute.h"
34 #include "CSSPropertyNames.h"
35 #include "CSSValueKeywords.h"
36 #include "ChromeClient.h"
37 #include "ClientRect.h"
38 #include "ClientRectList.h"
39 #include "CommonVM.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "FrameLoader.h"
51 #include "FrameLoaderClient.h"
52 #include "FrameView.h"
53 #include "HTMLParserIdioms.h"
54 #include "HTMLSourceElement.h"
55 #include "HTMLVideoElement.h"
56 #include "JSDOMError.h"
57 #include "JSDOMPromise.h"
58 #include "JSHTMLMediaElement.h"
59 #include "Language.h"
60 #include "Logging.h"
61 #include "MIMETypeRegistry.h"
62 #include "MainFrame.h"
63 #include "MediaController.h"
64 #include "MediaControls.h"
65 #include "MediaDocument.h"
66 #include "MediaError.h"
67 #include "MediaFragmentURIParser.h"
68 #include "MediaList.h"
69 #include "MediaPlayer.h"
70 #include "MediaQueryEvaluator.h"
71 #include "MediaResourceLoader.h"
72 #include "MemoryPressureHandler.h"
73 #include "NetworkingContext.h"
74 #include "NoEventDispatchAssertion.h"
75 #include "Page.h"
76 #include "PageGroup.h"
77 #include "PlatformMediaSessionManager.h"
78 #include "ProgressTracker.h"
79 #include "RenderLayerCompositor.h"
80 #include "RenderVideo.h"
81 #include "RenderView.h"
82 #include "ResourceLoadInfo.h"
83 #include "ScriptController.h"
84 #include "ScriptSourceCode.h"
85 #include "SecurityOriginData.h"
86 #include "SecurityPolicy.h"
87 #include "SessionID.h"
88 #include "Settings.h"
89 #include "ShadowRoot.h"
90 #include "TimeRanges.h"
91 #include "UserContentController.h"
92 #include "UserGestureIndicator.h"
93 #include <limits>
94 #include <runtime/Uint8Array.h>
95 #include <wtf/CurrentTime.h>
96 #include <wtf/MathExtras.h>
97 #include <wtf/Ref.h>
98 #include <wtf/text/CString.h>
99
100 #if ENABLE(VIDEO_TRACK)
101 #include "AudioTrackList.h"
102 #include "HTMLTrackElement.h"
103 #include "InbandGenericTextTrack.h"
104 #include "InbandTextTrackPrivate.h"
105 #include "InbandWebVTTTextTrack.h"
106 #include "RuntimeEnabledFeatures.h"
107 #include "TextTrackCueList.h"
108 #include "TextTrackList.h"
109 #include "VideoTrackList.h"
110 #endif
111
112 #if ENABLE(WEB_AUDIO)
113 #include "AudioSourceProvider.h"
114 #include "MediaElementAudioSourceNode.h"
115 #endif
116
117 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
118 #include "WebVideoFullscreenInterface.h"
119 #endif
120
121 #if PLATFORM(IOS)
122 #include "RuntimeApplicationChecks.h"
123 #include "WebVideoFullscreenInterfaceAVKit.h"
124 #endif
125
126 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
127 #include "WebKitPlaybackTargetAvailabilityEvent.h"
128 #endif
129
130 #if ENABLE(MEDIA_SESSION)
131 #include "MediaSession.h"
132 #endif
133
134 #if ENABLE(MEDIA_SOURCE)
135 #include "DOMWindow.h"
136 #include "MediaSource.h"
137 #include "Performance.h"
138 #include "VideoPlaybackQuality.h"
139 #endif
140
141 #if ENABLE(MEDIA_STREAM)
142 #include "DOMURL.h"
143 #include "MediaStream.h"
144 #include "MediaStreamRegistry.h"
145 #endif
146
147 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
148 #include "WebKitMediaKeyNeededEvent.h"
149 #include "WebKitMediaKeys.h"
150 #endif
151
152 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
153 #include "JSMediaControlsHost.h"
154 #include "MediaControlsHost.h"
155 #include <bindings/ScriptObject.h>
156 #endif
157
158 #if ENABLE(ENCRYPTED_MEDIA)
159 #include "NotImplemented.h"
160 #endif
161
162 namespace WebCore {
163
164 static const double SeekRepeatDelay = 0.1;
165 static const double SeekTime = 0.2;
166 static const double ScanRepeatDelay = 1.5;
167 static const double ScanMaximumRate = 8;
168
169 static const double HideMediaControlsAfterEndedDelay = 6;
170
171 static void setFlags(unsigned& value, unsigned flags)
172 {
173     value |= flags;
174 }
175
176 static void clearFlags(unsigned& value, unsigned flags)
177 {
178     value &= ~flags;
179 }
180     
181 #if !LOG_DISABLED
182 static String urlForLoggingMedia(const URL& url)
183 {
184     static const unsigned maximumURLLengthForLogging = 128;
185
186     if (url.string().length() < maximumURLLengthForLogging)
187         return url.string();
188     return url.string().substring(0, maximumURLLengthForLogging) + "...";
189 }
190
191 static const char* boolString(bool val)
192 {
193     return val ? "true" : "false";
194 }
195
196 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
197 {
198     StringBuilder actionBuilder;
199
200 #define ACTION(_actionType) \
201     if (action & (HTMLMediaElementEnums::_actionType)) { \
202         if (!actionBuilder.isEmpty()) \
203         actionBuilder.appendLiteral(", "); \
204         actionBuilder.append(#_actionType); \
205     } \
206
207     ACTION(LoadMediaResource);
208     ACTION(ConfigureTextTracks);
209     ACTION(TextTrackChangesNotification);
210     ACTION(ConfigureTextTrackDisplay);
211     ACTION(CheckPlaybackTargetCompatablity);
212     ACTION(CheckMediaState);
213     ACTION(MediaEngineUpdated);
214
215     return actionBuilder.toString();
216
217 #undef ACTION
218 }
219
220 #endif
221
222 #ifndef LOG_MEDIA_EVENTS
223 // Default to not logging events because so many are generated they can overwhelm the rest of 
224 // the logging.
225 #define LOG_MEDIA_EVENTS 0
226 #endif
227
228 #ifndef LOG_CACHED_TIME_WARNINGS
229 // Default to not logging warnings about excessive drift in the cached media time because it adds a
230 // fair amount of overhead and logging.
231 #define LOG_CACHED_TIME_WARNINGS 0
232 #endif
233
234 #if ENABLE(MEDIA_SOURCE)
235 // URL protocol used to signal that the media source API is being used.
236 static const char* mediaSourceBlobProtocol = "blob";
237 #endif
238
239 #if ENABLE(MEDIA_STREAM)
240 // URL protocol used to signal that the media stream API is being used.
241 static const char* mediaStreamBlobProtocol = "blob";
242 #endif
243
244 using namespace HTMLNames;
245
246 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
247 static DocumentElementSetMap& documentToElementSetMap()
248 {
249     static NeverDestroyed<DocumentElementSetMap> map;
250     return map;
251 }
252
253 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
254 {
255     DocumentElementSetMap& map = documentToElementSetMap();
256     HashSet<HTMLMediaElement*> set = map.take(&document);
257     set.add(&element);
258     map.add(&document, set);
259 }
260
261 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
262 {
263     DocumentElementSetMap& map = documentToElementSetMap();
264     HashSet<HTMLMediaElement*> set = map.take(&document);
265     set.remove(&element);
266     if (!set.isEmpty())
267         map.add(&document, set);
268 }
269
270 #if ENABLE(VIDEO_TRACK)
271
272 class TrackDisplayUpdateScope {
273 public:
274     TrackDisplayUpdateScope(HTMLMediaElement& element)
275         : m_element(element)
276     {
277         m_element.beginIgnoringTrackDisplayUpdateRequests();
278     }
279     ~TrackDisplayUpdateScope()
280     {
281         m_element.endIgnoringTrackDisplayUpdateRequests();
282     }
283     
284 private:
285     HTMLMediaElement& m_element;
286 };
287
288 #endif
289
290 struct HTMLMediaElement::TrackGroup {
291     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
292
293     TrackGroup(GroupKind kind)
294         : kind(kind)
295     {
296     }
297
298     Vector<RefPtr<TextTrack>> tracks;
299     RefPtr<TextTrack> visibleTrack;
300     RefPtr<TextTrack> defaultTrack;
301     GroupKind kind;
302     bool hasSrcLang { false };
303 };
304
305 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
306 {
307     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
308     return elements;
309 }
310
311 #if ENABLE(MEDIA_SESSION)
312 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
313
314 static IDToElementMap& elementIDsToElements()
315 {
316     static NeverDestroyed<IDToElementMap> map;
317     return map;
318 }
319
320 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
321 {
322     if (id == HTMLMediaElementInvalidID)
323         return nullptr;
324     
325     return elementIDsToElements().get(id);
326 }
327
328 static uint64_t nextElementID()
329 {
330     static uint64_t elementID = 0;
331     return ++elementID;
332 }
333 #endif
334
335 struct MediaElementSessionInfo {
336     const MediaElementSession* session;
337     MediaElementSession::PlaybackControlsPurpose purpose;
338
339     double timeOfLastUserInteraction;
340     bool canShowControlsManager : 1;
341     bool isVisibleInViewportOrFullscreen : 1;
342     bool isLargeEnoughForMainContent : 1;
343     bool isPlayingAudio : 1;
344 };
345
346 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
347 {
348     const HTMLMediaElement& element = session.element();
349     return {
350         &session,
351         purpose,
352         session.mostRecentUserInteractionTime(),
353         session.canShowControlsManager(purpose),
354         element.isFullscreen() || element.isVisibleInViewport(),
355         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
356         element.isPlaying() && element.hasAudio() && !element.muted()
357     };
358 }
359
360 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
361 {
362     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
363     ASSERT(purpose == otherSession.purpose);
364
365     // For the controls manager, prioritize visible media over offscreen media.
366     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
367         return session.isVisibleInViewportOrFullscreen;
368
369     // For Now Playing, prioritize elements that would normally satisfy main content.
370     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
371         return session.isLargeEnoughForMainContent;
372
373     // As a tiebreaker, prioritize elements that the user recently interacted with.
374     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
375 }
376
377 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
378 {
379     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
380         return session.isPlayingAudio;
381
382     if (!session.isVisibleInViewportOrFullscreen)
383         return false;
384
385     if (!session.isLargeEnoughForMainContent)
386         return false;
387
388     // Even if this video is not a candidate, if it is visible to the user and large enough
389     // to be main content, it poses a risk for being confused with main content.
390     return true;
391 }
392
393 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
394     : HTMLElement(tagName, document)
395     , ActiveDOMObject(&document)
396     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
397     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
398     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
399     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
400     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
401     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
402     , m_asyncEventQueue(*this)
403     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
404     , m_firstTimePlaying(true)
405     , m_playing(false)
406     , m_isWaitingUntilMediaCanStart(false)
407     , m_shouldDelayLoadEvent(false)
408     , m_haveFiredLoadedData(false)
409     , m_inActiveDocument(true)
410     , m_autoplaying(true)
411     , m_muted(false)
412     , m_explicitlyMuted(false)
413     , m_initiallyMuted(false)
414     , m_paused(true)
415     , m_seeking(false)
416     , m_sentStalledEvent(false)
417     , m_sentEndEvent(false)
418     , m_pausedInternal(false)
419     , m_sendProgressEvents(true)
420     , m_closedCaptionsVisible(false)
421     , m_webkitLegacyClosedCaptionOverride(false)
422     , m_completelyLoaded(false)
423     , m_havePreparedToPlay(false)
424     , m_parsingInProgress(createdByParser)
425     , m_elementIsHidden(document.hidden())
426     , m_creatingControls(false)
427     , m_receivedLayoutSizeChanged(false)
428     , m_hasEverNotifiedAboutPlaying(false)
429     , m_hasEverHadAudio(false)
430     , m_hasEverHadVideo(false)
431 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
432     , m_mediaControlsDependOnPageScaleFactor(false)
433     , m_haveSetUpCaptionContainer(false)
434 #endif
435     , m_isScrubbingRemotely(false)
436 #if ENABLE(VIDEO_TRACK)
437     , m_tracksAreReady(true)
438     , m_haveVisibleTextTrack(false)
439     , m_processingPreferenceChange(false)
440 #endif
441     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
442 {
443     allMediaElements().add(this);
444
445     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
446     setHasCustomStyleResolveCallbacks();
447
448     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
449     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
450 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
451     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
452 #endif
453     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
454     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
455
456     Settings* settings = document.settings();
457 #if PLATFORM(IOS)
458     m_sendProgressEvents = false;
459 #endif
460
461     if (settings && settings->invisibleAutoplayNotPermitted())
462         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
463
464     if (document.ownerElement() || !document.isMediaDocument()) {
465         bool shouldAudioPlaybackRequireUserGesture = document.audioPlaybackRequiresUserGesture();
466         bool shouldVideoPlaybackRequireUserGesture = document.videoPlaybackRequiresUserGesture();
467
468         if (shouldVideoPlaybackRequireUserGesture) {
469             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
470             if (settings && settings->requiresUserGestureToLoadVideo())
471                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
472         }
473
474         if (shouldAudioPlaybackRequireUserGesture)
475             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
476
477 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
478         if (shouldVideoPlaybackRequireUserGesture || shouldAudioPlaybackRequireUserGesture)
479             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
480 #endif
481
482         if (!settings || !settings->mediaDataLoadsAutomatically())
483             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
484
485         if (settings && settings->mainContentUserGestureOverrideEnabled())
486             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
487     }
488
489 #if PLATFORM(IOS)
490     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
491         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
492         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
493     }
494 #endif
495
496 #if ENABLE(VIDEO_TRACK)
497     if (document.page())
498         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
499 #endif
500
501 #if ENABLE(MEDIA_SESSION)
502     m_elementID = nextElementID();
503     elementIDsToElements().add(m_elementID, this);
504
505     setSessionInternal(document.defaultMediaSession());
506 #endif
507
508     registerWithDocument(document);
509 }
510
511 HTMLMediaElement::~HTMLMediaElement()
512 {
513     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
514
515     beginIgnoringTrackDisplayUpdateRequests();
516     allMediaElements().remove(this);
517
518     m_asyncEventQueue.close();
519
520     setShouldDelayLoadEvent(false);
521     unregisterWithDocument(document());
522
523 #if ENABLE(VIDEO_TRACK)
524     if (m_audioTracks)
525         m_audioTracks->clearElement();
526     if (m_textTracks)
527         m_textTracks->clearElement();
528     if (m_videoTracks)
529         m_videoTracks->clearElement();
530 #endif
531
532 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
533     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
534         m_hasPlaybackTargetAvailabilityListeners = false;
535         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
536         updateMediaState();
537     }
538 #endif
539
540     if (m_mediaController) {
541         m_mediaController->removeMediaElement(*this);
542         m_mediaController = nullptr;
543     }
544
545 #if ENABLE(MEDIA_SOURCE)
546     detachMediaSource();
547 #endif
548
549 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
550     webkitSetMediaKeys(nullptr);
551 #endif
552
553 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
554     if (m_isolatedWorld)
555         m_isolatedWorld->clearWrappers();
556 #endif
557
558 #if ENABLE(MEDIA_SESSION)
559     if (m_session) {
560         m_session->removeMediaElement(*this);
561         m_session = nullptr;
562     }
563
564     elementIDsToElements().remove(m_elementID);
565 #endif
566
567     m_seekTaskQueue.close();
568     m_promiseTaskQueue.close();
569     m_pauseAfterDetachedTaskQueue.close();
570     m_updatePlaybackControlsManagerQueue.close();
571     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
572
573     m_completelyLoaded = true;
574
575     if (m_player) {
576         m_player->invalidate();
577         m_player = nullptr;
578     }
579     updatePlaybackControlsManager();
580 }
581
582 static bool needsPlaybackControlsManagerQuirk(Page& page)
583 {
584     if (!page.settings().needsSiteSpecificQuirks())
585         return false;
586
587     String host = page.mainFrame().document()->url().host();
588     return equalLettersIgnoringASCIICase(host, "netflix.com") || host.endsWithIgnoringASCIICase(".netflix.com");
589 }
590
591 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
592 {
593     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
594         return is<MediaElementSession>(session);
595     });
596
597     Vector<MediaElementSessionInfo> candidateSessions;
598     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
599     for (auto& session : allSessions) {
600         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
601         if (mediaElementSessionInfo.canShowControlsManager)
602             candidateSessions.append(mediaElementSessionInfo);
603         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
604             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
605     }
606
607     if (!candidateSessions.size())
608         return nullptr;
609
610     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
611     auto strongestSessionCandidate = candidateSessions.first();
612     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
613         return nullptr;
614
615     HTMLMediaElement* strongestElementCandidate = &strongestSessionCandidate.session->element();
616     if (strongestElementCandidate) {
617         if (Page* page = strongestElementCandidate->document().page()) {
618             if (needsPlaybackControlsManagerQuirk(*page))
619                 return nullptr;
620         }
621     }
622
623     return strongestElementCandidate;
624 }
625
626 void HTMLMediaElement::registerWithDocument(Document& document)
627 {
628     m_mediaSession->registerWithDocument(document);
629
630     if (m_isWaitingUntilMediaCanStart)
631         document.addMediaCanStartListener(this);
632
633 #if !PLATFORM(IOS)
634     document.registerForMediaVolumeCallbacks(this);
635     document.registerForPrivateBrowsingStateChangedCallbacks(this);
636 #endif
637
638     document.registerForVisibilityStateChangedCallbacks(this);
639
640 #if ENABLE(VIDEO_TRACK)
641     if (m_requireCaptionPreferencesChangedCallbacks)
642         document.registerForCaptionPreferencesChangedCallbacks(this);
643 #endif
644
645 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
646     if (m_mediaControlsDependOnPageScaleFactor)
647         document.registerForPageScaleFactorChangedCallbacks(this);
648     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
649 #endif
650
651 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
652     document.registerForDocumentSuspensionCallbacks(this);
653 #endif
654
655     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
656
657     document.addAudioProducer(this);
658     addElementToDocumentMap(*this, document);
659 }
660
661 void HTMLMediaElement::unregisterWithDocument(Document& document)
662 {
663     m_mediaSession->unregisterWithDocument(document);
664
665     if (m_isWaitingUntilMediaCanStart)
666         document.removeMediaCanStartListener(this);
667
668 #if !PLATFORM(IOS)
669     document.unregisterForMediaVolumeCallbacks(this);
670     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
671 #endif
672
673     document.unregisterForVisibilityStateChangedCallbacks(this);
674
675 #if ENABLE(VIDEO_TRACK)
676     if (m_requireCaptionPreferencesChangedCallbacks)
677         document.unregisterForCaptionPreferencesChangedCallbacks(this);
678 #endif
679
680 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
681     if (m_mediaControlsDependOnPageScaleFactor)
682         document.unregisterForPageScaleFactorChangedCallbacks(this);
683     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
684 #endif
685
686 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
687     document.unregisterForDocumentSuspensionCallbacks(this);
688 #endif
689
690     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
691
692     document.removeAudioProducer(this);
693     removeElementFromDocumentMap(*this, document);
694 }
695
696 void HTMLMediaElement::didMoveToNewDocument(Document& oldDocument)
697 {
698     if (m_shouldDelayLoadEvent) {
699         oldDocument.decrementLoadEventDelayCount();
700         document().incrementLoadEventDelayCount();
701     }
702
703     unregisterWithDocument(oldDocument);
704
705     registerWithDocument(document());
706
707     HTMLElement::didMoveToNewDocument(oldDocument);
708     updateShouldAutoplay();
709 }
710
711 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
712 void HTMLMediaElement::prepareForDocumentSuspension()
713 {
714     m_mediaSession->unregisterWithDocument(document());
715 }
716
717 void HTMLMediaElement::resumeFromDocumentSuspension()
718 {
719     m_mediaSession->registerWithDocument(document());
720     updateShouldAutoplay();
721 }
722 #endif
723
724 bool HTMLMediaElement::supportsFocus() const
725 {
726     if (document().isMediaDocument())
727         return false;
728
729     // If no controls specified, we should still be able to focus the element if it has tabIndex.
730     return controls() ||  HTMLElement::supportsFocus();
731 }
732
733 bool HTMLMediaElement::isMouseFocusable() const
734 {
735     return false;
736 }
737
738 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
739 {
740     if (name == srcAttr) {
741 #if PLATFORM(IOS)
742         // Note, unless the restriction on requiring user action has been removed,
743         // do not begin downloading data on iOS.
744         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
745 #else
746         // Trigger a reload, as long as the 'src' attribute is present.
747         if (!value.isNull())
748 #endif
749         {
750             clearMediaPlayer(LoadMediaResource);
751             scheduleDelayedAction(LoadMediaResource);
752         }
753     } else if (name == controlsAttr)
754         configureMediaControls();
755     else if (name == loopAttr)
756         updateSleepDisabling();
757     else if (name == preloadAttr) {
758         if (equalLettersIgnoringASCIICase(value, "none"))
759             m_preload = MediaPlayer::None;
760         else if (equalLettersIgnoringASCIICase(value, "metadata"))
761             m_preload = MediaPlayer::MetaData;
762         else {
763             // The spec does not define an "invalid value default" but "auto" is suggested as the
764             // "missing value default", so use it for everything except "none" and "metadata"
765             m_preload = MediaPlayer::Auto;
766         }
767
768         // The attribute must be ignored if the autoplay attribute is present
769         if (!autoplay() && m_player)
770             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
771
772     } else if (name == mediagroupAttr)
773         setMediaGroup(value);
774     else
775         HTMLElement::parseAttribute(name, value);
776 }
777
778 void HTMLMediaElement::finishParsingChildren()
779 {
780     HTMLElement::finishParsingChildren();
781     m_parsingInProgress = false;
782     
783 #if ENABLE(VIDEO_TRACK)
784     if (descendantsOfType<HTMLTrackElement>(*this).first())
785         scheduleDelayedAction(ConfigureTextTracks);
786 #endif
787 }
788
789 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
790 {
791     return controls() && HTMLElement::rendererIsNeeded(style);
792 }
793
794 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
795 {
796     return createRenderer<RenderMedia>(*this, WTFMove(style));
797 }
798
799 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
800 {
801 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
802     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
803 #else
804     if (!hasMediaControls())
805         return false;
806     // <media> doesn't allow its content, including shadow subtree, to
807     // be rendered. So this should return false for most of the children.
808     // One exception is a shadow tree built for rendering controls which should be visible.
809     // So we let them go here by comparing its subtree root with one of the controls.
810     return &mediaControls()->treeScope() == &child.treeScope()
811         && hasShadowRootParent(child)
812         && HTMLElement::childShouldCreateRenderer(child);
813 #endif
814 }
815
816 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
817 {
818     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
819
820     HTMLElement::insertedInto(insertionPoint);
821     if (insertionPoint.inDocument()) {
822         m_inActiveDocument = true;
823
824 #if PLATFORM(IOS)
825         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
826 #else
827         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
828 #endif
829             scheduleDelayedAction(LoadMediaResource);
830     }
831
832     if (!m_explicitlyMuted) {
833         m_explicitlyMuted = true;
834         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
835     }
836
837     return InsertionShouldCallFinishedInsertingSubtree;
838 }
839
840 void HTMLMediaElement::finishedInsertingSubtree()
841 {
842     configureMediaControls();
843 }
844
845 void HTMLMediaElement::pauseAfterDetachedTask()
846 {
847     // If we were re-inserted into an active document, no need to pause.
848     if (m_inActiveDocument)
849         return;
850
851     if (hasMediaControls())
852         mediaControls()->hide();
853     if (m_networkState > NETWORK_EMPTY)
854         pause();
855     if (m_videoFullscreenMode != VideoFullscreenModeNone)
856         exitFullscreen();
857
858     if (!m_player)
859         return;
860
861     size_t extraMemoryCost = m_player->extraMemoryCost();
862     if (extraMemoryCost > m_reportedExtraMemoryCost) {
863         JSC::VM& vm = commonVM();
864         JSC::JSLockHolder lock(vm);
865
866         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
867         m_reportedExtraMemoryCost = extraMemoryCost;
868         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
869         // https://bugs.webkit.org/show_bug.cgi?id=142595
870         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
871     }
872 }
873
874 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
875 {
876     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
877
878     m_inActiveDocument = false;
879     if (insertionPoint.inDocument()) {
880         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
881         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
882     }
883
884     HTMLElement::removedFrom(insertionPoint);
885 }
886
887 void HTMLMediaElement::willAttachRenderers()
888 {
889     ASSERT(!renderer());
890 }
891
892 inline void HTMLMediaElement::updateRenderer()
893 {
894     if (auto* renderer = this->renderer())
895         renderer->updateFromElement();
896 }
897
898 void HTMLMediaElement::didAttachRenderers()
899 {
900     if (auto* renderer = this->renderer()) {
901         renderer->updateFromElement();
902         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
903             renderer->registerForVisibleInViewportCallback();
904     }
905     updateShouldAutoplay();
906 }
907
908 void HTMLMediaElement::willDetachRenderers()
909 {
910     if (auto* renderer = this->renderer())
911         renderer->unregisterForVisibleInViewportCallback();
912 }
913
914 void HTMLMediaElement::didDetachRenderers()
915 {
916     updateShouldAutoplay();
917 }
918
919 void HTMLMediaElement::didRecalcStyle(Style::Change)
920 {
921     updateRenderer();
922 }
923
924 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
925 {
926     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
927
928     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
929         prepareForLoad();
930         setFlags(m_pendingActionFlags, LoadMediaResource);
931     }
932
933 #if ENABLE(VIDEO_TRACK)
934     if (actionType & ConfigureTextTracks)
935         setFlags(m_pendingActionFlags, ConfigureTextTracks);
936 #endif
937
938 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
939     if (actionType & CheckPlaybackTargetCompatablity)
940         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
941 #endif
942
943     if (actionType & CheckMediaState)
944         setFlags(m_pendingActionFlags, CheckMediaState);
945
946     if (actionType & MediaEngineUpdated)
947         setFlags(m_pendingActionFlags, MediaEngineUpdated);
948
949     if (actionType & UpdatePlayState)
950         setFlags(m_pendingActionFlags, UpdatePlayState);
951
952     m_pendingActionTimer.startOneShot(0);
953 }
954
955 void HTMLMediaElement::scheduleNextSourceChild()
956 {
957     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
958     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
959     setFlags(m_pendingActionFlags, LoadMediaResource);
960     m_pendingActionTimer.startOneShot(0);
961 }
962
963 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
964 {
965     m_hasEverHadAudio |= hasAudio();
966     m_hasEverHadVideo |= hasVideo();
967 }
968
969 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
970 {
971 #if LOG_MEDIA_EVENTS
972     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
973 #endif
974     RefPtr<Event> event = Event::create(eventName, false, true);
975     
976     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
977     // will trigger an ASSERT if this element has been marked for deletion.
978
979     m_asyncEventQueue.enqueueEvent(WTFMove(event));
980 }
981
982 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
983 {
984     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
985 }
986
987 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
988 {
989     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
990
991     for (auto& promise : pendingPlayPromises)
992         promise.rejectType<IDLInterface<DOMError>>(error);
993 }
994
995 void HTMLMediaElement::resolvePendingPlayPromises()
996 {
997     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
998
999     for (auto& promise : pendingPlayPromises)
1000         promise.resolve();
1001 }
1002
1003 void HTMLMediaElement::scheduleNotifyAboutPlaying()
1004 {
1005     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
1006 }
1007
1008 void HTMLMediaElement::notifyAboutPlaying()
1009 {
1010     m_playbackStartedTime = currentMediaTime().toDouble();
1011     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
1012     resolvePendingPlayPromises();
1013
1014     m_hasEverNotifiedAboutPlaying = true;
1015     scheduleUpdatePlaybackControlsManager();
1016 }
1017
1018 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
1019 {
1020     return m_hasEverNotifiedAboutPlaying;
1021 }
1022
1023 void HTMLMediaElement::pendingActionTimerFired()
1024 {
1025     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
1026     PendingActionFlags pendingActions = m_pendingActionFlags;
1027     m_pendingActionFlags = 0;
1028
1029 #if ENABLE(VIDEO_TRACK)
1030     if (pendingActions & ConfigureTextTracks)
1031         configureTextTracks();
1032 #endif
1033
1034     if (pendingActions & LoadMediaResource) {
1035         if (m_loadState == LoadingFromSourceElement)
1036             loadNextSourceChild();
1037         else
1038             loadInternal();
1039     }
1040
1041 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1042     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1043         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1044         m_failedToPlayToWirelessTarget = true;
1045         m_player->setShouldPlayToPlaybackTarget(false);
1046     }
1047
1048     if (pendingActions & CheckMediaState)
1049         updateMediaState();
1050 #endif
1051
1052     if (pendingActions & MediaEngineUpdated)
1053         mediaEngineWasUpdated();
1054
1055     if (pendingActions & UpdatePlayState)
1056         updatePlayState();
1057 }
1058
1059 MediaError* HTMLMediaElement::error() const
1060 {
1061     return m_error.get();
1062 }
1063
1064 void HTMLMediaElement::setSrc(const String& url)
1065 {
1066     setAttributeWithoutSynchronization(srcAttr, url);
1067 }
1068
1069 #if ENABLE(MEDIA_STREAM)
1070 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1071 {
1072     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1073     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1074     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1075     // the UA must re-run the media element load algorithm.
1076     //
1077     // https://bugs.webkit.org/show_bug.cgi?id=124896
1078
1079     m_mediaStreamSrcObject = mediaStream;
1080     if (mediaStream) {
1081         m_settingMediaStreamSrcObject = true;
1082         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1083         m_settingMediaStreamSrcObject = false;
1084     }
1085 }
1086 #endif
1087
1088 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1089 {
1090     setAttributeWithoutSynchronization(crossoriginAttr, value);
1091 }
1092
1093 String HTMLMediaElement::crossOrigin() const
1094 {
1095     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1096 }
1097
1098 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1099 {
1100     return m_networkState;
1101 }
1102
1103 String HTMLMediaElement::canPlayType(const String& mimeType) const
1104 {
1105     MediaEngineSupportParameters parameters;
1106     ContentType contentType(mimeType);
1107     parameters.type = contentType.type().convertToASCIILowercase();
1108     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1109     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1110     String canPlay;
1111
1112     // 4.8.10.3
1113     switch (support)
1114     {
1115         case MediaPlayer::IsNotSupported:
1116             canPlay = emptyString();
1117             break;
1118         case MediaPlayer::MayBeSupported:
1119             canPlay = ASCIILiteral("maybe");
1120             break;
1121         case MediaPlayer::IsSupported:
1122             canPlay = ASCIILiteral("probably");
1123             break;
1124     }
1125     
1126     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1127
1128     return canPlay;
1129 }
1130
1131 double HTMLMediaElement::getStartDate() const
1132 {
1133     if (!m_player)
1134         return std::numeric_limits<double>::quiet_NaN();
1135     return m_player->getStartDate().toDouble();
1136 }
1137
1138 void HTMLMediaElement::load()
1139 {
1140     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1141     
1142     LOG(Media, "HTMLMediaElement::load(%p)", this);
1143     
1144     if (!m_mediaSession->dataLoadingPermitted(*this))
1145         return;
1146     if (ScriptController::processingUserGestureForMedia())
1147         removeBehaviorsRestrictionsAfterFirstUserGesture();
1148
1149     prepareForLoad();
1150     loadInternal();
1151     prepareToPlay();
1152 }
1153
1154 void HTMLMediaElement::prepareForLoad()
1155 {
1156     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1157
1158     // Perform the cleanup required for the resource load algorithm to run.
1159     stopPeriodicTimers();
1160     m_pendingActionTimer.stop();
1161     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1162     m_pendingActionFlags &= ~LoadMediaResource;
1163     m_sentEndEvent = false;
1164     m_sentStalledEvent = false;
1165     m_haveFiredLoadedData = false;
1166     m_completelyLoaded = false;
1167     m_havePreparedToPlay = false;
1168     m_displayMode = Unknown;
1169     m_currentSrc = URL();
1170
1171 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1172     m_failedToPlayToWirelessTarget = false;
1173 #endif
1174
1175     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1176     m_loadState = WaitingForSource;
1177     m_currentSourceNode = nullptr;
1178
1179     // 2 - If there are any tasks from the media element's media element event task source in 
1180     // one of the task queues, then remove those tasks.
1181     cancelPendingEventsAndCallbacks();
1182
1183     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1184     // a task to fire a simple event named abort at the media element.
1185     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1186         scheduleEvent(eventNames().abortEvent);
1187
1188 #if ENABLE(MEDIA_SOURCE)
1189     detachMediaSource();
1190 #endif
1191
1192     createMediaPlayer();
1193
1194     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1195     if (m_networkState != NETWORK_EMPTY) {
1196         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1197         scheduleEvent(eventNames().emptiedEvent);
1198
1199         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1200         m_networkState = NETWORK_EMPTY;
1201
1202         // 4.3 - Forget the media element's media-resource-specific tracks.
1203         forgetResourceSpecificTracks();
1204
1205         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1206         m_readyState = HAVE_NOTHING;
1207         m_readyStateMaximum = HAVE_NOTHING;
1208
1209         // 4.5 - If the paused attribute is false, then set it to true.
1210         m_paused = true;
1211
1212         // 4.6 - If seeking is true, set it to false.
1213         clearSeeking();
1214
1215         // 4.7 - Set the current playback position to 0.
1216         //       Set the official playback position to 0.
1217         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1218         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1219
1220         // 4.8 - Set the initial playback position to 0.
1221         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1222         // above.
1223         refreshCachedTime();
1224
1225         invalidateCachedTime();
1226
1227         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1228         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1229
1230         updateMediaController();
1231 #if ENABLE(VIDEO_TRACK)
1232         updateActiveTextTrackCues(MediaTime::zeroTime());
1233 #endif
1234     }
1235
1236     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1237     setPlaybackRate(defaultPlaybackRate());
1238
1239     // 6 - Set the error attribute to null and the autoplaying flag to true.
1240     m_error = nullptr;
1241     m_autoplaying = true;
1242     mediaSession().clientWillBeginAutoplaying();
1243
1244     // 7 - Invoke the media element's resource selection algorithm.
1245
1246     // 8 - Note: Playback of any previously playing media resource for this element stops.
1247
1248     // The resource selection algorithm
1249     // 1 - Set the networkState to NETWORK_NO_SOURCE
1250     m_networkState = NETWORK_NO_SOURCE;
1251
1252     // 2 - Asynchronously await a stable state.
1253
1254     m_playedTimeRanges = TimeRanges::create();
1255
1256     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1257     // so they are closer to the relevant spec steps.
1258     m_lastSeekTime = MediaTime::zeroTime();
1259
1260     // The spec doesn't say to block the load event until we actually run the asynchronous section
1261     // algorithm, but do it now because we won't start that until after the timer fires and the 
1262     // event may have already fired by then.
1263     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1264     if (effectivePreload != MediaPlayer::None)
1265         setShouldDelayLoadEvent(true);
1266
1267 #if PLATFORM(IOS)
1268     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1269         prepareToPlay();
1270 #endif
1271
1272     configureMediaControls();
1273 }
1274
1275 void HTMLMediaElement::loadInternal()
1276 {
1277     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1278
1279     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1280     // us catch those bugs more quickly without needing all the branches to align to actually
1281     // trigger the event.
1282     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1283
1284     // If we can't start a load right away, start it later.
1285     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1286         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1287         setShouldDelayLoadEvent(false);
1288         if (m_isWaitingUntilMediaCanStart)
1289             return;
1290         m_isWaitingUntilMediaCanStart = true;
1291         document().addMediaCanStartListener(this);
1292         return;
1293     }
1294
1295     clearFlags(m_pendingActionFlags, LoadMediaResource);
1296
1297     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1298     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1299     // put into the background.
1300     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1301
1302 #if ENABLE(VIDEO_TRACK)
1303     if (hasMediaControls())
1304         mediaControls()->changedClosedCaptionsVisibility();
1305
1306     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1307     // disabled state when the element's resource selection algorithm last started".
1308     m_textTracksWhenResourceSelectionBegan.clear();
1309     if (m_textTracks) {
1310         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1311             TextTrack* track = m_textTracks->item(i);
1312             if (track->mode() != TextTrack::Mode::Disabled)
1313                 m_textTracksWhenResourceSelectionBegan.append(track);
1314         }
1315     }
1316 #endif
1317
1318     selectMediaResource();
1319 }
1320
1321 void HTMLMediaElement::selectMediaResource()
1322 {
1323     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1324
1325     ASSERT(m_player);
1326     if (!m_player)
1327         return;
1328
1329     enum Mode { attribute, children };
1330
1331     // 3 - If the media element has a src attribute, then let mode be attribute.
1332     Mode mode = attribute;
1333     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1334         // Otherwise, if the media element does not have a src attribute but has a source 
1335         // element child, then let mode be children and let candidate be the first such 
1336         // source element child in tree order.
1337         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1338             mode = children;
1339             m_nextChildNodeToConsider = firstSource;
1340             m_currentSourceNode = nullptr;
1341         } else {
1342             // Otherwise the media element has neither a src attribute nor a source element 
1343             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1344             // synchronous section ends.
1345             m_loadState = WaitingForSource;
1346             setShouldDelayLoadEvent(false);
1347             m_networkState = NETWORK_EMPTY;
1348
1349             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1350             return;
1351         }
1352     }
1353
1354     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1355     // and set its networkState to NETWORK_LOADING.
1356     setShouldDelayLoadEvent(true);
1357     m_networkState = NETWORK_LOADING;
1358
1359     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1360     scheduleEvent(eventNames().loadstartEvent);
1361
1362     // 6 - If mode is attribute, then run these substeps
1363     if (mode == attribute) {
1364         m_loadState = LoadingFromSrcAttr;
1365
1366         // If the src attribute's value is the empty string ... jump down to the failed step below
1367         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1368         if (mediaURL.isEmpty()) {
1369             mediaLoadingFailed(MediaPlayer::FormatError);
1370             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1371             return;
1372         }
1373
1374         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1375             mediaLoadingFailed(MediaPlayer::FormatError);
1376             return;
1377         }
1378
1379         // No type or key system information is available when the url comes
1380         // from the 'src' attribute so MediaPlayer
1381         // will have to pick a media engine based on the file extension.
1382         ContentType contentType((String()));
1383         loadResource(mediaURL, contentType, String());
1384         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1385         return;
1386     }
1387
1388     // Otherwise, the source elements will be used
1389     loadNextSourceChild();
1390 }
1391
1392 void HTMLMediaElement::loadNextSourceChild()
1393 {
1394     ContentType contentType((String()));
1395     String keySystem;
1396     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1397     if (!mediaURL.isValid()) {
1398         waitForSourceChange();
1399         return;
1400     }
1401
1402     // Recreate the media player for the new url
1403     createMediaPlayer();
1404
1405     m_loadState = LoadingFromSourceElement;
1406     loadResource(mediaURL, contentType, keySystem);
1407 }
1408
1409 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1410 {
1411     ASSERT(isSafeToLoadURL(initialURL, Complain));
1412
1413     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1414
1415     Frame* frame = document().frame();
1416     if (!frame) {
1417         mediaLoadingFailed(MediaPlayer::FormatError);
1418         return;
1419     }
1420
1421     Page* page = frame->page();
1422     if (!page) {
1423         mediaLoadingFailed(MediaPlayer::FormatError);
1424         return;
1425     }
1426
1427     URL url = initialURL;
1428     if (!frame->loader().willLoadMediaElementURL(url)) {
1429         mediaLoadingFailed(MediaPlayer::FormatError);
1430         return;
1431     }
1432
1433 #if ENABLE(CONTENT_EXTENSIONS)
1434     if (auto* documentLoader = frame->loader().documentLoader()) {
1435         if (page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader).blockedLoad) {
1436             mediaLoadingFailed(MediaPlayer::FormatError);
1437             return;
1438         }
1439     }
1440 #endif
1441
1442     // The resource fetch algorithm 
1443     m_networkState = NETWORK_LOADING;
1444
1445     // If the URL should be loaded from the application cache, pass the URL of the cached file to the media engine.
1446     ApplicationCacheResource* resource = nullptr;
1447     if (frame->loader().documentLoader()->applicationCacheHost().shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1448         // Resources that are not present in the manifest will always fail to load (at least, after the
1449         // cache has been primed the first time), making the testing of offline applications simpler.
1450         if (!resource || resource->path().isEmpty()) {
1451             mediaLoadingFailed(MediaPlayer::NetworkError);
1452             return;
1453         }
1454     }
1455
1456     // Log that we started loading a media element.
1457     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1458
1459     m_firstTimePlaying = true;
1460
1461     // Set m_currentSrc *before* changing to the cache URL, the fact that we are loading from the app
1462     // cache is an internal detail not exposed through the media element API.
1463     m_currentSrc = url;
1464
1465     if (resource) {
1466         url = ApplicationCacheHost::createFileURL(resource->path());
1467         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1468     }
1469
1470     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1471
1472     if (m_sendProgressEvents)
1473         startProgressEventTimer();
1474
1475     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1476     m_player->setPrivateBrowsingMode(privateMode);
1477
1478     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1479     setDisplayMode(Unknown);
1480
1481     if (!autoplay())
1482         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1483     m_player->setPreservesPitch(m_webkitPreservesPitch);
1484
1485     if (!m_explicitlyMuted) {
1486         m_explicitlyMuted = true;
1487         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1488     }
1489
1490     updateVolume();
1491
1492     bool loadAttempted = false;
1493 #if ENABLE(MEDIA_SOURCE)
1494     ASSERT(!m_mediaSource);
1495
1496     if (url.protocolIs(mediaSourceBlobProtocol))
1497         m_mediaSource = MediaSource::lookup(url.string());
1498
1499     if (m_mediaSource) {
1500         if (m_mediaSource->attachToElement(*this))
1501             m_player->load(url, contentType, m_mediaSource.get());
1502         else {
1503             // Forget our reference to the MediaSource, so we leave it alone
1504             // while processing remainder of load failure.
1505             m_mediaSource = nullptr;
1506             mediaLoadingFailed(MediaPlayer::FormatError);
1507         }
1508         loadAttempted = true;
1509     }
1510 #endif
1511
1512 #if ENABLE(MEDIA_STREAM)
1513     if (!loadAttempted) {
1514         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1515             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1516
1517         if (m_mediaStreamSrcObject) {
1518             loadAttempted = true;
1519             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1520                 mediaLoadingFailed(MediaPlayer::FormatError);
1521         }
1522     }
1523 #endif
1524
1525     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1526         mediaLoadingFailed(MediaPlayer::FormatError);
1527
1528     // If there is no poster to display, allow the media engine to render video frames as soon as
1529     // they are available.
1530     updateDisplayState();
1531
1532     updateRenderer();
1533 }
1534
1535 #if ENABLE(VIDEO_TRACK)
1536
1537 static bool trackIndexCompare(TextTrack* a, TextTrack* b)
1538 {
1539     return a->trackIndex() - b->trackIndex() < 0;
1540 }
1541
1542 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1543 {
1544     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1545     // times first).
1546     if (a.first != b.first)
1547         return a.first - b.first < MediaTime::zeroTime();
1548
1549     // If the cues belong to different text tracks, it doesn't make sense to
1550     // compare the two tracks by the relative cue order, so return the relative
1551     // track order.
1552     if (a.second->track() != b.second->track())
1553         return trackIndexCompare(a.second->track(), b.second->track());
1554
1555     // 12 - Further sort tasks in events that have the same time by the
1556     // relative text track cue order of the text track cues associated
1557     // with these tasks.
1558     return a.second->isOrderedBefore(b.second);
1559 }
1560
1561 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1562 {
1563     return one.data()->isOrderedBefore(two.data());
1564 }
1565
1566 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1567 {
1568     // 4.8.10.8 Playing the media resource
1569
1570     //  If the current playback position changes while the steps are running,
1571     //  then the user agent must wait for the steps to complete, and then must
1572     //  immediately rerun the steps.
1573     if (ignoreTrackDisplayUpdateRequests())
1574         return;
1575
1576     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1577
1578     // 1 - Let current cues be a list of cues, initialized to contain all the
1579     // cues of all the hidden, showing, or showing by default text tracks of the
1580     // media element (not the disabled ones) whose start times are less than or
1581     // equal to the current playback position and whose end times are greater
1582     // than the current playback position.
1583     CueList currentCues;
1584
1585     // The user agent must synchronously unset [the text track cue active] flag
1586     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1587     if (m_readyState != HAVE_NOTHING && m_player) {
1588         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1589         if (currentCues.size() > 1)
1590             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1591     }
1592
1593     CueList previousCues;
1594     CueList missedCues;
1595
1596     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1597     // of hidden, showing, and showing by default text tracks of the media
1598     // element that are not present in current cues.
1599     previousCues = m_currentlyActiveCues;
1600
1601     // 3 - Let last time be the current playback position at the time this
1602     // algorithm was last run for this media element, if this is not the first
1603     // time it has run.
1604     MediaTime lastTime = m_lastTextTrackUpdateTime;
1605
1606     // 4 - If the current playback position has, since the last time this
1607     // algorithm was run, only changed through its usual monotonic increase
1608     // during normal playback, then let missed cues be the list of cues in other
1609     // cues whose start times are greater than or equal to last time and whose
1610     // end times are less than or equal to the current playback position.
1611     // Otherwise, let missed cues be an empty list.
1612     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1613         for (auto& cue : m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime))) {
1614             // Consider cues that may have been missed since the last seek time.
1615             if (cue.low() > std::max(m_lastSeekTime, lastTime) && cue.high() < movieTime)
1616                 missedCues.append(cue);
1617         }
1618     }
1619
1620     m_lastTextTrackUpdateTime = movieTime;
1621
1622     // 5 - If the time was reached through the usual monotonic increase of the
1623     // current playback position during normal playback, and if the user agent
1624     // has not fired a timeupdate event at the element in the past 15 to 250ms
1625     // and is not still running event handlers for such an event, then the user
1626     // agent must queue a task to fire a simple event named timeupdate at the
1627     // element. (In the other cases, such as explicit seeks, relevant events get
1628     // fired as part of the overall process of changing the current playback
1629     // position.)
1630     if (!m_paused && m_lastSeekTime <= lastTime)
1631         scheduleTimeupdateEvent(false);
1632
1633     // Explicitly cache vector sizes, as their content is constant from here.
1634     size_t currentCuesSize = currentCues.size();
1635     size_t missedCuesSize = missedCues.size();
1636     size_t previousCuesSize = previousCues.size();
1637
1638     // 6 - If all of the cues in current cues have their text track cue active
1639     // flag set, none of the cues in other cues have their text track cue active
1640     // flag set, and missed cues is empty, then abort these steps.
1641     bool activeSetChanged = missedCuesSize;
1642
1643     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1644         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1645             activeSetChanged = true;
1646
1647     for (size_t i = 0; i < currentCuesSize; ++i) {
1648         TextTrackCue* cue = currentCues[i].data();
1649
1650         if (cue->isRenderable())
1651             toVTTCue(cue)->updateDisplayTree(movieTime);
1652
1653         if (!cue->isActive())
1654             activeSetChanged = true;
1655     }
1656
1657     if (!activeSetChanged)
1658         return;
1659
1660     // 7 - If the time was reached through the usual monotonic increase of the
1661     // current playback position during normal playback, and there are cues in
1662     // other cues that have their text track cue pause-on-exi flag set and that
1663     // either have their text track cue active flag set or are also in missed
1664     // cues, then immediately pause the media element.
1665     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1666         if (previousCues[i].data()->pauseOnExit()
1667             && previousCues[i].data()->isActive()
1668             && !currentCues.contains(previousCues[i]))
1669             pause();
1670     }
1671
1672     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1673         if (missedCues[i].data()->pauseOnExit())
1674             pause();
1675     }
1676
1677     // 8 - Let events be a list of tasks, initially empty. Each task in this
1678     // list will be associated with a text track, a text track cue, and a time,
1679     // which are used to sort the list before the tasks are queued.
1680     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1681
1682     // 8 - Let affected tracks be a list of text tracks, initially empty.
1683     Vector<TextTrack*> affectedTracks;
1684
1685     for (size_t i = 0; i < missedCuesSize; ++i) {
1686         // 9 - For each text track cue in missed cues, prepare an event named enter
1687         // for the TextTrackCue object with the text track cue start time.
1688         eventTasks.append({ missedCues[i].data()->startMediaTime(), missedCues[i].data() });
1689
1690         // 10 - For each text track [...] in missed cues, prepare an event
1691         // named exit for the TextTrackCue object with the  with the later of
1692         // the text track cue end time and the text track cue start time.
1693
1694         // Note: An explicit task is added only if the cue is NOT a zero or
1695         // negative length cue. Otherwise, the need for an exit event is
1696         // checked when these tasks are actually queued below. This doesn't
1697         // affect sorting events before dispatch either, because the exit
1698         // event has the same time as the enter event.
1699         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1700             eventTasks.append({ missedCues[i].data()->endMediaTime(), missedCues[i].data() });
1701     }
1702
1703     for (size_t i = 0; i < previousCuesSize; ++i) {
1704         // 10 - For each text track cue in other cues that has its text
1705         // track cue active flag set prepare an event named exit for the
1706         // TextTrackCue object with the text track cue end time.
1707         if (!currentCues.contains(previousCues[i]))
1708             eventTasks.append({ previousCues[i].data()->endMediaTime(), previousCues[i].data() });
1709     }
1710
1711     for (size_t i = 0; i < currentCuesSize; ++i) {
1712         // 11 - For each text track cue in current cues that does not have its
1713         // text track cue active flag set, prepare an event named enter for the
1714         // TextTrackCue object with the text track cue start time.
1715         if (!previousCues.contains(currentCues[i]))
1716             eventTasks.append({ currentCues[i].data()->startMediaTime(), currentCues[i].data() });
1717     }
1718
1719     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1720     // times first).
1721     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1722
1723     for (auto& eventTask : eventTasks) {
1724         if (!affectedTracks.contains(eventTask.second->track()))
1725             affectedTracks.append(eventTask.second->track());
1726
1727         // 13 - Queue each task in events, in list order.
1728
1729         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1730         // depending on the time that is associated with the event. This
1731         // correctly identifies the type of the event, if the startTime is
1732         // less than the endTime in the cue.
1733         if (eventTask.second->startTime() >= eventTask.second->endTime()) {
1734             auto enterEvent = Event::create(eventNames().enterEvent, false, false);
1735             enterEvent->setTarget(eventTask.second);
1736             m_asyncEventQueue.enqueueEvent(WTFMove(enterEvent));
1737
1738             auto exitEvent = Event::create(eventNames().exitEvent, false, false);
1739             exitEvent->setTarget(eventTask.second);
1740             m_asyncEventQueue.enqueueEvent(WTFMove(exitEvent));
1741         } else {
1742             RefPtr<Event> event;
1743             if (eventTask.first == eventTask.second->startMediaTime())
1744                 event = Event::create(eventNames().enterEvent, false, false);
1745             else
1746                 event = Event::create(eventNames().exitEvent, false, false);
1747             event->setTarget(eventTask.second);
1748             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1749         }
1750     }
1751
1752     // 14 - Sort affected tracks in the same order as the text tracks appear in
1753     // the media element's list of text tracks, and remove duplicates.
1754     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1755
1756     // 15 - For each text track in affected tracks, in the list order, queue a
1757     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1758     for (auto& affectedTrack : affectedTracks) {
1759         auto event = Event::create(eventNames().cuechangeEvent, false, false);
1760         event->setTarget(affectedTrack);
1761         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1762
1763         // ... if the text track has a corresponding track element, to then fire a
1764         // simple event named cuechange at the track element as well.
1765         if (is<LoadableTextTrack>(*affectedTrack)) {
1766             auto event = Event::create(eventNames().cuechangeEvent, false, false);
1767             auto* trackElement = downcast<LoadableTextTrack>(*affectedTrack).trackElement();
1768             ASSERT(trackElement);
1769             event->setTarget(trackElement);
1770             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1771         }
1772     }
1773
1774     // 16 - Set the text track cue active flag of all the cues in the current
1775     // cues, and unset the text track cue active flag of all the cues in the
1776     // other cues.
1777     for (size_t i = 0; i < currentCuesSize; ++i)
1778         currentCues[i].data()->setIsActive(true);
1779
1780     for (size_t i = 0; i < previousCuesSize; ++i)
1781         if (!currentCues.contains(previousCues[i]))
1782             previousCues[i].data()->setIsActive(false);
1783
1784     // Update the current active cues.
1785     m_currentlyActiveCues = currentCues;
1786
1787     if (activeSetChanged)
1788         updateTextTrackDisplay();
1789 }
1790
1791 bool HTMLMediaElement::textTracksAreReady() const
1792 {
1793     // 4.8.10.12.1 Text track model
1794     // ...
1795     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1796     // in the disabled state when the element's resource selection algorithm last started now
1797     // have a text track readiness state of loaded or failed to load.
1798     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1799         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1800             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1801             return false;
1802     }
1803
1804     return true;
1805 }
1806
1807 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1808 {
1809     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1810         if (track->readinessState() != TextTrack::Loading)
1811             setReadyState(m_player->readyState());
1812     } else {
1813         // The track readiness state might have changed as a result of the user
1814         // clicking the captions button. In this case, a check whether all the
1815         // resources have failed loading should be done in order to hide the CC button.
1816         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1817             mediaControls()->refreshClosedCaptionsButtonVisibility();
1818     }
1819 }
1820
1821 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack& track)
1822 {
1823     if (m_audioTracks && m_audioTracks->contains(track))
1824         m_audioTracks->scheduleChangeEvent();
1825     if (ScriptController::processingUserGestureForMedia())
1826         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1827 }
1828
1829 void HTMLMediaElement::textTrackModeChanged(TextTrack& track)
1830 {
1831     bool trackIsLoaded = true;
1832     if (track.trackType() == TextTrack::TrackElement) {
1833         trackIsLoaded = false;
1834         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1835             if (&trackElement.track() == &track) {
1836                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1837                     trackIsLoaded = true;
1838                 break;
1839             }
1840         }
1841     }
1842
1843     // If this is the first added track, create the list of text tracks.
1844     if (!m_textTracks)
1845         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1846     
1847     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1848     track.setHasBeenConfigured(true);
1849     
1850     if (track.mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1851         textTrackAddCues(track, *track.cues());
1852
1853     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1854
1855     if (m_textTracks && m_textTracks->contains(track))
1856         m_textTracks->scheduleChangeEvent();
1857
1858 #if ENABLE(AVF_CAPTIONS)
1859     if (track.trackType() == TextTrack::TrackElement && m_player)
1860         m_player->notifyTrackModeChanged();
1861 #endif
1862 }
1863
1864 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack& track)
1865 {
1866     if (m_videoTracks && m_videoTracks->contains(track))
1867         m_videoTracks->scheduleChangeEvent();
1868 }
1869
1870 void HTMLMediaElement::textTrackKindChanged(TextTrack& track)
1871 {
1872     if (track.kind() != TextTrack::Kind::Captions && track.kind() != TextTrack::Kind::Subtitles && track.mode() == TextTrack::Mode::Showing)
1873         track.setMode(TextTrack::Mode::Hidden);
1874 }
1875
1876 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1877 {
1878     ++m_ignoreTrackDisplayUpdate;
1879 }
1880
1881 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1882 {
1883     ASSERT(m_ignoreTrackDisplayUpdate);
1884     --m_ignoreTrackDisplayUpdate;
1885     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1886         updateActiveTextTrackCues(currentMediaTime());
1887 }
1888
1889 void HTMLMediaElement::textTrackAddCues(TextTrack& track, const TextTrackCueList& cues)
1890 {
1891     if (track.mode() == TextTrack::Mode::Disabled)
1892         return;
1893
1894     TrackDisplayUpdateScope scope { *this };
1895     for (unsigned i = 0; i < cues.length(); ++i)
1896         textTrackAddCue(track, *cues.item(i));
1897 }
1898
1899 void HTMLMediaElement::textTrackRemoveCues(TextTrack&, const TextTrackCueList& cues)
1900 {
1901     TrackDisplayUpdateScope scope { *this };
1902     for (unsigned i = 0; i < cues.length(); ++i) {
1903         auto& cue = *cues.item(i);
1904         textTrackRemoveCue(*cue.track(), cue);
1905     }
1906 }
1907
1908 void HTMLMediaElement::textTrackAddCue(TextTrack& track, TextTrackCue& cue)
1909 {
1910     if (track.mode() == TextTrack::Mode::Disabled)
1911         return;
1912
1913     // Negative duration cues need be treated in the interval tree as
1914     // zero-length cues.
1915     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1916
1917     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1918     if (!m_cueTree.contains(interval))
1919         m_cueTree.add(interval);
1920     updateActiveTextTrackCues(currentMediaTime());
1921 }
1922
1923 void HTMLMediaElement::textTrackRemoveCue(TextTrack&, TextTrackCue& cue)
1924 {
1925     // Negative duration cues need to be treated in the interval tree as
1926     // zero-length cues.
1927     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1928
1929     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1930     m_cueTree.remove(interval);
1931
1932     // Since the cue will be removed from the media element and likely the
1933     // TextTrack might also be destructed, notifying the region of the cue
1934     // removal shouldn't be done.
1935     if (cue.isRenderable())
1936         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1937
1938     size_t index = m_currentlyActiveCues.find(interval);
1939     if (index != notFound) {
1940         cue.setIsActive(false);
1941         m_currentlyActiveCues.remove(index);
1942     }
1943
1944     if (cue.isRenderable())
1945         toVTTCue(&cue)->removeDisplayTree();
1946     updateActiveTextTrackCues(currentMediaTime());
1947
1948     if (cue.isRenderable())
1949         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1950 }
1951
1952 #endif
1953
1954 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1955 {
1956     // Elements in user agent show tree should load whatever the embedding document policy is.
1957     if (isInUserAgentShadowTree)
1958         return true;
1959
1960     ASSERT(element.document().contentSecurityPolicy());
1961     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1962 }
1963
1964 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1965 {
1966     if (!url.isValid()) {
1967         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1968         return false;
1969     }
1970
1971     Frame* frame = document().frame();
1972     if (!frame || !document().securityOrigin().canDisplay(url)) {
1973         if (actionIfInvalid == Complain)
1974             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1975         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1976         return false;
1977     }
1978
1979     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
1980         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1981         return false;
1982     }
1983
1984     return true;
1985 }
1986
1987 void HTMLMediaElement::startProgressEventTimer()
1988 {
1989     if (m_progressEventTimer.isActive())
1990         return;
1991
1992     m_previousProgressTime = monotonicallyIncreasingTime();
1993     // 350ms is not magic, it is in the spec!
1994     m_progressEventTimer.startRepeating(0.350);
1995 }
1996
1997 void HTMLMediaElement::waitForSourceChange()
1998 {
1999     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
2000
2001     stopPeriodicTimers();
2002     m_loadState = WaitingForSource;
2003
2004     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
2005     m_networkState = NETWORK_NO_SOURCE;
2006
2007     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2008     setShouldDelayLoadEvent(false);
2009
2010     updateDisplayState();
2011     updateRenderer();
2012 }
2013
2014 void HTMLMediaElement::noneSupported()
2015 {
2016     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
2017
2018     stopPeriodicTimers();
2019     m_loadState = WaitingForSource;
2020     m_currentSourceNode = nullptr;
2021
2022     // 4.8.10.5 
2023     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
2024     // URL could not be resolved. In one atomic operation, run the following steps:
2025
2026     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
2027     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2028     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2029
2030     // 6.2 - Forget the media element's media-resource-specific text tracks.
2031     forgetResourceSpecificTracks();
2032
2033     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2034     m_networkState = NETWORK_NO_SOURCE;
2035
2036     // 7 - Queue a task to fire a simple event named error at the media element.
2037     scheduleEvent(eventNames().errorEvent);
2038
2039     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2040
2041 #if ENABLE(MEDIA_SOURCE)
2042     detachMediaSource();
2043 #endif
2044
2045     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2046     setShouldDelayLoadEvent(false);
2047
2048     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2049     // the element won't attempt to load another resource.
2050
2051     updateDisplayState();
2052     updateRenderer();
2053 }
2054
2055 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2056 {
2057     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2058
2059     // 1 - The user agent should cancel the fetching process.
2060     stopPeriodicTimers();
2061     m_loadState = WaitingForSource;
2062
2063     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2064     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2065     if (error == MediaPlayer::NetworkError)
2066         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2067     else if (error == MediaPlayer::DecodeError)
2068         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2069     else
2070         ASSERT_NOT_REACHED();
2071
2072     // 3 - Queue a task to fire a simple event named error at the media element.
2073     scheduleEvent(eventNames().errorEvent);
2074
2075 #if ENABLE(MEDIA_SOURCE)
2076     detachMediaSource();
2077 #endif
2078
2079     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2080     // task to fire a simple event called emptied at the element.
2081     m_networkState = NETWORK_EMPTY;
2082     scheduleEvent(eventNames().emptiedEvent);
2083
2084     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2085     setShouldDelayLoadEvent(false);
2086
2087     // 6 - Abort the overall resource selection algorithm.
2088     m_currentSourceNode = nullptr;
2089
2090 #if PLATFORM(COCOA)
2091     if (is<MediaDocument>(document()))
2092         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2093 #endif
2094 }
2095
2096 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2097 {
2098     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2099     m_asyncEventQueue.cancelAllEvents();
2100
2101     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2102         source.cancelPendingErrorEvent();
2103
2104     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2105 }
2106
2107 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2108 {
2109     beginProcessingMediaPlayerCallback();
2110     setNetworkState(m_player->networkState());
2111     endProcessingMediaPlayerCallback();
2112 }
2113
2114 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2115 {
2116     if (!page)
2117         return;
2118
2119     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2120     if (!succeeded) {
2121         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2122         return;
2123     }
2124
2125     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2126
2127     if (!page->hasSeenAnyMediaEngine())
2128         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2129
2130     if (!page->hasSeenMediaEngine(mediaEngine))
2131         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2132
2133     page->sawMediaEngine(mediaEngine);
2134 }
2135
2136 static String stringForNetworkState(MediaPlayer::NetworkState state)
2137 {
2138     switch (state) {
2139     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2140     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2141     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2142     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2143     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2144     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2145     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2146     default: return emptyString();
2147     }
2148 }
2149
2150 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2151 {
2152     stopPeriodicTimers();
2153     
2154     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2155     // <source> children, schedule the next one
2156     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2157         
2158         // resource selection algorithm
2159         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2160         if (m_currentSourceNode)
2161             m_currentSourceNode->scheduleErrorEvent();
2162         else
2163             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2164         
2165         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2166         
2167         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2168         forgetResourceSpecificTracks();
2169
2170         if (havePotentialSourceChild()) {
2171             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2172             scheduleNextSourceChild();
2173         } else {
2174             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2175             waitForSourceChange();
2176         }
2177         
2178         return;
2179     }
2180     
2181     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2182         mediaLoadingFailedFatally(error);
2183     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2184         noneSupported();
2185     
2186     updateDisplayState();
2187     if (hasMediaControls()) {
2188         mediaControls()->reset();
2189         mediaControls()->reportedError();
2190     }
2191
2192     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2193
2194     m_mediaSession->clientCharacteristicsChanged();
2195 }
2196
2197 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2198 {
2199     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2200
2201     if (state == MediaPlayer::Empty) {
2202         // Just update the cached state and leave, we can't do anything.
2203         m_networkState = NETWORK_EMPTY;
2204         return;
2205     }
2206
2207     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2208         mediaLoadingFailed(state);
2209         return;
2210     }
2211
2212     if (state == MediaPlayer::Idle) {
2213         if (m_networkState > NETWORK_IDLE) {
2214             changeNetworkStateFromLoadingToIdle();
2215             setShouldDelayLoadEvent(false);
2216         } else {
2217             m_networkState = NETWORK_IDLE;
2218         }
2219     }
2220
2221     if (state == MediaPlayer::Loading) {
2222         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2223             startProgressEventTimer();
2224         m_networkState = NETWORK_LOADING;
2225     }
2226
2227     if (state == MediaPlayer::Loaded) {
2228         if (m_networkState != NETWORK_IDLE)
2229             changeNetworkStateFromLoadingToIdle();
2230         m_completelyLoaded = true;
2231     }
2232
2233     if (hasMediaControls())
2234         mediaControls()->updateStatusDisplay();
2235 }
2236
2237 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2238 {
2239     m_progressEventTimer.stop();
2240     if (hasMediaControls() && m_player->didLoadingProgress())
2241         mediaControls()->bufferingProgressed();
2242
2243     // Schedule one last progress event so we guarantee that at least one is fired
2244     // for files that load very quickly.
2245     scheduleEvent(eventNames().progressEvent);
2246     scheduleEvent(eventNames().suspendEvent);
2247     m_networkState = NETWORK_IDLE;
2248 }
2249
2250 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2251 {
2252     beginProcessingMediaPlayerCallback();
2253
2254     setReadyState(m_player->readyState());
2255
2256     endProcessingMediaPlayerCallback();
2257 }
2258
2259 SuccessOr<MediaPlaybackDenialReason> HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2260 {
2261     if (isAutoplaying()
2262      && mediaSession().autoplayPermitted()
2263      && paused()
2264      && autoplay()
2265      && !pausedForUserInteraction()
2266      && !document().isSandboxed(SandboxAutomaticFeatures))
2267         return mediaSession().playbackPermitted(*this);
2268
2269     return MediaPlaybackDenialReason::PageConsentRequired;
2270 }
2271
2272 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2273 {
2274     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2275
2276     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2277     bool wasPotentiallyPlaying = potentiallyPlaying();
2278
2279     ReadyState oldState = m_readyState;
2280     ReadyState newState = static_cast<ReadyState>(state);
2281
2282 #if ENABLE(VIDEO_TRACK)
2283     bool tracksAreReady = textTracksAreReady();
2284
2285     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2286         return;
2287
2288     m_tracksAreReady = tracksAreReady;
2289 #else
2290     if (newState == oldState)
2291         return;
2292     bool tracksAreReady = true;
2293 #endif
2294     
2295     if (tracksAreReady)
2296         m_readyState = newState;
2297     else {
2298         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2299         // the text tracks are ready, regardless of the state of the media file.
2300         if (newState <= HAVE_METADATA)
2301             m_readyState = newState;
2302         else
2303             m_readyState = HAVE_CURRENT_DATA;
2304     }
2305     
2306     if (oldState > m_readyStateMaximum)
2307         m_readyStateMaximum = oldState;
2308
2309     if (m_networkState == NETWORK_EMPTY)
2310         return;
2311
2312     if (m_seeking) {
2313         // 4.8.10.9, step 11
2314         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2315             scheduleEvent(eventNames().waitingEvent);
2316
2317         // 4.8.10.10 step 14 & 15.
2318         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2319             finishSeek();
2320     } else {
2321         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2322             // 4.8.10.8
2323             invalidateCachedTime();
2324             scheduleTimeupdateEvent(false);
2325             scheduleEvent(eventNames().waitingEvent);
2326         }
2327     }
2328
2329     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2330         prepareMediaFragmentURI();
2331         scheduleEvent(eventNames().durationchangeEvent);
2332         scheduleResizeEvent();
2333         scheduleEvent(eventNames().loadedmetadataEvent);
2334 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2335         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2336             enqueuePlaybackTargetAvailabilityChangedEvent();
2337 #endif
2338         m_initiallyMuted = m_volume < 0.05 || muted();
2339
2340         if (hasMediaControls())
2341             mediaControls()->loadedMetadata();
2342         updateRenderer();
2343
2344         if (is<MediaDocument>(document()))
2345             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2346
2347         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2348
2349 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2350         updateMediaState(UpdateState::Asynchronously);
2351 #endif
2352
2353         m_mediaSession->clientCharacteristicsChanged();
2354     }
2355
2356     bool shouldUpdateDisplayState = false;
2357
2358     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2359         m_haveFiredLoadedData = true;
2360         shouldUpdateDisplayState = true;
2361         scheduleEvent(eventNames().loadeddataEvent);
2362         setShouldDelayLoadEvent(false);
2363         applyMediaFragmentURI();
2364     }
2365
2366     bool isPotentiallyPlaying = potentiallyPlaying();
2367     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2368         scheduleEvent(eventNames().canplayEvent);
2369         if (isPotentiallyPlaying)
2370             scheduleNotifyAboutPlaying();
2371         shouldUpdateDisplayState = true;
2372     }
2373
2374     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2375         if (oldState <= HAVE_CURRENT_DATA)
2376             scheduleEvent(eventNames().canplayEvent);
2377
2378         scheduleEvent(eventNames().canplaythroughEvent);
2379
2380         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2381             scheduleNotifyAboutPlaying();
2382
2383         auto success = canTransitionFromAutoplayToPlay();
2384         if (success) {
2385             m_paused = false;
2386             invalidateCachedTime();
2387             m_playbackStartedTime = currentMediaTime().toDouble();
2388             scheduleEvent(eventNames().playEvent);
2389             scheduleNotifyAboutPlaying();
2390         } else if (success.value() == MediaPlaybackDenialReason::UserGestureRequired)
2391             m_preventedFromPlayingWithoutUserGesture = true;
2392
2393         shouldUpdateDisplayState = true;
2394     }
2395
2396     if (shouldUpdateDisplayState) {
2397         updateDisplayState();
2398         if (hasMediaControls()) {
2399             mediaControls()->refreshClosedCaptionsButtonVisibility();
2400             mediaControls()->updateStatusDisplay();
2401         }
2402     }
2403
2404     updatePlayState();
2405     updateMediaController();
2406 #if ENABLE(VIDEO_TRACK)
2407     updateActiveTextTrackCues(currentMediaTime());
2408 #endif
2409 }
2410
2411 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2412 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2413 {
2414     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2415 }
2416
2417 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2418 {
2419     if (!hasEventListeners("webkitneedkey")) {
2420         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2421         scheduleEvent(eventNames().errorEvent);
2422         return false;
2423     }
2424
2425     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2426     event->setTarget(this);
2427     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2428
2429     return true;
2430 }
2431
2432 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2433 {
2434     Settings* settings = document().settings();
2435     if (!settings)
2436         return emptyString();
2437
2438     String storageDirectory = settings->mediaKeysStorageDirectory();
2439     if (storageDirectory.isEmpty())
2440         return emptyString();
2441
2442     return pathByAppendingComponent(storageDirectory, SecurityOriginData::fromSecurityOrigin(document().securityOrigin()).databaseIdentifier());
2443 }
2444
2445 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2446 {
2447     if (m_mediaKeys == mediaKeys)
2448         return;
2449
2450     if (m_mediaKeys)
2451         m_mediaKeys->setMediaElement(nullptr);
2452     m_mediaKeys = mediaKeys;
2453     if (m_mediaKeys)
2454         m_mediaKeys->setMediaElement(this);
2455 }
2456
2457 void HTMLMediaElement::keyAdded()
2458 {
2459     if (m_player)
2460         m_player->keyAdded();
2461 }
2462
2463 #endif
2464
2465 #if ENABLE(ENCRYPTED_MEDIA)
2466
2467 MediaKeys* HTMLMediaElement::mediaKeys() const
2468 {
2469     return nullptr;
2470 }
2471
2472 void HTMLMediaElement::setMediaKeys(MediaKeys*, Ref<DeferredPromise>&&)
2473 {
2474     notImplemented();
2475 }
2476
2477 #endif // ENABLE(ENCRYPTED_MEDIA)
2478
2479 void HTMLMediaElement::progressEventTimerFired()
2480 {
2481     ASSERT(m_player);
2482     if (m_networkState != NETWORK_LOADING)
2483         return;
2484
2485     double time = monotonicallyIncreasingTime();
2486     double timedelta = time - m_previousProgressTime;
2487
2488     if (m_player->didLoadingProgress()) {
2489         scheduleEvent(eventNames().progressEvent);
2490         m_previousProgressTime = time;
2491         m_sentStalledEvent = false;
2492         updateRenderer();
2493         if (hasMediaControls())
2494             mediaControls()->bufferingProgressed();
2495     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2496         scheduleEvent(eventNames().stalledEvent);
2497         m_sentStalledEvent = true;
2498         setShouldDelayLoadEvent(false);
2499     }
2500 }
2501
2502 void HTMLMediaElement::rewind(double timeDelta)
2503 {
2504     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2505     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2506 }
2507
2508 void HTMLMediaElement::returnToRealtime()
2509 {
2510     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2511     setCurrentTime(maxTimeSeekable());
2512 }
2513
2514 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2515 {
2516     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2517     if (!m_playedTimeRanges)
2518         m_playedTimeRanges = TimeRanges::create();
2519     m_playedTimeRanges->ranges().add(start, end);
2520 }  
2521
2522 bool HTMLMediaElement::supportsScanning() const
2523 {
2524     return m_player ? m_player->supportsScanning() : false;
2525 }
2526
2527 void HTMLMediaElement::prepareToPlay()
2528 {
2529     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2530     if (m_havePreparedToPlay)
2531         return;
2532     m_havePreparedToPlay = true;
2533     m_player->prepareToPlay();
2534 }
2535
2536 void HTMLMediaElement::fastSeek(double time)
2537 {
2538     fastSeek(MediaTime::createWithDouble(time));
2539 }
2540
2541 void HTMLMediaElement::fastSeek(const MediaTime& time)
2542 {
2543     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2544     // 4.7.10.9 Seeking
2545     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2546     // allow for playback to resume promptly. If new playback position before this step is before current
2547     // playback position, then the adjusted new playback position must also be before the current playback
2548     // position. Similarly, if the new playback position before this step is after current playback position,
2549     // then the adjusted new playback position must also be after the current playback position.
2550     refreshCachedTime();
2551     MediaTime delta = time - currentMediaTime();
2552     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2553     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2554
2555     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2556 }
2557
2558 void HTMLMediaElement::seek(const MediaTime& time)
2559 {
2560     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2561     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2562 }
2563
2564 void HTMLMediaElement::seekInternal(const MediaTime& time)
2565 {
2566     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2567     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2568 }
2569
2570 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2571 {
2572     // 4.8.10.9 Seeking
2573     MediaTime time = inTime;
2574
2575     // 1 - Set the media element's show poster flag to false.
2576     setDisplayMode(Video);
2577
2578     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2579     if (m_readyState == HAVE_NOTHING || !m_player)
2580         return;
2581
2582     // If the media engine has been told to postpone loading data, let it go ahead now.
2583     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2584         prepareToPlay();
2585
2586     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2587     refreshCachedTime();
2588     MediaTime now = currentMediaTime();
2589
2590     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2591     // already running. Abort that other instance of the algorithm without waiting for the step that
2592     // it is running to complete.
2593     if (m_seekTaskQueue.hasPendingTasks()) {
2594         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2595         m_seekTaskQueue.cancelAllTasks();
2596         if (m_pendingSeek) {
2597             now = m_pendingSeek->now;
2598             m_pendingSeek = nullptr;
2599         }
2600         m_pendingSeekType = NoSeek;
2601     }
2602
2603     // 4 - Set the seeking IDL attribute to true.
2604     // The flag will be cleared when the engine tells us the time has actually changed.
2605     m_seeking = true;
2606     if (m_playing) {
2607         if (m_lastSeekTime < now)
2608             addPlayedRange(m_lastSeekTime, now);
2609     }
2610     m_lastSeekTime = time;
2611
2612     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2613     // the script. The remainder of these steps must be run asynchronously.
2614     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2615     if (fromDOM) {
2616         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2617         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2618     } else
2619         seekTask();
2620
2621     if (ScriptController::processingUserGestureForMedia())
2622         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2623 }
2624
2625 void HTMLMediaElement::seekTask()
2626 {
2627     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2628
2629     if (!m_player) {
2630         clearSeeking();
2631         return;
2632     }
2633
2634     ASSERT(m_pendingSeek);
2635     MediaTime now = m_pendingSeek->now;
2636     MediaTime time = m_pendingSeek->targetTime;
2637     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2638     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2639     m_pendingSeek = nullptr;
2640
2641     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2642     // of the media resource instead.
2643     time = std::min(time, durationMediaTime());
2644
2645     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2646     MediaTime earliestTime = m_player->startTime();
2647     time = std::max(time, earliestTime);
2648
2649     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2650     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2651     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2652     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2653     // fire a 'seeked' event.
2654 #if !LOG_DISABLED
2655     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2656     if (time != mediaTime)
2657         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2658 #endif
2659     time = m_player->mediaTimeForTimeValue(time);
2660
2661     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2662     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2663     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2664     // attribute then set the seeking IDL attribute to false and abort these steps.
2665     RefPtr<TimeRanges> seekableRanges = seekable();
2666     bool noSeekRequired = !seekableRanges->length();
2667
2668     // Short circuit seeking to the current time by just firing the events if no seek is required.
2669     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2670     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2671     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2672     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2673         noSeekRequired = true;
2674
2675 #if ENABLE(MEDIA_SOURCE)
2676     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2677     // always in a flushed state when the 'seeking' event fires.
2678     if (m_mediaSource && !m_mediaSource->isClosed())
2679         noSeekRequired = false;
2680 #endif
2681
2682     if (noSeekRequired) {
2683         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2684         if (time == now) {
2685             scheduleEvent(eventNames().seekingEvent);
2686             scheduleTimeupdateEvent(false);
2687             scheduleEvent(eventNames().seekedEvent);
2688         }
2689         clearSeeking();
2690         return;
2691     }
2692     time = seekableRanges->ranges().nearest(time);
2693
2694     m_sentEndEvent = false;
2695     m_lastSeekTime = time;
2696     m_pendingSeekType = thisSeekType;
2697     m_seeking = true;
2698
2699     // 10 - Queue a task to fire a simple event named seeking at the element.
2700     scheduleEvent(eventNames().seekingEvent);
2701
2702     // 11 - Set the current playback position to the given new playback position
2703     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2704
2705     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2706     // position is available, and, if it is, until it has decoded enough data to play back that position.
2707     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2708 }
2709
2710 void HTMLMediaElement::clearSeeking()
2711 {
2712     m_seeking = false;
2713     m_pendingSeekType = NoSeek;
2714     invalidateCachedTime();
2715 }
2716
2717 void HTMLMediaElement::finishSeek()
2718 {
2719     // 4.8.10.9 Seeking
2720     // 14 - Set the seeking IDL attribute to false.
2721     clearSeeking();
2722
2723     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2724
2725     // 15 - Run the time maches on steps.
2726     // Handled by mediaPlayerTimeChanged().
2727
2728     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2729     scheduleEvent(eventNames().timeupdateEvent);
2730
2731     // 17 - Queue a task to fire a simple event named seeked at the element.
2732     scheduleEvent(eventNames().seekedEvent);
2733
2734 #if ENABLE(MEDIA_SOURCE)
2735     if (m_mediaSource)
2736         m_mediaSource->monitorSourceBuffers();
2737 #endif
2738 }
2739
2740 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2741 {
2742     return m_readyState;
2743 }
2744
2745 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2746 {
2747     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2748 }
2749
2750 bool HTMLMediaElement::hasAudio() const
2751 {
2752     return m_player ? m_player->hasAudio() : false;
2753 }
2754
2755 bool HTMLMediaElement::seeking() const
2756 {
2757     return m_seeking;
2758 }
2759
2760 void HTMLMediaElement::refreshCachedTime() const
2761 {
2762     if (!m_player)
2763         return;
2764
2765     m_cachedTime = m_player->currentTime();
2766     if (!m_cachedTime) {
2767         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2768         // estimate current time until playback actually begins. 
2769         invalidateCachedTime(); 
2770         return; 
2771     } 
2772
2773     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2774 }
2775
2776 void HTMLMediaElement::invalidateCachedTime() const
2777 {
2778     m_cachedTime = MediaTime::invalidTime();
2779     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2780         return;
2781
2782 #if !LOG_DISABLED
2783     if (m_cachedTime.isValid())
2784         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2785 #endif
2786
2787     // Don't try to cache movie time when playback first starts as the time reported by the engine
2788     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2789     // too early.
2790     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2791
2792     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2793 }
2794
2795 // playback state
2796 double HTMLMediaElement::currentTime() const
2797 {
2798     return currentMediaTime().toDouble();
2799 }
2800
2801 MediaTime HTMLMediaElement::currentMediaTime() const
2802 {
2803 #if LOG_CACHED_TIME_WARNINGS
2804     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2805 #endif
2806
2807     if (!m_player)
2808         return MediaTime::zeroTime();
2809
2810     if (m_seeking) {
2811         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2812         return m_lastSeekTime;
2813     }
2814
2815     if (m_cachedTime.isValid() && m_paused) {
2816 #if LOG_CACHED_TIME_WARNINGS
2817         MediaTime delta = m_cachedTime - m_player->currentTime();
2818         if (delta > minCachedDeltaForWarning)
2819             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2820 #endif
2821         return m_cachedTime;
2822     }
2823
2824     // Is it too soon use a cached time?
2825     double now = monotonicallyIncreasingTime();
2826     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2827
2828     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2829         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2830
2831         // Not too soon, use the cached time only if it hasn't expired.
2832         if (clockDelta < maximumDurationToCacheMediaTime) {
2833             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2834
2835 #if LOG_CACHED_TIME_WARNINGS
2836             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2837             if (delta > minCachedDeltaForWarning)
2838                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2839 #endif
2840             return adjustedCacheTime;
2841         }
2842     }
2843
2844 #if LOG_CACHED_TIME_WARNINGS
2845     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2846         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2847         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2848         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2849     }
2850 #endif
2851
2852     refreshCachedTime();
2853
2854     if (m_cachedTime.isInvalid())
2855         return MediaTime::zeroTime();
2856     
2857     return m_cachedTime;
2858 }
2859
2860 void HTMLMediaElement::setCurrentTime(double time)
2861 {
2862     setCurrentTime(MediaTime::createWithDouble(time));
2863 }
2864
2865 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2866 {
2867     if (m_mediaController)
2868         return;
2869
2870     seekInternal(time);
2871 }
2872
2873 ExceptionOr<void> HTMLMediaElement::setCurrentTimeForBindings(double time)
2874 {
2875     if (m_mediaController)
2876         return Exception { INVALID_STATE_ERR };
2877     seek(MediaTime::createWithDouble(time));
2878     return { };
2879 }
2880
2881 double HTMLMediaElement::duration() const
2882 {
2883     return durationMediaTime().toDouble();
2884 }
2885
2886 MediaTime HTMLMediaElement::durationMediaTime() const
2887 {
2888     if (m_player && m_readyState >= HAVE_METADATA)
2889         return m_player->duration();
2890
2891     return MediaTime::invalidTime();
2892 }
2893
2894 bool HTMLMediaElement::paused() const
2895 {
2896     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2897     // we had problems where this was called on an object after a bad cast. The assertion below
2898     // made our regression test detect the problem, so we should keep it because of that. But note
2899     // that the value of the assertion relies on the compiler not being smart enough to know that
2900     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2901     ASSERT(!isHTMLUnknownElement());
2902
2903     return m_paused;
2904 }
2905
2906 double HTMLMediaElement::defaultPlaybackRate() const
2907 {
2908 #if ENABLE(MEDIA_STREAM)
2909     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2910     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2911     // A MediaStream is not seekable. Therefore, this attribute must always have the
2912     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2913     // that the ratechange event will not fire.
2914     if (m_mediaStreamSrcObject)
2915         return 1;
2916 #endif
2917
2918     return m_defaultPlaybackRate;
2919 }
2920
2921 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2922 {
2923 #if ENABLE(MEDIA_STREAM)
2924     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2925     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2926     // A MediaStream is not seekable. Therefore, this attribute must always have the
2927     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2928     // that the ratechange event will not fire.
2929     if (m_mediaStreamSrcObject)
2930         return;
2931 #endif
2932
2933     if (m_defaultPlaybackRate != rate) {
2934         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2935         m_defaultPlaybackRate = rate;
2936         scheduleEvent(eventNames().ratechangeEvent);
2937     }
2938 }
2939
2940 double HTMLMediaElement::effectivePlaybackRate() const
2941 {
2942     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2943 }
2944
2945 double HTMLMediaElement::requestedPlaybackRate() const
2946 {
2947     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2948 }
2949
2950 double HTMLMediaElement::playbackRate() const
2951 {
2952 #if ENABLE(MEDIA_STREAM)
2953     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2954     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2955     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2956     // means that the ratechange event will not fire.
2957     if (m_mediaStreamSrcObject)
2958         return 1;
2959 #endif
2960
2961     return m_requestedPlaybackRate;
2962 }
2963
2964 void HTMLMediaElement::setPlaybackRate(double rate)
2965 {
2966     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2967
2968 #if ENABLE(MEDIA_STREAM)
2969     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2970     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2971     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2972     // means that the ratechange event will not fire.
2973     if (m_mediaStreamSrcObject)
2974         return;
2975 #endif
2976
2977     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2978         m_player->setRate(rate);
2979
2980     if (m_requestedPlaybackRate != rate) {
2981         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2982         invalidateCachedTime();
2983         scheduleEvent(eventNames().ratechangeEvent);
2984     }
2985 }
2986
2987 void HTMLMediaElement::updatePlaybackRate()
2988 {
2989     double requestedRate = requestedPlaybackRate();
2990     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2991         m_player->setRate(requestedRate);
2992 }
2993
2994 bool HTMLMediaElement::webkitPreservesPitch() const
2995 {
2996     return m_webkitPreservesPitch;
2997 }
2998
2999 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
3000 {
3001     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
3002
3003     m_webkitPreservesPitch = preservesPitch;
3004     
3005     if (!m_player)
3006         return;
3007
3008     m_player->setPreservesPitch(preservesPitch);
3009 }
3010
3011 bool HTMLMediaElement::ended() const
3012 {
3013 #if ENABLE(MEDIA_STREAM)
3014     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3015     // When the MediaStream state moves from the active to the inactive state, the User Agent
3016     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
3017     if (m_mediaStreamSrcObject && m_player && m_player->ended())
3018         return true;
3019 #endif
3020
3021     // 4.8.10.8 Playing the media resource
3022     // The ended attribute must return true if the media element has ended 
3023     // playback and the direction of playback is forwards, and false otherwise.
3024     return endedPlayback() && requestedPlaybackRate() > 0;
3025 }
3026
3027 bool HTMLMediaElement::autoplay() const
3028 {
3029     return hasAttributeWithoutSynchronization(autoplayAttr);
3030 }
3031
3032 String HTMLMediaElement::preload() const
3033 {
3034 #if ENABLE(MEDIA_STREAM)
3035     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3036     // "preload" - On getting: none. On setting: ignored.
3037     if (m_mediaStreamSrcObject)
3038         return ASCIILiteral("none");
3039 #endif
3040
3041     switch (m_preload) {
3042     case MediaPlayer::None:
3043         return ASCIILiteral("none");
3044     case MediaPlayer::MetaData:
3045         return ASCIILiteral("metadata");
3046     case MediaPlayer::Auto:
3047         return ASCIILiteral("auto");
3048     }
3049
3050     ASSERT_NOT_REACHED();
3051     return String();
3052 }
3053
3054 void HTMLMediaElement::setPreload(const String& preload)
3055 {
3056     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3057 #if ENABLE(MEDIA_STREAM)
3058     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3059     // "preload" - On getting: none. On setting: ignored.
3060     if (m_mediaStreamSrcObject)
3061         return;
3062 #endif
3063
3064     setAttributeWithoutSynchronization(preloadAttr, preload);
3065 }
3066
3067 void HTMLMediaElement::play(DOMPromise<void>&& promise)
3068 {
3069     LOG(Media, "HTMLMediaElement::play(%p)", this);
3070
3071     auto success = m_mediaSession->playbackPermitted(*this);
3072     if (!success) {
3073         if (success.value() == MediaPlaybackDenialReason::UserGestureRequired)
3074             m_preventedFromPlayingWithoutUserGesture = true;
3075         promise.reject(NotAllowedError);
3076         return;
3077     }
3078
3079     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3080         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3081         return;
3082     }
3083
3084     if (ScriptController::processingUserGestureForMedia())
3085         removeBehaviorsRestrictionsAfterFirstUserGesture();
3086
3087     if (!playInternal()) {
3088         promise.reject(NotAllowedError);
3089         return;
3090     }
3091
3092     m_pendingPlayPromises.append(WTFMove(promise));
3093 }
3094
3095 void HTMLMediaElement::play()
3096 {
3097     LOG(Media, "HTMLMediaElement::play(%p)", this);
3098
3099     auto success = m_mediaSession->playbackPermitted(*this);
3100     if (!success) {
3101         if (success.value() == MediaPlaybackDenialReason::UserGestureRequired)
3102             m_preventedFromPlayingWithoutUserGesture = true;
3103         return;
3104     }
3105     if (ScriptController::processingUserGestureForMedia())
3106         removeBehaviorsRestrictionsAfterFirstUserGesture();
3107
3108     playInternal();
3109 }
3110
3111 bool HTMLMediaElement::playInternal()
3112 {
3113     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3114     
3115     if (!m_mediaSession->clientWillBeginPlayback()) {
3116         LOG(Media, "  returning because of interruption");
3117         return true; // Treat as success because we will begin playback on cessation of the interruption.
3118     }
3119
3120     // 4.8.10.9. Playing the media resource
3121     if (!m_player || m_networkState == NETWORK_EMPTY)
3122         scheduleDelayedAction(LoadMediaResource);
3123
3124     if (endedPlayback())
3125         seekInternal(MediaTime::zeroTime());
3126
3127     if (m_mediaController)
3128         m_mediaController->bringElementUpToSpeed(*this);
3129
3130     if (m_paused) {
3131         m_paused = false;
3132         invalidateCachedTime();
3133         m_playbackStartedTime = currentMediaTime().toDouble();
3134         scheduleEvent(eventNames().playEvent);
3135
3136         if (m_readyState <= HAVE_CURRENT_DATA)
3137             scheduleEvent(eventNames().waitingEvent);
3138         else if (m_readyState >= HAVE_FUTURE_DATA)
3139             scheduleNotifyAboutPlaying();
3140
3141 #if ENABLE(MEDIA_SESSION)
3142         // 6.3 Activating a media session from a media element
3143         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3144         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3145         // 1. Let media session be the value of the current media session.
3146         // 2. If we are not currently in media session's list of active participating media elements then append
3147         //    ourselves to this list.
3148         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3149         // 4. If activated is failure, pause ourselves.
3150         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3151             if (m_session) {
3152                 m_session->addActiveMediaElement(*this);
3153
3154                 if (m_session->kind() == MediaSessionKind::Content) {
3155                     if (Page* page = document().page())
3156                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3157                 }
3158
3159                 if (!m_session->invoke()) {
3160                     pause();
3161                     return false;
3162                 }
3163             }
3164         }
3165 #endif
3166     } else if (m_readyState >= HAVE_FUTURE_DATA)
3167         scheduleResolvePendingPlayPromises();
3168
3169     if (ScriptController::processingUserGestureForMedia() && m_preventedFromPlayingWithoutUserGesture) {
3170         // FIXME: notify clients a user gesture was made and started playback of an element that was otherwise prevented from playing.
3171         m_preventedFromPlayingWithoutUserGesture = false;
3172     }
3173
3174     m_autoplaying = false;
3175     updatePlayState();
3176
3177     return true;
3178 }
3179
3180 void HTMLMediaElement::pause()
3181 {
3182     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3183
3184     if (!m_mediaSession->playbackPermitted(*this))
3185         return;
3186
3187     if (ScriptController::processingUserGestureForMedia())
3188         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3189
3190     pauseInternal();
3191 }
3192
3193
3194 void HTMLMediaElement::pauseInternal()
3195 {
3196     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3197
3198     if (!m_mediaSession->clientWillPausePlayback()) {
3199         LOG(Media, "  returning because of interruption");
3200         return;
3201     }
3202
3203     // 4.8.10.9. Playing the media resource
3204     if (!m_player || m_networkState == NETWORK_EMPTY) {
3205         // Unless the restriction on media requiring user action has been lifted
3206         // don't trigger loading if a script calls pause().
3207         if (!m_mediaSession->playbackPermitted(*this))
3208             return;
3209         scheduleDelayedAction(LoadMediaResource);
3210     }
3211
3212     m_autoplaying = false;
3213
3214     if (!m_paused) {
3215         m_paused = true;
3216         scheduleTimeupdateEvent(false);
3217         scheduleEvent(eventNames().pauseEvent);
3218         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3219
3220         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3221             purgeBufferedDataIfPossible();
3222     }
3223
3224     updatePlayState();
3225 }
3226
3227 #if ENABLE(MEDIA_SOURCE)
3228
3229 void HTMLMediaElement::detachMediaSource()
3230 {
3231     if (!m_mediaSource)
3232         return;
3233
3234     m_mediaSource->detachFromElement(*this);
3235     m_mediaSource = nullptr;
3236 }
3237
3238 #endif
3239
3240 bool HTMLMediaElement::loop() const
3241 {
3242     return hasAttributeWithoutSynchronization(loopAttr);
3243 }
3244
3245 void HTMLMediaElement::setLoop(bool b)
3246 {
3247     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3248     setBooleanAttribute(loopAttr, b);
3249 }
3250
3251 bool HTMLMediaElement::controls() const
3252 {
3253     Frame* frame = document().frame();
3254
3255     // always show controls when scripting is disabled
3256     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3257         return true;
3258
3259     return hasAttributeWithoutSynchronization(controlsAttr);
3260 }
3261
3262 void HTMLMediaElement::setControls(bool b)
3263 {
3264     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3265     setBooleanAttribute(controlsAttr, b);
3266 }
3267
3268 double HTMLMediaElement::volume() const
3269 {
3270     return m_volume;
3271 }
3272
3273 ExceptionOr<void> HTMLMediaElement::setVolume(double volume)
3274 {
3275     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, volume);
3276
3277     if (!(volume >= 0 && volume <= 1))
3278         return Exception { INDEX_SIZE_ERR };
3279
3280 #if !PLATFORM(IOS)
3281     if (m_volume == volume)
3282         return { };
3283
3284     m_volume = volume;
3285     m_volumeInitialized = true;
3286     updateVolume();
3287     scheduleEvent(eventNames().volumechangeEvent);
3288 #endif
3289     return { };
3290 }
3291
3292 bool HTMLMediaElement::muted() const
3293 {
3294     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3295 }
3296
3297 void HTMLMediaElement::setMuted(bool muted)
3298 {
3299     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3300
3301     bool mutedStateChanged = m_muted != muted;
3302     if (mutedStateChanged || !m_explicitlyMuted) {
3303         m_muted = muted;
3304         m_explicitlyMuted = true;
3305
3306         if (ScriptController::processingUserGestureForMedia())
3307             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3308
3309         // Avoid recursion when the player reports volume changes.
3310         if (!processingMediaPlayerCallback()) {
3311             if (m_player) {
3312                 m_player->setMuted(effectiveMuted());
3313                 if (hasMediaControls())
3314                     mediaControls()->changedMute();
3315             }
3316         }
3317
3318         if (mutedStateChanged)
3319             scheduleEvent(eventNames().volumechangeEvent);
3320
3321         updateShouldPlay();
3322
3323 #if ENABLE(MEDIA_SESSION)
3324         document().updateIsPlayingMedia(m_elementID);
3325 #else
3326         document().updateIsPlayingMedia();
3327 #endif
3328
3329 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3330         updateMediaState(UpdateState::Asynchronously);
3331 #endif
3332     }
3333
3334     scheduleUpdatePlaybackControlsManager();
3335 }
3336
3337 void HTMLMediaElement::togglePlayState()
3338 {
3339     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3340
3341     // We can safely call the internal play/pause methods, which don't check restrictions, because
3342     // this method is only called from the built-in media controller
3343     if (canPlay()) {
3344         updatePlaybackRate();
3345         playInternal();
3346     } else 
3347         pauseInternal();
3348 }
3349
3350 void HTMLMediaElement::beginScrubbing()
3351 {
3352     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3353
3354     if (!paused()) {
3355         if (ended()) {
3356             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3357             // when the slider is dragged from the end to another position unless we pause first. Do 
3358             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3359             pause();
3360         } else {
3361             // Not at the end but we still want to pause playback so the media engine doesn't try to
3362             // continue playing during scrubbing. Pause without generating an event as we will 
3363             // unpause after scrubbing finishes.
3364             setPausedInternal(true);
3365         }
3366     }
3367
3368     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3369 }
3370
3371 void HTMLMediaElement::endScrubbing()
3372 {
3373     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3374
3375     if (m_pausedInternal)
3376         setPausedInternal(false);
3377 }
3378
3379 void HTMLMediaElement::beginScanning(ScanDirection direction)
3380 {
3381     m_scanType = supportsScanning() ? Scan : Seek;
3382     m_scanDirection = direction;
3383
3384     if (m_scanType == Seek) {
3385         // Scanning by seeking requires the video to be paused during scanning.
3386         m_actionAfterScan = paused() ? Nothing : Play;
3387         pause();
3388     } else {
3389         // Scanning by scanning requires the video to be playing during scanninging.
3390         m_actionAfterScan = paused() ? Pause : Nothing;
3391         play();
3392         setPlaybackRate(nextScanRate());
3393     }
3394
3395     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3396 }
3397
3398 void HTMLMediaElement::endScanning()
3399 {
3400     if (m_scanType == Scan)
3401         setPlaybackRate(defaultPlaybackRate());
3402
3403     if (m_actionAfterScan == Play)
3404         play();
3405     else if (m_actionAfterScan == Pause)
3406         pause();
3407
3408     if (m_scanTimer.isActive())
3409         m_scanTimer.stop();
3410 }
3411
3412 double HTMLMediaElement::nextScanRate()
3413 {
3414     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3415     if (m_scanDirection == Backward)
3416         rate *= -1;
3417 #if PLATFORM(IOS)
3418     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3419 #endif
3420     return rate;
3421 }
3422
3423 void HTMLMediaElement::scanTimerFired()
3424 {
3425     if (m_scanType == Seek) {
3426         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3427         setCurrentTime(currentTime() + seekTime);
3428     } else
3429         setPlaybackRate(nextScanRate());
3430 }
3431
3432 // The spec says to fire periodic timeupdate events (those sent while playing) every
3433 // "15 to 250ms", we choose the slowest frequency
3434 static const double maxTimeupdateEventFrequency = 0.25;
3435
3436 void HTMLMediaElement::startPlaybackProgressTimer()
3437 {
3438     if (m_playbackProgressTimer.isActive())
3439         return;
3440
3441     m_previousProgressTime = monotonicallyIncreasingTime();
3442     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3443 }
3444
3445 void HTMLMediaElement::playbackProgressTimerFired()
3446 {
3447     ASSERT(m_player);
3448
3449     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3450         m_fragmentEndTime = MediaTime::invalidTime();
3451         if (!m_mediaController && !m_paused) {
3452             // changes paused to true and fires a simple event named pause at the media element.
3453             pauseInternal();
3454         }
3455     }
3456     
3457     scheduleTimeupdateEvent(true);
3458
3459     if (!requestedPlaybackRate())
3460         return;
3461
3462     if (!m_paused && hasMediaControls())
3463         mediaControls()->playbackProgressed();
3464
3465 #if ENABLE(VIDEO_TRACK)
3466     updateActiveTextTrackCues(currentMediaTime());
3467 #endif
3468
3469 #if ENABLE(MEDIA_SOURCE)
3470     if (m_mediaSource)
3471         m_mediaSource->monitorSourceBuffers();
3472 #endif
3473 }
3474
3475 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3476 {
3477     double now = monotonicallyIncreasingTime();
3478     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3479
3480     // throttle the periodic events
3481     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3482         return;
3483
3484     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3485     // event at a given time so filter here
3486     MediaTime movieTime = currentMediaTime();
3487     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3488         scheduleEvent(eventNames().timeupdateEvent);
3489         m_clockTimeAtLastUpdateEvent = now;
3490         m_lastTimeUpdateEventMovieTime = movieTime;
3491     }
3492 }
3493
3494 bool HTMLMediaElement::canPlay() const
3495 {
3496     return paused() || ended() || m_readyState < HAVE_METADATA;
3497 }
3498
3499 double HTMLMediaElement::percentLoaded() const
3500 {
3501     if (!m_player)
3502         return 0;
3503     MediaTime duration = m_player->duration();
3504
3505     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3506         return 0;
3507
3508     MediaTime buffered = MediaTime::zeroTime();
3509     bool ignored;
3510     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3511     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3512         MediaTime start = timeRanges->start(i, ignored);
3513         MediaTime end = timeRanges->end(i, ignored);
3514         buffered += end - start;
3515     }
3516     return buffered.toDouble() / duration.toDouble();
3517 }
3518
3519 #if ENABLE(VIDEO_TRACK)
3520
3521 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(AudioTrackPrivate& track)
3522 {
3523     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3524         pauseInternal();
3525
3526     addAudioTrack(AudioTrack::create(*this, track));
3527 }
3528
3529 void HTMLMediaElement::mediaPlayerDidAddTextTrack(InbandTextTrackPrivate& track)
3530 {
3531     // 4.8.10.12.2 Sourcing in-band text tracks
3532     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3533     auto textTrack = InbandTextTrack::create(*ActiveDOMObject::scriptExecutionContext(), *this, track);
3534     textTrack->setMediaElement(this);
3535     
3536     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3537     // as defined by the relevant specification. If there is no label in that data, then the label must
3538     // be set to the empty string.
3539     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3540     // for the format in question.
3541     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3542     // as follows, based on the type of the media resource:
3543     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3544     // cues, and begin updating it dynamically as necessary.
3545     //   - Thess are all done by the media engine.
3546     
3547     // 6. Set the new text track's readiness state to loaded.
3548     textTrack->setReadinessState(TextTrack::Loaded);
3549     
3550     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3551     // the relevant specification for the data.
3552     //  - This will happen in configureTextTracks()
3553     scheduleDelayedAction(ConfigureTextTracks);
3554     
3555     // 8. Add the new text track to the media element's list of text tracks.
3556     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3557     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3558     // textTracks attribute's TextTrackList object.
3559     addTextTrack(WTFMove(textTrack));
3560 }
3561
3562 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(VideoTrackPrivate& track)
3563 {
3564     addVideoTrack(VideoTrack::create(*this, track));
3565 }
3566
3567 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(AudioTrackPrivate& track)
3568 {
3569     track.willBeRemoved();
3570 }
3571
3572 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(InbandTextTrackPrivate& track)
3573 {
3574     track.willBeRemoved();
3575 }
3576
3577 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(VideoTrackPrivate& track)
3578 {
3579     track.willBeRemoved();
3580 }
3581
3582 void HTMLMediaElement::closeCaptionTracksChanged()
3583 {
3584     if (hasMediaControls())
3585         mediaControls()->closedCaptionTracksChanged();
3586 }
3587
3588 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3589 {
3590     audioTracks().append(WTFMove(track));
3591 }
3592
3593 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3594 {
3595     if (!m_requireCaptionPreferencesChangedCallbacks) {
3596         m_requireCaptionPreferencesChangedCallbacks = true;
3597         Document& document = this->document();
3598         document.registerForCaptionPreferencesChangedCallbacks(this);
3599         if (Page* page = document.page())
3600             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3601     }
3602
3603     textTracks().append(WTFMove(track));
3604
3605     closeCaptionTracksChanged();
3606 }
3607
3608 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3609 {
3610     videoTracks().append(WTFMove(track));
3611 }
3612
3613 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3614 {
3615     m_audioTracks->remove(track);
3616     track.clearClient();
3617 }
3618
3619 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3620 {
3621     TrackDisplayUpdateScope scope { *this };
3622     if (auto* cues = track.cues())
3623         textTrackRemoveCues(track, *cues);
3624     track.clearClient();
3625     if (m_textTracks)
3626         m_textTracks->remove(track, scheduleEvent);
3627
3628     closeCaptionTracksChanged();
3629 }
3630
3631 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3632 {
3633     m_videoTracks->remove(track);
3634     track.clearClient();
3635 }
3636
3637 void HTMLMediaElement::forgetResourceSpecificTracks()
3638 {
3639     while (m_audioTracks &&  m_audioTracks->length())
3640         removeAudioTrack(*m_audioTracks->lastItem());
3641
3642     if (m_textTracks) {
3643         TrackDisplayUpdateScope scope { *this };
3644         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3645             auto& track = *m_textTracks->item(i);
3646             if (track.trackType() == TextTrack::InBand)
3647                 removeTextTrack(track, false);
3648         }
3649     }
3650
3651     while (m_videoTracks &&  m_videoTracks->length())
3652         removeVideoTrack(*m_videoTracks->lastItem());
3653 }
3654
3655 ExceptionOr<TextTrack&> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language)
3656 {
3657     // 4.8.10.12.4 Text track API
3658     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3659
3660     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3661     if (!TextTrack::isValidKindKeyword(kind))
3662         return Exception { TypeError };
3663
3664     // 2. If the label argument was omitted, let label be the empty string.
3665     // 3. If the language argument was omitted, let language be the empty string.
3666     // 4. Create a new TextTrack object.
3667
3668     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3669     // track label to label, its text track language to language...
3670     auto track = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3671     auto& trackReference = track.get();
3672
3673     // Note, due to side effects when changing track parameters, we have to
3674     // first append the track to the text track list.
3675
3676     // 6. Add the new text track to the media element's list of text tracks.
3677     addTextTrack(WTFMove(track));
3678
3679     // ... its text track readiness state to the text track loaded state ...
3680     trackReference.setReadinessState(TextTrack::Loaded);
3681
3682     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3683     trackReference.setMode(TextTrack::Mode::Hidden);
3684
3685     return trackReference;
3686 }
3687
3688 AudioTrackList& HTMLMediaElement::audioTracks()
3689 {
3690     if (!m_audioTracks)
3691         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3692
3693     return *m_audioTracks;
3694 }
3695
3696 TextTrackList& HTMLMediaElement::textTracks()
3697 {
3698     if (!m_textTracks)
3699         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3700
3701     return *m_textTracks;
3702 }
3703
3704 VideoTrackList& HTMLMediaElement::videoTracks()
3705 {
3706     if (!m_videoTracks)
3707         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3708
3709     return *m_videoTracks;
3710 }
3711
3712 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement& trackElement)
3713 {
3714     ASSERT(trackElement.hasTagName(trackTag));
3715
3716     // 4.8.10.12.3 Sourcing out-of-band text tracks
3717     // When a track element's parent element changes and the new parent is a media element, 
3718     // then the user agent must add the track element's corresponding text track to the 
3719     // media element's list of text tracks ... [continues in TextTrackList::append]
3720     addTextTrack(trackElement.track());
3721
3722     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3723     // in the markup have been added.
3724     if (!m_parsingInProgress)
3725         scheduleDelayedAction(ConfigureTextTracks);
3726
3727     if (hasMediaControls())
3728         mediaControls()->closedCaptionTracksChanged();
3729 }
3730
3731 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement& trackElement)
3732 {
3733     ASSERT(trackElement.hasTagName(trackTag));
3734
3735 #if !LOG_DISABLED
3736     if (trackElement.hasTagName(trackTag)) {
3737         URL url = trackElement.getNonEmptyURLAttribute(srcAttr);
3738         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3739     }
3740 #endif
3741
3742     auto& textTrack = trackElement.track();
3743
3744     textTrack.setHasBeenConfigured(false);
3745
3746     if (!m_textTracks)
3747         return;
3748     
3749     // 4.8.10.12.3 Sourcing out-of-band text tracks
3750     // When a track element's parent element changes and the old parent was a media element, 
3751     // then the user agent must remove the track element's corresponding text track from the 
3752     // media element's list of text tracks.
3753     removeTextTrack(textTrack);
3754
3755     m_textTracksWhenResourceSelectionBegan.removeFirst(&textTrack);
3756 }
3757
3758 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3759 {
3760     ASSERT(group.tracks.size());
3761
3762     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3763
3764     Page* page = document().page();
3765     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3766     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3767
3768     // First, find the track in the group that should be enabled (if any).
3769     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3770     RefPtr<TextTrack> trackToEnable;
3771     RefPtr<TextTrack> defaultTrack;
3772     RefPtr<TextTrack> fallbackTrack;
3773     RefPtr<TextTrack> forcedSubitleTrack;
3774     int highestTrackScore = 0;
3775     int highestForcedScore = 0;
3776
3777     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3778     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3779     int alreadyVisibleTrackScore = 0;
3780     if (group.visibleTrack && captionPreferences) {
3781         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3782         currentlyEnabledTracks.append(group.visibleTrack);
3783     }
3784
3785     for (size_t i = 0; i < group.tracks.size(); ++i) {
3786         RefPtr<TextTrack> textTrack = group.tracks[i];
3787
3788         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3789             currentlyEnabledTracks.append(textTrack);
3790
3791         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3792         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' and BCP 47 language '%s' has score %d", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), textTrack->validBCP47Language().string().utf8().data(), trackScore);
3793
3794         if (trackScore) {
3795
3796             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3797             // track with this text track kind, text track language, and text track label enabled, and there is no
3798             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3799             // or captions whose text track mode is showing
3800             // ...
3801             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3802             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3803             // text tracks with a text track kind of chapters whose text track mode is showing
3804             //    Let the text track mode be showing.
3805             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3806                 highestTrackScore = trackScore;
3807                 trackToEnable = textTrack;
3808             }
3809
3810             if (!defaultTrack && textTrack->isDefault())
3811                 defaultTrack = textTrack;
3812             if (!defaultTrack && !fallbackTrack)
3813                 fallbackTrack = textTrack;
3814             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3815                 forcedSubitleTrack = textTrack;
3816                 highestForcedScore = trackScore;
3817             }
3818         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3819             // * If the track element has a default attribute specified, and there is no other text track in the media
3820             // element's list of text tracks whose text track mode is showing or showing by default
3821             //    Let the text track mode be showing by default.
3822             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3823                 defaultTrack = textTrack;
3824         }
3825     }
3826
3827     if (displayMode != CaptionUserPreferences::Manual) {
3828         if (!trackToEnable && defaultTrack)
3829             trackToEnable = defaultTrack;
3830
3831         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3832         // in the same language as the language of the primary audio track, enable it.
3833         if (!trackToEnable && forcedSubitleTrack)
3834             trackToEnable = forcedSubitleTrack;
3835
3836         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3837         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3838             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3839                 trackToEnable = group.visibleTrack;
3840         }
3841
3842         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3843         // because the user has explicitly stated a preference for this kind of track.
3844         if (!trackToEnable && fallbackTrack)
3845             trackToEnable = fallbackTrack;
3846
3847         if (trackToEnable)
3848             m_subtitleTrackLanguage = trackToEnable->language();
3849         else
3850             m_subtitleTrackLanguage = emptyString();
3851     }
3852
3853     if (currentlyEnabledTracks.size()) {
3854         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3855             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3856             if (textTrack != trackToEnable)
3857                 textTrack->setMode(TextTrack::Mode::Disabled);
3858         }
3859     }
3860
3861     if (trackToEnable) {
3862         trackToEnable->setMode(TextTrack::Mode::Showing);
3863
3864         // If user preferences indicate we should always display captions, make sure we reflect the
3865         // proper status via the webkitClosedCaptionsVisible API call:
3866         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3867             m_webkitLegacyClosedCaptionOverride = true;
3868     }
3869
3870     m_processingPreferenceChange = false;
3871 }
3872
3873 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3874 {
3875     JSC::VM& vm = globalObject.vm();
3876     auto scope = DECLARE_THROW_SCOPE(vm);
3877     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3878     
3879     // Retrieve the controller through the JS object graph
3880     JSC::JSObject* mediaJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(mediaJSWrapper);
3881     if (!mediaJSWrapperObject)
3882         return JSC::jsNull();
3883     
3884     JSC::Identifier controlsHost = JSC::Identifier::fromString(&vm, "controlsHost");
3885     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3886     RETURN_IF_EXCEPTION(scope, JSC::jsNull());
3887
3888     JSC::JSObject* controlsHostJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(controlsHostJSWrapper);
3889     if (!controlsHostJSWrapperObject)
3890         return JSC::jsNull();
3891
3892     JSC::Identifier controllerID = JSC::Identifier::fromString(&vm, "controller");
3893     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3894     RETURN_IF_EXCEPTION(scope, JSC::jsNull());
3895
3896     return controllerJSWrapper;
3897 }
3898
3899 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3900 {
3901     ASSERT(!m_creatingControls);
3902     m_creatingControls = true;
3903     ensureUserAgentShadowRoot();
3904     m_creatingControls = false;
3905 }
3906
3907 void HTMLMediaElement::updateCaptionContainer()
3908 {
3909     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3910 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3911     if (m_haveSetUpCaptionContainer)
3912         return;
3913
3914     Page* page = document().page();
3915     if (!page)
3916         return;
3917
3918     DOMWrapperWorld& world = ensureIsolatedWorld();
3919
3920     if (!ensureMediaControlsInjectedScript())
3921         return;
3922
3923     ensureMediaControlsShadowRoot();
3924
3925     if (!m_mediaControlsHost)
3926         m_mediaControlsHost = MediaControlsHost::create(this);
3927
3928     ScriptController& scriptController = document().frame()->script();
3929     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3930     JSC::VM& vm = globalObject->vm();
3931     JSC::JSLockHolder lock(vm);
3932     auto scope = DECLARE_CATCH_SCOPE(vm);
3933     JSC::ExecState* exec = globalObject->globalExec();
3934
3935     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3936     JSC::JSObject* controllerObject = jsDynamicDowncast<JSC::JSObject*>(controllerValue);
3937     if (!controllerObject)
3938         return;
3939
3940     // The media controls script must provide a method on the Controller object with the following details.
3941     // Name: updateCaptionContainer
3942     // Parameters:
3943     //     None
3944     // Return value:
3945     //     None
3946     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3947     JSC::JSObject* methodObject = jsDynamicDowncast<JSC::JSObject*>(methodValue);
3948     if (!methodObject)
3949         return;
3950
3951     JSC::CallData callData;
3952     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3953     if (callType == JSC::CallType::None)
3954         return;
3955
3956     JSC::MarkedArgumentBuffer noArguments;
3957     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3958     scope.clearException();
3959
3960     m_haveSetUpCaptionContainer = true;
3961 #endif
3962 }
3963
3964 void HTMLMediaElement::layoutSizeChanged()
3965 {
3966 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3967     auto task = [this, protectedThis = makeRef(*this)] {
3968         if (ShadowRoot* root = userAgentShadowRoot())
3969             root->dispatchEvent(Event::create("resize", false, false));
3970     };
3971     m_resizeTaskQueue.enqueueTask(WTFMove(task));
3972 #endif
3973
3974     if (!m_receivedLayoutSizeChanged) {
3975         m_receivedLayoutSizeChanged = true;
3976         scheduleUpdatePlaybackControlsManager();
3977     }
3978
3979     // If the video is a candidate for main content, we should register it for viewport visibility callbacks
3980     // if it hasn't already been registered.
3981     if (renderer() && m_mediaSession && !m_mediaSession->wantsToObserveViewportVisibilityForAutoplay() && m_mediaSession->wantsToObserveViewportVisibilityForMediaControls())
3982         renderer()->registerForVisibleInViewportCallback();
3983 }
3984
3985 void HTMLMediaElement::visibilityDidChange()
3986 {
3987     updateShouldAutoplay();
3988 }
3989
3990 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
3991 {
3992     TextTrackList& trackList = textTracks();
3993     if (!trackList.length())
3994         return;
3995
3996     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
3997         if (!trackToSelect || !trackList.contains(*trackToSelect))
3998             return;
3999         
4000         for (int i = 0, length = trackList.length(); i < length; ++i) {
4001             auto& track = *trackList.item(i);
4002             if (&track != trackToSelect)
4003                 track.setMode(TextTrack::Mode::Disabled);
4004             else
4005                 track.setMode(TextTrack::Mode::Showing);
4006         }
4007     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
4008         for (int i = 0, length = trackList.length(); i < length; ++i)
4009             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
4010     }
4011
4012     if (!document().page())
4013         return;
4014
4015     auto& captionPreferences = document().page()->group().captionPreferences();
4016     CaptionUserPreferences::CaptionDisplayMode displayMode;
4017     if (trackToSelect == TextTrack::captionMenuOffItem())
4018         displayMode = CaptionUserPreferences::ForcedOnly;
4019     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
4020         displayMode = CaptionUserPreferences::Automatic;
4021     else {
4022         displayMode = CaptionUserPreferences::AlwaysOn;
4023         if (trackToSelect->validBCP47Language().length())
4024             captionPreferences.setPreferredLanguage(trackToSelect->validBCP47Language());
4025     }
4026
4027     captionPreferences.setCaptionDisplayMode(displayMode);
4028 }
4029
4030 void HTMLMediaElement::configureTextTracks()
4031 {
4032     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
4033     TrackGroup descriptionTracks(TrackGroup::Description);
4034     TrackGroup chapterTracks(TrackGroup::Chapter);
4035     TrackGroup metadataTracks(TrackGroup::Metadata);
4036     TrackGroup otherTracks(TrackGroup::Other);
4037
4038     if (!m_textTracks)
4039         return;
4040
4041     for (size_t i = 0; i < m_textTracks->length(); ++i) {
4042         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
4043         if (!textTrack)
4044             continue;
4045
4046         auto kind = textTrack->kind();
4047         TrackGroup* currentGroup;
4048         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
4049             currentGroup = &captionAndSubtitleTracks;
4050         else if (kind == TextTrack::Kind::Descriptions)
4051             currentGroup = &descriptionTracks;
4052         else if (kind == TextTrack::Kind::Chapters)
4053             currentGroup = &chapterTracks;
4054         else if (kind == TextTrack::Kind::Metadata)
4055             currentGroup = &metadataTracks;
4056         else
4057             currentGroup = &otherTracks;
4058
4059         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4060             currentGroup->visibleTrack = textTrack;
4061         if (!currentGroup->defaultTrack && textTrack->isDefault())
4062             currentGroup->defaultTrack = textTrack;
4063
4064         // Do not add this track to the group if it has already been automatically configured
4065         // as we only want to call configureTextTrack once per track so that adding another 
4066         // track after the initial configuration doesn't reconfigure every track - only those 
4067         // that should be changed by the new addition. For example all metadata tracks are 
4068         // disabled by default, and we don't want a track that has been enabled by script 
4069         // to be disabled automatically when a new metadata track is added later.
4070         if (textTrack->hasBeenConfigured())
4071             continue;
4072         
4073         if (textTrack->language().length())
4074             currentGroup->hasSrcLang = true;
4075         currentGroup->tracks.append(textTrack);
4076     }
4077     
4078     if (captionAndSubtitleTracks.tracks.size())
4079         configureTextTrackGroup(captionAndSubtitleTracks);
4080     if (descriptionTracks.tracks.size())
4081         configureTextTrackGroup(descriptionTracks);
4082     if (chapterTracks.tracks.size())
4083         configureTextTrackGroup(chapterTracks);