Move ChildNode and ParentNode from ExceptionCode to Exception, add support for Except...
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27
28 #if ENABLE(VIDEO)
29
30 #include "HTMLMediaElement.h"
31
32 #include "ApplicationCacheHost.h"
33 #include "ApplicationCacheResource.h"
34 #include "Attribute.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSValueKeywords.h"
37 #include "ChromeClient.h"
38 #include "ClientRect.h"
39 #include "ClientRectList.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "ExceptionCodePlaceholder.h"
51 #include "FrameLoader.h"
52 #include "FrameLoaderClient.h"
53 #include "FrameView.h"
54 #include "HTMLParserIdioms.h"
55 #include "HTMLSourceElement.h"
56 #include "HTMLVideoElement.h"
57 #include "JSDOMError.h"
58 #include "JSHTMLMediaElement.h"
59 #include "Language.h"
60 #include "Logging.h"
61 #include "MIMETypeRegistry.h"
62 #include "MainFrame.h"
63 #include "MediaController.h"
64 #include "MediaControls.h"
65 #include "MediaDocument.h"
66 #include "MediaError.h"
67 #include "MediaFragmentURIParser.h"
68 #include "MediaList.h"
69 #include "MediaPlayer.h"
70 #include "MediaQueryEvaluator.h"
71 #include "MediaResourceLoader.h"
72 #include "MemoryPressureHandler.h"
73 #include "NetworkingContext.h"
74 #include "NoEventDispatchAssertion.h"
75 #include "Page.h"
76 #include "PageGroup.h"
77 #include "PageThrottler.h"
78 #include "PlatformMediaSessionManager.h"
79 #include "ProgressTracker.h"
80 #include "RenderLayerCompositor.h"
81 #include "RenderVideo.h"
82 #include "RenderView.h"
83 #include "ResourceLoadInfo.h"
84 #include "ScriptController.h"
85 #include "ScriptSourceCode.h"
86 #include "SecurityPolicy.h"
87 #include "SessionID.h"
88 #include "Settings.h"
89 #include "ShadowRoot.h"
90 #include "TimeRanges.h"
91 #include "UserContentController.h"
92 #include "UserGestureIndicator.h"
93 #include <limits>
94 #include <runtime/Uint8Array.h>
95 #include <wtf/CurrentTime.h>
96 #include <wtf/MathExtras.h>
97 #include <wtf/Ref.h>
98 #include <wtf/text/CString.h>
99
100 #if ENABLE(VIDEO_TRACK)
101 #include "AudioTrackList.h"
102 #include "HTMLTrackElement.h"
103 #include "InbandGenericTextTrack.h"
104 #include "InbandTextTrackPrivate.h"
105 #include "InbandWebVTTTextTrack.h"
106 #include "RuntimeEnabledFeatures.h"
107 #include "TextTrackCueList.h"
108 #include "TextTrackList.h"
109 #include "VideoTrackList.h"
110 #endif
111
112 #if ENABLE(WEB_AUDIO)
113 #include "AudioSourceProvider.h"
114 #include "MediaElementAudioSourceNode.h"
115 #endif
116
117 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
118 #include "WebVideoFullscreenInterface.h"
119 #endif
120
121 #if PLATFORM(IOS)
122 #include "RuntimeApplicationChecks.h"
123 #include "WebVideoFullscreenInterfaceAVKit.h"
124 #endif
125
126 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
127 #include "WebKitPlaybackTargetAvailabilityEvent.h"
128 #endif
129
130 #if ENABLE(MEDIA_SESSION)
131 #include "MediaSession.h"
132 #endif
133
134 #if ENABLE(MEDIA_SOURCE)
135 #include "DOMWindow.h"
136 #include "MediaSource.h"
137 #include "Performance.h"
138 #include "VideoPlaybackQuality.h"
139 #endif
140
141 #if ENABLE(MEDIA_STREAM)
142 #include "DOMURL.h"
143 #include "MediaStream.h"
144 #include "MediaStreamRegistry.h"
145 #endif
146
147 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
148 #include "WebKitMediaKeyNeededEvent.h"
149 #include "WebKitMediaKeys.h"
150 #endif
151
152 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
153 #include "JSMediaControlsHost.h"
154 #include "MediaControlsHost.h"
155 #include <bindings/ScriptObject.h>
156 #endif
157
158 namespace WebCore {
159
160 static const double SeekRepeatDelay = 0.1;
161 static const double SeekTime = 0.2;
162 static const double ScanRepeatDelay = 1.5;
163 static const double ScanMaximumRate = 8;
164
165 static const double HideMediaControlsAfterEndedDelay = 6;
166
167 static void setFlags(unsigned& value, unsigned flags)
168 {
169     value |= flags;
170 }
171
172 static void clearFlags(unsigned& value, unsigned flags)
173 {
174     value &= ~flags;
175 }
176     
177 #if !LOG_DISABLED
178 static String urlForLoggingMedia(const URL& url)
179 {
180     static const unsigned maximumURLLengthForLogging = 128;
181
182     if (url.string().length() < maximumURLLengthForLogging)
183         return url.string();
184     return url.string().substring(0, maximumURLLengthForLogging) + "...";
185 }
186
187 static const char* boolString(bool val)
188 {
189     return val ? "true" : "false";
190 }
191
192 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
193 {
194     StringBuilder actionBuilder;
195
196 #define ACTION(_actionType) \
197     if (action & (HTMLMediaElementEnums::_actionType)) { \
198         if (!actionBuilder.isEmpty()) \
199         actionBuilder.appendLiteral(", "); \
200         actionBuilder.append(#_actionType); \
201     } \
202
203     ACTION(LoadMediaResource);
204     ACTION(ConfigureTextTracks);
205     ACTION(TextTrackChangesNotification);
206     ACTION(ConfigureTextTrackDisplay);
207     ACTION(CheckPlaybackTargetCompatablity);
208     ACTION(CheckMediaState);
209     ACTION(MediaEngineUpdated);
210
211     return actionBuilder.toString();
212
213 #undef ACTION
214 }
215
216 #endif
217
218 #ifndef LOG_MEDIA_EVENTS
219 // Default to not logging events because so many are generated they can overwhelm the rest of 
220 // the logging.
221 #define LOG_MEDIA_EVENTS 0
222 #endif
223
224 #ifndef LOG_CACHED_TIME_WARNINGS
225 // Default to not logging warnings about excessive drift in the cached media time because it adds a
226 // fair amount of overhead and logging.
227 #define LOG_CACHED_TIME_WARNINGS 0
228 #endif
229
230 #if ENABLE(MEDIA_SOURCE)
231 // URL protocol used to signal that the media source API is being used.
232 static const char* mediaSourceBlobProtocol = "blob";
233 #endif
234
235 #if ENABLE(MEDIA_STREAM)
236 // URL protocol used to signal that the media stream API is being used.
237 static const char* mediaStreamBlobProtocol = "blob";
238 #endif
239
240 using namespace HTMLNames;
241
242 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
243 static DocumentElementSetMap& documentToElementSetMap()
244 {
245     static NeverDestroyed<DocumentElementSetMap> map;
246     return map;
247 }
248
249 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
250 {
251     DocumentElementSetMap& map = documentToElementSetMap();
252     HashSet<HTMLMediaElement*> set = map.take(&document);
253     set.add(&element);
254     map.add(&document, set);
255 }
256
257 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
258 {
259     DocumentElementSetMap& map = documentToElementSetMap();
260     HashSet<HTMLMediaElement*> set = map.take(&document);
261     set.remove(&element);
262     if (!set.isEmpty())
263         map.add(&document, set);
264 }
265
266 #if ENABLE(VIDEO_TRACK)
267 class TrackDisplayUpdateScope {
268 public:
269     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
270     {
271         m_mediaElement = mediaElement;
272         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
273     }
274     ~TrackDisplayUpdateScope()
275     {
276         ASSERT(m_mediaElement);
277         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
278     }
279     
280 private:
281     HTMLMediaElement* m_mediaElement;
282 };
283 #endif
284
285 struct HTMLMediaElement::TrackGroup {
286     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
287
288     TrackGroup(GroupKind kind)
289         : kind(kind)
290     {
291     }
292
293     Vector<RefPtr<TextTrack>> tracks;
294     RefPtr<TextTrack> visibleTrack;
295     RefPtr<TextTrack> defaultTrack;
296     GroupKind kind;
297     bool hasSrcLang { false };
298 };
299
300 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
301 {
302     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
303     return elements;
304 }
305
306 #if ENABLE(MEDIA_SESSION)
307 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
308
309 static IDToElementMap& elementIDsToElements()
310 {
311     static NeverDestroyed<IDToElementMap> map;
312     return map;
313 }
314
315 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
316 {
317     if (id == HTMLMediaElementInvalidID)
318         return nullptr;
319     
320     return elementIDsToElements().get(id);
321 }
322
323 static uint64_t nextElementID()
324 {
325     static uint64_t elementID = 0;
326     return ++elementID;
327 }
328 #endif
329
330 struct MediaElementSessionInfo {
331     const MediaElementSession* session;
332     MediaElementSession::PlaybackControlsPurpose purpose;
333
334     double timeOfLastUserInteraction;
335     bool canShowControlsManager : 1;
336     bool isVisibleInViewportOrFullscreen : 1;
337     bool isLargeEnoughForMainContent : 1;
338     bool isPlayingAudio : 1;
339 };
340
341 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
342 {
343     const HTMLMediaElement& element = session.element();
344     return {
345         &session,
346         purpose,
347         session.mostRecentUserInteractionTime(),
348         session.canShowControlsManager(purpose),
349         element.isFullscreen() || element.isVisibleInViewport(),
350         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
351         element.isPlaying() && element.hasAudio() && !element.muted()
352     };
353 }
354
355 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
356 {
357     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
358     ASSERT(purpose == otherSession.purpose);
359
360     // For the controls manager, prioritize visible media over offscreen media.
361     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
362         return session.isVisibleInViewportOrFullscreen;
363
364     // For Now Playing, prioritize elements that would normally satisfy main content.
365     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
366         return session.isLargeEnoughForMainContent;
367
368     // As a tiebreaker, prioritize elements that the user recently interacted with.
369     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
370 }
371
372 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
373 {
374     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
375         return session.isPlayingAudio;
376
377     if (!session.isVisibleInViewportOrFullscreen)
378         return false;
379
380     if (!session.isLargeEnoughForMainContent)
381         return false;
382
383     // Even if this video is not a candidate, if it is visible to the user and large enough
384     // to be main content, it poses a risk for being confused with main content.
385     return true;
386 }
387
388 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
389     : HTMLElement(tagName, document)
390     , ActiveDOMObject(&document)
391     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
392     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
393     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
394     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
395     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
396     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
397     , m_asyncEventQueue(*this)
398     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
399     , m_firstTimePlaying(true)
400     , m_playing(false)
401     , m_isWaitingUntilMediaCanStart(false)
402     , m_shouldDelayLoadEvent(false)
403     , m_haveFiredLoadedData(false)
404     , m_inActiveDocument(true)
405     , m_autoplaying(true)
406     , m_muted(false)
407     , m_explicitlyMuted(false)
408     , m_initiallyMuted(false)
409     , m_paused(true)
410     , m_seeking(false)
411     , m_sentStalledEvent(false)
412     , m_sentEndEvent(false)
413     , m_pausedInternal(false)
414     , m_sendProgressEvents(true)
415     , m_closedCaptionsVisible(false)
416     , m_webkitLegacyClosedCaptionOverride(false)
417     , m_completelyLoaded(false)
418     , m_havePreparedToPlay(false)
419     , m_parsingInProgress(createdByParser)
420     , m_elementIsHidden(document.hidden())
421     , m_creatingControls(false)
422     , m_receivedLayoutSizeChanged(false)
423     , m_hasEverNotifiedAboutPlaying(false)
424     , m_hasEverHadAudio(false)
425     , m_hasEverHadVideo(false)
426 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
427     , m_mediaControlsDependOnPageScaleFactor(false)
428     , m_haveSetUpCaptionContainer(false)
429 #endif
430     , m_isScrubbingRemotely(false)
431 #if ENABLE(VIDEO_TRACK)
432     , m_tracksAreReady(true)
433     , m_haveVisibleTextTrack(false)
434     , m_processingPreferenceChange(false)
435 #endif
436     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
437 {
438     allMediaElements().add(this);
439
440     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
441     setHasCustomStyleResolveCallbacks();
442
443     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
444     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
445 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
446     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
447 #endif
448     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
449     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
450
451     Settings* settings = document.settings();
452 #if PLATFORM(IOS)
453     m_sendProgressEvents = false;
454 #endif
455
456     if (settings && settings->invisibleAutoplayNotPermitted())
457         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
458
459     if (document.ownerElement() || !document.isMediaDocument()) {
460         if (settings && settings->videoPlaybackRequiresUserGesture()) {
461             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
462             if (settings->requiresUserGestureToLoadVideo())
463                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
464         }
465
466         if (settings && settings->audioPlaybackRequiresUserGesture())
467             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
468
469 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
470         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
471             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
472 #endif
473
474         if (!settings || !settings->mediaDataLoadsAutomatically())
475             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
476
477         if (settings && settings->mainContentUserGestureOverrideEnabled())
478             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
479     }
480
481 #if PLATFORM(IOS)
482     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
483         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
484         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
485     }
486 #endif
487
488 #if ENABLE(VIDEO_TRACK)
489     if (document.page())
490         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
491 #endif
492
493 #if ENABLE(MEDIA_SESSION)
494     m_elementID = nextElementID();
495     elementIDsToElements().add(m_elementID, this);
496
497     setSessionInternal(document.defaultMediaSession());
498 #endif
499
500     registerWithDocument(document);
501 }
502
503 HTMLMediaElement::~HTMLMediaElement()
504 {
505     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
506
507     beginIgnoringTrackDisplayUpdateRequests();
508     allMediaElements().remove(this);
509
510     m_asyncEventQueue.close();
511
512     setShouldDelayLoadEvent(false);
513     unregisterWithDocument(document());
514
515 #if ENABLE(VIDEO_TRACK)
516     if (m_audioTracks)
517         m_audioTracks->clearElement();
518     if (m_textTracks)
519         m_textTracks->clearElement();
520     if (m_videoTracks)
521         m_videoTracks->clearElement();
522 #endif
523
524 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
525     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
526         m_hasPlaybackTargetAvailabilityListeners = false;
527         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
528         updateMediaState();
529     }
530 #endif
531
532     if (m_mediaController) {
533         m_mediaController->removeMediaElement(*this);
534         m_mediaController = nullptr;
535     }
536
537 #if ENABLE(MEDIA_SOURCE)
538     detachMediaSource();
539 #endif
540
541 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
542     webkitSetMediaKeys(nullptr);
543 #endif
544
545 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
546     if (m_isolatedWorld)
547         m_isolatedWorld->clearWrappers();
548 #endif
549
550 #if ENABLE(MEDIA_SESSION)
551     if (m_session) {
552         m_session->removeMediaElement(*this);
553         m_session = nullptr;
554     }
555
556     elementIDsToElements().remove(m_elementID);
557 #endif
558
559     m_seekTaskQueue.close();
560     m_promiseTaskQueue.close();
561     m_pauseAfterDetachedTaskQueue.close();
562     m_updatePlaybackControlsManagerQueue.close();
563     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
564
565     m_completelyLoaded = true;
566
567     m_player = nullptr;
568     updatePlaybackControlsManager();
569 }
570
571 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
572 {
573     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
574         return is<MediaElementSession>(session);
575     });
576
577     Vector<MediaElementSessionInfo> candidateSessions;
578     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
579     for (auto& session : allSessions) {
580         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
581         if (mediaElementSessionInfo.canShowControlsManager)
582             candidateSessions.append(mediaElementSessionInfo);
583         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
584             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
585     }
586
587     if (!candidateSessions.size())
588         return nullptr;
589
590     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
591     auto strongestSessionCandidate = candidateSessions.first();
592     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
593         return nullptr;
594
595     return &strongestSessionCandidate.session->element();
596 }
597
598 void HTMLMediaElement::registerWithDocument(Document& document)
599 {
600     m_mediaSession->registerWithDocument(document);
601
602     if (m_isWaitingUntilMediaCanStart)
603         document.addMediaCanStartListener(this);
604
605 #if !PLATFORM(IOS)
606     document.registerForMediaVolumeCallbacks(this);
607     document.registerForPrivateBrowsingStateChangedCallbacks(this);
608 #endif
609
610     document.registerForVisibilityStateChangedCallbacks(this);
611
612 #if ENABLE(VIDEO_TRACK)
613     if (m_requireCaptionPreferencesChangedCallbacks)
614         document.registerForCaptionPreferencesChangedCallbacks(this);
615 #endif
616
617 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
618     if (m_mediaControlsDependOnPageScaleFactor)
619         document.registerForPageScaleFactorChangedCallbacks(this);
620     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
621 #endif
622
623 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
624     document.registerForDocumentSuspensionCallbacks(this);
625 #endif
626
627     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
628
629     document.addAudioProducer(this);
630     addElementToDocumentMap(*this, document);
631 }
632
633 void HTMLMediaElement::unregisterWithDocument(Document& document)
634 {
635     m_mediaSession->unregisterWithDocument(document);
636
637     if (m_isWaitingUntilMediaCanStart)
638         document.removeMediaCanStartListener(this);
639
640 #if !PLATFORM(IOS)
641     document.unregisterForMediaVolumeCallbacks(this);
642     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
643 #endif
644
645     document.unregisterForVisibilityStateChangedCallbacks(this);
646
647 #if ENABLE(VIDEO_TRACK)
648     if (m_requireCaptionPreferencesChangedCallbacks)
649         document.unregisterForCaptionPreferencesChangedCallbacks(this);
650 #endif
651
652 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
653     if (m_mediaControlsDependOnPageScaleFactor)
654         document.unregisterForPageScaleFactorChangedCallbacks(this);
655     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
656 #endif
657
658 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
659     document.unregisterForDocumentSuspensionCallbacks(this);
660 #endif
661
662     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
663
664     document.removeAudioProducer(this);
665     removeElementFromDocumentMap(*this, document);
666 }
667
668 void HTMLMediaElement::didMoveToNewDocument(Document* oldDocument)
669 {
670     if (m_shouldDelayLoadEvent) {
671         if (oldDocument)
672             oldDocument->decrementLoadEventDelayCount();
673         document().incrementLoadEventDelayCount();
674     }
675
676     if (oldDocument)
677         unregisterWithDocument(*oldDocument);
678
679     registerWithDocument(document());
680
681     HTMLElement::didMoveToNewDocument(oldDocument);
682     updateShouldAutoplay();
683 }
684
685 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
686 void HTMLMediaElement::prepareForDocumentSuspension()
687 {
688     m_mediaSession->unregisterWithDocument(document());
689 }
690
691 void HTMLMediaElement::resumeFromDocumentSuspension()
692 {
693     m_mediaSession->registerWithDocument(document());
694     updateShouldAutoplay();
695 }
696 #endif
697
698 bool HTMLMediaElement::supportsFocus() const
699 {
700     if (document().isMediaDocument())
701         return false;
702
703     // If no controls specified, we should still be able to focus the element if it has tabIndex.
704     return controls() ||  HTMLElement::supportsFocus();
705 }
706
707 bool HTMLMediaElement::isMouseFocusable() const
708 {
709     return false;
710 }
711
712 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
713 {
714     if (name == srcAttr) {
715 #if PLATFORM(IOS)
716         // Note, unless the restriction on requiring user action has been removed,
717         // do not begin downloading data on iOS.
718         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
719 #else
720         // Trigger a reload, as long as the 'src' attribute is present.
721         if (!value.isNull())
722 #endif
723         {
724             clearMediaPlayer(LoadMediaResource);
725             scheduleDelayedAction(LoadMediaResource);
726         }
727     } else if (name == controlsAttr)
728         configureMediaControls();
729     else if (name == loopAttr)
730         updateSleepDisabling();
731     else if (name == preloadAttr) {
732         if (equalLettersIgnoringASCIICase(value, "none"))
733             m_preload = MediaPlayer::None;
734         else if (equalLettersIgnoringASCIICase(value, "metadata"))
735             m_preload = MediaPlayer::MetaData;
736         else {
737             // The spec does not define an "invalid value default" but "auto" is suggested as the
738             // "missing value default", so use it for everything except "none" and "metadata"
739             m_preload = MediaPlayer::Auto;
740         }
741
742         // The attribute must be ignored if the autoplay attribute is present
743         if (!autoplay() && m_player)
744             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
745
746     } else if (name == mediagroupAttr)
747         setMediaGroup(value);
748     else
749         HTMLElement::parseAttribute(name, value);
750 }
751
752 void HTMLMediaElement::finishParsingChildren()
753 {
754     HTMLElement::finishParsingChildren();
755     m_parsingInProgress = false;
756     
757 #if ENABLE(VIDEO_TRACK)
758     if (descendantsOfType<HTMLTrackElement>(*this).first())
759         scheduleDelayedAction(ConfigureTextTracks);
760 #endif
761 }
762
763 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
764 {
765     return controls() && HTMLElement::rendererIsNeeded(style);
766 }
767
768 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
769 {
770     return createRenderer<RenderMedia>(*this, WTFMove(style));
771 }
772
773 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
774 {
775 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
776     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
777 #else
778     if (!hasMediaControls())
779         return false;
780     // <media> doesn't allow its content, including shadow subtree, to
781     // be rendered. So this should return false for most of the children.
782     // One exception is a shadow tree built for rendering controls which should be visible.
783     // So we let them go here by comparing its subtree root with one of the controls.
784     return &mediaControls()->treeScope() == &child.treeScope()
785         && hasShadowRootParent(child)
786         && HTMLElement::childShouldCreateRenderer(child);
787 #endif
788 }
789
790 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
791 {
792     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
793
794     HTMLElement::insertedInto(insertionPoint);
795     if (insertionPoint.inDocument()) {
796         m_inActiveDocument = true;
797
798 #if PLATFORM(IOS)
799         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
800 #else
801         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
802 #endif
803             scheduleDelayedAction(LoadMediaResource);
804     }
805
806     if (!m_explicitlyMuted) {
807         m_explicitlyMuted = true;
808         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
809     }
810
811     configureMediaControls();
812     return InsertionDone;
813 }
814
815 void HTMLMediaElement::pauseAfterDetachedTask()
816 {
817     // If we were re-inserted into an active document, no need to pause.
818     if (m_inActiveDocument)
819         return;
820
821     if (hasMediaControls())
822         mediaControls()->hide();
823     if (m_networkState > NETWORK_EMPTY)
824         pause();
825     if (m_videoFullscreenMode != VideoFullscreenModeNone)
826         exitFullscreen();
827
828     if (!m_player)
829         return;
830
831     size_t extraMemoryCost = m_player->extraMemoryCost();
832     if (extraMemoryCost > m_reportedExtraMemoryCost) {
833         JSC::VM& vm = JSDOMWindowBase::commonVM();
834         JSC::JSLockHolder lock(vm);
835
836         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
837         m_reportedExtraMemoryCost = extraMemoryCost;
838         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
839         // https://bugs.webkit.org/show_bug.cgi?id=142595
840         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
841     }
842 }
843
844 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
845 {
846     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
847
848     m_inActiveDocument = false;
849     if (insertionPoint.inDocument()) {
850         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
851         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
852     }
853
854     HTMLElement::removedFrom(insertionPoint);
855 }
856
857 void HTMLMediaElement::willAttachRenderers()
858 {
859     ASSERT(!renderer());
860 }
861
862 inline void HTMLMediaElement::updateRenderer()
863 {
864     if (auto* renderer = this->renderer())
865         renderer->updateFromElement();
866 }
867
868 void HTMLMediaElement::didAttachRenderers()
869 {
870     if (auto* renderer = this->renderer()) {
871         renderer->updateFromElement();
872         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
873             renderer->registerForVisibleInViewportCallback();
874     }
875     updateShouldAutoplay();
876 }
877
878 void HTMLMediaElement::willDetachRenderers()
879 {
880     if (auto* renderer = this->renderer())
881         renderer->unregisterForVisibleInViewportCallback();
882 }
883
884 void HTMLMediaElement::didDetachRenderers()
885 {
886     updateShouldAutoplay();
887 }
888
889 void HTMLMediaElement::didRecalcStyle(Style::Change)
890 {
891     updateRenderer();
892 }
893
894 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
895 {
896     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
897
898     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
899         prepareForLoad();
900         setFlags(m_pendingActionFlags, LoadMediaResource);
901     }
902
903 #if ENABLE(VIDEO_TRACK)
904     if (actionType & ConfigureTextTracks)
905         setFlags(m_pendingActionFlags, ConfigureTextTracks);
906 #endif
907
908 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
909     if (actionType & CheckPlaybackTargetCompatablity)
910         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
911 #endif
912
913     if (actionType & CheckMediaState)
914         setFlags(m_pendingActionFlags, CheckMediaState);
915
916     if (actionType & MediaEngineUpdated)
917         setFlags(m_pendingActionFlags, MediaEngineUpdated);
918
919     if (actionType & UpdatePlayState)
920         setFlags(m_pendingActionFlags, UpdatePlayState);
921
922     m_pendingActionTimer.startOneShot(0);
923 }
924
925 void HTMLMediaElement::scheduleNextSourceChild()
926 {
927     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
928     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
929     setFlags(m_pendingActionFlags, LoadMediaResource);
930     m_pendingActionTimer.startOneShot(0);
931 }
932
933 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
934 {
935     m_hasEverHadAudio |= hasAudio();
936     m_hasEverHadVideo |= hasVideo();
937 }
938
939 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
940 {
941 #if LOG_MEDIA_EVENTS
942     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
943 #endif
944     RefPtr<Event> event = Event::create(eventName, false, true);
945     
946     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
947     // will trigger an ASSERT if this element has been marked for deletion.
948
949     m_asyncEventQueue.enqueueEvent(WTFMove(event));
950 }
951
952 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
953 {
954     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
955 }
956
957 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
958 {
959     Vector<PlayPromise> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
960
961     for (auto& promise : pendingPlayPromises)
962         promise.reject(error);
963 }
964
965 void HTMLMediaElement::resolvePendingPlayPromises()
966 {
967     Vector<PlayPromise> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
968
969     for (auto& promise : pendingPlayPromises)
970         promise.resolve(nullptr);
971 }
972
973 void HTMLMediaElement::scheduleNotifyAboutPlaying()
974 {
975     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
976 }
977
978 void HTMLMediaElement::notifyAboutPlaying()
979 {
980     m_playbackStartedTime = currentMediaTime().toDouble();
981     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
982     resolvePendingPlayPromises();
983
984     m_hasEverNotifiedAboutPlaying = true;
985     scheduleUpdatePlaybackControlsManager();
986 }
987
988 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
989 {
990     return m_hasEverNotifiedAboutPlaying;
991 }
992
993 void HTMLMediaElement::pendingActionTimerFired()
994 {
995     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
996     PendingActionFlags pendingActions = m_pendingActionFlags;
997     m_pendingActionFlags = 0;
998
999 #if ENABLE(VIDEO_TRACK)
1000     if (pendingActions & ConfigureTextTracks)
1001         configureTextTracks();
1002 #endif
1003
1004     if (pendingActions & LoadMediaResource) {
1005         if (m_loadState == LoadingFromSourceElement)
1006             loadNextSourceChild();
1007         else
1008             loadInternal();
1009     }
1010
1011 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1012     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1013         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1014         m_failedToPlayToWirelessTarget = true;
1015         m_player->setShouldPlayToPlaybackTarget(false);
1016     }
1017
1018     if (pendingActions & CheckMediaState)
1019         updateMediaState();
1020 #endif
1021
1022     if (pendingActions & MediaEngineUpdated)
1023         mediaEngineWasUpdated();
1024
1025     if (pendingActions & UpdatePlayState)
1026         updatePlayState();
1027 }
1028
1029 MediaError* HTMLMediaElement::error() const
1030 {
1031     return m_error.get();
1032 }
1033
1034 void HTMLMediaElement::setSrc(const String& url)
1035 {
1036     setAttributeWithoutSynchronization(srcAttr, url);
1037 }
1038
1039 #if ENABLE(MEDIA_STREAM)
1040 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1041 {
1042     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1043     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1044     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1045     // the UA must re-run the media element load algorithm.
1046     //
1047     // https://bugs.webkit.org/show_bug.cgi?id=124896
1048
1049     m_mediaStreamSrcObject = mediaStream;
1050     if (mediaStream)
1051         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1052 }
1053 #endif
1054
1055 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1056 {
1057     setAttributeWithoutSynchronization(crossoriginAttr, value);
1058 }
1059
1060 String HTMLMediaElement::crossOrigin() const
1061 {
1062     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1063 }
1064
1065 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1066 {
1067     return m_networkState;
1068 }
1069
1070 String HTMLMediaElement::canPlayType(const String& mimeType) const
1071 {
1072     MediaEngineSupportParameters parameters;
1073     ContentType contentType(mimeType);
1074     parameters.type = contentType.type().convertToASCIILowercase();
1075     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1076     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1077     String canPlay;
1078
1079     // 4.8.10.3
1080     switch (support)
1081     {
1082         case MediaPlayer::IsNotSupported:
1083             canPlay = emptyString();
1084             break;
1085         case MediaPlayer::MayBeSupported:
1086             canPlay = ASCIILiteral("maybe");
1087             break;
1088         case MediaPlayer::IsSupported:
1089             canPlay = ASCIILiteral("probably");
1090             break;
1091     }
1092     
1093     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1094
1095     return canPlay;
1096 }
1097
1098 double HTMLMediaElement::getStartDate() const
1099 {
1100     if (!m_player)
1101         return std::numeric_limits<double>::quiet_NaN();
1102     return m_player->getStartDate().toDouble();
1103 }
1104
1105 void HTMLMediaElement::load()
1106 {
1107     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1108     
1109     LOG(Media, "HTMLMediaElement::load(%p)", this);
1110     
1111     if (!m_mediaSession->dataLoadingPermitted(*this))
1112         return;
1113     if (ScriptController::processingUserGestureForMedia())
1114         removeBehaviorsRestrictionsAfterFirstUserGesture();
1115
1116     prepareForLoad();
1117     loadInternal();
1118     prepareToPlay();
1119 }
1120
1121 void HTMLMediaElement::prepareForLoad()
1122 {
1123     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1124
1125     // Perform the cleanup required for the resource load algorithm to run.
1126     stopPeriodicTimers();
1127     m_pendingActionTimer.stop();
1128     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1129     m_pendingActionFlags &= ~LoadMediaResource;
1130     m_sentEndEvent = false;
1131     m_sentStalledEvent = false;
1132     m_haveFiredLoadedData = false;
1133     m_completelyLoaded = false;
1134     m_havePreparedToPlay = false;
1135     m_displayMode = Unknown;
1136     m_currentSrc = URL();
1137
1138 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1139     m_failedToPlayToWirelessTarget = false;
1140 #endif
1141
1142     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1143     m_loadState = WaitingForSource;
1144     m_currentSourceNode = nullptr;
1145
1146     // 2 - If there are any tasks from the media element's media element event task source in 
1147     // one of the task queues, then remove those tasks.
1148     cancelPendingEventsAndCallbacks();
1149
1150     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1151     // a task to fire a simple event named abort at the media element.
1152     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1153         scheduleEvent(eventNames().abortEvent);
1154
1155 #if ENABLE(MEDIA_SOURCE)
1156     detachMediaSource();
1157 #endif
1158
1159     createMediaPlayer();
1160
1161     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1162     if (m_networkState != NETWORK_EMPTY) {
1163         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1164         scheduleEvent(eventNames().emptiedEvent);
1165
1166         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1167         m_networkState = NETWORK_EMPTY;
1168
1169         // 4.3 - Forget the media element's media-resource-specific tracks.
1170         forgetResourceSpecificTracks();
1171
1172         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1173         m_readyState = HAVE_NOTHING;
1174         m_readyStateMaximum = HAVE_NOTHING;
1175
1176         // 4.5 - If the paused attribute is false, then set it to true.
1177         m_paused = true;
1178
1179         // 4.6 - If seeking is true, set it to false.
1180         clearSeeking();
1181
1182         // 4.7 - Set the current playback position to 0.
1183         //       Set the official playback position to 0.
1184         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1185         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1186
1187         // 4.8 - Set the initial playback position to 0.
1188         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1189         // above.
1190         refreshCachedTime();
1191
1192         invalidateCachedTime();
1193
1194         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1195         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1196
1197         updateMediaController();
1198 #if ENABLE(VIDEO_TRACK)
1199         updateActiveTextTrackCues(MediaTime::zeroTime());
1200 #endif
1201     }
1202
1203     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1204     setPlaybackRate(defaultPlaybackRate());
1205
1206     // 6 - Set the error attribute to null and the autoplaying flag to true.
1207     m_error = nullptr;
1208     m_autoplaying = true;
1209     mediaSession().clientWillBeginAutoplaying();
1210
1211     // 7 - Invoke the media element's resource selection algorithm.
1212
1213     // 8 - Note: Playback of any previously playing media resource for this element stops.
1214
1215     // The resource selection algorithm
1216     // 1 - Set the networkState to NETWORK_NO_SOURCE
1217     m_networkState = NETWORK_NO_SOURCE;
1218
1219     // 2 - Asynchronously await a stable state.
1220
1221     m_playedTimeRanges = TimeRanges::create();
1222
1223     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1224     // so they are closer to the relevant spec steps.
1225     m_lastSeekTime = MediaTime::zeroTime();
1226
1227     // The spec doesn't say to block the load event until we actually run the asynchronous section
1228     // algorithm, but do it now because we won't start that until after the timer fires and the 
1229     // event may have already fired by then.
1230     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1231     if (effectivePreload != MediaPlayer::None)
1232         setShouldDelayLoadEvent(true);
1233
1234 #if PLATFORM(IOS)
1235     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1236         prepareToPlay();
1237 #endif
1238
1239     configureMediaControls();
1240 }
1241
1242 void HTMLMediaElement::loadInternal()
1243 {
1244     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1245
1246     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1247     // us catch those bugs more quickly without needing all the branches to align to actually
1248     // trigger the event.
1249     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1250
1251     // If we can't start a load right away, start it later.
1252     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1253         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1254         setShouldDelayLoadEvent(false);
1255         if (m_isWaitingUntilMediaCanStart)
1256             return;
1257         m_isWaitingUntilMediaCanStart = true;
1258         document().addMediaCanStartListener(this);
1259         return;
1260     }
1261
1262     clearFlags(m_pendingActionFlags, LoadMediaResource);
1263
1264     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1265     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1266     // put into the background.
1267     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1268
1269 #if ENABLE(VIDEO_TRACK)
1270     if (hasMediaControls())
1271         mediaControls()->changedClosedCaptionsVisibility();
1272
1273     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1274     // disabled state when the element's resource selection algorithm last started".
1275     m_textTracksWhenResourceSelectionBegan.clear();
1276     if (m_textTracks) {
1277         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1278             TextTrack* track = m_textTracks->item(i);
1279             if (track->mode() != TextTrack::Mode::Disabled)
1280                 m_textTracksWhenResourceSelectionBegan.append(track);
1281         }
1282     }
1283 #endif
1284
1285     selectMediaResource();
1286 }
1287
1288 void HTMLMediaElement::selectMediaResource()
1289 {
1290     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1291
1292     ASSERT(m_player);
1293     if (!m_player)
1294         return;
1295
1296     enum Mode { attribute, children };
1297
1298     // 3 - If the media element has a src attribute, then let mode be attribute.
1299     Mode mode = attribute;
1300     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1301         // Otherwise, if the media element does not have a src attribute but has a source 
1302         // element child, then let mode be children and let candidate be the first such 
1303         // source element child in tree order.
1304         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1305             mode = children;
1306             m_nextChildNodeToConsider = firstSource;
1307             m_currentSourceNode = nullptr;
1308         } else {
1309             // Otherwise the media element has neither a src attribute nor a source element 
1310             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1311             // synchronous section ends.
1312             m_loadState = WaitingForSource;
1313             setShouldDelayLoadEvent(false);
1314             m_networkState = NETWORK_EMPTY;
1315
1316             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1317             return;
1318         }
1319     }
1320
1321     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1322     // and set its networkState to NETWORK_LOADING.
1323     setShouldDelayLoadEvent(true);
1324     m_networkState = NETWORK_LOADING;
1325
1326     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1327     scheduleEvent(eventNames().loadstartEvent);
1328
1329     // 6 - If mode is attribute, then run these substeps
1330     if (mode == attribute) {
1331         m_loadState = LoadingFromSrcAttr;
1332
1333         // If the src attribute's value is the empty string ... jump down to the failed step below
1334         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1335         if (mediaURL.isEmpty()) {
1336             mediaLoadingFailed(MediaPlayer::FormatError);
1337             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1338             return;
1339         }
1340
1341         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1342             mediaLoadingFailed(MediaPlayer::FormatError);
1343             return;
1344         }
1345
1346         // No type or key system information is available when the url comes
1347         // from the 'src' attribute so MediaPlayer
1348         // will have to pick a media engine based on the file extension.
1349         ContentType contentType((String()));
1350         loadResource(mediaURL, contentType, String());
1351         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1352         return;
1353     }
1354
1355     // Otherwise, the source elements will be used
1356     loadNextSourceChild();
1357 }
1358
1359 void HTMLMediaElement::loadNextSourceChild()
1360 {
1361     ContentType contentType((String()));
1362     String keySystem;
1363     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1364     if (!mediaURL.isValid()) {
1365         waitForSourceChange();
1366         return;
1367     }
1368
1369     // Recreate the media player for the new url
1370     createMediaPlayer();
1371
1372     m_loadState = LoadingFromSourceElement;
1373     loadResource(mediaURL, contentType, keySystem);
1374 }
1375
1376 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1377 {
1378     ASSERT(isSafeToLoadURL(initialURL, Complain));
1379
1380     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1381
1382     Frame* frame = document().frame();
1383     if (!frame) {
1384         mediaLoadingFailed(MediaPlayer::FormatError);
1385         return;
1386     }
1387
1388     Page* page = frame->page();
1389     if (!page) {
1390         mediaLoadingFailed(MediaPlayer::FormatError);
1391         return;
1392     }
1393
1394     URL url = initialURL;
1395     if (!frame->loader().willLoadMediaElementURL(url)) {
1396         mediaLoadingFailed(MediaPlayer::FormatError);
1397         return;
1398     }
1399
1400 #if ENABLE(CONTENT_EXTENSIONS)
1401     DocumentLoader* documentLoader = frame->loader().documentLoader();
1402
1403     if (documentLoader) {
1404         auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader);
1405         if (blockedStatus.blockedLoad) {
1406             mediaLoadingFailed(MediaPlayer::FormatError);
1407             return;
1408         }
1409     }
1410 #endif
1411
1412     // The resource fetch algorithm 
1413     m_networkState = NETWORK_LOADING;
1414
1415     // If the url should be loaded from the application cache, pass the url of the cached file
1416     // to the media engine.
1417     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1418     ApplicationCacheResource* resource = nullptr;
1419     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1420         // Resources that are not present in the manifest will always fail to load (at least, after the
1421         // cache has been primed the first time), making the testing of offline applications simpler.
1422         if (!resource || resource->path().isEmpty()) {
1423             mediaLoadingFailed(MediaPlayer::NetworkError);
1424             return;
1425         }
1426     }
1427
1428     // Log that we started loading a media element.
1429     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1430
1431     m_firstTimePlaying = true;
1432
1433     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1434     // cache is an internal detail not exposed through the media element API.
1435     m_currentSrc = url;
1436
1437     if (resource) {
1438         url = ApplicationCacheHost::createFileURL(resource->path());
1439         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1440     }
1441
1442     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1443
1444     if (m_sendProgressEvents)
1445         startProgressEventTimer();
1446
1447     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1448     m_player->setPrivateBrowsingMode(privateMode);
1449
1450     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1451     setDisplayMode(Unknown);
1452
1453     if (!autoplay())
1454         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1455     m_player->setPreservesPitch(m_webkitPreservesPitch);
1456
1457     if (!m_explicitlyMuted) {
1458         m_explicitlyMuted = true;
1459         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1460     }
1461
1462     updateVolume();
1463
1464     bool loadAttempted = false;
1465 #if ENABLE(MEDIA_SOURCE)
1466     ASSERT(!m_mediaSource);
1467
1468     if (url.protocolIs(mediaSourceBlobProtocol))
1469         m_mediaSource = MediaSource::lookup(url.string());
1470
1471     if (m_mediaSource) {
1472         if (m_mediaSource->attachToElement(*this))
1473             m_player->load(url, contentType, m_mediaSource.get());
1474         else {
1475             // Forget our reference to the MediaSource, so we leave it alone
1476             // while processing remainder of load failure.
1477             m_mediaSource = nullptr;
1478             mediaLoadingFailed(MediaPlayer::FormatError);
1479         }
1480         loadAttempted = true;
1481     }
1482 #endif
1483
1484 #if ENABLE(MEDIA_STREAM)
1485     if (!loadAttempted) {
1486         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1487             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1488
1489         if (m_mediaStreamSrcObject) {
1490             loadAttempted = true;
1491             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1492                 mediaLoadingFailed(MediaPlayer::FormatError);
1493         }
1494     }
1495 #endif
1496
1497     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1498         mediaLoadingFailed(MediaPlayer::FormatError);
1499
1500     // If there is no poster to display, allow the media engine to render video frames as soon as
1501     // they are available.
1502     updateDisplayState();
1503
1504     updateRenderer();
1505 }
1506
1507 #if ENABLE(VIDEO_TRACK)
1508
1509 static bool trackIndexCompare(TextTrack* a, TextTrack* b)
1510 {
1511     return a->trackIndex() - b->trackIndex() < 0;
1512 }
1513
1514 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1515 {
1516     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1517     // times first).
1518     if (a.first != b.first)
1519         return a.first - b.first < MediaTime::zeroTime();
1520
1521     // If the cues belong to different text tracks, it doesn't make sense to
1522     // compare the two tracks by the relative cue order, so return the relative
1523     // track order.
1524     if (a.second->track() != b.second->track())
1525         return trackIndexCompare(a.second->track(), b.second->track());
1526
1527     // 12 - Further sort tasks in events that have the same time by the
1528     // relative text track cue order of the text track cues associated
1529     // with these tasks.
1530     return a.second->cueIndex() - b.second->cueIndex() < 0;
1531 }
1532
1533 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1534 {
1535     return one.data()->isOrderedBefore(two.data());
1536 }
1537
1538 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1539 {
1540     // 4.8.10.8 Playing the media resource
1541
1542     //  If the current playback position changes while the steps are running,
1543     //  then the user agent must wait for the steps to complete, and then must
1544     //  immediately rerun the steps.
1545     if (ignoreTrackDisplayUpdateRequests())
1546         return;
1547
1548     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1549
1550     // 1 - Let current cues be a list of cues, initialized to contain all the
1551     // cues of all the hidden, showing, or showing by default text tracks of the
1552     // media element (not the disabled ones) whose start times are less than or
1553     // equal to the current playback position and whose end times are greater
1554     // than the current playback position.
1555     CueList currentCues;
1556
1557     // The user agent must synchronously unset [the text track cue active] flag
1558     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1559     if (m_readyState != HAVE_NOTHING && m_player) {
1560         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1561         if (currentCues.size() > 1)
1562             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1563     }
1564
1565     CueList previousCues;
1566     CueList missedCues;
1567
1568     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1569     // of hidden, showing, and showing by default text tracks of the media
1570     // element that are not present in current cues.
1571     previousCues = m_currentlyActiveCues;
1572
1573     // 3 - Let last time be the current playback position at the time this
1574     // algorithm was last run for this media element, if this is not the first
1575     // time it has run.
1576     MediaTime lastTime = m_lastTextTrackUpdateTime;
1577
1578     // 4 - If the current playback position has, since the last time this
1579     // algorithm was run, only changed through its usual monotonic increase
1580     // during normal playback, then let missed cues be the list of cues in other
1581     // cues whose start times are greater than or equal to last time and whose
1582     // end times are less than or equal to the current playback position.
1583     // Otherwise, let missed cues be an empty list.
1584     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1585         for (auto& cue : m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime))) {
1586             // Consider cues that may have been missed since the last seek time.
1587             if (cue.low() > std::max(m_lastSeekTime, lastTime) && cue.high() < movieTime)
1588                 missedCues.append(cue);
1589         }
1590     }
1591
1592     m_lastTextTrackUpdateTime = movieTime;
1593
1594     // 5 - If the time was reached through the usual monotonic increase of the
1595     // current playback position during normal playback, and if the user agent
1596     // has not fired a timeupdate event at the element in the past 15 to 250ms
1597     // and is not still running event handlers for such an event, then the user
1598     // agent must queue a task to fire a simple event named timeupdate at the
1599     // element. (In the other cases, such as explicit seeks, relevant events get
1600     // fired as part of the overall process of changing the current playback
1601     // position.)
1602     if (!m_paused && m_lastSeekTime <= lastTime)
1603         scheduleTimeupdateEvent(false);
1604
1605     // Explicitly cache vector sizes, as their content is constant from here.
1606     size_t currentCuesSize = currentCues.size();
1607     size_t missedCuesSize = missedCues.size();
1608     size_t previousCuesSize = previousCues.size();
1609
1610     // 6 - If all of the cues in current cues have their text track cue active
1611     // flag set, none of the cues in other cues have their text track cue active
1612     // flag set, and missed cues is empty, then abort these steps.
1613     bool activeSetChanged = missedCuesSize;
1614
1615     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1616         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1617             activeSetChanged = true;
1618
1619     for (size_t i = 0; i < currentCuesSize; ++i) {
1620         TextTrackCue* cue = currentCues[i].data();
1621
1622         if (cue->isRenderable())
1623             toVTTCue(cue)->updateDisplayTree(movieTime);
1624
1625         if (!cue->isActive())
1626             activeSetChanged = true;
1627     }
1628
1629     if (!activeSetChanged)
1630         return;
1631
1632     // 7 - If the time was reached through the usual monotonic increase of the
1633     // current playback position during normal playback, and there are cues in
1634     // other cues that have their text track cue pause-on-exi flag set and that
1635     // either have their text track cue active flag set or are also in missed
1636     // cues, then immediately pause the media element.
1637     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1638         if (previousCues[i].data()->pauseOnExit()
1639             && previousCues[i].data()->isActive()
1640             && !currentCues.contains(previousCues[i]))
1641             pause();
1642     }
1643
1644     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1645         if (missedCues[i].data()->pauseOnExit())
1646             pause();
1647     }
1648
1649     // 8 - Let events be a list of tasks, initially empty. Each task in this
1650     // list will be associated with a text track, a text track cue, and a time,
1651     // which are used to sort the list before the tasks are queued.
1652     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1653
1654     // 8 - Let affected tracks be a list of text tracks, initially empty.
1655     Vector<TextTrack*> affectedTracks;
1656
1657     for (size_t i = 0; i < missedCuesSize; ++i) {
1658         // 9 - For each text track cue in missed cues, prepare an event named enter
1659         // for the TextTrackCue object with the text track cue start time.
1660         eventTasks.append({ missedCues[i].data()->startMediaTime(), missedCues[i].data() });
1661
1662         // 10 - For each text track [...] in missed cues, prepare an event
1663         // named exit for the TextTrackCue object with the  with the later of
1664         // the text track cue end time and the text track cue start time.
1665
1666         // Note: An explicit task is added only if the cue is NOT a zero or
1667         // negative length cue. Otherwise, the need for an exit event is
1668         // checked when these tasks are actually queued below. This doesn't
1669         // affect sorting events before dispatch either, because the exit
1670         // event has the same time as the enter event.
1671         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1672             eventTasks.append({ missedCues[i].data()->endMediaTime(), missedCues[i].data() });
1673     }
1674
1675     for (size_t i = 0; i < previousCuesSize; ++i) {
1676         // 10 - For each text track cue in other cues that has its text
1677         // track cue active flag set prepare an event named exit for the
1678         // TextTrackCue object with the text track cue end time.
1679         if (!currentCues.contains(previousCues[i]))
1680             eventTasks.append({ previousCues[i].data()->endMediaTime(), previousCues[i].data() });
1681     }
1682
1683     for (size_t i = 0; i < currentCuesSize; ++i) {
1684         // 11 - For each text track cue in current cues that does not have its
1685         // text track cue active flag set, prepare an event named enter for the
1686         // TextTrackCue object with the text track cue start time.
1687         if (!previousCues.contains(currentCues[i]))
1688             eventTasks.append({ currentCues[i].data()->startMediaTime(), currentCues[i].data() });
1689     }
1690
1691     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1692     // times first).
1693     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1694
1695     for (auto& eventTask : eventTasks) {
1696         if (!affectedTracks.contains(eventTask.second->track()))
1697             affectedTracks.append(eventTask.second->track());
1698
1699         // 13 - Queue each task in events, in list order.
1700
1701         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1702         // depending on the time that is associated with the event. This
1703         // correctly identifies the type of the event, if the startTime is
1704         // less than the endTime in the cue.
1705         if (eventTask.second->startTime() >= eventTask.second->endTime()) {
1706             auto enterEvent = Event::create(eventNames().enterEvent, false, false);
1707             enterEvent->setTarget(eventTask.second);
1708             m_asyncEventQueue.enqueueEvent(WTFMove(enterEvent));
1709
1710             auto exitEvent = Event::create(eventNames().exitEvent, false, false);
1711             exitEvent->setTarget(eventTask.second);
1712             m_asyncEventQueue.enqueueEvent(WTFMove(exitEvent));
1713         } else {
1714             RefPtr<Event> event;
1715             if (eventTask.first == eventTask.second->startMediaTime())
1716                 event = Event::create(eventNames().enterEvent, false, false);
1717             else
1718                 event = Event::create(eventNames().exitEvent, false, false);
1719             event->setTarget(eventTask.second);
1720             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1721         }
1722     }
1723
1724     // 14 - Sort affected tracks in the same order as the text tracks appear in
1725     // the media element's list of text tracks, and remove duplicates.
1726     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1727
1728     // 15 - For each text track in affected tracks, in the list order, queue a
1729     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1730     for (auto& affectedTrack : affectedTracks) {
1731         auto event = Event::create(eventNames().cuechangeEvent, false, false);
1732         event->setTarget(affectedTrack);
1733         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1734
1735         // ... if the text track has a corresponding track element, to then fire a
1736         // simple event named cuechange at the track element as well.
1737         if (is<LoadableTextTrack>(*affectedTrack)) {
1738             auto event = Event::create(eventNames().cuechangeEvent, false, false);
1739             auto* trackElement = downcast<LoadableTextTrack>(*affectedTrack).trackElement();
1740             ASSERT(trackElement);
1741             event->setTarget(trackElement);
1742             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1743         }
1744     }
1745
1746     // 16 - Set the text track cue active flag of all the cues in the current
1747     // cues, and unset the text track cue active flag of all the cues in the
1748     // other cues.
1749     for (size_t i = 0; i < currentCuesSize; ++i)
1750         currentCues[i].data()->setIsActive(true);
1751
1752     for (size_t i = 0; i < previousCuesSize; ++i)
1753         if (!currentCues.contains(previousCues[i]))
1754             previousCues[i].data()->setIsActive(false);
1755
1756     // Update the current active cues.
1757     m_currentlyActiveCues = currentCues;
1758
1759     if (activeSetChanged)
1760         updateTextTrackDisplay();
1761 }
1762
1763 bool HTMLMediaElement::textTracksAreReady() const
1764 {
1765     // 4.8.10.12.1 Text track model
1766     // ...
1767     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1768     // in the disabled state when the element's resource selection algorithm last started now
1769     // have a text track readiness state of loaded or failed to load.
1770     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1771         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1772             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1773             return false;
1774     }
1775
1776     return true;
1777 }
1778
1779 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1780 {
1781     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1782         if (track->readinessState() != TextTrack::Loading)
1783             setReadyState(m_player->readyState());
1784     } else {
1785         // The track readiness state might have changed as a result of the user
1786         // clicking the captions button. In this case, a check whether all the
1787         // resources have failed loading should be done in order to hide the CC button.
1788         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1789             mediaControls()->refreshClosedCaptionsButtonVisibility();
1790     }
1791 }
1792
1793 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1794 {
1795     ASSERT(track);
1796     if (m_audioTracks && m_audioTracks->contains(*track))
1797         m_audioTracks->scheduleChangeEvent();
1798     if (ScriptController::processingUserGestureForMedia())
1799         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1800 }
1801
1802 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1803 {
1804     bool trackIsLoaded = true;
1805     if (track->trackType() == TextTrack::TrackElement) {
1806         trackIsLoaded = false;
1807         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1808             if (&trackElement.track() == track) {
1809                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1810                     trackIsLoaded = true;
1811                 break;
1812             }
1813         }
1814     }
1815
1816     // If this is the first added track, create the list of text tracks.
1817     if (!m_textTracks)
1818         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1819     
1820     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1821     track->setHasBeenConfigured(true);
1822     
1823     if (track->mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1824         textTrackAddCues(track, track->cues());
1825
1826     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1827
1828     if (m_textTracks && m_textTracks->contains(*track))
1829         m_textTracks->scheduleChangeEvent();
1830
1831 #if ENABLE(AVF_CAPTIONS)
1832     if (track->trackType() == TextTrack::TrackElement && m_player)
1833         m_player->notifyTrackModeChanged();
1834 #endif
1835 }
1836
1837 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1838 {
1839     ASSERT(track);
1840     if (m_videoTracks && m_videoTracks->contains(*track))
1841         m_videoTracks->scheduleChangeEvent();
1842 }
1843
1844 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1845 {
1846     if (track->kind() != TextTrack::Kind::Captions && track->kind() != TextTrack::Kind::Subtitles && track->mode() == TextTrack::Mode::Showing)
1847         track->setMode(TextTrack::Mode::Hidden);
1848 }
1849
1850 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1851 {
1852     ++m_ignoreTrackDisplayUpdate;
1853 }
1854
1855 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1856 {
1857     ASSERT(m_ignoreTrackDisplayUpdate);
1858     --m_ignoreTrackDisplayUpdate;
1859     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1860         updateActiveTextTrackCues(currentMediaTime());
1861 }
1862
1863 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1864 {
1865     if (track->mode() == TextTrack::Mode::Disabled)
1866         return;
1867
1868     TrackDisplayUpdateScope scope(this);
1869     for (size_t i = 0; i < cues->length(); ++i)
1870         textTrackAddCue(track, *cues->item(i));
1871 }
1872
1873 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues)
1874 {
1875     TrackDisplayUpdateScope scope(this);
1876     for (size_t i = 0; i < cues->length(); ++i)
1877         textTrackRemoveCue(cues->item(i)->track(), *cues->item(i));
1878 }
1879
1880 void HTMLMediaElement::textTrackAddCue(TextTrack* track, TextTrackCue& cue)
1881 {
1882     if (track->mode() == TextTrack::Mode::Disabled)
1883         return;
1884
1885     // Negative duration cues need be treated in the interval tree as
1886     // zero-length cues.
1887     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1888
1889     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1890     if (!m_cueTree.contains(interval))
1891         m_cueTree.add(interval);
1892     updateActiveTextTrackCues(currentMediaTime());
1893 }
1894
1895 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, TextTrackCue& cue)
1896 {
1897     // Negative duration cues need to be treated in the interval tree as
1898     // zero-length cues.
1899     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1900
1901     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1902     m_cueTree.remove(interval);
1903
1904     // Since the cue will be removed from the media element and likely the
1905     // TextTrack might also be destructed, notifying the region of the cue
1906     // removal shouldn't be done.
1907     if (cue.isRenderable())
1908         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1909
1910     size_t index = m_currentlyActiveCues.find(interval);
1911     if (index != notFound) {
1912         cue.setIsActive(false);
1913         m_currentlyActiveCues.remove(index);
1914     }
1915
1916     if (cue.isRenderable())
1917         toVTTCue(&cue)->removeDisplayTree();
1918     updateActiveTextTrackCues(currentMediaTime());
1919
1920     if (cue.isRenderable())
1921         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1922 }
1923
1924 #endif
1925
1926 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1927 {
1928     // Elements in user agent show tree should load whatever the embedding document policy is.
1929     if (isInUserAgentShadowTree)
1930         return true;
1931
1932     ASSERT(element.document().contentSecurityPolicy());
1933     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1934 }
1935
1936 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1937 {
1938     if (!url.isValid()) {
1939         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1940         return false;
1941     }
1942
1943     Frame* frame = document().frame();
1944     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1945         if (actionIfInvalid == Complain)
1946             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1947         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1948         return false;
1949     }
1950
1951     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
1952         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1953         return false;
1954     }
1955
1956     return true;
1957 }
1958
1959 void HTMLMediaElement::startProgressEventTimer()
1960 {
1961     if (m_progressEventTimer.isActive())
1962         return;
1963
1964     m_previousProgressTime = monotonicallyIncreasingTime();
1965     // 350ms is not magic, it is in the spec!
1966     m_progressEventTimer.startRepeating(0.350);
1967 }
1968
1969 void HTMLMediaElement::waitForSourceChange()
1970 {
1971     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
1972
1973     stopPeriodicTimers();
1974     m_loadState = WaitingForSource;
1975
1976     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
1977     m_networkState = NETWORK_NO_SOURCE;
1978
1979     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1980     setShouldDelayLoadEvent(false);
1981
1982     updateDisplayState();
1983     updateRenderer();
1984 }
1985
1986 void HTMLMediaElement::noneSupported()
1987 {
1988     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
1989
1990     stopPeriodicTimers();
1991     m_loadState = WaitingForSource;
1992     m_currentSourceNode = nullptr;
1993
1994     // 4.8.10.5 
1995     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
1996     // URL could not be resolved. In one atomic operation, run the following steps:
1997
1998     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
1999     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2000     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2001
2002     // 6.2 - Forget the media element's media-resource-specific text tracks.
2003     forgetResourceSpecificTracks();
2004
2005     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2006     m_networkState = NETWORK_NO_SOURCE;
2007
2008     // 7 - Queue a task to fire a simple event named error at the media element.
2009     scheduleEvent(eventNames().errorEvent);
2010
2011     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2012
2013 #if ENABLE(MEDIA_SOURCE)
2014     detachMediaSource();
2015 #endif
2016
2017     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2018     setShouldDelayLoadEvent(false);
2019
2020     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2021     // the element won't attempt to load another resource.
2022
2023     updateDisplayState();
2024     updateRenderer();
2025 }
2026
2027 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2028 {
2029     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2030
2031     // 1 - The user agent should cancel the fetching process.
2032     stopPeriodicTimers();
2033     m_loadState = WaitingForSource;
2034
2035     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2036     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2037     if (error == MediaPlayer::NetworkError)
2038         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2039     else if (error == MediaPlayer::DecodeError)
2040         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2041     else
2042         ASSERT_NOT_REACHED();
2043
2044     // 3 - Queue a task to fire a simple event named error at the media element.
2045     scheduleEvent(eventNames().errorEvent);
2046
2047 #if ENABLE(MEDIA_SOURCE)
2048     detachMediaSource();
2049 #endif
2050
2051     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2052     // task to fire a simple event called emptied at the element.
2053     m_networkState = NETWORK_EMPTY;
2054     scheduleEvent(eventNames().emptiedEvent);
2055
2056     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2057     setShouldDelayLoadEvent(false);
2058
2059     // 6 - Abort the overall resource selection algorithm.
2060     m_currentSourceNode = nullptr;
2061
2062 #if PLATFORM(COCOA)
2063     if (is<MediaDocument>(document()))
2064         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2065 #endif
2066 }
2067
2068 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2069 {
2070     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2071     m_asyncEventQueue.cancelAllEvents();
2072
2073     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2074         source.cancelPendingErrorEvent();
2075
2076     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2077 }
2078
2079 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2080 {
2081     beginProcessingMediaPlayerCallback();
2082     setNetworkState(m_player->networkState());
2083     endProcessingMediaPlayerCallback();
2084 }
2085
2086 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2087 {
2088     if (!page)
2089         return;
2090
2091     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2092     if (!succeeded) {
2093         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2094         return;
2095     }
2096
2097     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2098
2099     if (!page->hasSeenAnyMediaEngine())
2100         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2101
2102     if (!page->hasSeenMediaEngine(mediaEngine))
2103         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2104
2105     page->sawMediaEngine(mediaEngine);
2106 }
2107
2108 static String stringForNetworkState(MediaPlayer::NetworkState state)
2109 {
2110     switch (state) {
2111     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2112     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2113     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2114     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2115     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2116     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2117     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2118     default: return emptyString();
2119     }
2120 }
2121
2122 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2123 {
2124     stopPeriodicTimers();
2125     
2126     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2127     // <source> children, schedule the next one
2128     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2129         
2130         // resource selection algorithm
2131         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2132         if (m_currentSourceNode)
2133             m_currentSourceNode->scheduleErrorEvent();
2134         else
2135             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2136         
2137         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2138         
2139         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2140         forgetResourceSpecificTracks();
2141
2142         if (havePotentialSourceChild()) {
2143             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2144             scheduleNextSourceChild();
2145         } else {
2146             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2147             waitForSourceChange();
2148         }
2149         
2150         return;
2151     }
2152     
2153     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2154         mediaLoadingFailedFatally(error);
2155     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2156         noneSupported();
2157     
2158     updateDisplayState();
2159     if (hasMediaControls()) {
2160         mediaControls()->reset();
2161         mediaControls()->reportedError();
2162     }
2163
2164     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2165
2166     m_mediaSession->clientCharacteristicsChanged();
2167 }
2168
2169 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2170 {
2171     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2172
2173     if (state == MediaPlayer::Empty) {
2174         // Just update the cached state and leave, we can't do anything.
2175         m_networkState = NETWORK_EMPTY;
2176         return;
2177     }
2178
2179     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2180         mediaLoadingFailed(state);
2181         return;
2182     }
2183
2184     if (state == MediaPlayer::Idle) {
2185         if (m_networkState > NETWORK_IDLE) {
2186             changeNetworkStateFromLoadingToIdle();
2187             setShouldDelayLoadEvent(false);
2188         } else {
2189             m_networkState = NETWORK_IDLE;
2190         }
2191     }
2192
2193     if (state == MediaPlayer::Loading) {
2194         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2195             startProgressEventTimer();
2196         m_networkState = NETWORK_LOADING;
2197     }
2198
2199     if (state == MediaPlayer::Loaded) {
2200         if (m_networkState != NETWORK_IDLE)
2201             changeNetworkStateFromLoadingToIdle();
2202         m_completelyLoaded = true;
2203     }
2204
2205     if (hasMediaControls())
2206         mediaControls()->updateStatusDisplay();
2207 }
2208
2209 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2210 {
2211     m_progressEventTimer.stop();
2212     if (hasMediaControls() && m_player->didLoadingProgress())
2213         mediaControls()->bufferingProgressed();
2214
2215     // Schedule one last progress event so we guarantee that at least one is fired
2216     // for files that load very quickly.
2217     scheduleEvent(eventNames().progressEvent);
2218     scheduleEvent(eventNames().suspendEvent);
2219     m_networkState = NETWORK_IDLE;
2220 }
2221
2222 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2223 {
2224     beginProcessingMediaPlayerCallback();
2225
2226     setReadyState(m_player->readyState());
2227
2228     endProcessingMediaPlayerCallback();
2229 }
2230
2231 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2232 {
2233     return isAutoplaying()
2234         && paused()
2235         && autoplay()
2236         && !pausedForUserInteraction()
2237         && !document().isSandboxed(SandboxAutomaticFeatures)
2238         && mediaSession().playbackPermitted(*this);
2239 }
2240
2241 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2242 {
2243     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2244
2245     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2246     bool wasPotentiallyPlaying = potentiallyPlaying();
2247
2248     ReadyState oldState = m_readyState;
2249     ReadyState newState = static_cast<ReadyState>(state);
2250
2251 #if ENABLE(VIDEO_TRACK)
2252     bool tracksAreReady = textTracksAreReady();
2253
2254     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2255         return;
2256
2257     m_tracksAreReady = tracksAreReady;
2258 #else
2259     if (newState == oldState)
2260         return;
2261     bool tracksAreReady = true;
2262 #endif
2263     
2264     if (tracksAreReady)
2265         m_readyState = newState;
2266     else {
2267         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2268         // the text tracks are ready, regardless of the state of the media file.
2269         if (newState <= HAVE_METADATA)
2270             m_readyState = newState;
2271         else
2272             m_readyState = HAVE_CURRENT_DATA;
2273     }
2274     
2275     if (oldState > m_readyStateMaximum)
2276         m_readyStateMaximum = oldState;
2277
2278     if (m_networkState == NETWORK_EMPTY)
2279         return;
2280
2281     if (m_seeking) {
2282         // 4.8.10.9, step 11
2283         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2284             scheduleEvent(eventNames().waitingEvent);
2285
2286         // 4.8.10.10 step 14 & 15.
2287         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2288             finishSeek();
2289     } else {
2290         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2291             // 4.8.10.8
2292             invalidateCachedTime();
2293             scheduleTimeupdateEvent(false);
2294             scheduleEvent(eventNames().waitingEvent);
2295         }
2296     }
2297
2298     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2299         prepareMediaFragmentURI();
2300         scheduleEvent(eventNames().durationchangeEvent);
2301         scheduleResizeEvent();
2302         scheduleEvent(eventNames().loadedmetadataEvent);
2303 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2304         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2305             enqueuePlaybackTargetAvailabilityChangedEvent();
2306 #endif
2307         m_initiallyMuted = m_volume < 0.05 || muted();
2308
2309         if (hasMediaControls())
2310             mediaControls()->loadedMetadata();
2311         updateRenderer();
2312
2313         if (is<MediaDocument>(document()))
2314             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2315
2316         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2317
2318 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2319         updateMediaState(UpdateState::Asynchronously);
2320 #endif
2321
2322         m_mediaSession->clientCharacteristicsChanged();
2323     }
2324
2325     bool shouldUpdateDisplayState = false;
2326
2327     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2328         m_haveFiredLoadedData = true;
2329         shouldUpdateDisplayState = true;
2330         scheduleEvent(eventNames().loadeddataEvent);
2331         setShouldDelayLoadEvent(false);
2332         applyMediaFragmentURI();
2333     }
2334
2335     bool isPotentiallyPlaying = potentiallyPlaying();
2336     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2337         scheduleEvent(eventNames().canplayEvent);
2338         if (isPotentiallyPlaying)
2339             scheduleNotifyAboutPlaying();
2340         shouldUpdateDisplayState = true;
2341     }
2342
2343     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2344         if (oldState <= HAVE_CURRENT_DATA)
2345             scheduleEvent(eventNames().canplayEvent);
2346
2347         scheduleEvent(eventNames().canplaythroughEvent);
2348
2349         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2350             scheduleNotifyAboutPlaying();
2351
2352         if (canTransitionFromAutoplayToPlay()) {
2353             m_paused = false;
2354             invalidateCachedTime();
2355             m_playbackStartedTime = currentMediaTime().toDouble();
2356             scheduleEvent(eventNames().playEvent);
2357             scheduleNotifyAboutPlaying();
2358         }
2359
2360         shouldUpdateDisplayState = true;
2361     }
2362
2363     if (shouldUpdateDisplayState) {
2364         updateDisplayState();
2365         if (hasMediaControls()) {
2366             mediaControls()->refreshClosedCaptionsButtonVisibility();
2367             mediaControls()->updateStatusDisplay();
2368         }
2369     }
2370
2371     updatePlayState();
2372     updateMediaController();
2373 #if ENABLE(VIDEO_TRACK)
2374     updateActiveTextTrackCues(currentMediaTime());
2375 #endif
2376 }
2377
2378 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2379 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2380 {
2381     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2382 }
2383
2384 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2385 {
2386     if (!hasEventListeners("webkitneedkey")) {
2387         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2388         scheduleEvent(eventNames().errorEvent);
2389         return false;
2390     }
2391
2392     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2393     event->setTarget(this);
2394     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2395
2396     return true;
2397 }
2398
2399 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2400 {
2401     Settings* settings = document().settings();
2402     if (!settings)
2403         return emptyString();
2404
2405     String storageDirectory = settings->mediaKeysStorageDirectory();
2406     if (storageDirectory.isEmpty())
2407         return emptyString();
2408
2409     SecurityOrigin* origin = document().securityOrigin();
2410     if (!origin)
2411         return emptyString();
2412
2413     return pathByAppendingComponent(storageDirectory, origin->databaseIdentifier());
2414 }
2415
2416 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2417 {
2418     if (m_mediaKeys == mediaKeys)
2419         return;
2420
2421     if (m_mediaKeys)
2422         m_mediaKeys->setMediaElement(nullptr);
2423     m_mediaKeys = mediaKeys;
2424     if (m_mediaKeys)
2425         m_mediaKeys->setMediaElement(this);
2426 }
2427
2428 void HTMLMediaElement::keyAdded()
2429 {
2430     if (m_player)
2431         m_player->keyAdded();
2432 }
2433
2434 #endif
2435
2436 void HTMLMediaElement::progressEventTimerFired()
2437 {
2438     ASSERT(m_player);
2439     if (m_networkState != NETWORK_LOADING)
2440         return;
2441
2442     double time = monotonicallyIncreasingTime();
2443     double timedelta = time - m_previousProgressTime;
2444
2445     if (m_player->didLoadingProgress()) {
2446         scheduleEvent(eventNames().progressEvent);
2447         m_previousProgressTime = time;
2448         m_sentStalledEvent = false;
2449         updateRenderer();
2450         if (hasMediaControls())
2451             mediaControls()->bufferingProgressed();
2452     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2453         scheduleEvent(eventNames().stalledEvent);
2454         m_sentStalledEvent = true;
2455         setShouldDelayLoadEvent(false);
2456     }
2457 }
2458
2459 void HTMLMediaElement::rewind(double timeDelta)
2460 {
2461     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2462     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2463 }
2464
2465 void HTMLMediaElement::returnToRealtime()
2466 {
2467     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2468     setCurrentTime(maxTimeSeekable());
2469 }
2470
2471 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2472 {
2473     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2474     if (!m_playedTimeRanges)
2475         m_playedTimeRanges = TimeRanges::create();
2476     m_playedTimeRanges->ranges().add(start, end);
2477 }  
2478
2479 bool HTMLMediaElement::supportsScanning() const
2480 {
2481     return m_player ? m_player->supportsScanning() : false;
2482 }
2483
2484 void HTMLMediaElement::prepareToPlay()
2485 {
2486     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2487     if (m_havePreparedToPlay)
2488         return;
2489     m_havePreparedToPlay = true;
2490     m_player->prepareToPlay();
2491 }
2492
2493 void HTMLMediaElement::fastSeek(double time)
2494 {
2495     fastSeek(MediaTime::createWithDouble(time));
2496 }
2497
2498 void HTMLMediaElement::fastSeek(const MediaTime& time)
2499 {
2500     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2501     // 4.7.10.9 Seeking
2502     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2503     // allow for playback to resume promptly. If new playback position before this step is before current
2504     // playback position, then the adjusted new playback position must also be before the current playback
2505     // position. Similarly, if the new playback position before this step is after current playback position,
2506     // then the adjusted new playback position must also be after the current playback position.
2507     refreshCachedTime();
2508     MediaTime delta = time - currentMediaTime();
2509     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2510     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2511
2512     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2513 }
2514
2515 void HTMLMediaElement::seek(const MediaTime& time)
2516 {
2517     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2518     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2519 }
2520
2521 void HTMLMediaElement::seekInternal(const MediaTime& time)
2522 {
2523     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2524     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2525 }
2526
2527 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2528 {
2529     // 4.8.10.9 Seeking
2530     MediaTime time = inTime;
2531
2532     // 1 - Set the media element's show poster flag to false.
2533     setDisplayMode(Video);
2534
2535     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2536     if (m_readyState == HAVE_NOTHING || !m_player)
2537         return;
2538
2539     // If the media engine has been told to postpone loading data, let it go ahead now.
2540     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2541         prepareToPlay();
2542
2543     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2544     refreshCachedTime();
2545     MediaTime now = currentMediaTime();
2546
2547     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2548     // already running. Abort that other instance of the algorithm without waiting for the step that
2549     // it is running to complete.
2550     if (m_seekTaskQueue.hasPendingTasks()) {
2551         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2552         m_seekTaskQueue.cancelAllTasks();
2553         if (m_pendingSeek) {
2554             now = m_pendingSeek->now;
2555             m_pendingSeek = nullptr;
2556         }
2557         m_pendingSeekType = NoSeek;
2558     }
2559
2560     // 4 - Set the seeking IDL attribute to true.
2561     // The flag will be cleared when the engine tells us the time has actually changed.
2562     m_seeking = true;
2563     if (m_playing) {
2564         if (m_lastSeekTime < now)
2565             addPlayedRange(m_lastSeekTime, now);
2566     }
2567     m_lastSeekTime = time;
2568
2569     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2570     // the script. The remainder of these steps must be run asynchronously.
2571     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2572     if (fromDOM) {
2573         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2574         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2575     } else
2576         seekTask();
2577
2578     if (ScriptController::processingUserGestureForMedia())
2579         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2580 }
2581
2582 void HTMLMediaElement::seekTask()
2583 {
2584     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2585
2586     if (!m_player) {
2587         clearSeeking();
2588         return;
2589     }
2590
2591     ASSERT(m_pendingSeek);
2592     MediaTime now = m_pendingSeek->now;
2593     MediaTime time = m_pendingSeek->targetTime;
2594     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2595     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2596     m_pendingSeek = nullptr;
2597
2598     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2599     // of the media resource instead.
2600     time = std::min(time, durationMediaTime());
2601
2602     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2603     MediaTime earliestTime = m_player->startTime();
2604     time = std::max(time, earliestTime);
2605
2606     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2607     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2608     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2609     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2610     // fire a 'seeked' event.
2611 #if !LOG_DISABLED
2612     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2613     if (time != mediaTime)
2614         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2615 #endif
2616     time = m_player->mediaTimeForTimeValue(time);
2617
2618     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2619     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2620     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2621     // attribute then set the seeking IDL attribute to false and abort these steps.
2622     RefPtr<TimeRanges> seekableRanges = seekable();
2623     bool noSeekRequired = !seekableRanges->length();
2624
2625     // Short circuit seeking to the current time by just firing the events if no seek is required.
2626     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2627     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2628     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2629     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2630         noSeekRequired = true;
2631
2632 #if ENABLE(MEDIA_SOURCE)
2633     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2634     // always in a flushed state when the 'seeking' event fires.
2635     if (m_mediaSource && !m_mediaSource->isClosed())
2636         noSeekRequired = false;
2637 #endif
2638
2639     if (noSeekRequired) {
2640         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2641         if (time == now) {
2642             scheduleEvent(eventNames().seekingEvent);
2643             scheduleTimeupdateEvent(false);
2644             scheduleEvent(eventNames().seekedEvent);
2645         }
2646         clearSeeking();
2647         return;
2648     }
2649     time = seekableRanges->ranges().nearest(time);
2650
2651     m_sentEndEvent = false;
2652     m_lastSeekTime = time;
2653     m_pendingSeekType = thisSeekType;
2654     m_seeking = true;
2655
2656     // 10 - Queue a task to fire a simple event named seeking at the element.
2657     scheduleEvent(eventNames().seekingEvent);
2658
2659     // 11 - Set the current playback position to the given new playback position
2660     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2661
2662     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2663     // position is available, and, if it is, until it has decoded enough data to play back that position.
2664     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2665 }
2666
2667 void HTMLMediaElement::clearSeeking()
2668 {
2669     m_seeking = false;
2670     m_pendingSeekType = NoSeek;
2671     invalidateCachedTime();
2672 }
2673
2674 void HTMLMediaElement::finishSeek()
2675 {
2676     // 4.8.10.9 Seeking
2677     // 14 - Set the seeking IDL attribute to false.
2678     clearSeeking();
2679
2680     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2681
2682     // 15 - Run the time maches on steps.
2683     // Handled by mediaPlayerTimeChanged().
2684
2685     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2686     scheduleEvent(eventNames().timeupdateEvent);
2687
2688     // 17 - Queue a task to fire a simple event named seeked at the element.
2689     scheduleEvent(eventNames().seekedEvent);
2690
2691 #if ENABLE(MEDIA_SOURCE)
2692     if (m_mediaSource)
2693         m_mediaSource->monitorSourceBuffers();
2694 #endif
2695 }
2696
2697 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2698 {
2699     return m_readyState;
2700 }
2701
2702 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2703 {
2704     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2705 }
2706
2707 bool HTMLMediaElement::hasAudio() const
2708 {
2709     return m_player ? m_player->hasAudio() : false;
2710 }
2711
2712 bool HTMLMediaElement::seeking() const
2713 {
2714     return m_seeking;
2715 }
2716
2717 void HTMLMediaElement::refreshCachedTime() const
2718 {
2719     if (!m_player)
2720         return;
2721
2722     m_cachedTime = m_player->currentTime();
2723     if (!m_cachedTime) {
2724         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2725         // estimate current time until playback actually begins. 
2726         invalidateCachedTime(); 
2727         return; 
2728     } 
2729
2730     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2731 }
2732
2733 void HTMLMediaElement::invalidateCachedTime() const
2734 {
2735     m_cachedTime = MediaTime::invalidTime();
2736     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2737         return;
2738
2739 #if !LOG_DISABLED
2740     if (m_cachedTime.isValid())
2741         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2742 #endif
2743
2744     // Don't try to cache movie time when playback first starts as the time reported by the engine
2745     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2746     // too early.
2747     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2748
2749     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2750 }
2751
2752 // playback state
2753 double HTMLMediaElement::currentTime() const
2754 {
2755     return currentMediaTime().toDouble();
2756 }
2757
2758 MediaTime HTMLMediaElement::currentMediaTime() const
2759 {
2760 #if LOG_CACHED_TIME_WARNINGS
2761     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2762 #endif
2763
2764     if (!m_player)
2765         return MediaTime::zeroTime();
2766
2767     if (m_seeking) {
2768         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2769         return m_lastSeekTime;
2770     }
2771
2772     if (m_cachedTime.isValid() && m_paused) {
2773 #if LOG_CACHED_TIME_WARNINGS
2774         MediaTime delta = m_cachedTime - m_player->currentTime();
2775         if (delta > minCachedDeltaForWarning)
2776             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2777 #endif
2778         return m_cachedTime;
2779     }
2780
2781     // Is it too soon use a cached time?
2782     double now = monotonicallyIncreasingTime();
2783     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2784
2785     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2786         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2787
2788         // Not too soon, use the cached time only if it hasn't expired.
2789         if (clockDelta < maximumDurationToCacheMediaTime) {
2790             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2791
2792 #if LOG_CACHED_TIME_WARNINGS
2793             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2794             if (delta > minCachedDeltaForWarning)
2795                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2796 #endif
2797             return adjustedCacheTime;
2798         }
2799     }
2800
2801 #if LOG_CACHED_TIME_WARNINGS
2802     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2803         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2804         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2805         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2806     }
2807 #endif
2808
2809     refreshCachedTime();
2810
2811     if (m_cachedTime.isInvalid())
2812         return MediaTime::zeroTime();
2813     
2814     return m_cachedTime;
2815 }
2816
2817 void HTMLMediaElement::setCurrentTime(double time)
2818 {
2819     setCurrentTime(MediaTime::createWithDouble(time));
2820 }
2821
2822 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2823 {
2824     if (m_mediaController)
2825         return;
2826
2827     seekInternal(time);
2828 }
2829
2830 ExceptionOr<void> HTMLMediaElement::setCurrentTimeForBindings(double time)
2831 {
2832     if (m_mediaController)
2833         return Exception { INVALID_STATE_ERR };
2834     seek(MediaTime::createWithDouble(time));
2835     return { };
2836 }
2837
2838 double HTMLMediaElement::duration() const
2839 {
2840     return durationMediaTime().toDouble();
2841 }
2842
2843 MediaTime HTMLMediaElement::durationMediaTime() const
2844 {
2845     if (m_player && m_readyState >= HAVE_METADATA)
2846         return m_player->duration();
2847
2848     return MediaTime::invalidTime();
2849 }
2850
2851 bool HTMLMediaElement::paused() const
2852 {
2853     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2854     // we had problems where this was called on an object after a bad cast. The assertion below
2855     // made our regression test detect the problem, so we should keep it because of that. But note
2856     // that the value of the assertion relies on the compiler not being smart enough to know that
2857     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2858     ASSERT(!isHTMLUnknownElement());
2859
2860     return m_paused;
2861 }
2862
2863 double HTMLMediaElement::defaultPlaybackRate() const
2864 {
2865 #if ENABLE(MEDIA_STREAM)
2866     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2867     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2868     // A MediaStream is not seekable. Therefore, this attribute must always have the
2869     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2870     // that the ratechange event will not fire.
2871     if (m_mediaStreamSrcObject)
2872         return 1;
2873 #endif
2874
2875     return m_defaultPlaybackRate;
2876 }
2877
2878 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2879 {
2880 #if ENABLE(MEDIA_STREAM)
2881     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2882     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2883     // A MediaStream is not seekable. Therefore, this attribute must always have the
2884     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2885     // that the ratechange event will not fire.
2886     if (m_mediaStreamSrcObject)
2887         return;
2888 #endif
2889
2890     if (m_defaultPlaybackRate != rate) {
2891         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2892         m_defaultPlaybackRate = rate;
2893         scheduleEvent(eventNames().ratechangeEvent);
2894     }
2895 }
2896
2897 double HTMLMediaElement::effectivePlaybackRate() const
2898 {
2899     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2900 }
2901
2902 double HTMLMediaElement::requestedPlaybackRate() const
2903 {
2904     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2905 }
2906
2907 double HTMLMediaElement::playbackRate() const
2908 {
2909 #if ENABLE(MEDIA_STREAM)
2910     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2911     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2912     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2913     // means that the ratechange event will not fire.
2914     if (m_mediaStreamSrcObject)
2915         return 1;
2916 #endif
2917
2918     return m_requestedPlaybackRate;
2919 }
2920
2921 void HTMLMediaElement::setPlaybackRate(double rate)
2922 {
2923     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2924
2925 #if ENABLE(MEDIA_STREAM)
2926     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2927     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2928     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2929     // means that the ratechange event will not fire.
2930     if (m_mediaStreamSrcObject)
2931         return;
2932 #endif
2933
2934     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2935         m_player->setRate(rate);
2936
2937     if (m_requestedPlaybackRate != rate) {
2938         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2939         invalidateCachedTime();
2940         scheduleEvent(eventNames().ratechangeEvent);
2941     }
2942 }
2943
2944 void HTMLMediaElement::updatePlaybackRate()
2945 {
2946     double requestedRate = requestedPlaybackRate();
2947     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2948         m_player->setRate(requestedRate);
2949 }
2950
2951 bool HTMLMediaElement::webkitPreservesPitch() const
2952 {
2953     return m_webkitPreservesPitch;
2954 }
2955
2956 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
2957 {
2958     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
2959
2960     m_webkitPreservesPitch = preservesPitch;
2961     
2962     if (!m_player)
2963         return;
2964
2965     m_player->setPreservesPitch(preservesPitch);
2966 }
2967
2968 bool HTMLMediaElement::ended() const
2969 {
2970 #if ENABLE(MEDIA_STREAM)
2971     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2972     // When the MediaStream state moves from the active to the inactive state, the User Agent
2973     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
2974     if (m_mediaStreamSrcObject && m_player && m_player->ended())
2975         return true;
2976 #endif
2977
2978     // 4.8.10.8 Playing the media resource
2979     // The ended attribute must return true if the media element has ended 
2980     // playback and the direction of playback is forwards, and false otherwise.
2981     return endedPlayback() && requestedPlaybackRate() > 0;
2982 }
2983
2984 bool HTMLMediaElement::autoplay() const
2985 {
2986     return hasAttributeWithoutSynchronization(autoplayAttr);
2987 }
2988
2989 String HTMLMediaElement::preload() const
2990 {
2991 #if ENABLE(MEDIA_STREAM)
2992     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2993     // "preload" - On getting: none. On setting: ignored.
2994     if (m_mediaStreamSrcObject)
2995         return ASCIILiteral("none");
2996 #endif
2997
2998     switch (m_preload) {
2999     case MediaPlayer::None:
3000         return ASCIILiteral("none");
3001     case MediaPlayer::MetaData:
3002         return ASCIILiteral("metadata");
3003     case MediaPlayer::Auto:
3004         return ASCIILiteral("auto");
3005     }
3006
3007     ASSERT_NOT_REACHED();
3008     return String();
3009 }
3010
3011 void HTMLMediaElement::setPreload(const String& preload)
3012 {
3013     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3014 #if ENABLE(MEDIA_STREAM)
3015     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3016     // "preload" - On getting: none. On setting: ignored.
3017     if (m_mediaStreamSrcObject)
3018         return;
3019 #endif
3020
3021     setAttributeWithoutSynchronization(preloadAttr, preload);
3022 }
3023
3024 void HTMLMediaElement::play(PlayPromise&& promise)
3025 {
3026     LOG(Media, "HTMLMediaElement::play(%p)", this);
3027
3028     if (!m_mediaSession->playbackPermitted(*this)) {
3029         promise.reject(NotAllowedError);
3030         return;
3031     }
3032
3033     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3034         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3035         return;
3036     }
3037
3038     if (ScriptController::processingUserGestureForMedia())
3039         removeBehaviorsRestrictionsAfterFirstUserGesture();
3040
3041     if (!playInternal()) {
3042         promise.reject(NotAllowedError);
3043         return;
3044     }
3045
3046     m_pendingPlayPromises.append(WTFMove(promise));
3047 }
3048
3049 void HTMLMediaElement::play()
3050 {
3051     LOG(Media, "HTMLMediaElement::play(%p)", this);
3052
3053     if (!m_mediaSession->playbackPermitted(*this))
3054         return;
3055     if (ScriptController::processingUserGestureForMedia())
3056         removeBehaviorsRestrictionsAfterFirstUserGesture();
3057
3058     playInternal();
3059 }
3060
3061 bool HTMLMediaElement::playInternal()
3062 {
3063     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3064     
3065     if (!m_mediaSession->clientWillBeginPlayback()) {
3066         LOG(Media, "  returning because of interruption");
3067         return true; // Treat as success because we will begin playback on cessation of the interruption.
3068     }
3069
3070     // 4.8.10.9. Playing the media resource
3071     if (!m_player || m_networkState == NETWORK_EMPTY)
3072         scheduleDelayedAction(LoadMediaResource);
3073
3074     if (endedPlayback())
3075         seekInternal(MediaTime::zeroTime());
3076
3077     if (m_mediaController)
3078         m_mediaController->bringElementUpToSpeed(*this);
3079
3080     if (m_paused) {
3081         m_paused = false;
3082         invalidateCachedTime();
3083         m_playbackStartedTime = currentMediaTime().toDouble();
3084         scheduleEvent(eventNames().playEvent);
3085
3086         if (m_readyState <= HAVE_CURRENT_DATA)
3087             scheduleEvent(eventNames().waitingEvent);
3088         else if (m_readyState >= HAVE_FUTURE_DATA)
3089             scheduleNotifyAboutPlaying();
3090
3091 #if ENABLE(MEDIA_SESSION)
3092         // 6.3 Activating a media session from a media element
3093         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3094         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3095         // 1. Let media session be the value of the current media session.
3096         // 2. If we are not currently in media session's list of active participating media elements then append
3097         //    ourselves to this list.
3098         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3099         // 4. If activated is failure, pause ourselves.
3100         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3101             if (m_session) {
3102                 m_session->addActiveMediaElement(*this);
3103
3104                 if (m_session->kind() == MediaSessionKind::Content) {
3105                     if (Page* page = document().page())
3106                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3107                 }
3108
3109                 if (!m_session->invoke()) {
3110                     pause();
3111                     return false;
3112                 }
3113             }
3114         }
3115 #endif
3116     } else if (m_readyState >= HAVE_FUTURE_DATA)
3117         scheduleResolvePendingPlayPromises();
3118
3119     m_autoplaying = false;
3120     updatePlayState();
3121
3122     return true;
3123 }
3124
3125 void HTMLMediaElement::pause()
3126 {
3127     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3128
3129     if (!m_mediaSession->playbackPermitted(*this))
3130         return;
3131
3132     if (ScriptController::processingUserGestureForMedia())
3133         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3134
3135     pauseInternal();
3136 }
3137
3138
3139 void HTMLMediaElement::pauseInternal()
3140 {
3141     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3142
3143     if (!m_mediaSession->clientWillPausePlayback()) {
3144         LOG(Media, "  returning because of interruption");
3145         return;
3146     }
3147
3148     // 4.8.10.9. Playing the media resource
3149     if (!m_player || m_networkState == NETWORK_EMPTY) {
3150         // Unless the restriction on media requiring user action has been lifted
3151         // don't trigger loading if a script calls pause().
3152         if (!m_mediaSession->playbackPermitted(*this))
3153             return;
3154         scheduleDelayedAction(LoadMediaResource);
3155     }
3156
3157     m_autoplaying = false;
3158
3159     if (!m_paused) {
3160         m_paused = true;
3161         scheduleTimeupdateEvent(false);
3162         scheduleEvent(eventNames().pauseEvent);
3163         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3164
3165         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3166             purgeBufferedDataIfPossible();
3167     }
3168
3169     updatePlayState();
3170 }
3171
3172 #if ENABLE(MEDIA_SOURCE)
3173 void HTMLMediaElement::detachMediaSource()
3174 {
3175     if (!m_mediaSource)
3176         return;
3177
3178     m_mediaSource->detachFromElement(*this);
3179     m_mediaSource = nullptr;
3180 }
3181 #endif
3182
3183 bool HTMLMediaElement::loop() const
3184 {
3185     return hasAttributeWithoutSynchronization(loopAttr);
3186 }
3187
3188 void HTMLMediaElement::setLoop(bool b)
3189 {
3190     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3191     setBooleanAttribute(loopAttr, b);
3192 }
3193
3194 bool HTMLMediaElement::controls() const
3195 {
3196     Frame* frame = document().frame();
3197
3198     // always show controls when scripting is disabled
3199     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3200         return true;
3201
3202     return hasAttributeWithoutSynchronization(controlsAttr);
3203 }
3204
3205 void HTMLMediaElement::setControls(bool b)
3206 {
3207     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3208     setBooleanAttribute(controlsAttr, b);
3209 }
3210
3211 double HTMLMediaElement::volume() const
3212 {
3213     return m_volume;
3214 }
3215
3216 ExceptionOr<void> HTMLMediaElement::setVolume(double volume)
3217 {
3218     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, volume);
3219
3220     if (!(volume >= 0 && volume <= 1))
3221         return Exception { INDEX_SIZE_ERR };
3222
3223 #if !PLATFORM(IOS)
3224     if (m_volume == volume)
3225         return { };
3226
3227     m_volume = volume;
3228     m_volumeInitialized = true;
3229     updateVolume();
3230     scheduleEvent(eventNames().volumechangeEvent);
3231 #endif
3232     return { };
3233 }
3234
3235 bool HTMLMediaElement::muted() const
3236 {
3237     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3238 }
3239
3240 void HTMLMediaElement::setMuted(bool muted)
3241 {
3242     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3243
3244     bool mutedStateChanged = m_muted != muted;
3245     if (mutedStateChanged || !m_explicitlyMuted) {
3246         m_muted = muted;
3247         m_explicitlyMuted = true;
3248
3249         if (ScriptController::processingUserGestureForMedia())
3250             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3251
3252         // Avoid recursion when the player reports volume changes.
3253         if (!processingMediaPlayerCallback()) {
3254             if (m_player) {
3255                 m_player->setMuted(effectiveMuted());
3256                 if (hasMediaControls())
3257                     mediaControls()->changedMute();
3258             }
3259         }
3260
3261         if (mutedStateChanged)
3262             scheduleEvent(eventNames().volumechangeEvent);
3263
3264         updateShouldPlay();
3265
3266 #if ENABLE(MEDIA_SESSION)
3267         document().updateIsPlayingMedia(m_elementID);
3268 #else
3269         document().updateIsPlayingMedia();
3270 #endif
3271
3272 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3273         updateMediaState(UpdateState::Asynchronously);
3274 #endif
3275     }
3276
3277     scheduleUpdatePlaybackControlsManager();
3278     updateAudioAssertionState();
3279 }
3280
3281 void HTMLMediaElement::togglePlayState()
3282 {
3283     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3284
3285     // We can safely call the internal play/pause methods, which don't check restrictions, because
3286     // this method is only called from the built-in media controller
3287     if (canPlay()) {
3288         updatePlaybackRate();
3289         playInternal();
3290     } else 
3291         pauseInternal();
3292 }
3293
3294 void HTMLMediaElement::beginScrubbing()
3295 {
3296     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3297
3298     if (!paused()) {
3299         if (ended()) {
3300             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3301             // when the slider is dragged from the end to another position unless we pause first. Do 
3302             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3303             pause();
3304         } else {
3305             // Not at the end but we still want to pause playback so the media engine doesn't try to
3306             // continue playing during scrubbing. Pause without generating an event as we will 
3307             // unpause after scrubbing finishes.
3308             setPausedInternal(true);
3309         }
3310     }
3311
3312     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3313 }
3314
3315 void HTMLMediaElement::endScrubbing()
3316 {
3317     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3318
3319     if (m_pausedInternal)
3320         setPausedInternal(false);
3321 }
3322
3323 void HTMLMediaElement::beginScanning(ScanDirection direction)
3324 {
3325     m_scanType = supportsScanning() ? Scan : Seek;
3326     m_scanDirection = direction;
3327
3328     if (m_scanType == Seek) {
3329         // Scanning by seeking requires the video to be paused during scanning.
3330         m_actionAfterScan = paused() ? Nothing : Play;
3331         pause();
3332     } else {
3333         // Scanning by scanning requires the video to be playing during scanninging.
3334         m_actionAfterScan = paused() ? Pause : Nothing;
3335         play();
3336         setPlaybackRate(nextScanRate());
3337     }
3338
3339     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3340 }
3341
3342 void HTMLMediaElement::endScanning()
3343 {
3344     if (m_scanType == Scan)
3345         setPlaybackRate(defaultPlaybackRate());
3346
3347     if (m_actionAfterScan == Play)
3348         play();
3349     else if (m_actionAfterScan == Pause)
3350         pause();
3351
3352     if (m_scanTimer.isActive())
3353         m_scanTimer.stop();
3354 }
3355
3356 double HTMLMediaElement::nextScanRate()
3357 {
3358     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3359     if (m_scanDirection == Backward)
3360         rate *= -1;
3361 #if PLATFORM(IOS)
3362     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3363 #endif
3364     return rate;
3365 }
3366
3367 void HTMLMediaElement::scanTimerFired()
3368 {
3369     if (m_scanType == Seek) {
3370         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3371         setCurrentTime(currentTime() + seekTime);
3372     } else
3373         setPlaybackRate(nextScanRate());
3374 }
3375
3376 // The spec says to fire periodic timeupdate events (those sent while playing) every
3377 // "15 to 250ms", we choose the slowest frequency
3378 static const double maxTimeupdateEventFrequency = 0.25;
3379
3380 void HTMLMediaElement::startPlaybackProgressTimer()
3381 {
3382     if (m_playbackProgressTimer.isActive())
3383         return;
3384
3385     m_previousProgressTime = monotonicallyIncreasingTime();
3386     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3387 }
3388
3389 void HTMLMediaElement::playbackProgressTimerFired()
3390 {
3391     ASSERT(m_player);
3392
3393     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3394         m_fragmentEndTime = MediaTime::invalidTime();
3395         if (!m_mediaController && !m_paused) {
3396             // changes paused to true and fires a simple event named pause at the media element.
3397             pauseInternal();
3398         }
3399     }
3400     
3401     scheduleTimeupdateEvent(true);
3402
3403     if (!requestedPlaybackRate())
3404         return;
3405
3406     if (!m_paused && hasMediaControls())
3407         mediaControls()->playbackProgressed();
3408
3409 #if ENABLE(VIDEO_TRACK)
3410     updateActiveTextTrackCues(currentMediaTime());
3411 #endif
3412
3413 #if ENABLE(MEDIA_SOURCE)
3414     if (m_mediaSource)
3415         m_mediaSource->monitorSourceBuffers();
3416 #endif
3417 }
3418
3419 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3420 {
3421     double now = monotonicallyIncreasingTime();
3422     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3423
3424     // throttle the periodic events
3425     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3426         return;
3427
3428     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3429     // event at a given time so filter here
3430     MediaTime movieTime = currentMediaTime();
3431     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3432         scheduleEvent(eventNames().timeupdateEvent);
3433         m_clockTimeAtLastUpdateEvent = now;
3434         m_lastTimeUpdateEventMovieTime = movieTime;
3435     }
3436 }
3437
3438 bool HTMLMediaElement::canPlay() const
3439 {
3440     return paused() || ended() || m_readyState < HAVE_METADATA;
3441 }
3442
3443 double HTMLMediaElement::percentLoaded() const
3444 {
3445     if (!m_player)
3446         return 0;
3447     MediaTime duration = m_player->duration();
3448
3449     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3450         return 0;
3451
3452     MediaTime buffered = MediaTime::zeroTime();
3453     bool ignored;
3454     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3455     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3456         MediaTime start = timeRanges->start(i, ignored);
3457         MediaTime end = timeRanges->end(i, ignored);
3458         buffered += end - start;
3459     }
3460     return buffered.toDouble() / duration.toDouble();
3461 }
3462
3463 #if ENABLE(VIDEO_TRACK)
3464
3465 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(AudioTrackPrivate& track)
3466 {
3467     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3468         pauseInternal();
3469
3470     addAudioTrack(AudioTrack::create(this, &track));
3471 }
3472
3473 void HTMLMediaElement::mediaPlayerDidAddTextTrack(InbandTextTrackPrivate& track)
3474 {
3475     // 4.8.10.12.2 Sourcing in-band text tracks
3476     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3477     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, &track);
3478     textTrack->setMediaElement(this);
3479     
3480     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3481     // as defined by the relevant specification. If there is no label in that data, then the label must
3482     // be set to the empty string.
3483     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3484     // for the format in question.
3485     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3486     // as follows, based on the type of the media resource:
3487     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3488     // cues, and begin updating it dynamically as necessary.
3489     //   - Thess are all done by the media engine.
3490     
3491     // 6. Set the new text track's readiness state to loaded.
3492     textTrack->setReadinessState(TextTrack::Loaded);
3493     
3494     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3495     // the relevant specification for the data.
3496     //  - This will happen in configureTextTracks()
3497     scheduleDelayedAction(ConfigureTextTracks);
3498     
3499     // 8. Add the new text track to the media element's list of text tracks.
3500     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3501     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3502     // textTracks attribute's TextTrackList object.
3503     addTextTrack(textTrack.releaseNonNull());
3504 }
3505
3506 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(VideoTrackPrivate& track)
3507 {
3508     addVideoTrack(VideoTrack::create(this, &track));
3509 }
3510
3511 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(AudioTrackPrivate& track)
3512 {
3513     track.willBeRemoved();
3514 }
3515
3516 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(InbandTextTrackPrivate& track)
3517 {
3518     track.willBeRemoved();
3519 }
3520
3521 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(VideoTrackPrivate& track)
3522 {
3523     track.willBeRemoved();
3524 }
3525
3526 void HTMLMediaElement::closeCaptionTracksChanged()
3527 {
3528     if (hasMediaControls())
3529         mediaControls()->closedCaptionTracksChanged();
3530 }
3531
3532 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3533 {
3534     audioTracks().append(WTFMove(track));
3535 }
3536
3537 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3538 {
3539     if (!m_requireCaptionPreferencesChangedCallbacks) {
3540         m_requireCaptionPreferencesChangedCallbacks = true;
3541         Document& document = this->document();
3542         document.registerForCaptionPreferencesChangedCallbacks(this);
3543         if (Page* page = document.page())
3544             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3545     }
3546
3547     textTracks().append(WTFMove(track));
3548
3549     closeCaptionTracksChanged();
3550 }
3551
3552 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3553 {
3554     videoTracks().append(WTFMove(track));
3555 }
3556
3557 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3558 {
3559     m_audioTracks->remove(track);
3560 }
3561
3562 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3563 {
3564     TrackDisplayUpdateScope scope(this);
3565     if (TextTrackCueList* cues = track.cues())
3566         textTrackRemoveCues(&track, cues);
3567     track.clearClient();
3568     if (m_textTracks)
3569         m_textTracks->remove(track, scheduleEvent);
3570
3571     closeCaptionTracksChanged();
3572 }
3573
3574 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3575 {
3576     m_videoTracks->remove(track);
3577 }
3578
3579 void HTMLMediaElement::forgetResourceSpecificTracks()
3580 {
3581     while (m_audioTracks &&  m_audioTracks->length())
3582         removeAudioTrack(*m_audioTracks->lastItem());
3583
3584     if (m_textTracks) {
3585         TrackDisplayUpdateScope scope(this);
3586         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3587             auto& track = *m_textTracks->item(i);
3588             if (track.trackType() == TextTrack::InBand)
3589                 removeTextTrack(track, false);
3590         }
3591     }
3592
3593     while (m_videoTracks &&  m_videoTracks->length())
3594         removeVideoTrack(*m_videoTracks->lastItem());
3595 }
3596
3597 ExceptionOr<TextTrack&> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language)
3598 {
3599     // 4.8.10.12.4 Text track API
3600     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3601
3602     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3603     if (!TextTrack::isValidKindKeyword(kind))
3604         return Exception { TypeError };
3605
3606     // 2. If the label argument was omitted, let label be the empty string.
3607     // 3. If the language argument was omitted, let language be the empty string.
3608     // 4. Create a new TextTrack object.
3609
3610     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3611     // track label to label, its text track language to language...
3612     auto track = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3613     auto& trackReference = track.get();
3614
3615     // Note, due to side effects when changing track parameters, we have to
3616     // first append the track to the text track list.
3617
3618     // 6. Add the new text track to the media element's list of text tracks.
3619     addTextTrack(WTFMove(track));
3620
3621     // ... its text track readiness state to the text track loaded state ...
3622     trackReference.setReadinessState(TextTrack::Loaded);
3623
3624     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3625     trackReference.setMode(TextTrack::Mode::Hidden);
3626
3627     return trackReference;
3628 }
3629
3630 AudioTrackList& HTMLMediaElement::audioTracks()
3631 {
3632     if (!m_audioTracks)
3633         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3634
3635     return *m_audioTracks;
3636 }
3637
3638 TextTrackList& HTMLMediaElement::textTracks()
3639 {
3640     if (!m_textTracks)
3641         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3642
3643     return *m_textTracks;
3644 }
3645
3646 VideoTrackList& HTMLMediaElement::videoTracks()
3647 {
3648     if (!m_videoTracks)
3649         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3650
3651     return *m_videoTracks;
3652 }
3653
3654 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement& trackElement)
3655 {
3656     ASSERT(trackElement.hasTagName(trackTag));
3657
3658     // 4.8.10.12.3 Sourcing out-of-band text tracks
3659     // When a track element's parent element changes and the new parent is a media element, 
3660     // then the user agent must add the track element's corresponding text track to the 
3661     // media element's list of text tracks ... [continues in TextTrackList::append]
3662     addTextTrack(trackElement.track());
3663
3664     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3665     // in the markup have been added.
3666     if (!m_parsingInProgress)
3667         scheduleDelayedAction(ConfigureTextTracks);
3668
3669     if (hasMediaControls())
3670         mediaControls()->closedCaptionTracksChanged();
3671 }
3672
3673 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement& trackElement)
3674 {
3675     ASSERT(trackElement.hasTagName(trackTag));
3676
3677 #if !LOG_DISABLED
3678     if (trackElement.hasTagName(trackTag)) {
3679         URL url = trackElement.getNonEmptyURLAttribute(srcAttr);
3680         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3681     }
3682 #endif
3683
3684     auto& textTrack = trackElement.track();
3685
3686     textTrack.setHasBeenConfigured(false);
3687
3688     if (!m_textTracks)
3689         return;
3690     
3691     // 4.8.10.12.3 Sourcing out-of-band text tracks
3692     // When a track element's parent element changes and the old parent was a media element, 
3693     // then the user agent must remove the track element's corresponding text track from the 
3694     // media element's list of text tracks.
3695     removeTextTrack(textTrack);
3696
3697     m_textTracksWhenResourceSelectionBegan.removeFirst(&textTrack);
3698 }
3699
3700 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3701 {
3702     ASSERT(group.tracks.size());
3703
3704     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3705
3706     Page* page = document().page();
3707     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3708     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3709
3710     // First, find the track in the group that should be enabled (if any).
3711     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3712     RefPtr<TextTrack> trackToEnable;
3713     RefPtr<TextTrack> defaultTrack;
3714     RefPtr<TextTrack> fallbackTrack;
3715     RefPtr<TextTrack> forcedSubitleTrack;
3716     int highestTrackScore = 0;
3717     int highestForcedScore = 0;
3718
3719     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3720     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3721     int alreadyVisibleTrackScore = 0;
3722     if (group.visibleTrack && captionPreferences) {
3723         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3724         currentlyEnabledTracks.append(group.visibleTrack);
3725     }
3726
3727     for (size_t i = 0; i < group.tracks.size(); ++i) {
3728         RefPtr<TextTrack> textTrack = group.tracks[i];
3729
3730         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3731             currentlyEnabledTracks.append(textTrack);
3732
3733         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3734         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' has score %i", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), trackScore);
3735
3736         if (trackScore) {
3737
3738             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3739             // track with this text track kind, text track language, and text track label enabled, and there is no
3740             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3741             // or captions whose text track mode is showing
3742             // ...
3743             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3744             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3745             // text tracks with a text track kind of chapters whose text track mode is showing
3746             //    Let the text track mode be showing.
3747             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3748                 highestTrackScore = trackScore;
3749                 trackToEnable = textTrack;
3750             }
3751
3752             if (!defaultTrack && textTrack->isDefault())
3753                 defaultTrack = textTrack;
3754             if (!defaultTrack && !fallbackTrack)
3755                 fallbackTrack = textTrack;
3756             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3757                 forcedSubitleTrack = textTrack;
3758                 highestForcedScore = trackScore;
3759             }
3760         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3761             // * If the track element has a default attribute specified, and there is no other text track in the media
3762             // element's list of text tracks whose text track mode is showing or showing by default
3763             //    Let the text track mode be showing by default.
3764             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3765                 defaultTrack = textTrack;
3766         }
3767     }
3768
3769     if (displayMode != CaptionUserPreferences::Manual) {
3770         if (!trackToEnable && defaultTrack)
3771             trackToEnable = defaultTrack;
3772
3773         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3774         // in the same language as the language of the primary audio track, enable it.
3775         if (!trackToEnable && forcedSubitleTrack)
3776             trackToEnable = forcedSubitleTrack;
3777
3778         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3779         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3780             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3781                 trackToEnable = group.visibleTrack;
3782         }
3783
3784         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3785         // because the user has explicitly stated a preference for this kind of track.
3786         if (!trackToEnable && fallbackTrack)
3787             trackToEnable = fallbackTrack;
3788
3789         if (trackToEnable)
3790             m_subtitleTrackLanguage = trackToEnable->language();
3791         else
3792             m_subtitleTrackLanguage = emptyString();
3793     }
3794
3795     if (currentlyEnabledTracks.size()) {
3796         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3797             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3798             if (textTrack != trackToEnable)
3799                 textTrack->setMode(TextTrack::Mode::Disabled);
3800         }
3801     }
3802
3803     if (trackToEnable) {
3804         trackToEnable->setMode(TextTrack::Mode::Showing);
3805
3806         // If user preferences indicate we should always display captions, make sure we reflect the
3807         // proper status via the webkitClosedCaptionsVisible API call:
3808         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3809             m_webkitLegacyClosedCaptionOverride = true;
3810     }
3811
3812     m_processingPreferenceChange = false;
3813 }
3814
3815 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3816 {
3817     JSC::VM& vm = globalObject.vm();
3818     auto scope = DECLARE_THROW_SCOPE(vm);
3819     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3820     
3821     // Retrieve the controller through the JS object graph
3822     JSC::JSObject* mediaJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(mediaJSWrapper);
3823     if (!mediaJSWrapperObject)
3824         return JSC::jsNull();
3825     
3826     JSC::Identifier controlsHost = JSC::Identifier::fromString(&vm, "controlsHost");
3827     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3828     RETURN_IF_EXCEPTION(scope, JSC::JSValue());
3829
3830     JSC::JSObject* controlsHostJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(controlsHostJSWrapper);
3831     if (!controlsHostJSWrapperObject)
3832         return JSC::jsNull();
3833
3834     JSC::Identifier controllerID = JSC::Identifier::fromString(&vm, "controller");
3835     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3836     RETURN_IF_EXCEPTION(scope, JSC::JSValue());
3837
3838     return controllerJSWrapper;
3839 }
3840
3841 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3842 {
3843     ASSERT(!m_creatingControls);
3844     m_creatingControls = true;
3845     ensureUserAgentShadowRoot();
3846     m_creatingControls = false;
3847 }
3848
3849 void HTMLMediaElement::updateCaptionContainer()
3850 {
3851     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3852 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3853     if (m_haveSetUpCaptionContainer)
3854         return;
3855
3856     Page* page = document().page();
3857     if (!page)
3858         return;
3859
3860     DOMWrapperWorld& world = ensureIsolatedWorld();
3861
3862     if (!ensureMediaControlsInjectedScript())
3863         return;
3864
3865     ensureMediaControlsShadowRoot();
3866
3867     if (!m_mediaControlsHost)
3868         m_mediaControlsHost = MediaControlsHost::create(this);
3869
3870     ScriptController& scriptController = document().frame()->script();
3871     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3872     JSC::VM& vm = globalObject->vm();
3873     JSC::JSLockHolder lock(vm);
3874     auto scope = DECLARE_CATCH_SCOPE(vm);
3875     JSC::ExecState* exec = globalObject->globalExec();
3876
3877     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3878     JSC::JSObject* controllerObject = jsDynamicDowncast<JSC::JSObject*>(controllerValue);
3879     if (!controllerObject)
3880         return;
3881
3882     // The media controls script must provide a method on the Controller object with the following details.
3883     // Name: updateCaptionContainer
3884     // Parameters:
3885     //     None
3886     // Return value:
3887     //     None
3888     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3889     JSC::JSObject* methodObject = jsDynamicDowncast<JSC::JSObject*>(methodValue);
3890     if (!methodObject)
3891         return;
3892
3893     JSC::CallData callData;
3894     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3895     if (callType == JSC::CallType::None)
3896         return;
3897
3898     JSC::MarkedArgumentBuffer noArguments;
3899     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3900     scope.clearException();
3901
3902     m_haveSetUpCaptionContainer = true;
3903 #endif
3904 }
3905
3906 void HTMLMediaElement::layoutSizeChanged()
3907 {
3908 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3909     auto task = [this, protectedThis = makeRef(*this)] {
3910         if (ShadowRoot* root = userAgentShadowRoot())
3911             root->dispatchEvent(Event::create("resize", false, false));
3912     };
3913     m_resizeTaskQueue.enqueueTask(WTFMove(task));
3914 #endif
3915
3916     if (!m_receivedLayoutSizeChanged) {
3917         m_receivedLayoutSizeChanged = true;
3918         scheduleUpdatePlaybackControlsManager();
3919     }
3920
3921     // If the video is a candidate for main content, we should register it for viewport visibility callbacks
3922     // if it hasn't already been registered.
3923     if (renderer() && m_mediaSession && !m_mediaSession->wantsToObserveViewportVisibilityForAutoplay() && m_mediaSession->wantsToObserveViewportVisibilityForMediaControls())
3924         renderer()->registerForVisibleInViewportCallback();
3925 }
3926
3927 void HTMLMediaElement::visibilityDidChange()
3928 {
3929     updateShouldAutoplay();
3930 }
3931
3932 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
3933 {
3934     TextTrackList& trackList = textTracks();
3935     if (!trackList.length())
3936         return;
3937
3938     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
3939         if (!trackToSelect || !trackList.contains(*trackToSelect))
3940             return;
3941         
3942         for (int i = 0, length = trackList.length(); i < length; ++i) {
3943             auto& track = *trackList.item(i);
3944             if (&track != trackToSelect)
3945                 track.setMode(TextTrack::Mode::Disabled);
3946             else
3947                 track.setMode(TextTrack::Mode::Showing);
3948         }
3949     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
3950         for (int i = 0, length = trackList.length(); i < length; ++i)
3951             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
3952     }
3953
3954     if (!document().page())
3955         return;
3956
3957     auto& captionPreferences = document().page()->group().captionPreferences();
3958     CaptionUserPreferences::CaptionDisplayMode displayMode;
3959     if (trackToSelect == TextTrack::captionMenuOffItem())
3960         displayMode = CaptionUserPreferences::ForcedOnly;
3961     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
3962         displayMode = CaptionUserPreferences::Automatic;
3963     else {
3964         displayMode = CaptionUserPreferences::AlwaysOn;
3965         if (trackToSelect->language().length())
3966             captionPreferences.setPreferredLanguage(trackToSelect->language());
3967     }
3968
3969     captionPreferences.setCaptionDisplayMode(displayMode);
3970 }
3971
3972 void HTMLMediaElement::configureTextTracks()
3973 {
3974     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
3975     TrackGroup descriptionTracks(TrackGroup::Description);
3976     TrackGroup chapterTracks(TrackGroup::Chapter);
3977     TrackGroup metadataTracks(TrackGroup::Metadata);
3978     TrackGroup otherTracks(TrackGroup::Other);
3979
3980     if (!m_textTracks)
3981         return;
3982
3983     for (size_t i = 0; i < m_textTracks->length(); ++i) {
3984         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
3985         if (!textTrack)
3986             continue;
3987
3988         auto kind = textTrack->kind();
3989         TrackGroup* currentGroup;
3990         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
3991             currentGroup = &captionAndSubtitleTracks;
3992         else if (kind == TextTrack::Kind::Descriptions)
3993             currentGroup = &descriptionTracks;
3994         else if (kind == TextTrack::Kind::Chapters)
3995             currentGroup = &chapterTracks;
3996         else if (kind == TextTrack::Kind::Metadata)
3997             currentGroup = &metadataTracks;
3998         else
3999             currentGroup = &otherTracks;
4000
4001         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4002             currentGroup->visibleTrack = textTrack;
4003         if (!currentGroup->defaultTrack && textTrack->isDefault())
4004             currentGroup->defaultTrack = textTrack;
4005
4006         // Do not add this track to the group if it has already been automatically configured
4007         // as we only want to call configureTextTrack once per track so that adding another 
4008         // track after the initial configuration doesn't reconfigure every track - only those 
4009         // that should be changed by the new addition. For example all metadata tracks are 
4010         // disabled by default, and we don't want a track that has been enabled by script 
4011         // to be disabled automatically when a new metadata track is added later.
4012         if (textTrack->hasBeenConfigured())
4013             continue;
4014         
4015         if (textTrack->language().length())
4016             currentGroup->hasSrcLang = true;
4017         currentGroup->tracks.append(textTrack);
4018     }
4019     
4020     if (captionAndSubtitleTracks.tracks.size())
4021         configureTextTrackGroup(captionAndSubtitleTracks);
4022     if (descriptionTracks.tracks.size())
4023         configureTextTrackGroup(descriptionTracks);
4024     if (chapterTracks.tracks.size())
4025         configureTextTrackGroup(chapterTracks);
4026     if (metadataTracks.tracks.size())
4027         configureTextTrackGroup(metadataTracks);
4028     if (otherTracks.tracks.size())
4029         configureTextTrackGroup(otherTracks);
4030
4031     updateCaptionContainer();
4032     configureTextTrackDisplay();
4033     if (hasMediaControls())
4034         mediaControls()->closedCaptionTracksChanged();
4035 }
4036 #endif
4037
4038 bool HTMLMediaElement::havePotentialSourceChild()
4039 {
4040     // Stash the current <source> node and next nodes so we can restore them after checking
4041     // to see there is another potential.
4042     RefPtr<HTMLSourceElement> currentSourceNode = m_currentSourceNode;
4043     RefPtr<Node> nextNode = m_nextChildNodeToConsider;
4044
4045     URL nextURL = selectNextSourceChild(0, 0, DoNothing);
4046
4047     m_currentSourceNode = currentSourceNode;
4048     m_nextChildNodeToConsider = nextNode;
4049
4050     return nextURL.isValid();
4051 }
4052
4053 URL HTMLMediaElement::selectNextSourceChild(ContentType* contentType, String* keySystem, InvalidURLAction actionIfInvalid)
4054 {
4055     UNUSED_PARAM(keySystem);
4056 #if !LOG_DISABLED
4057     // Don't log if this was just called to find out if there are any valid <source> elements.
4058     bool shouldLog = actionIfInvalid != DoNothing;
4059     if (shouldLog)
4060         LOG(Media, "HTMLMediaElement::selectNextSourceChild(%p)", this);
4061 #endif
4062
4063     if (!m_nextChildNodeToConsider) {
4064 #if !LOG_DISABLED
4065         if (shouldLog)
4066             LOG(Media, "HTMLMediaElement::selectNextSourceChild(%p) - end of list, stopping", this);
4067 #endif
4068         return URL();
4069     }
4070
4071     URL mediaURL;
4072     HTMLSourceElement* source = nullptr;
4073     String type;
4074     bool lookingForStartNode = m_nextChildNodeToConsider;
4075     bool canUseSourceElement = false;
4076     bool okToLoadSourceURL;
4077
4078     NodeVector potentialSourceNodes;
4079     getChildNodes(*this, potentialSourceNodes);
4080
4081     for (unsigned i = 0; !canUseSourceElement && i < potentialSourceNodes.size(); ++i) {
4082         Node& node = potentialSourceNodes[i].get();
4083   &nbs