WebRTC: update MediaStream-MediaElement-srcObject.html test and unskip it
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27
28 #if ENABLE(VIDEO)
29
30 #include "HTMLMediaElement.h"
31
32 #include "ApplicationCacheHost.h"
33 #include "ApplicationCacheResource.h"
34 #include "Attribute.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSValueKeywords.h"
37 #include "ChromeClient.h"
38 #include "ClientRect.h"
39 #include "ClientRectList.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "FrameLoader.h"
51 #include "FrameLoaderClient.h"
52 #include "FrameView.h"
53 #include "HTMLParserIdioms.h"
54 #include "HTMLSourceElement.h"
55 #include "HTMLVideoElement.h"
56 #include "JSDOMError.h"
57 #include "JSHTMLMediaElement.h"
58 #include "Language.h"
59 #include "Logging.h"
60 #include "MIMETypeRegistry.h"
61 #include "MainFrame.h"
62 #include "MediaController.h"
63 #include "MediaControls.h"
64 #include "MediaDocument.h"
65 #include "MediaError.h"
66 #include "MediaFragmentURIParser.h"
67 #include "MediaList.h"
68 #include "MediaPlayer.h"
69 #include "MediaQueryEvaluator.h"
70 #include "MediaResourceLoader.h"
71 #include "MemoryPressureHandler.h"
72 #include "NetworkingContext.h"
73 #include "NoEventDispatchAssertion.h"
74 #include "Page.h"
75 #include "PageGroup.h"
76 #include "PlatformMediaSessionManager.h"
77 #include "ProgressTracker.h"
78 #include "RenderLayerCompositor.h"
79 #include "RenderVideo.h"
80 #include "RenderView.h"
81 #include "ResourceLoadInfo.h"
82 #include "ScriptController.h"
83 #include "ScriptSourceCode.h"
84 #include "SecurityOriginData.h"
85 #include "SecurityPolicy.h"
86 #include "SessionID.h"
87 #include "Settings.h"
88 #include "ShadowRoot.h"
89 #include "TimeRanges.h"
90 #include "UserContentController.h"
91 #include "UserGestureIndicator.h"
92 #include <limits>
93 #include <runtime/Uint8Array.h>
94 #include <wtf/CurrentTime.h>
95 #include <wtf/MathExtras.h>
96 #include <wtf/Ref.h>
97 #include <wtf/text/CString.h>
98
99 #if ENABLE(VIDEO_TRACK)
100 #include "AudioTrackList.h"
101 #include "HTMLTrackElement.h"
102 #include "InbandGenericTextTrack.h"
103 #include "InbandTextTrackPrivate.h"
104 #include "InbandWebVTTTextTrack.h"
105 #include "RuntimeEnabledFeatures.h"
106 #include "TextTrackCueList.h"
107 #include "TextTrackList.h"
108 #include "VideoTrackList.h"
109 #endif
110
111 #if ENABLE(WEB_AUDIO)
112 #include "AudioSourceProvider.h"
113 #include "MediaElementAudioSourceNode.h"
114 #endif
115
116 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
117 #include "WebVideoFullscreenInterface.h"
118 #endif
119
120 #if PLATFORM(IOS)
121 #include "RuntimeApplicationChecks.h"
122 #include "WebVideoFullscreenInterfaceAVKit.h"
123 #endif
124
125 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
126 #include "WebKitPlaybackTargetAvailabilityEvent.h"
127 #endif
128
129 #if ENABLE(MEDIA_SESSION)
130 #include "MediaSession.h"
131 #endif
132
133 #if ENABLE(MEDIA_SOURCE)
134 #include "DOMWindow.h"
135 #include "MediaSource.h"
136 #include "Performance.h"
137 #include "VideoPlaybackQuality.h"
138 #endif
139
140 #if ENABLE(MEDIA_STREAM)
141 #include "DOMURL.h"
142 #include "MediaStream.h"
143 #include "MediaStreamRegistry.h"
144 #endif
145
146 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
147 #include "WebKitMediaKeyNeededEvent.h"
148 #include "WebKitMediaKeys.h"
149 #endif
150
151 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
152 #include "JSMediaControlsHost.h"
153 #include "MediaControlsHost.h"
154 #include <bindings/ScriptObject.h>
155 #endif
156
157 namespace WebCore {
158
159 static const double SeekRepeatDelay = 0.1;
160 static const double SeekTime = 0.2;
161 static const double ScanRepeatDelay = 1.5;
162 static const double ScanMaximumRate = 8;
163
164 static const double HideMediaControlsAfterEndedDelay = 6;
165
166 static void setFlags(unsigned& value, unsigned flags)
167 {
168     value |= flags;
169 }
170
171 static void clearFlags(unsigned& value, unsigned flags)
172 {
173     value &= ~flags;
174 }
175     
176 #if !LOG_DISABLED
177 static String urlForLoggingMedia(const URL& url)
178 {
179     static const unsigned maximumURLLengthForLogging = 128;
180
181     if (url.string().length() < maximumURLLengthForLogging)
182         return url.string();
183     return url.string().substring(0, maximumURLLengthForLogging) + "...";
184 }
185
186 static const char* boolString(bool val)
187 {
188     return val ? "true" : "false";
189 }
190
191 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
192 {
193     StringBuilder actionBuilder;
194
195 #define ACTION(_actionType) \
196     if (action & (HTMLMediaElementEnums::_actionType)) { \
197         if (!actionBuilder.isEmpty()) \
198         actionBuilder.appendLiteral(", "); \
199         actionBuilder.append(#_actionType); \
200     } \
201
202     ACTION(LoadMediaResource);
203     ACTION(ConfigureTextTracks);
204     ACTION(TextTrackChangesNotification);
205     ACTION(ConfigureTextTrackDisplay);
206     ACTION(CheckPlaybackTargetCompatablity);
207     ACTION(CheckMediaState);
208     ACTION(MediaEngineUpdated);
209
210     return actionBuilder.toString();
211
212 #undef ACTION
213 }
214
215 #endif
216
217 #ifndef LOG_MEDIA_EVENTS
218 // Default to not logging events because so many are generated they can overwhelm the rest of 
219 // the logging.
220 #define LOG_MEDIA_EVENTS 0
221 #endif
222
223 #ifndef LOG_CACHED_TIME_WARNINGS
224 // Default to not logging warnings about excessive drift in the cached media time because it adds a
225 // fair amount of overhead and logging.
226 #define LOG_CACHED_TIME_WARNINGS 0
227 #endif
228
229 #if ENABLE(MEDIA_SOURCE)
230 // URL protocol used to signal that the media source API is being used.
231 static const char* mediaSourceBlobProtocol = "blob";
232 #endif
233
234 #if ENABLE(MEDIA_STREAM)
235 // URL protocol used to signal that the media stream API is being used.
236 static const char* mediaStreamBlobProtocol = "blob";
237 #endif
238
239 using namespace HTMLNames;
240
241 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
242 static DocumentElementSetMap& documentToElementSetMap()
243 {
244     static NeverDestroyed<DocumentElementSetMap> map;
245     return map;
246 }
247
248 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
249 {
250     DocumentElementSetMap& map = documentToElementSetMap();
251     HashSet<HTMLMediaElement*> set = map.take(&document);
252     set.add(&element);
253     map.add(&document, set);
254 }
255
256 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
257 {
258     DocumentElementSetMap& map = documentToElementSetMap();
259     HashSet<HTMLMediaElement*> set = map.take(&document);
260     set.remove(&element);
261     if (!set.isEmpty())
262         map.add(&document, set);
263 }
264
265 #if ENABLE(VIDEO_TRACK)
266 class TrackDisplayUpdateScope {
267 public:
268     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
269     {
270         m_mediaElement = mediaElement;
271         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
272     }
273     ~TrackDisplayUpdateScope()
274     {
275         ASSERT(m_mediaElement);
276         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
277     }
278     
279 private:
280     HTMLMediaElement* m_mediaElement;
281 };
282 #endif
283
284 struct HTMLMediaElement::TrackGroup {
285     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
286
287     TrackGroup(GroupKind kind)
288         : kind(kind)
289     {
290     }
291
292     Vector<RefPtr<TextTrack>> tracks;
293     RefPtr<TextTrack> visibleTrack;
294     RefPtr<TextTrack> defaultTrack;
295     GroupKind kind;
296     bool hasSrcLang { false };
297 };
298
299 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
300 {
301     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
302     return elements;
303 }
304
305 #if ENABLE(MEDIA_SESSION)
306 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
307
308 static IDToElementMap& elementIDsToElements()
309 {
310     static NeverDestroyed<IDToElementMap> map;
311     return map;
312 }
313
314 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
315 {
316     if (id == HTMLMediaElementInvalidID)
317         return nullptr;
318     
319     return elementIDsToElements().get(id);
320 }
321
322 static uint64_t nextElementID()
323 {
324     static uint64_t elementID = 0;
325     return ++elementID;
326 }
327 #endif
328
329 struct MediaElementSessionInfo {
330     const MediaElementSession* session;
331     MediaElementSession::PlaybackControlsPurpose purpose;
332
333     double timeOfLastUserInteraction;
334     bool canShowControlsManager : 1;
335     bool isVisibleInViewportOrFullscreen : 1;
336     bool isLargeEnoughForMainContent : 1;
337     bool isPlayingAudio : 1;
338 };
339
340 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
341 {
342     const HTMLMediaElement& element = session.element();
343     return {
344         &session,
345         purpose,
346         session.mostRecentUserInteractionTime(),
347         session.canShowControlsManager(purpose),
348         element.isFullscreen() || element.isVisibleInViewport(),
349         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
350         element.isPlaying() && element.hasAudio() && !element.muted()
351     };
352 }
353
354 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
355 {
356     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
357     ASSERT(purpose == otherSession.purpose);
358
359     // For the controls manager, prioritize visible media over offscreen media.
360     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
361         return session.isVisibleInViewportOrFullscreen;
362
363     // For Now Playing, prioritize elements that would normally satisfy main content.
364     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
365         return session.isLargeEnoughForMainContent;
366
367     // As a tiebreaker, prioritize elements that the user recently interacted with.
368     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
369 }
370
371 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
372 {
373     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
374         return session.isPlayingAudio;
375
376     if (!session.isVisibleInViewportOrFullscreen)
377         return false;
378
379     if (!session.isLargeEnoughForMainContent)
380         return false;
381
382     // Even if this video is not a candidate, if it is visible to the user and large enough
383     // to be main content, it poses a risk for being confused with main content.
384     return true;
385 }
386
387 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
388     : HTMLElement(tagName, document)
389     , ActiveDOMObject(&document)
390     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
391     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
392     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
393     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
394     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
395     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
396     , m_asyncEventQueue(*this)
397     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
398     , m_firstTimePlaying(true)
399     , m_playing(false)
400     , m_isWaitingUntilMediaCanStart(false)
401     , m_shouldDelayLoadEvent(false)
402     , m_haveFiredLoadedData(false)
403     , m_inActiveDocument(true)
404     , m_autoplaying(true)
405     , m_muted(false)
406     , m_explicitlyMuted(false)
407     , m_initiallyMuted(false)
408     , m_paused(true)
409     , m_seeking(false)
410     , m_sentStalledEvent(false)
411     , m_sentEndEvent(false)
412     , m_pausedInternal(false)
413     , m_sendProgressEvents(true)
414     , m_closedCaptionsVisible(false)
415     , m_webkitLegacyClosedCaptionOverride(false)
416     , m_completelyLoaded(false)
417     , m_havePreparedToPlay(false)
418     , m_parsingInProgress(createdByParser)
419     , m_elementIsHidden(document.hidden())
420     , m_creatingControls(false)
421     , m_receivedLayoutSizeChanged(false)
422     , m_hasEverNotifiedAboutPlaying(false)
423     , m_hasEverHadAudio(false)
424     , m_hasEverHadVideo(false)
425 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
426     , m_mediaControlsDependOnPageScaleFactor(false)
427     , m_haveSetUpCaptionContainer(false)
428 #endif
429     , m_isScrubbingRemotely(false)
430 #if ENABLE(VIDEO_TRACK)
431     , m_tracksAreReady(true)
432     , m_haveVisibleTextTrack(false)
433     , m_processingPreferenceChange(false)
434 #endif
435     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
436 {
437     allMediaElements().add(this);
438
439     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
440     setHasCustomStyleResolveCallbacks();
441
442     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
443     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
444 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
445     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
446 #endif
447     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
448     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
449
450     Settings* settings = document.settings();
451 #if PLATFORM(IOS)
452     m_sendProgressEvents = false;
453 #endif
454
455     if (settings && settings->invisibleAutoplayNotPermitted())
456         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
457
458     if (document.ownerElement() || !document.isMediaDocument()) {
459         if (settings && settings->videoPlaybackRequiresUserGesture()) {
460             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
461             if (settings->requiresUserGestureToLoadVideo())
462                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
463         }
464
465         if (settings && settings->audioPlaybackRequiresUserGesture())
466             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
467
468 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
469         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
470             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
471 #endif
472
473         if (!settings || !settings->mediaDataLoadsAutomatically())
474             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
475
476         if (settings && settings->mainContentUserGestureOverrideEnabled())
477             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
478     }
479
480 #if PLATFORM(IOS)
481     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
482         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
483         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
484     }
485 #endif
486
487 #if ENABLE(VIDEO_TRACK)
488     if (document.page())
489         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
490 #endif
491
492 #if ENABLE(MEDIA_SESSION)
493     m_elementID = nextElementID();
494     elementIDsToElements().add(m_elementID, this);
495
496     setSessionInternal(document.defaultMediaSession());
497 #endif
498
499     registerWithDocument(document);
500 }
501
502 HTMLMediaElement::~HTMLMediaElement()
503 {
504     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
505
506     beginIgnoringTrackDisplayUpdateRequests();
507     allMediaElements().remove(this);
508
509     m_asyncEventQueue.close();
510
511     setShouldDelayLoadEvent(false);
512     unregisterWithDocument(document());
513
514 #if ENABLE(VIDEO_TRACK)
515     if (m_audioTracks)
516         m_audioTracks->clearElement();
517     if (m_textTracks)
518         m_textTracks->clearElement();
519     if (m_videoTracks)
520         m_videoTracks->clearElement();
521 #endif
522
523 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
524     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
525         m_hasPlaybackTargetAvailabilityListeners = false;
526         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
527         updateMediaState();
528     }
529 #endif
530
531     if (m_mediaController) {
532         m_mediaController->removeMediaElement(*this);
533         m_mediaController = nullptr;
534     }
535
536 #if ENABLE(MEDIA_SOURCE)
537     detachMediaSource();
538 #endif
539
540 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
541     webkitSetMediaKeys(nullptr);
542 #endif
543
544 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
545     if (m_isolatedWorld)
546         m_isolatedWorld->clearWrappers();
547 #endif
548
549 #if ENABLE(MEDIA_SESSION)
550     if (m_session) {
551         m_session->removeMediaElement(*this);
552         m_session = nullptr;
553     }
554
555     elementIDsToElements().remove(m_elementID);
556 #endif
557
558     m_seekTaskQueue.close();
559     m_promiseTaskQueue.close();
560     m_pauseAfterDetachedTaskQueue.close();
561     m_updatePlaybackControlsManagerQueue.close();
562     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
563
564     m_completelyLoaded = true;
565
566     m_player = nullptr;
567     updatePlaybackControlsManager();
568 }
569
570 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
571 {
572     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
573         return is<MediaElementSession>(session);
574     });
575
576     Vector<MediaElementSessionInfo> candidateSessions;
577     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
578     for (auto& session : allSessions) {
579         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
580         if (mediaElementSessionInfo.canShowControlsManager)
581             candidateSessions.append(mediaElementSessionInfo);
582         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
583             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
584     }
585
586     if (!candidateSessions.size())
587         return nullptr;
588
589     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
590     auto strongestSessionCandidate = candidateSessions.first();
591     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
592         return nullptr;
593
594     return &strongestSessionCandidate.session->element();
595 }
596
597 void HTMLMediaElement::registerWithDocument(Document& document)
598 {
599     m_mediaSession->registerWithDocument(document);
600
601     if (m_isWaitingUntilMediaCanStart)
602         document.addMediaCanStartListener(this);
603
604 #if !PLATFORM(IOS)
605     document.registerForMediaVolumeCallbacks(this);
606     document.registerForPrivateBrowsingStateChangedCallbacks(this);
607 #endif
608
609     document.registerForVisibilityStateChangedCallbacks(this);
610
611 #if ENABLE(VIDEO_TRACK)
612     if (m_requireCaptionPreferencesChangedCallbacks)
613         document.registerForCaptionPreferencesChangedCallbacks(this);
614 #endif
615
616 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
617     if (m_mediaControlsDependOnPageScaleFactor)
618         document.registerForPageScaleFactorChangedCallbacks(this);
619     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
620 #endif
621
622 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
623     document.registerForDocumentSuspensionCallbacks(this);
624 #endif
625
626     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
627
628     document.addAudioProducer(this);
629     addElementToDocumentMap(*this, document);
630 }
631
632 void HTMLMediaElement::unregisterWithDocument(Document& document)
633 {
634     m_mediaSession->unregisterWithDocument(document);
635
636     if (m_isWaitingUntilMediaCanStart)
637         document.removeMediaCanStartListener(this);
638
639 #if !PLATFORM(IOS)
640     document.unregisterForMediaVolumeCallbacks(this);
641     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
642 #endif
643
644     document.unregisterForVisibilityStateChangedCallbacks(this);
645
646 #if ENABLE(VIDEO_TRACK)
647     if (m_requireCaptionPreferencesChangedCallbacks)
648         document.unregisterForCaptionPreferencesChangedCallbacks(this);
649 #endif
650
651 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
652     if (m_mediaControlsDependOnPageScaleFactor)
653         document.unregisterForPageScaleFactorChangedCallbacks(this);
654     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
655 #endif
656
657 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
658     document.unregisterForDocumentSuspensionCallbacks(this);
659 #endif
660
661     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
662
663     document.removeAudioProducer(this);
664     removeElementFromDocumentMap(*this, document);
665 }
666
667 void HTMLMediaElement::didMoveToNewDocument(Document* oldDocument)
668 {
669     if (m_shouldDelayLoadEvent) {
670         if (oldDocument)
671             oldDocument->decrementLoadEventDelayCount();
672         document().incrementLoadEventDelayCount();
673     }
674
675     if (oldDocument)
676         unregisterWithDocument(*oldDocument);
677
678     registerWithDocument(document());
679
680     HTMLElement::didMoveToNewDocument(oldDocument);
681     updateShouldAutoplay();
682 }
683
684 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
685 void HTMLMediaElement::prepareForDocumentSuspension()
686 {
687     m_mediaSession->unregisterWithDocument(document());
688 }
689
690 void HTMLMediaElement::resumeFromDocumentSuspension()
691 {
692     m_mediaSession->registerWithDocument(document());
693     updateShouldAutoplay();
694 }
695 #endif
696
697 bool HTMLMediaElement::supportsFocus() const
698 {
699     if (document().isMediaDocument())
700         return false;
701
702     // If no controls specified, we should still be able to focus the element if it has tabIndex.
703     return controls() ||  HTMLElement::supportsFocus();
704 }
705
706 bool HTMLMediaElement::isMouseFocusable() const
707 {
708     return false;
709 }
710
711 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
712 {
713     if (name == srcAttr) {
714 #if PLATFORM(IOS)
715         // Note, unless the restriction on requiring user action has been removed,
716         // do not begin downloading data on iOS.
717         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
718 #else
719         // Trigger a reload, as long as the 'src' attribute is present.
720         if (!value.isNull())
721 #endif
722         {
723             clearMediaPlayer(LoadMediaResource);
724             scheduleDelayedAction(LoadMediaResource);
725         }
726     } else if (name == controlsAttr)
727         configureMediaControls();
728     else if (name == loopAttr)
729         updateSleepDisabling();
730     else if (name == preloadAttr) {
731         if (equalLettersIgnoringASCIICase(value, "none"))
732             m_preload = MediaPlayer::None;
733         else if (equalLettersIgnoringASCIICase(value, "metadata"))
734             m_preload = MediaPlayer::MetaData;
735         else {
736             // The spec does not define an "invalid value default" but "auto" is suggested as the
737             // "missing value default", so use it for everything except "none" and "metadata"
738             m_preload = MediaPlayer::Auto;
739         }
740
741         // The attribute must be ignored if the autoplay attribute is present
742         if (!autoplay() && m_player)
743             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
744
745     } else if (name == mediagroupAttr)
746         setMediaGroup(value);
747     else
748         HTMLElement::parseAttribute(name, value);
749 }
750
751 void HTMLMediaElement::finishParsingChildren()
752 {
753     HTMLElement::finishParsingChildren();
754     m_parsingInProgress = false;
755     
756 #if ENABLE(VIDEO_TRACK)
757     if (descendantsOfType<HTMLTrackElement>(*this).first())
758         scheduleDelayedAction(ConfigureTextTracks);
759 #endif
760 }
761
762 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
763 {
764     return controls() && HTMLElement::rendererIsNeeded(style);
765 }
766
767 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
768 {
769     return createRenderer<RenderMedia>(*this, WTFMove(style));
770 }
771
772 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
773 {
774 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
775     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
776 #else
777     if (!hasMediaControls())
778         return false;
779     // <media> doesn't allow its content, including shadow subtree, to
780     // be rendered. So this should return false for most of the children.
781     // One exception is a shadow tree built for rendering controls which should be visible.
782     // So we let them go here by comparing its subtree root with one of the controls.
783     return &mediaControls()->treeScope() == &child.treeScope()
784         && hasShadowRootParent(child)
785         && HTMLElement::childShouldCreateRenderer(child);
786 #endif
787 }
788
789 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
790 {
791     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
792
793     HTMLElement::insertedInto(insertionPoint);
794     if (insertionPoint.inDocument()) {
795         m_inActiveDocument = true;
796
797 #if PLATFORM(IOS)
798         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
799 #else
800         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
801 #endif
802             scheduleDelayedAction(LoadMediaResource);
803     }
804
805     if (!m_explicitlyMuted) {
806         m_explicitlyMuted = true;
807         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
808     }
809
810     return InsertionShouldCallFinishedInsertingSubtree;
811 }
812
813 void HTMLMediaElement::finishedInsertingSubtree()
814 {
815     configureMediaControls();
816 }
817
818 void HTMLMediaElement::pauseAfterDetachedTask()
819 {
820     // If we were re-inserted into an active document, no need to pause.
821     if (m_inActiveDocument)
822         return;
823
824     if (hasMediaControls())
825         mediaControls()->hide();
826     if (m_networkState > NETWORK_EMPTY)
827         pause();
828     if (m_videoFullscreenMode != VideoFullscreenModeNone)
829         exitFullscreen();
830
831     if (!m_player)
832         return;
833
834     size_t extraMemoryCost = m_player->extraMemoryCost();
835     if (extraMemoryCost > m_reportedExtraMemoryCost) {
836         JSC::VM& vm = JSDOMWindowBase::commonVM();
837         JSC::JSLockHolder lock(vm);
838
839         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
840         m_reportedExtraMemoryCost = extraMemoryCost;
841         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
842         // https://bugs.webkit.org/show_bug.cgi?id=142595
843         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
844     }
845 }
846
847 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
848 {
849     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
850
851     m_inActiveDocument = false;
852     if (insertionPoint.inDocument()) {
853         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
854         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
855     }
856
857     HTMLElement::removedFrom(insertionPoint);
858 }
859
860 void HTMLMediaElement::willAttachRenderers()
861 {
862     ASSERT(!renderer());
863 }
864
865 inline void HTMLMediaElement::updateRenderer()
866 {
867     if (auto* renderer = this->renderer())
868         renderer->updateFromElement();
869 }
870
871 void HTMLMediaElement::didAttachRenderers()
872 {
873     if (auto* renderer = this->renderer()) {
874         renderer->updateFromElement();
875         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
876             renderer->registerForVisibleInViewportCallback();
877     }
878     updateShouldAutoplay();
879 }
880
881 void HTMLMediaElement::willDetachRenderers()
882 {
883     if (auto* renderer = this->renderer())
884         renderer->unregisterForVisibleInViewportCallback();
885 }
886
887 void HTMLMediaElement::didDetachRenderers()
888 {
889     updateShouldAutoplay();
890 }
891
892 void HTMLMediaElement::didRecalcStyle(Style::Change)
893 {
894     updateRenderer();
895 }
896
897 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
898 {
899     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
900
901     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
902         prepareForLoad();
903         setFlags(m_pendingActionFlags, LoadMediaResource);
904     }
905
906 #if ENABLE(VIDEO_TRACK)
907     if (actionType & ConfigureTextTracks)
908         setFlags(m_pendingActionFlags, ConfigureTextTracks);
909 #endif
910
911 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
912     if (actionType & CheckPlaybackTargetCompatablity)
913         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
914 #endif
915
916     if (actionType & CheckMediaState)
917         setFlags(m_pendingActionFlags, CheckMediaState);
918
919     if (actionType & MediaEngineUpdated)
920         setFlags(m_pendingActionFlags, MediaEngineUpdated);
921
922     if (actionType & UpdatePlayState)
923         setFlags(m_pendingActionFlags, UpdatePlayState);
924
925     m_pendingActionTimer.startOneShot(0);
926 }
927
928 void HTMLMediaElement::scheduleNextSourceChild()
929 {
930     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
931     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
932     setFlags(m_pendingActionFlags, LoadMediaResource);
933     m_pendingActionTimer.startOneShot(0);
934 }
935
936 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
937 {
938     m_hasEverHadAudio |= hasAudio();
939     m_hasEverHadVideo |= hasVideo();
940 }
941
942 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
943 {
944 #if LOG_MEDIA_EVENTS
945     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
946 #endif
947     RefPtr<Event> event = Event::create(eventName, false, true);
948     
949     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
950     // will trigger an ASSERT if this element has been marked for deletion.
951
952     m_asyncEventQueue.enqueueEvent(WTFMove(event));
953 }
954
955 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
956 {
957     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
958 }
959
960 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
961 {
962     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
963
964     for (auto& promise : pendingPlayPromises)
965         promise.reject(error);
966 }
967
968 void HTMLMediaElement::resolvePendingPlayPromises()
969 {
970     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
971
972     for (auto& promise : pendingPlayPromises)
973         promise.resolve();
974 }
975
976 void HTMLMediaElement::scheduleNotifyAboutPlaying()
977 {
978     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
979 }
980
981 void HTMLMediaElement::notifyAboutPlaying()
982 {
983     m_playbackStartedTime = currentMediaTime().toDouble();
984     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
985     resolvePendingPlayPromises();
986
987     m_hasEverNotifiedAboutPlaying = true;
988     scheduleUpdatePlaybackControlsManager();
989 }
990
991 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
992 {
993     return m_hasEverNotifiedAboutPlaying;
994 }
995
996 void HTMLMediaElement::pendingActionTimerFired()
997 {
998     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
999     PendingActionFlags pendingActions = m_pendingActionFlags;
1000     m_pendingActionFlags = 0;
1001
1002 #if ENABLE(VIDEO_TRACK)
1003     if (pendingActions & ConfigureTextTracks)
1004         configureTextTracks();
1005 #endif
1006
1007     if (pendingActions & LoadMediaResource) {
1008         if (m_loadState == LoadingFromSourceElement)
1009             loadNextSourceChild();
1010         else
1011             loadInternal();
1012     }
1013
1014 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1015     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1016         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1017         m_failedToPlayToWirelessTarget = true;
1018         m_player->setShouldPlayToPlaybackTarget(false);
1019     }
1020
1021     if (pendingActions & CheckMediaState)
1022         updateMediaState();
1023 #endif
1024
1025     if (pendingActions & MediaEngineUpdated)
1026         mediaEngineWasUpdated();
1027
1028     if (pendingActions & UpdatePlayState)
1029         updatePlayState();
1030 }
1031
1032 MediaError* HTMLMediaElement::error() const
1033 {
1034     return m_error.get();
1035 }
1036
1037 void HTMLMediaElement::setSrc(const String& url)
1038 {
1039     setAttributeWithoutSynchronization(srcAttr, url);
1040 }
1041
1042 #if ENABLE(MEDIA_STREAM)
1043 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1044 {
1045     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1046     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1047     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1048     // the UA must re-run the media element load algorithm.
1049     //
1050     // https://bugs.webkit.org/show_bug.cgi?id=124896
1051
1052     m_mediaStreamSrcObject = mediaStream;
1053     if (mediaStream)
1054         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1055 }
1056 #endif
1057
1058 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1059 {
1060     setAttributeWithoutSynchronization(crossoriginAttr, value);
1061 }
1062
1063 String HTMLMediaElement::crossOrigin() const
1064 {
1065     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1066 }
1067
1068 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1069 {
1070     return m_networkState;
1071 }
1072
1073 String HTMLMediaElement::canPlayType(const String& mimeType) const
1074 {
1075     MediaEngineSupportParameters parameters;
1076     ContentType contentType(mimeType);
1077     parameters.type = contentType.type().convertToASCIILowercase();
1078     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1079     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1080     String canPlay;
1081
1082     // 4.8.10.3
1083     switch (support)
1084     {
1085         case MediaPlayer::IsNotSupported:
1086             canPlay = emptyString();
1087             break;
1088         case MediaPlayer::MayBeSupported:
1089             canPlay = ASCIILiteral("maybe");
1090             break;
1091         case MediaPlayer::IsSupported:
1092             canPlay = ASCIILiteral("probably");
1093             break;
1094     }
1095     
1096     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1097
1098     return canPlay;
1099 }
1100
1101 double HTMLMediaElement::getStartDate() const
1102 {
1103     if (!m_player)
1104         return std::numeric_limits<double>::quiet_NaN();
1105     return m_player->getStartDate().toDouble();
1106 }
1107
1108 void HTMLMediaElement::load()
1109 {
1110     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1111     
1112     LOG(Media, "HTMLMediaElement::load(%p)", this);
1113     
1114     if (!m_mediaSession->dataLoadingPermitted(*this))
1115         return;
1116     if (ScriptController::processingUserGestureForMedia())
1117         removeBehaviorsRestrictionsAfterFirstUserGesture();
1118
1119     prepareForLoad();
1120     loadInternal();
1121     prepareToPlay();
1122 }
1123
1124 void HTMLMediaElement::prepareForLoad()
1125 {
1126     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1127
1128     // Perform the cleanup required for the resource load algorithm to run.
1129     stopPeriodicTimers();
1130     m_pendingActionTimer.stop();
1131     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1132     m_pendingActionFlags &= ~LoadMediaResource;
1133     m_sentEndEvent = false;
1134     m_sentStalledEvent = false;
1135     m_haveFiredLoadedData = false;
1136     m_completelyLoaded = false;
1137     m_havePreparedToPlay = false;
1138     m_displayMode = Unknown;
1139     m_currentSrc = URL();
1140
1141 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1142     m_failedToPlayToWirelessTarget = false;
1143 #endif
1144
1145     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1146     m_loadState = WaitingForSource;
1147     m_currentSourceNode = nullptr;
1148
1149     // 2 - If there are any tasks from the media element's media element event task source in 
1150     // one of the task queues, then remove those tasks.
1151     cancelPendingEventsAndCallbacks();
1152
1153     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1154     // a task to fire a simple event named abort at the media element.
1155     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1156         scheduleEvent(eventNames().abortEvent);
1157
1158 #if ENABLE(MEDIA_SOURCE)
1159     detachMediaSource();
1160 #endif
1161
1162     createMediaPlayer();
1163
1164     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1165     if (m_networkState != NETWORK_EMPTY) {
1166         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1167         scheduleEvent(eventNames().emptiedEvent);
1168
1169         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1170         m_networkState = NETWORK_EMPTY;
1171
1172         // 4.3 - Forget the media element's media-resource-specific tracks.
1173         forgetResourceSpecificTracks();
1174
1175         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1176         m_readyState = HAVE_NOTHING;
1177         m_readyStateMaximum = HAVE_NOTHING;
1178
1179         // 4.5 - If the paused attribute is false, then set it to true.
1180         m_paused = true;
1181
1182         // 4.6 - If seeking is true, set it to false.
1183         clearSeeking();
1184
1185         // 4.7 - Set the current playback position to 0.
1186         //       Set the official playback position to 0.
1187         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1188         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1189
1190         // 4.8 - Set the initial playback position to 0.
1191         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1192         // above.
1193         refreshCachedTime();
1194
1195         invalidateCachedTime();
1196
1197         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1198         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1199
1200         updateMediaController();
1201 #if ENABLE(VIDEO_TRACK)
1202         updateActiveTextTrackCues(MediaTime::zeroTime());
1203 #endif
1204     }
1205
1206     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1207     setPlaybackRate(defaultPlaybackRate());
1208
1209     // 6 - Set the error attribute to null and the autoplaying flag to true.
1210     m_error = nullptr;
1211     m_autoplaying = true;
1212     mediaSession().clientWillBeginAutoplaying();
1213
1214     // 7 - Invoke the media element's resource selection algorithm.
1215
1216     // 8 - Note: Playback of any previously playing media resource for this element stops.
1217
1218     // The resource selection algorithm
1219     // 1 - Set the networkState to NETWORK_NO_SOURCE
1220     m_networkState = NETWORK_NO_SOURCE;
1221
1222     // 2 - Asynchronously await a stable state.
1223
1224     m_playedTimeRanges = TimeRanges::create();
1225
1226     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1227     // so they are closer to the relevant spec steps.
1228     m_lastSeekTime = MediaTime::zeroTime();
1229
1230     // The spec doesn't say to block the load event until we actually run the asynchronous section
1231     // algorithm, but do it now because we won't start that until after the timer fires and the 
1232     // event may have already fired by then.
1233     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1234     if (effectivePreload != MediaPlayer::None)
1235         setShouldDelayLoadEvent(true);
1236
1237 #if PLATFORM(IOS)
1238     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1239         prepareToPlay();
1240 #endif
1241
1242     configureMediaControls();
1243 }
1244
1245 void HTMLMediaElement::loadInternal()
1246 {
1247     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1248
1249     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1250     // us catch those bugs more quickly without needing all the branches to align to actually
1251     // trigger the event.
1252     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1253
1254     // If we can't start a load right away, start it later.
1255     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1256         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1257         setShouldDelayLoadEvent(false);
1258         if (m_isWaitingUntilMediaCanStart)
1259             return;
1260         m_isWaitingUntilMediaCanStart = true;
1261         document().addMediaCanStartListener(this);
1262         return;
1263     }
1264
1265     clearFlags(m_pendingActionFlags, LoadMediaResource);
1266
1267     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1268     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1269     // put into the background.
1270     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1271
1272 #if ENABLE(VIDEO_TRACK)
1273     if (hasMediaControls())
1274         mediaControls()->changedClosedCaptionsVisibility();
1275
1276     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1277     // disabled state when the element's resource selection algorithm last started".
1278     m_textTracksWhenResourceSelectionBegan.clear();
1279     if (m_textTracks) {
1280         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1281             TextTrack* track = m_textTracks->item(i);
1282             if (track->mode() != TextTrack::Mode::Disabled)
1283                 m_textTracksWhenResourceSelectionBegan.append(track);
1284         }
1285     }
1286 #endif
1287
1288     selectMediaResource();
1289 }
1290
1291 void HTMLMediaElement::selectMediaResource()
1292 {
1293     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1294
1295     ASSERT(m_player);
1296     if (!m_player)
1297         return;
1298
1299     enum Mode { attribute, children };
1300
1301     // 3 - If the media element has a src attribute, then let mode be attribute.
1302     Mode mode = attribute;
1303     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1304         // Otherwise, if the media element does not have a src attribute but has a source 
1305         // element child, then let mode be children and let candidate be the first such 
1306         // source element child in tree order.
1307         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1308             mode = children;
1309             m_nextChildNodeToConsider = firstSource;
1310             m_currentSourceNode = nullptr;
1311         } else {
1312             // Otherwise the media element has neither a src attribute nor a source element 
1313             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1314             // synchronous section ends.
1315             m_loadState = WaitingForSource;
1316             setShouldDelayLoadEvent(false);
1317             m_networkState = NETWORK_EMPTY;
1318
1319             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1320             return;
1321         }
1322     }
1323
1324     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1325     // and set its networkState to NETWORK_LOADING.
1326     setShouldDelayLoadEvent(true);
1327     m_networkState = NETWORK_LOADING;
1328
1329     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1330     scheduleEvent(eventNames().loadstartEvent);
1331
1332     // 6 - If mode is attribute, then run these substeps
1333     if (mode == attribute) {
1334         m_loadState = LoadingFromSrcAttr;
1335
1336         // If the src attribute's value is the empty string ... jump down to the failed step below
1337         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1338         if (mediaURL.isEmpty()) {
1339             mediaLoadingFailed(MediaPlayer::FormatError);
1340             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1341             return;
1342         }
1343
1344         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1345             mediaLoadingFailed(MediaPlayer::FormatError);
1346             return;
1347         }
1348
1349         // No type or key system information is available when the url comes
1350         // from the 'src' attribute so MediaPlayer
1351         // will have to pick a media engine based on the file extension.
1352         ContentType contentType((String()));
1353         loadResource(mediaURL, contentType, String());
1354         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1355         return;
1356     }
1357
1358     // Otherwise, the source elements will be used
1359     loadNextSourceChild();
1360 }
1361
1362 void HTMLMediaElement::loadNextSourceChild()
1363 {
1364     ContentType contentType((String()));
1365     String keySystem;
1366     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1367     if (!mediaURL.isValid()) {
1368         waitForSourceChange();
1369         return;
1370     }
1371
1372     // Recreate the media player for the new url
1373     createMediaPlayer();
1374
1375     m_loadState = LoadingFromSourceElement;
1376     loadResource(mediaURL, contentType, keySystem);
1377 }
1378
1379 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1380 {
1381     ASSERT(isSafeToLoadURL(initialURL, Complain));
1382
1383     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1384
1385     Frame* frame = document().frame();
1386     if (!frame) {
1387         mediaLoadingFailed(MediaPlayer::FormatError);
1388         return;
1389     }
1390
1391     Page* page = frame->page();
1392     if (!page) {
1393         mediaLoadingFailed(MediaPlayer::FormatError);
1394         return;
1395     }
1396
1397     URL url = initialURL;
1398     if (!frame->loader().willLoadMediaElementURL(url)) {
1399         mediaLoadingFailed(MediaPlayer::FormatError);
1400         return;
1401     }
1402
1403 #if ENABLE(CONTENT_EXTENSIONS)
1404     DocumentLoader* documentLoader = frame->loader().documentLoader();
1405
1406     if (documentLoader) {
1407         auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader);
1408         if (blockedStatus.blockedLoad) {
1409             mediaLoadingFailed(MediaPlayer::FormatError);
1410             return;
1411         }
1412     }
1413 #endif
1414
1415     // The resource fetch algorithm 
1416     m_networkState = NETWORK_LOADING;
1417
1418     // If the url should be loaded from the application cache, pass the url of the cached file
1419     // to the media engine.
1420     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1421     ApplicationCacheResource* resource = nullptr;
1422     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1423         // Resources that are not present in the manifest will always fail to load (at least, after the
1424         // cache has been primed the first time), making the testing of offline applications simpler.
1425         if (!resource || resource->path().isEmpty()) {
1426             mediaLoadingFailed(MediaPlayer::NetworkError);
1427             return;
1428         }
1429     }
1430
1431     // Log that we started loading a media element.
1432     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1433
1434     m_firstTimePlaying = true;
1435
1436     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1437     // cache is an internal detail not exposed through the media element API.
1438     m_currentSrc = url;
1439
1440     if (resource) {
1441         url = ApplicationCacheHost::createFileURL(resource->path());
1442         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1443     }
1444
1445     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1446
1447     if (m_sendProgressEvents)
1448         startProgressEventTimer();
1449
1450     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1451     m_player->setPrivateBrowsingMode(privateMode);
1452
1453     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1454     setDisplayMode(Unknown);
1455
1456     if (!autoplay())
1457         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1458     m_player->setPreservesPitch(m_webkitPreservesPitch);
1459
1460     if (!m_explicitlyMuted) {
1461         m_explicitlyMuted = true;
1462         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1463     }
1464
1465     updateVolume();
1466
1467     bool loadAttempted = false;
1468 #if ENABLE(MEDIA_SOURCE)
1469     ASSERT(!m_mediaSource);
1470
1471     if (url.protocolIs(mediaSourceBlobProtocol))
1472         m_mediaSource = MediaSource::lookup(url.string());
1473
1474     if (m_mediaSource) {
1475         if (m_mediaSource->attachToElement(*this))
1476             m_player->load(url, contentType, m_mediaSource.get());
1477         else {
1478             // Forget our reference to the MediaSource, so we leave it alone
1479             // while processing remainder of load failure.
1480             m_mediaSource = nullptr;
1481             mediaLoadingFailed(MediaPlayer::FormatError);
1482         }
1483         loadAttempted = true;
1484     }
1485 #endif
1486
1487 #if ENABLE(MEDIA_STREAM)
1488     if (!loadAttempted) {
1489         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1490             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1491
1492         if (m_mediaStreamSrcObject) {
1493             loadAttempted = true;
1494             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1495                 mediaLoadingFailed(MediaPlayer::FormatError);
1496         }
1497     }
1498 #endif
1499
1500     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1501         mediaLoadingFailed(MediaPlayer::FormatError);
1502
1503     // If there is no poster to display, allow the media engine to render video frames as soon as
1504     // they are available.
1505     updateDisplayState();
1506
1507     updateRenderer();
1508 }
1509
1510 #if ENABLE(VIDEO_TRACK)
1511
1512 static bool trackIndexCompare(TextTrack* a, TextTrack* b)
1513 {
1514     return a->trackIndex() - b->trackIndex() < 0;
1515 }
1516
1517 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1518 {
1519     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1520     // times first).
1521     if (a.first != b.first)
1522         return a.first - b.first < MediaTime::zeroTime();
1523
1524     // If the cues belong to different text tracks, it doesn't make sense to
1525     // compare the two tracks by the relative cue order, so return the relative
1526     // track order.
1527     if (a.second->track() != b.second->track())
1528         return trackIndexCompare(a.second->track(), b.second->track());
1529
1530     // 12 - Further sort tasks in events that have the same time by the
1531     // relative text track cue order of the text track cues associated
1532     // with these tasks.
1533     return a.second->cueIndex() - b.second->cueIndex() < 0;
1534 }
1535
1536 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1537 {
1538     return one.data()->isOrderedBefore(two.data());
1539 }
1540
1541 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1542 {
1543     // 4.8.10.8 Playing the media resource
1544
1545     //  If the current playback position changes while the steps are running,
1546     //  then the user agent must wait for the steps to complete, and then must
1547     //  immediately rerun the steps.
1548     if (ignoreTrackDisplayUpdateRequests())
1549         return;
1550
1551     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1552
1553     // 1 - Let current cues be a list of cues, initialized to contain all the
1554     // cues of all the hidden, showing, or showing by default text tracks of the
1555     // media element (not the disabled ones) whose start times are less than or
1556     // equal to the current playback position and whose end times are greater
1557     // than the current playback position.
1558     CueList currentCues;
1559
1560     // The user agent must synchronously unset [the text track cue active] flag
1561     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1562     if (m_readyState != HAVE_NOTHING && m_player) {
1563         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1564         if (currentCues.size() > 1)
1565             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1566     }
1567
1568     CueList previousCues;
1569     CueList missedCues;
1570
1571     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1572     // of hidden, showing, and showing by default text tracks of the media
1573     // element that are not present in current cues.
1574     previousCues = m_currentlyActiveCues;
1575
1576     // 3 - Let last time be the current playback position at the time this
1577     // algorithm was last run for this media element, if this is not the first
1578     // time it has run.
1579     MediaTime lastTime = m_lastTextTrackUpdateTime;
1580
1581     // 4 - If the current playback position has, since the last time this
1582     // algorithm was run, only changed through its usual monotonic increase
1583     // during normal playback, then let missed cues be the list of cues in other
1584     // cues whose start times are greater than or equal to last time and whose
1585     // end times are less than or equal to the current playback position.
1586     // Otherwise, let missed cues be an empty list.
1587     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1588         for (auto& cue : m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime))) {
1589             // Consider cues that may have been missed since the last seek time.
1590             if (cue.low() > std::max(m_lastSeekTime, lastTime) && cue.high() < movieTime)
1591                 missedCues.append(cue);
1592         }
1593     }
1594
1595     m_lastTextTrackUpdateTime = movieTime;
1596
1597     // 5 - If the time was reached through the usual monotonic increase of the
1598     // current playback position during normal playback, and if the user agent
1599     // has not fired a timeupdate event at the element in the past 15 to 250ms
1600     // and is not still running event handlers for such an event, then the user
1601     // agent must queue a task to fire a simple event named timeupdate at the
1602     // element. (In the other cases, such as explicit seeks, relevant events get
1603     // fired as part of the overall process of changing the current playback
1604     // position.)
1605     if (!m_paused && m_lastSeekTime <= lastTime)
1606         scheduleTimeupdateEvent(false);
1607
1608     // Explicitly cache vector sizes, as their content is constant from here.
1609     size_t currentCuesSize = currentCues.size();
1610     size_t missedCuesSize = missedCues.size();
1611     size_t previousCuesSize = previousCues.size();
1612
1613     // 6 - If all of the cues in current cues have their text track cue active
1614     // flag set, none of the cues in other cues have their text track cue active
1615     // flag set, and missed cues is empty, then abort these steps.
1616     bool activeSetChanged = missedCuesSize;
1617
1618     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1619         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1620             activeSetChanged = true;
1621
1622     for (size_t i = 0; i < currentCuesSize; ++i) {
1623         TextTrackCue* cue = currentCues[i].data();
1624
1625         if (cue->isRenderable())
1626             toVTTCue(cue)->updateDisplayTree(movieTime);
1627
1628         if (!cue->isActive())
1629             activeSetChanged = true;
1630     }
1631
1632     if (!activeSetChanged)
1633         return;
1634
1635     // 7 - If the time was reached through the usual monotonic increase of the
1636     // current playback position during normal playback, and there are cues in
1637     // other cues that have their text track cue pause-on-exi flag set and that
1638     // either have their text track cue active flag set or are also in missed
1639     // cues, then immediately pause the media element.
1640     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1641         if (previousCues[i].data()->pauseOnExit()
1642             && previousCues[i].data()->isActive()
1643             && !currentCues.contains(previousCues[i]))
1644             pause();
1645     }
1646
1647     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1648         if (missedCues[i].data()->pauseOnExit())
1649             pause();
1650     }
1651
1652     // 8 - Let events be a list of tasks, initially empty. Each task in this
1653     // list will be associated with a text track, a text track cue, and a time,
1654     // which are used to sort the list before the tasks are queued.
1655     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1656
1657     // 8 - Let affected tracks be a list of text tracks, initially empty.
1658     Vector<TextTrack*> affectedTracks;
1659
1660     for (size_t i = 0; i < missedCuesSize; ++i) {
1661         // 9 - For each text track cue in missed cues, prepare an event named enter
1662         // for the TextTrackCue object with the text track cue start time.
1663         eventTasks.append({ missedCues[i].data()->startMediaTime(), missedCues[i].data() });
1664
1665         // 10 - For each text track [...] in missed cues, prepare an event
1666         // named exit for the TextTrackCue object with the  with the later of
1667         // the text track cue end time and the text track cue start time.
1668
1669         // Note: An explicit task is added only if the cue is NOT a zero or
1670         // negative length cue. Otherwise, the need for an exit event is
1671         // checked when these tasks are actually queued below. This doesn't
1672         // affect sorting events before dispatch either, because the exit
1673         // event has the same time as the enter event.
1674         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1675             eventTasks.append({ missedCues[i].data()->endMediaTime(), missedCues[i].data() });
1676     }
1677
1678     for (size_t i = 0; i < previousCuesSize; ++i) {
1679         // 10 - For each text track cue in other cues that has its text
1680         // track cue active flag set prepare an event named exit for the
1681         // TextTrackCue object with the text track cue end time.
1682         if (!currentCues.contains(previousCues[i]))
1683             eventTasks.append({ previousCues[i].data()->endMediaTime(), previousCues[i].data() });
1684     }
1685
1686     for (size_t i = 0; i < currentCuesSize; ++i) {
1687         // 11 - For each text track cue in current cues that does not have its
1688         // text track cue active flag set, prepare an event named enter for the
1689         // TextTrackCue object with the text track cue start time.
1690         if (!previousCues.contains(currentCues[i]))
1691             eventTasks.append({ currentCues[i].data()->startMediaTime(), currentCues[i].data() });
1692     }
1693
1694     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1695     // times first).
1696     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1697
1698     for (auto& eventTask : eventTasks) {
1699         if (!affectedTracks.contains(eventTask.second->track()))
1700             affectedTracks.append(eventTask.second->track());
1701
1702         // 13 - Queue each task in events, in list order.
1703
1704         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1705         // depending on the time that is associated with the event. This
1706         // correctly identifies the type of the event, if the startTime is
1707         // less than the endTime in the cue.
1708         if (eventTask.second->startTime() >= eventTask.second->endTime()) {
1709             auto enterEvent = Event::create(eventNames().enterEvent, false, false);
1710             enterEvent->setTarget(eventTask.second);
1711             m_asyncEventQueue.enqueueEvent(WTFMove(enterEvent));
1712
1713             auto exitEvent = Event::create(eventNames().exitEvent, false, false);
1714             exitEvent->setTarget(eventTask.second);
1715             m_asyncEventQueue.enqueueEvent(WTFMove(exitEvent));
1716         } else {
1717             RefPtr<Event> event;
1718             if (eventTask.first == eventTask.second->startMediaTime())
1719                 event = Event::create(eventNames().enterEvent, false, false);
1720             else
1721                 event = Event::create(eventNames().exitEvent, false, false);
1722             event->setTarget(eventTask.second);
1723             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1724         }
1725     }
1726
1727     // 14 - Sort affected tracks in the same order as the text tracks appear in
1728     // the media element's list of text tracks, and remove duplicates.
1729     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1730
1731     // 15 - For each text track in affected tracks, in the list order, queue a
1732     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1733     for (auto& affectedTrack : affectedTracks) {
1734         auto event = Event::create(eventNames().cuechangeEvent, false, false);
1735         event->setTarget(affectedTrack);
1736         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1737
1738         // ... if the text track has a corresponding track element, to then fire a
1739         // simple event named cuechange at the track element as well.
1740         if (is<LoadableTextTrack>(*affectedTrack)) {
1741             auto event = Event::create(eventNames().cuechangeEvent, false, false);
1742             auto* trackElement = downcast<LoadableTextTrack>(*affectedTrack).trackElement();
1743             ASSERT(trackElement);
1744             event->setTarget(trackElement);
1745             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1746         }
1747     }
1748
1749     // 16 - Set the text track cue active flag of all the cues in the current
1750     // cues, and unset the text track cue active flag of all the cues in the
1751     // other cues.
1752     for (size_t i = 0; i < currentCuesSize; ++i)
1753         currentCues[i].data()->setIsActive(true);
1754
1755     for (size_t i = 0; i < previousCuesSize; ++i)
1756         if (!currentCues.contains(previousCues[i]))
1757             previousCues[i].data()->setIsActive(false);
1758
1759     // Update the current active cues.
1760     m_currentlyActiveCues = currentCues;
1761
1762     if (activeSetChanged)
1763         updateTextTrackDisplay();
1764 }
1765
1766 bool HTMLMediaElement::textTracksAreReady() const
1767 {
1768     // 4.8.10.12.1 Text track model
1769     // ...
1770     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1771     // in the disabled state when the element's resource selection algorithm last started now
1772     // have a text track readiness state of loaded or failed to load.
1773     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1774         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1775             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1776             return false;
1777     }
1778
1779     return true;
1780 }
1781
1782 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1783 {
1784     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1785         if (track->readinessState() != TextTrack::Loading)
1786             setReadyState(m_player->readyState());
1787     } else {
1788         // The track readiness state might have changed as a result of the user
1789         // clicking the captions button. In this case, a check whether all the
1790         // resources have failed loading should be done in order to hide the CC button.
1791         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1792             mediaControls()->refreshClosedCaptionsButtonVisibility();
1793     }
1794 }
1795
1796 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1797 {
1798     ASSERT(track);
1799     if (m_audioTracks && m_audioTracks->contains(*track))
1800         m_audioTracks->scheduleChangeEvent();
1801     if (ScriptController::processingUserGestureForMedia())
1802         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1803 }
1804
1805 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1806 {
1807     bool trackIsLoaded = true;
1808     if (track->trackType() == TextTrack::TrackElement) {
1809         trackIsLoaded = false;
1810         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1811             if (&trackElement.track() == track) {
1812                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1813                     trackIsLoaded = true;
1814                 break;
1815             }
1816         }
1817     }
1818
1819     // If this is the first added track, create the list of text tracks.
1820     if (!m_textTracks)
1821         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1822     
1823     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1824     track->setHasBeenConfigured(true);
1825     
1826     if (track->mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1827         textTrackAddCues(track, track->cues());
1828
1829     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1830
1831     if (m_textTracks && m_textTracks->contains(*track))
1832         m_textTracks->scheduleChangeEvent();
1833
1834 #if ENABLE(AVF_CAPTIONS)
1835     if (track->trackType() == TextTrack::TrackElement && m_player)
1836         m_player->notifyTrackModeChanged();
1837 #endif
1838 }
1839
1840 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1841 {
1842     ASSERT(track);
1843     if (m_videoTracks && m_videoTracks->contains(*track))
1844         m_videoTracks->scheduleChangeEvent();
1845 }
1846
1847 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1848 {
1849     if (track->kind() != TextTrack::Kind::Captions && track->kind() != TextTrack::Kind::Subtitles && track->mode() == TextTrack::Mode::Showing)
1850         track->setMode(TextTrack::Mode::Hidden);
1851 }
1852
1853 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1854 {
1855     ++m_ignoreTrackDisplayUpdate;
1856 }
1857
1858 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1859 {
1860     ASSERT(m_ignoreTrackDisplayUpdate);
1861     --m_ignoreTrackDisplayUpdate;
1862     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1863         updateActiveTextTrackCues(currentMediaTime());
1864 }
1865
1866 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1867 {
1868     if (track->mode() == TextTrack::Mode::Disabled)
1869         return;
1870
1871     TrackDisplayUpdateScope scope(this);
1872     for (size_t i = 0; i < cues->length(); ++i)
1873         textTrackAddCue(track, *cues->item(i));
1874 }
1875
1876 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues)
1877 {
1878     TrackDisplayUpdateScope scope(this);
1879     for (size_t i = 0; i < cues->length(); ++i)
1880         textTrackRemoveCue(cues->item(i)->track(), *cues->item(i));
1881 }
1882
1883 void HTMLMediaElement::textTrackAddCue(TextTrack* track, TextTrackCue& cue)
1884 {
1885     if (track->mode() == TextTrack::Mode::Disabled)
1886         return;
1887
1888     // Negative duration cues need be treated in the interval tree as
1889     // zero-length cues.
1890     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1891
1892     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1893     if (!m_cueTree.contains(interval))
1894         m_cueTree.add(interval);
1895     updateActiveTextTrackCues(currentMediaTime());
1896 }
1897
1898 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, TextTrackCue& cue)
1899 {
1900     // Negative duration cues need to be treated in the interval tree as
1901     // zero-length cues.
1902     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1903
1904     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1905     m_cueTree.remove(interval);
1906
1907     // Since the cue will be removed from the media element and likely the
1908     // TextTrack might also be destructed, notifying the region of the cue
1909     // removal shouldn't be done.
1910     if (cue.isRenderable())
1911         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1912
1913     size_t index = m_currentlyActiveCues.find(interval);
1914     if (index != notFound) {
1915         cue.setIsActive(false);
1916         m_currentlyActiveCues.remove(index);
1917     }
1918
1919     if (cue.isRenderable())
1920         toVTTCue(&cue)->removeDisplayTree();
1921     updateActiveTextTrackCues(currentMediaTime());
1922
1923     if (cue.isRenderable())
1924         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1925 }
1926
1927 #endif
1928
1929 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1930 {
1931     // Elements in user agent show tree should load whatever the embedding document policy is.
1932     if (isInUserAgentShadowTree)
1933         return true;
1934
1935     ASSERT(element.document().contentSecurityPolicy());
1936     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1937 }
1938
1939 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1940 {
1941     if (!url.isValid()) {
1942         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1943         return false;
1944     }
1945
1946     Frame* frame = document().frame();
1947     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1948         if (actionIfInvalid == Complain)
1949             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1950         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1951         return false;
1952     }
1953
1954     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
1955         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1956         return false;
1957     }
1958
1959     return true;
1960 }
1961
1962 void HTMLMediaElement::startProgressEventTimer()
1963 {
1964     if (m_progressEventTimer.isActive())
1965         return;
1966
1967     m_previousProgressTime = monotonicallyIncreasingTime();
1968     // 350ms is not magic, it is in the spec!
1969     m_progressEventTimer.startRepeating(0.350);
1970 }
1971
1972 void HTMLMediaElement::waitForSourceChange()
1973 {
1974     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
1975
1976     stopPeriodicTimers();
1977     m_loadState = WaitingForSource;
1978
1979     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
1980     m_networkState = NETWORK_NO_SOURCE;
1981
1982     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1983     setShouldDelayLoadEvent(false);
1984
1985     updateDisplayState();
1986     updateRenderer();
1987 }
1988
1989 void HTMLMediaElement::noneSupported()
1990 {
1991     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
1992
1993     stopPeriodicTimers();
1994     m_loadState = WaitingForSource;
1995     m_currentSourceNode = nullptr;
1996
1997     // 4.8.10.5 
1998     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
1999     // URL could not be resolved. In one atomic operation, run the following steps:
2000
2001     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
2002     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2003     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2004
2005     // 6.2 - Forget the media element's media-resource-specific text tracks.
2006     forgetResourceSpecificTracks();
2007
2008     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2009     m_networkState = NETWORK_NO_SOURCE;
2010
2011     // 7 - Queue a task to fire a simple event named error at the media element.
2012     scheduleEvent(eventNames().errorEvent);
2013
2014     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2015
2016 #if ENABLE(MEDIA_SOURCE)
2017     detachMediaSource();
2018 #endif
2019
2020     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2021     setShouldDelayLoadEvent(false);
2022
2023     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2024     // the element won't attempt to load another resource.
2025
2026     updateDisplayState();
2027     updateRenderer();
2028 }
2029
2030 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2031 {
2032     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2033
2034     // 1 - The user agent should cancel the fetching process.
2035     stopPeriodicTimers();
2036     m_loadState = WaitingForSource;
2037
2038     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2039     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2040     if (error == MediaPlayer::NetworkError)
2041         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2042     else if (error == MediaPlayer::DecodeError)
2043         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2044     else
2045         ASSERT_NOT_REACHED();
2046
2047     // 3 - Queue a task to fire a simple event named error at the media element.
2048     scheduleEvent(eventNames().errorEvent);
2049
2050 #if ENABLE(MEDIA_SOURCE)
2051     detachMediaSource();
2052 #endif
2053
2054     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2055     // task to fire a simple event called emptied at the element.
2056     m_networkState = NETWORK_EMPTY;
2057     scheduleEvent(eventNames().emptiedEvent);
2058
2059     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2060     setShouldDelayLoadEvent(false);
2061
2062     // 6 - Abort the overall resource selection algorithm.
2063     m_currentSourceNode = nullptr;
2064
2065 #if PLATFORM(COCOA)
2066     if (is<MediaDocument>(document()))
2067         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2068 #endif
2069 }
2070
2071 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2072 {
2073     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2074     m_asyncEventQueue.cancelAllEvents();
2075
2076     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2077         source.cancelPendingErrorEvent();
2078
2079     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2080 }
2081
2082 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2083 {
2084     beginProcessingMediaPlayerCallback();
2085     setNetworkState(m_player->networkState());
2086     endProcessingMediaPlayerCallback();
2087 }
2088
2089 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2090 {
2091     if (!page)
2092         return;
2093
2094     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2095     if (!succeeded) {
2096         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2097         return;
2098     }
2099
2100     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2101
2102     if (!page->hasSeenAnyMediaEngine())
2103         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2104
2105     if (!page->hasSeenMediaEngine(mediaEngine))
2106         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2107
2108     page->sawMediaEngine(mediaEngine);
2109 }
2110
2111 static String stringForNetworkState(MediaPlayer::NetworkState state)
2112 {
2113     switch (state) {
2114     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2115     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2116     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2117     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2118     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2119     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2120     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2121     default: return emptyString();
2122     }
2123 }
2124
2125 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2126 {
2127     stopPeriodicTimers();
2128     
2129     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2130     // <source> children, schedule the next one
2131     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2132         
2133         // resource selection algorithm
2134         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2135         if (m_currentSourceNode)
2136             m_currentSourceNode->scheduleErrorEvent();
2137         else
2138             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2139         
2140         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2141         
2142         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2143         forgetResourceSpecificTracks();
2144
2145         if (havePotentialSourceChild()) {
2146             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2147             scheduleNextSourceChild();
2148         } else {
2149             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2150             waitForSourceChange();
2151         }
2152         
2153         return;
2154     }
2155     
2156     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2157         mediaLoadingFailedFatally(error);
2158     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2159         noneSupported();
2160     
2161     updateDisplayState();
2162     if (hasMediaControls()) {
2163         mediaControls()->reset();
2164         mediaControls()->reportedError();
2165     }
2166
2167     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2168
2169     m_mediaSession->clientCharacteristicsChanged();
2170 }
2171
2172 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2173 {
2174     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2175
2176     if (state == MediaPlayer::Empty) {
2177         // Just update the cached state and leave, we can't do anything.
2178         m_networkState = NETWORK_EMPTY;
2179         return;
2180     }
2181
2182     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2183         mediaLoadingFailed(state);
2184         return;
2185     }
2186
2187     if (state == MediaPlayer::Idle) {
2188         if (m_networkState > NETWORK_IDLE) {
2189             changeNetworkStateFromLoadingToIdle();
2190             setShouldDelayLoadEvent(false);
2191         } else {
2192             m_networkState = NETWORK_IDLE;
2193         }
2194     }
2195
2196     if (state == MediaPlayer::Loading) {
2197         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2198             startProgressEventTimer();
2199         m_networkState = NETWORK_LOADING;
2200     }
2201
2202     if (state == MediaPlayer::Loaded) {
2203         if (m_networkState != NETWORK_IDLE)
2204             changeNetworkStateFromLoadingToIdle();
2205         m_completelyLoaded = true;
2206     }
2207
2208     if (hasMediaControls())
2209         mediaControls()->updateStatusDisplay();
2210 }
2211
2212 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2213 {
2214     m_progressEventTimer.stop();
2215     if (hasMediaControls() && m_player->didLoadingProgress())
2216         mediaControls()->bufferingProgressed();
2217
2218     // Schedule one last progress event so we guarantee that at least one is fired
2219     // for files that load very quickly.
2220     scheduleEvent(eventNames().progressEvent);
2221     scheduleEvent(eventNames().suspendEvent);
2222     m_networkState = NETWORK_IDLE;
2223 }
2224
2225 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2226 {
2227     beginProcessingMediaPlayerCallback();
2228
2229     setReadyState(m_player->readyState());
2230
2231     endProcessingMediaPlayerCallback();
2232 }
2233
2234 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2235 {
2236     return isAutoplaying()
2237         && mediaSession().autoplayPermitted()
2238         && paused()
2239         && autoplay()
2240         && !pausedForUserInteraction()
2241         && !document().isSandboxed(SandboxAutomaticFeatures)
2242         && mediaSession().playbackPermitted(*this);
2243 }
2244
2245 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2246 {
2247     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2248
2249     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2250     bool wasPotentiallyPlaying = potentiallyPlaying();
2251
2252     ReadyState oldState = m_readyState;
2253     ReadyState newState = static_cast<ReadyState>(state);
2254
2255 #if ENABLE(VIDEO_TRACK)
2256     bool tracksAreReady = textTracksAreReady();
2257
2258     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2259         return;
2260
2261     m_tracksAreReady = tracksAreReady;
2262 #else
2263     if (newState == oldState)
2264         return;
2265     bool tracksAreReady = true;
2266 #endif
2267     
2268     if (tracksAreReady)
2269         m_readyState = newState;
2270     else {
2271         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2272         // the text tracks are ready, regardless of the state of the media file.
2273         if (newState <= HAVE_METADATA)
2274             m_readyState = newState;
2275         else
2276             m_readyState = HAVE_CURRENT_DATA;
2277     }
2278     
2279     if (oldState > m_readyStateMaximum)
2280         m_readyStateMaximum = oldState;
2281
2282     if (m_networkState == NETWORK_EMPTY)
2283         return;
2284
2285     if (m_seeking) {
2286         // 4.8.10.9, step 11
2287         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2288             scheduleEvent(eventNames().waitingEvent);
2289
2290         // 4.8.10.10 step 14 & 15.
2291         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2292             finishSeek();
2293     } else {
2294         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2295             // 4.8.10.8
2296             invalidateCachedTime();
2297             scheduleTimeupdateEvent(false);
2298             scheduleEvent(eventNames().waitingEvent);
2299         }
2300     }
2301
2302     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2303         prepareMediaFragmentURI();
2304         scheduleEvent(eventNames().durationchangeEvent);
2305         scheduleResizeEvent();
2306         scheduleEvent(eventNames().loadedmetadataEvent);
2307 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2308         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2309             enqueuePlaybackTargetAvailabilityChangedEvent();
2310 #endif
2311         m_initiallyMuted = m_volume < 0.05 || muted();
2312
2313         if (hasMediaControls())
2314             mediaControls()->loadedMetadata();
2315         updateRenderer();
2316
2317         if (is<MediaDocument>(document()))
2318             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2319
2320         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2321
2322 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2323         updateMediaState(UpdateState::Asynchronously);
2324 #endif
2325
2326         m_mediaSession->clientCharacteristicsChanged();
2327     }
2328
2329     bool shouldUpdateDisplayState = false;
2330
2331     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2332         m_haveFiredLoadedData = true;
2333         shouldUpdateDisplayState = true;
2334         scheduleEvent(eventNames().loadeddataEvent);
2335         setShouldDelayLoadEvent(false);
2336         applyMediaFragmentURI();
2337     }
2338
2339     bool isPotentiallyPlaying = potentiallyPlaying();
2340     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2341         scheduleEvent(eventNames().canplayEvent);
2342         if (isPotentiallyPlaying)
2343             scheduleNotifyAboutPlaying();
2344         shouldUpdateDisplayState = true;
2345     }
2346
2347     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2348         if (oldState <= HAVE_CURRENT_DATA)
2349             scheduleEvent(eventNames().canplayEvent);
2350
2351         scheduleEvent(eventNames().canplaythroughEvent);
2352
2353         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2354             scheduleNotifyAboutPlaying();
2355
2356         if (canTransitionFromAutoplayToPlay()) {
2357             m_paused = false;
2358             invalidateCachedTime();
2359             m_playbackStartedTime = currentMediaTime().toDouble();
2360             scheduleEvent(eventNames().playEvent);
2361             scheduleNotifyAboutPlaying();
2362         }
2363
2364         shouldUpdateDisplayState = true;
2365     }
2366
2367     if (shouldUpdateDisplayState) {
2368         updateDisplayState();
2369         if (hasMediaControls()) {
2370             mediaControls()->refreshClosedCaptionsButtonVisibility();
2371             mediaControls()->updateStatusDisplay();
2372         }
2373     }
2374
2375     updatePlayState();
2376     updateMediaController();
2377 #if ENABLE(VIDEO_TRACK)
2378     updateActiveTextTrackCues(currentMediaTime());
2379 #endif
2380 }
2381
2382 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2383 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2384 {
2385     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2386 }
2387
2388 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2389 {
2390     if (!hasEventListeners("webkitneedkey")) {
2391         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2392         scheduleEvent(eventNames().errorEvent);
2393         return false;
2394     }
2395
2396     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2397     event->setTarget(this);
2398     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2399
2400     return true;
2401 }
2402
2403 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2404 {
2405     Settings* settings = document().settings();
2406     if (!settings)
2407         return emptyString();
2408
2409     String storageDirectory = settings->mediaKeysStorageDirectory();
2410     if (storageDirectory.isEmpty())
2411         return emptyString();
2412
2413     SecurityOrigin* origin = document().securityOrigin();
2414     if (!origin)
2415         return emptyString();
2416
2417     return pathByAppendingComponent(storageDirectory, SecurityOriginData::fromSecurityOrigin(*origin).databaseIdentifier());
2418 }
2419
2420 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2421 {
2422     if (m_mediaKeys == mediaKeys)
2423         return;
2424
2425     if (m_mediaKeys)
2426         m_mediaKeys->setMediaElement(nullptr);
2427     m_mediaKeys = mediaKeys;
2428     if (m_mediaKeys)
2429         m_mediaKeys->setMediaElement(this);
2430 }
2431
2432 void HTMLMediaElement::keyAdded()
2433 {
2434     if (m_player)
2435         m_player->keyAdded();
2436 }
2437
2438 #endif
2439
2440 #if ENABLE(ENCRYPTED_MEDIA)
2441
2442 MediaKeys* HTMLMediaElement::mediaKeys() const
2443 {
2444     return nullptr;
2445 }
2446
2447 void HTMLMediaElement::setMediaKeys(MediaKeys*, Ref<DeferredPromise>&&)
2448 {
2449     notImplemented();
2450 }
2451
2452 #endif // ENABLE(ENCRYPTED_MEDIA)
2453
2454 void HTMLMediaElement::progressEventTimerFired()
2455 {
2456     ASSERT(m_player);
2457     if (m_networkState != NETWORK_LOADING)
2458         return;
2459
2460     double time = monotonicallyIncreasingTime();
2461     double timedelta = time - m_previousProgressTime;
2462
2463     if (m_player->didLoadingProgress()) {
2464         scheduleEvent(eventNames().progressEvent);
2465         m_previousProgressTime = time;
2466         m_sentStalledEvent = false;
2467         updateRenderer();
2468         if (hasMediaControls())
2469             mediaControls()->bufferingProgressed();
2470     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2471         scheduleEvent(eventNames().stalledEvent);
2472         m_sentStalledEvent = true;
2473         setShouldDelayLoadEvent(false);
2474     }
2475 }
2476
2477 void HTMLMediaElement::rewind(double timeDelta)
2478 {
2479     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2480     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2481 }
2482
2483 void HTMLMediaElement::returnToRealtime()
2484 {
2485     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2486     setCurrentTime(maxTimeSeekable());
2487 }
2488
2489 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2490 {
2491     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2492     if (!m_playedTimeRanges)
2493         m_playedTimeRanges = TimeRanges::create();
2494     m_playedTimeRanges->ranges().add(start, end);
2495 }  
2496
2497 bool HTMLMediaElement::supportsScanning() const
2498 {
2499     return m_player ? m_player->supportsScanning() : false;
2500 }
2501
2502 void HTMLMediaElement::prepareToPlay()
2503 {
2504     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2505     if (m_havePreparedToPlay)
2506         return;
2507     m_havePreparedToPlay = true;
2508     m_player->prepareToPlay();
2509 }
2510
2511 void HTMLMediaElement::fastSeek(double time)
2512 {
2513     fastSeek(MediaTime::createWithDouble(time));
2514 }
2515
2516 void HTMLMediaElement::fastSeek(const MediaTime& time)
2517 {
2518     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2519     // 4.7.10.9 Seeking
2520     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2521     // allow for playback to resume promptly. If new playback position before this step is before current
2522     // playback position, then the adjusted new playback position must also be before the current playback
2523     // position. Similarly, if the new playback position before this step is after current playback position,
2524     // then the adjusted new playback position must also be after the current playback position.
2525     refreshCachedTime();
2526     MediaTime delta = time - currentMediaTime();
2527     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2528     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2529
2530     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2531 }
2532
2533 void HTMLMediaElement::seek(const MediaTime& time)
2534 {
2535     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2536     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2537 }
2538
2539 void HTMLMediaElement::seekInternal(const MediaTime& time)
2540 {
2541     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2542     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2543 }
2544
2545 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2546 {
2547     // 4.8.10.9 Seeking
2548     MediaTime time = inTime;
2549
2550     // 1 - Set the media element's show poster flag to false.
2551     setDisplayMode(Video);
2552
2553     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2554     if (m_readyState == HAVE_NOTHING || !m_player)
2555         return;
2556
2557     // If the media engine has been told to postpone loading data, let it go ahead now.
2558     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2559         prepareToPlay();
2560
2561     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2562     refreshCachedTime();
2563     MediaTime now = currentMediaTime();
2564
2565     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2566     // already running. Abort that other instance of the algorithm without waiting for the step that
2567     // it is running to complete.
2568     if (m_seekTaskQueue.hasPendingTasks()) {
2569         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2570         m_seekTaskQueue.cancelAllTasks();
2571         if (m_pendingSeek) {
2572             now = m_pendingSeek->now;
2573             m_pendingSeek = nullptr;
2574         }
2575         m_pendingSeekType = NoSeek;
2576     }
2577
2578     // 4 - Set the seeking IDL attribute to true.
2579     // The flag will be cleared when the engine tells us the time has actually changed.
2580     m_seeking = true;
2581     if (m_playing) {
2582         if (m_lastSeekTime < now)
2583             addPlayedRange(m_lastSeekTime, now);
2584     }
2585     m_lastSeekTime = time;
2586
2587     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2588     // the script. The remainder of these steps must be run asynchronously.
2589     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2590     if (fromDOM) {
2591         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2592         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2593     } else
2594         seekTask();
2595
2596     if (ScriptController::processingUserGestureForMedia())
2597         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2598 }
2599
2600 void HTMLMediaElement::seekTask()
2601 {
2602     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2603
2604     if (!m_player) {
2605         clearSeeking();
2606         return;
2607     }
2608
2609     ASSERT(m_pendingSeek);
2610     MediaTime now = m_pendingSeek->now;
2611     MediaTime time = m_pendingSeek->targetTime;
2612     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2613     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2614     m_pendingSeek = nullptr;
2615
2616     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2617     // of the media resource instead.
2618     time = std::min(time, durationMediaTime());
2619
2620     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2621     MediaTime earliestTime = m_player->startTime();
2622     time = std::max(time, earliestTime);
2623
2624     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2625     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2626     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2627     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2628     // fire a 'seeked' event.
2629 #if !LOG_DISABLED
2630     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2631     if (time != mediaTime)
2632         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2633 #endif
2634     time = m_player->mediaTimeForTimeValue(time);
2635
2636     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2637     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2638     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2639     // attribute then set the seeking IDL attribute to false and abort these steps.
2640     RefPtr<TimeRanges> seekableRanges = seekable();
2641     bool noSeekRequired = !seekableRanges->length();
2642
2643     // Short circuit seeking to the current time by just firing the events if no seek is required.
2644     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2645     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2646     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2647     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2648         noSeekRequired = true;
2649
2650 #if ENABLE(MEDIA_SOURCE)
2651     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2652     // always in a flushed state when the 'seeking' event fires.
2653     if (m_mediaSource && !m_mediaSource->isClosed())
2654         noSeekRequired = false;
2655 #endif
2656
2657     if (noSeekRequired) {
2658         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2659         if (time == now) {
2660             scheduleEvent(eventNames().seekingEvent);
2661             scheduleTimeupdateEvent(false);
2662             scheduleEvent(eventNames().seekedEvent);
2663         }
2664         clearSeeking();
2665         return;
2666     }
2667     time = seekableRanges->ranges().nearest(time);
2668
2669     m_sentEndEvent = false;
2670     m_lastSeekTime = time;
2671     m_pendingSeekType = thisSeekType;
2672     m_seeking = true;
2673
2674     // 10 - Queue a task to fire a simple event named seeking at the element.
2675     scheduleEvent(eventNames().seekingEvent);
2676
2677     // 11 - Set the current playback position to the given new playback position
2678     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2679
2680     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2681     // position is available, and, if it is, until it has decoded enough data to play back that position.
2682     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2683 }
2684
2685 void HTMLMediaElement::clearSeeking()
2686 {
2687     m_seeking = false;
2688     m_pendingSeekType = NoSeek;
2689     invalidateCachedTime();
2690 }
2691
2692 void HTMLMediaElement::finishSeek()
2693 {
2694     // 4.8.10.9 Seeking
2695     // 14 - Set the seeking IDL attribute to false.
2696     clearSeeking();
2697
2698     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2699
2700     // 15 - Run the time maches on steps.
2701     // Handled by mediaPlayerTimeChanged().
2702
2703     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2704     scheduleEvent(eventNames().timeupdateEvent);
2705
2706     // 17 - Queue a task to fire a simple event named seeked at the element.
2707     scheduleEvent(eventNames().seekedEvent);
2708
2709 #if ENABLE(MEDIA_SOURCE)
2710     if (m_mediaSource)
2711         m_mediaSource->monitorSourceBuffers();
2712 #endif
2713 }
2714
2715 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2716 {
2717     return m_readyState;
2718 }
2719
2720 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2721 {
2722     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2723 }
2724
2725 bool HTMLMediaElement::hasAudio() const
2726 {
2727     return m_player ? m_player->hasAudio() : false;
2728 }
2729
2730 bool HTMLMediaElement::seeking() const
2731 {
2732     return m_seeking;
2733 }
2734
2735 void HTMLMediaElement::refreshCachedTime() const
2736 {
2737     if (!m_player)
2738         return;
2739
2740     m_cachedTime = m_player->currentTime();
2741     if (!m_cachedTime) {
2742         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2743         // estimate current time until playback actually begins. 
2744         invalidateCachedTime(); 
2745         return; 
2746     } 
2747
2748     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2749 }
2750
2751 void HTMLMediaElement::invalidateCachedTime() const
2752 {
2753     m_cachedTime = MediaTime::invalidTime();
2754     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2755         return;
2756
2757 #if !LOG_DISABLED
2758     if (m_cachedTime.isValid())
2759         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2760 #endif
2761
2762     // Don't try to cache movie time when playback first starts as the time reported by the engine
2763     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2764     // too early.
2765     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2766
2767     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2768 }
2769
2770 // playback state
2771 double HTMLMediaElement::currentTime() const
2772 {
2773     return currentMediaTime().toDouble();
2774 }
2775
2776 MediaTime HTMLMediaElement::currentMediaTime() const
2777 {
2778 #if LOG_CACHED_TIME_WARNINGS
2779     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2780 #endif
2781
2782     if (!m_player)
2783         return MediaTime::zeroTime();
2784
2785     if (m_seeking) {
2786         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2787         return m_lastSeekTime;
2788     }
2789
2790     if (m_cachedTime.isValid() && m_paused) {
2791 #if LOG_CACHED_TIME_WARNINGS
2792         MediaTime delta = m_cachedTime - m_player->currentTime();
2793         if (delta > minCachedDeltaForWarning)
2794             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2795 #endif
2796         return m_cachedTime;
2797     }
2798
2799     // Is it too soon use a cached time?
2800     double now = monotonicallyIncreasingTime();
2801     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2802
2803     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2804         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2805
2806         // Not too soon, use the cached time only if it hasn't expired.
2807         if (clockDelta < maximumDurationToCacheMediaTime) {
2808             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2809
2810 #if LOG_CACHED_TIME_WARNINGS
2811             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2812             if (delta > minCachedDeltaForWarning)
2813                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2814 #endif
2815             return adjustedCacheTime;
2816         }
2817     }
2818
2819 #if LOG_CACHED_TIME_WARNINGS
2820     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2821         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2822         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2823         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2824     }
2825 #endif
2826
2827     refreshCachedTime();
2828
2829     if (m_cachedTime.isInvalid())
2830         return MediaTime::zeroTime();
2831     
2832     return m_cachedTime;
2833 }
2834
2835 void HTMLMediaElement::setCurrentTime(double time)
2836 {
2837     setCurrentTime(MediaTime::createWithDouble(time));
2838 }
2839
2840 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2841 {
2842     if (m_mediaController)
2843         return;
2844
2845     seekInternal(time);
2846 }
2847
2848 ExceptionOr<void> HTMLMediaElement::setCurrentTimeForBindings(double time)
2849 {
2850     if (m_mediaController)
2851         return Exception { INVALID_STATE_ERR };
2852     seek(MediaTime::createWithDouble(time));
2853     return { };
2854 }
2855
2856 double HTMLMediaElement::duration() const
2857 {
2858     return durationMediaTime().toDouble();
2859 }
2860
2861 MediaTime HTMLMediaElement::durationMediaTime() const
2862 {
2863     if (m_player && m_readyState >= HAVE_METADATA)
2864         return m_player->duration();
2865
2866     return MediaTime::invalidTime();
2867 }
2868
2869 bool HTMLMediaElement::paused() const
2870 {
2871     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2872     // we had problems where this was called on an object after a bad cast. The assertion below
2873     // made our regression test detect the problem, so we should keep it because of that. But note
2874     // that the value of the assertion relies on the compiler not being smart enough to know that
2875     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2876     ASSERT(!isHTMLUnknownElement());
2877
2878     return m_paused;
2879 }
2880
2881 double HTMLMediaElement::defaultPlaybackRate() const
2882 {
2883 #if ENABLE(MEDIA_STREAM)
2884     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2885     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2886     // A MediaStream is not seekable. Therefore, this attribute must always have the
2887     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2888     // that the ratechange event will not fire.
2889     if (m_mediaStreamSrcObject)
2890         return 1;
2891 #endif
2892
2893     return m_defaultPlaybackRate;
2894 }
2895
2896 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2897 {
2898 #if ENABLE(MEDIA_STREAM)
2899     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2900     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2901     // A MediaStream is not seekable. Therefore, this attribute must always have the
2902     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2903     // that the ratechange event will not fire.
2904     if (m_mediaStreamSrcObject)
2905         return;
2906 #endif
2907
2908     if (m_defaultPlaybackRate != rate) {
2909         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2910         m_defaultPlaybackRate = rate;
2911         scheduleEvent(eventNames().ratechangeEvent);
2912     }
2913 }
2914
2915 double HTMLMediaElement::effectivePlaybackRate() const
2916 {
2917     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2918 }
2919
2920 double HTMLMediaElement::requestedPlaybackRate() const
2921 {
2922     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2923 }
2924
2925 double HTMLMediaElement::playbackRate() const
2926 {
2927 #if ENABLE(MEDIA_STREAM)
2928     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2929     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2930     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2931     // means that the ratechange event will not fire.
2932     if (m_mediaStreamSrcObject)
2933         return 1;
2934 #endif
2935
2936     return m_requestedPlaybackRate;
2937 }
2938
2939 void HTMLMediaElement::setPlaybackRate(double rate)
2940 {
2941     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2942
2943 #if ENABLE(MEDIA_STREAM)
2944     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2945     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2946     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2947     // means that the ratechange event will not fire.
2948     if (m_mediaStreamSrcObject)
2949         return;
2950 #endif
2951
2952     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2953         m_player->setRate(rate);
2954
2955     if (m_requestedPlaybackRate != rate) {
2956         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2957         invalidateCachedTime();
2958         scheduleEvent(eventNames().ratechangeEvent);
2959     }
2960 }
2961
2962 void HTMLMediaElement::updatePlaybackRate()
2963 {
2964     double requestedRate = requestedPlaybackRate();
2965     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2966         m_player->setRate(requestedRate);
2967 }
2968
2969 bool HTMLMediaElement::webkitPreservesPitch() const
2970 {
2971     return m_webkitPreservesPitch;
2972 }
2973
2974 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
2975 {
2976     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
2977
2978     m_webkitPreservesPitch = preservesPitch;
2979     
2980     if (!m_player)
2981         return;
2982
2983     m_player->setPreservesPitch(preservesPitch);
2984 }
2985
2986 bool HTMLMediaElement::ended() const
2987 {
2988 #if ENABLE(MEDIA_STREAM)
2989     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2990     // When the MediaStream state moves from the active to the inactive state, the User Agent
2991     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
2992     if (m_mediaStreamSrcObject && m_player && m_player->ended())
2993         return true;
2994 #endif
2995
2996     // 4.8.10.8 Playing the media resource
2997     // The ended attribute must return true if the media element has ended 
2998     // playback and the direction of playback is forwards, and false otherwise.
2999     return endedPlayback() && requestedPlaybackRate() > 0;
3000 }
3001
3002 bool HTMLMediaElement::autoplay() const
3003 {
3004     return hasAttributeWithoutSynchronization(autoplayAttr);
3005 }
3006
3007 String HTMLMediaElement::preload() const
3008 {
3009 #if ENABLE(MEDIA_STREAM)
3010     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3011     // "preload" - On getting: none. On setting: ignored.
3012     if (m_mediaStreamSrcObject)
3013         return ASCIILiteral("none");
3014 #endif
3015
3016     switch (m_preload) {
3017     case MediaPlayer::None:
3018         return ASCIILiteral("none");
3019     case MediaPlayer::MetaData:
3020         return ASCIILiteral("metadata");
3021     case MediaPlayer::Auto:
3022         return ASCIILiteral("auto");
3023     }
3024
3025     ASSERT_NOT_REACHED();
3026     return String();
3027 }
3028
3029 void HTMLMediaElement::setPreload(const String& preload)
3030 {
3031     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3032 #if ENABLE(MEDIA_STREAM)
3033     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3034     // "preload" - On getting: none. On setting: ignored.
3035     if (m_mediaStreamSrcObject)
3036         return;
3037 #endif
3038
3039     setAttributeWithoutSynchronization(preloadAttr, preload);
3040 }
3041
3042 void HTMLMediaElement::play(DOMPromise<void>&& promise)
3043 {
3044     LOG(Media, "HTMLMediaElement::play(%p)", this);
3045
3046     if (!m_mediaSession->playbackPermitted(*this)) {
3047         promise.reject(NotAllowedError);
3048         return;
3049     }
3050
3051     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3052         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3053         return;
3054     }
3055
3056     if (ScriptController::processingUserGestureForMedia())
3057         removeBehaviorsRestrictionsAfterFirstUserGesture();
3058
3059     if (!playInternal()) {
3060         promise.reject(NotAllowedError);
3061         return;
3062     }
3063
3064     m_pendingPlayPromises.append(WTFMove(promise));
3065 }
3066
3067 void HTMLMediaElement::play()
3068 {
3069     LOG(Media, "HTMLMediaElement::play(%p)", this);
3070
3071     if (!m_mediaSession->playbackPermitted(*this))
3072         return;
3073     if (ScriptController::processingUserGestureForMedia())
3074         removeBehaviorsRestrictionsAfterFirstUserGesture();
3075
3076     playInternal();
3077 }
3078
3079 bool HTMLMediaElement::playInternal()
3080 {
3081     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3082     
3083     if (!m_mediaSession->clientWillBeginPlayback()) {
3084         LOG(Media, "  returning because of interruption");
3085         return true; // Treat as success because we will begin playback on cessation of the interruption.
3086     }
3087
3088     // 4.8.10.9. Playing the media resource
3089     if (!m_player || m_networkState == NETWORK_EMPTY)
3090         scheduleDelayedAction(LoadMediaResource);
3091
3092     if (endedPlayback())
3093         seekInternal(MediaTime::zeroTime());
3094
3095     if (m_mediaController)
3096         m_mediaController->bringElementUpToSpeed(*this);
3097
3098     if (m_paused) {
3099         m_paused = false;
3100         invalidateCachedTime();
3101         m_playbackStartedTime = currentMediaTime().toDouble();
3102         scheduleEvent(eventNames().playEvent);
3103
3104         if (m_readyState <= HAVE_CURRENT_DATA)
3105             scheduleEvent(eventNames().waitingEvent);
3106         else if (m_readyState >= HAVE_FUTURE_DATA)
3107             scheduleNotifyAboutPlaying();
3108
3109 #if ENABLE(MEDIA_SESSION)
3110         // 6.3 Activating a media session from a media element
3111         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3112         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3113         // 1. Let media session be the value of the current media session.
3114         // 2. If we are not currently in media session's list of active participating media elements then append
3115         //    ourselves to this list.
3116         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3117         // 4. If activated is failure, pause ourselves.
3118         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3119             if (m_session) {
3120                 m_session->addActiveMediaElement(*this);
3121
3122                 if (m_session->kind() == MediaSessionKind::Content) {
3123                     if (Page* page = document().page())
3124                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3125                 }
3126
3127                 if (!m_session->invoke()) {
3128                     pause();
3129                     return false;
3130                 }
3131             }
3132         }
3133 #endif
3134     } else if (m_readyState >= HAVE_FUTURE_DATA)
3135         scheduleResolvePendingPlayPromises();
3136
3137     m_autoplaying = false;
3138     updatePlayState();
3139
3140     return true;
3141 }
3142
3143 void HTMLMediaElement::pause()
3144 {
3145     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3146
3147     if (!m_mediaSession->playbackPermitted(*this))
3148         return;
3149
3150     if (ScriptController::processingUserGestureForMedia())
3151         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3152
3153     pauseInternal();
3154 }
3155
3156
3157 void HTMLMediaElement::pauseInternal()
3158 {
3159     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3160
3161     if (!m_mediaSession->clientWillPausePlayback()) {
3162         LOG(Media, "  returning because of interruption");
3163         return;
3164     }
3165
3166     // 4.8.10.9. Playing the media resource
3167     if (!m_player || m_networkState == NETWORK_EMPTY) {
3168         // Unless the restriction on media requiring user action has been lifted
3169         // don't trigger loading if a script calls pause().
3170         if (!m_mediaSession->playbackPermitted(*this))
3171             return;
3172         scheduleDelayedAction(LoadMediaResource);
3173     }
3174
3175     m_autoplaying = false;
3176
3177     if (!m_paused) {
3178         m_paused = true;
3179         scheduleTimeupdateEvent(false);
3180         scheduleEvent(eventNames().pauseEvent);
3181         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3182
3183         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3184             purgeBufferedDataIfPossible();
3185     }
3186
3187     updatePlayState();
3188 }
3189
3190 #if ENABLE(MEDIA_SOURCE)
3191 void HTMLMediaElement::detachMediaSource()
3192 {
3193     if (!m_mediaSource)
3194         return;
3195
3196     m_mediaSource->detachFromElement(*this);
3197     m_mediaSource = nullptr;
3198 }
3199 #endif
3200
3201 bool HTMLMediaElement::loop() const
3202 {
3203     return hasAttributeWithoutSynchronization(loopAttr);
3204 }
3205
3206 void HTMLMediaElement::setLoop(bool b)
3207 {
3208     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3209     setBooleanAttribute(loopAttr, b);
3210 }
3211
3212 bool HTMLMediaElement::controls() const
3213 {
3214     Frame* frame = document().frame();
3215
3216     // always show controls when scripting is disabled
3217     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3218         return true;
3219
3220     return hasAttributeWithoutSynchronization(controlsAttr);
3221 }
3222
3223 void HTMLMediaElement::setControls(bool b)
3224 {
3225     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3226     setBooleanAttribute(controlsAttr, b);
3227 }
3228
3229 double HTMLMediaElement::volume() const
3230 {
3231     return m_volume;
3232 }
3233
3234 ExceptionOr<void> HTMLMediaElement::setVolume(double volume)
3235 {
3236     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, volume);
3237
3238     if (!(volume >= 0 && volume <= 1))
3239         return Exception { INDEX_SIZE_ERR };
3240
3241 #if !PLATFORM(IOS)
3242     if (m_volume == volume)
3243         return { };
3244
3245     m_volume = volume;
3246     m_volumeInitialized = true;
3247     updateVolume();
3248     scheduleEvent(eventNames().volumechangeEvent);
3249 #endif
3250     return { };
3251 }
3252
3253 bool HTMLMediaElement::muted() const
3254 {
3255     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3256 }
3257
3258 void HTMLMediaElement::setMuted(bool muted)
3259 {
3260     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3261
3262     bool mutedStateChanged = m_muted != muted;
3263     if (mutedStateChanged || !m_explicitlyMuted) {
3264         m_muted = muted;
3265         m_explicitlyMuted = true;
3266
3267         if (ScriptController::processingUserGestureForMedia())
3268             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3269
3270         // Avoid recursion when the player reports volume changes.
3271         if (!processingMediaPlayerCallback()) {
3272             if (m_player) {
3273                 m_player->setMuted(effectiveMuted());
3274                 if (hasMediaControls())
3275                     mediaControls()->changedMute();
3276             }
3277         }
3278
3279         if (mutedStateChanged)
3280             scheduleEvent(eventNames().volumechangeEvent);
3281
3282         updateShouldPlay();
3283
3284 #if ENABLE(MEDIA_SESSION)
3285         document().updateIsPlayingMedia(m_elementID);
3286 #else
3287         document().updateIsPlayingMedia();
3288 #endif
3289
3290 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3291         updateMediaState(UpdateState::Asynchronously);
3292 #endif
3293     }
3294
3295     scheduleUpdatePlaybackControlsManager();
3296 }
3297
3298 void HTMLMediaElement::togglePlayState()
3299 {
3300     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3301
3302     // We can safely call the internal play/pause methods, which don't check restrictions, because
3303     // this method is only called from the built-in media controller
3304     if (canPlay()) {
3305         updatePlaybackRate();
3306         playInternal();
3307     } else 
3308         pauseInternal();
3309 }
3310
3311 void HTMLMediaElement::beginScrubbing()
3312 {
3313     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3314
3315     if (!paused()) {
3316         if (ended()) {
3317             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3318             // when the slider is dragged from the end to another position unless we pause first. Do 
3319             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3320             pause();
3321         } else {
3322             // Not at the end but we still want to pause playback so the media engine doesn't try to
3323             // continue playing during scrubbing. Pause without generating an event as we will 
3324             // unpause after scrubbing finishes.
3325             setPausedInternal(true);
3326         }
3327     }
3328
3329     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3330 }
3331
3332 void HTMLMediaElement::endScrubbing()
3333 {
3334     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3335
3336     if (m_pausedInternal)
3337         setPausedInternal(false);
3338 }
3339
3340 void HTMLMediaElement::beginScanning(ScanDirection direction)
3341 {
3342     m_scanType = supportsScanning() ? Scan : Seek;
3343     m_scanDirection = direction;
3344
3345     if (m_scanType == Seek) {
3346         // Scanning by seeking requires the video to be paused during scanning.
3347         m_actionAfterScan = paused() ? Nothing : Play;
3348         pause();
3349     } else {
3350         // Scanning by scanning requires the video to be playing during scanninging.
3351         m_actionAfterScan = paused() ? Pause : Nothing;
3352         play();
3353         setPlaybackRate(nextScanRate());
3354     }
3355
3356     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3357 }
3358
3359 void HTMLMediaElement::endScanning()
3360 {
3361     if (m_scanType == Scan)
3362         setPlaybackRate(defaultPlaybackRate());
3363
3364     if (m_actionAfterScan == Play)
3365         play();
3366     else if (m_actionAfterScan == Pause)
3367         pause();
3368
3369     if (m_scanTimer.isActive())
3370         m_scanTimer.stop();
3371 }
3372
3373 double HTMLMediaElement::nextScanRate()
3374 {
3375     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3376     if (m_scanDirection == Backward)
3377         rate *= -1;
3378 #if PLATFORM(IOS)
3379     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3380 #endif
3381     return rate;
3382 }
3383
3384 void HTMLMediaElement::scanTimerFired()
3385 {
3386     if (m_scanType == Seek) {
3387         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3388         setCurrentTime(currentTime() + seekTime);
3389     } else
3390         setPlaybackRate(nextScanRate());
3391 }
3392
3393 // The spec says to fire periodic timeupdate events (those sent while playing) every
3394 // "15 to 250ms", we choose the slowest frequency
3395 static const double maxTimeupdateEventFrequency = 0.25;
3396
3397 void HTMLMediaElement::startPlaybackProgressTimer()
3398 {
3399     if (m_playbackProgressTimer.isActive())
3400         return;
3401
3402     m_previousProgressTime = monotonicallyIncreasingTime();
3403     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3404 }
3405
3406 void HTMLMediaElement::playbackProgressTimerFired()
3407 {
3408     ASSERT(m_player);
3409
3410     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3411         m_fragmentEndTime = MediaTime::invalidTime();
3412         if (!m_mediaController && !m_paused) {
3413             // changes paused to true and fires a simple event named pause at the media element.
3414             pauseInternal();
3415         }
3416     }
3417     
3418     scheduleTimeupdateEvent(true);
3419
3420     if (!requestedPlaybackRate())
3421         return;
3422
3423     if (!m_paused && hasMediaControls())
3424         mediaControls()->playbackProgressed();
3425
3426 #if ENABLE(VIDEO_TRACK)
3427     updateActiveTextTrackCues(currentMediaTime());
3428 #endif
3429
3430 #if ENABLE(MEDIA_SOURCE)
3431     if (m_mediaSource)
3432         m_mediaSource->monitorSourceBuffers();
3433 #endif
3434 }
3435
3436 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3437 {
3438     double now = monotonicallyIncreasingTime();
3439     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3440
3441     // throttle the periodic events
3442     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3443         return;
3444
3445     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3446     // event at a given time so filter here
3447     MediaTime movieTime = currentMediaTime();
3448     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3449         scheduleEvent(eventNames().timeupdateEvent);
3450         m_clockTimeAtLastUpdateEvent = now;
3451         m_lastTimeUpdateEventMovieTime = movieTime;
3452     }
3453 }
3454
3455 bool HTMLMediaElement::canPlay() const
3456 {
3457     return paused() || ended() || m_readyState < HAVE_METADATA;
3458 }
3459
3460 double HTMLMediaElement::percentLoaded() const
3461 {
3462     if (!m_player)
3463         return 0;
3464     MediaTime duration = m_player->duration();
3465
3466     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3467         return 0;
3468
3469     MediaTime buffered = MediaTime::zeroTime();
3470     bool ignored;
3471     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3472     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3473         MediaTime start = timeRanges->start(i, ignored);
3474         MediaTime end = timeRanges->end(i, ignored);
3475         buffered += end - start;
3476     }
3477     return buffered.toDouble() / duration.toDouble();
3478 }
3479
3480 #if ENABLE(VIDEO_TRACK)
3481
3482 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(AudioTrackPrivate& track)
3483 {
3484     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3485         pauseInternal();
3486
3487     addAudioTrack(AudioTrack::create(this, &track));
3488 }
3489
3490 void HTMLMediaElement::mediaPlayerDidAddTextTrack(InbandTextTrackPrivate& track)
3491 {
3492     // 4.8.10.12.2 Sourcing in-band text tracks
3493     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3494     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, &track);
3495     textTrack->setMediaElement(this);
3496     
3497     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3498     // as defined by the relevant specification. If there is no label in that data, then the label must
3499     // be set to the empty string.
3500     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3501     // for the format in question.
3502     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3503     // as follows, based on the type of the media resource:
3504     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3505     // cues, and begin updating it dynamically as necessary.
3506     //   - Thess are all done by the media engine.
3507     
3508     // 6. Set the new text track's readiness state to loaded.
3509     textTrack->setReadinessState(TextTrack::Loaded);
3510     
3511     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3512     // the relevant specification for the data.
3513     //  - This will happen in configureTextTracks()
3514     scheduleDelayedAction(ConfigureTextTracks);
3515     
3516     // 8. Add the new text track to the media element's list of text tracks.
3517     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3518     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3519     // textTracks attribute's TextTrackList object.
3520     addTextTrack(textTrack.releaseNonNull());
3521 }
3522
3523 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(VideoTrackPrivate& track)
3524 {
3525     addVideoTrack(VideoTrack::create(this, &track));
3526 }
3527
3528 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(AudioTrackPrivate& track)
3529 {
3530     track.willBeRemoved();
3531 }
3532
3533 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(InbandTextTrackPrivate& track)
3534 {
3535     track.willBeRemoved();
3536 }
3537
3538 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(VideoTrackPrivate& track)
3539 {
3540     track.willBeRemoved();
3541 }
3542
3543 void HTMLMediaElement::closeCaptionTracksChanged()
3544 {
3545     if (hasMediaControls())
3546         mediaControls()->closedCaptionTracksChanged();
3547 }
3548
3549 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3550 {
3551     audioTracks().append(WTFMove(track));
3552 }
3553
3554 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3555 {
3556     if (!m_requireCaptionPreferencesChangedCallbacks) {
3557         m_requireCaptionPreferencesChangedCallbacks = true;
3558         Document& document = this->document();
3559         document.registerForCaptionPreferencesChangedCallbacks(this);
3560         if (Page* page = document.page())
3561             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3562     }
3563
3564     textTracks().append(WTFMove(track));
3565
3566     closeCaptionTracksChanged();
3567 }
3568
3569 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3570 {
3571     videoTracks().append(WTFMove(track));
3572 }
3573
3574 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3575 {
3576     m_audioTracks->remove(track);
3577 }
3578
3579 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3580 {
3581     TrackDisplayUpdateScope scope(this);
3582     if (TextTrackCueList* cues = track.cues())
3583         textTrackRemoveCues(&track, cues);
3584     track.clearClient();
3585     if (m_textTracks)
3586         m_textTracks->remove(track, scheduleEvent);
3587
3588     closeCaptionTracksChanged();
3589 }
3590
3591 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3592 {
3593     m_videoTracks->remove(track);
3594 }
3595
3596 void HTMLMediaElement::forgetResourceSpecificTracks()
3597 {
3598     while (m_audioTracks &&  m_audioTracks->length())
3599         removeAudioTrack(*m_audioTracks->lastItem());
3600
3601     if (m_textTracks) {
3602         TrackDisplayUpdateScope scope(this);
3603         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3604             auto& track = *m_textTracks->item(i);
3605             if (track.trackType() == TextTrack::InBand)
3606                 removeTextTrack(track, false);
3607         }
3608     }
3609
3610     while (m_videoTracks &&  m_videoTracks->length())
3611         removeVideoTrack(*m_videoTracks->lastItem());
3612 }
3613
3614 ExceptionOr<TextTrack&> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language)
3615 {
3616     // 4.8.10.12.4 Text track API
3617     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3618
3619     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3620     if (!TextTrack::isValidKindKeyword(kind))
3621         return Exception { TypeError };
3622
3623     // 2. If the label argument was omitted, let label be the empty string.
3624     // 3. If the language argument was omitted, let language be the empty string.
3625     // 4. Create a new TextTrack object.
3626
3627     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3628     // track label to label, its text track language to language...
3629     auto track = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3630     auto& trackReference = track.get();
3631
3632     // Note, due to side effects when changing track parameters, we have to
3633     // first append the track to the text track list.
3634
3635     // 6. Add the new text track to the media element's list of text tracks.
3636     addTextTrack(WTFMove(track));
3637
3638     // ... its text track readiness state to the text track loaded state ...
3639     trackReference.setReadinessState(TextTrack::Loaded);
3640
3641     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3642     trackReference.setMode(TextTrack::Mode::Hidden);
3643
3644     return trackReference;
3645 }
3646
3647 AudioTrackList& HTMLMediaElement::audioTracks()
3648 {
3649     if (!m_audioTracks)
3650         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3651
3652     return *m_audioTracks;
3653 }
3654
3655 TextTrackList& HTMLMediaElement::textTracks()
3656 {
3657     if (!m_textTracks)
3658         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3659
3660     return *m_textTracks;
3661 }
3662
3663 VideoTrackList& HTMLMediaElement::videoTracks()
3664 {
3665     if (!m_videoTracks)
3666         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3667
3668     return *m_videoTracks;
3669 }
3670
3671 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement& trackElement)
3672 {
3673     ASSERT(trackElement.hasTagName(trackTag));
3674
3675     // 4.8.10.12.3 Sourcing out-of-band text tracks
3676     // When a track element's parent element changes and the new parent is a media element, 
3677     // then the user agent must add the track element's corresponding text track to the 
3678     // media element's list of text tracks ... [continues in TextTrackList::append]
3679     addTextTrack(trackElement.track());
3680
3681     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3682     // in the markup have been added.
3683     if (!m_parsingInProgress)
3684         scheduleDelayedAction(ConfigureTextTracks);
3685
3686     if (hasMediaControls())
3687         mediaControls()->closedCaptionTracksChanged();
3688 }
3689
3690 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement& trackElement)
3691 {
3692     ASSERT(trackElement.hasTagName(trackTag));
3693
3694 #if !LOG_DISABLED
3695     if (trackElement.hasTagName(trackTag)) {
3696         URL url = trackElement.getNonEmptyURLAttribute(srcAttr);
3697         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3698     }
3699 #endif
3700
3701     auto& textTrack = trackElement.track();
3702
3703     textTrack.setHasBeenConfigured(false);
3704
3705     if (!m_textTracks)
3706         return;
3707     
3708     // 4.8.10.12.3 Sourcing out-of-band text tracks
3709     // When a track element's parent element changes and the old parent was a media element, 
3710     // then the user agent must remove the track element's corresponding text track from the 
3711     // media element's list of text tracks.
3712     removeTextTrack(textTrack);
3713
3714     m_textTracksWhenResourceSelectionBegan.removeFirst(&textTrack);
3715 }
3716
3717 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3718 {
3719     ASSERT(group.tracks.size());
3720
3721     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3722
3723     Page* page = document().page();
3724     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3725     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3726
3727     // First, find the track in the group that should be enabled (if any).
3728     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3729     RefPtr<TextTrack> trackToEnable;
3730     RefPtr<TextTrack> defaultTrack;
3731     RefPtr<TextTrack> fallbackTrack;
3732     RefPtr<TextTrack> forcedSubitleTrack;
3733     int highestTrackScore = 0;
3734     int highestForcedScore = 0;
3735
3736     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3737     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3738     int alreadyVisibleTrackScore = 0;
3739     if (group.visibleTrack && captionPreferences) {
3740         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3741         currentlyEnabledTracks.append(group.visibleTrack);
3742     }
3743
3744     for (size_t i = 0; i < group.tracks.size(); ++i) {
3745         RefPtr<TextTrack> textTrack = group.tracks[i];
3746
3747         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3748             currentlyEnabledTracks.append(textTrack);
3749
3750         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3751         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' has score %i", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), trackScore);
3752
3753         if (trackScore) {
3754
3755             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3756             // track with this text track kind, text track language, and text track label enabled, and there is no
3757             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3758             // or captions whose text track mode is showing
3759             // ...
3760             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3761             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3762             // text tracks with a text track kind of chapters whose text track mode is showing
3763             //    Let the text track mode be showing.
3764             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3765                 highestTrackScore = trackScore;
3766                 trackToEnable = textTrack;
3767             }
3768
3769             if (!defaultTrack && textTrack->isDefault())
3770                 defaultTrack = textTrack;
3771             if (!defaultTrack && !fallbackTrack)
3772                 fallbackTrack = textTrack;
3773             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3774                 forcedSubitleTrack = textTrack;
3775                 highestForcedScore = trackScore;
3776             }
3777         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3778             // * If the track element has a default attribute specified, and there is no other text track in the media
3779             // element's list of text tracks whose text track mode is showing or showing by default
3780             //    Let the text track mode be showing by default.
3781             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3782                 defaultTrack = textTrack;
3783         }
3784     }
3785
3786     if (displayMode != CaptionUserPreferences::Manual) {
3787         if (!trackToEnable && defaultTrack)
3788             trackToEnable = defaultTrack;
3789
3790         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3791         // in the same language as the language of the primary audio track, enable it.
3792         if (!trackToEnable && forcedSubitleTrack)
3793             trackToEnable = forcedSubitleTrack;
3794
3795         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3796         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3797             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3798                 trackToEnable = group.visibleTrack;
3799         }
3800
3801         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3802         // because the user has explicitly stated a preference for this kind of track.
3803         if (!trackToEnable && fallbackTrack)
3804             trackToEnable = fallbackTrack;
3805
3806         if (trackToEnable)
3807             m_subtitleTrackLanguage = trackToEnable->language();
3808         else
3809             m_subtitleTrackLanguage = emptyString();
3810     }
3811
3812     if (currentlyEnabledTracks.size()) {
3813         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3814             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3815             if (textTrack != trackToEnable)
3816                 textTrack->setMode(TextTrack::Mode::Disabled);
3817         }
3818     }
3819
3820     if (trackToEnable) {
3821         trackToEnable->setMode(TextTrack::Mode::Showing);
3822
3823         // If user preferences indicate we should always display captions, make sure we reflect the
3824         // proper status via the webkitClosedCaptionsVisible API call:
3825         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3826             m_webkitLegacyClosedCaptionOverride = true;
3827     }
3828
3829     m_processingPreferenceChange = false;
3830 }
3831
3832 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3833 {
3834     JSC::VM& vm = globalObject.vm();
3835     auto scope = DECLARE_THROW_SCOPE(vm);
3836     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3837     
3838     // Retrieve the controller through the JS object graph
3839     JSC::JSObject* mediaJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(mediaJSWrapper);
3840     if (!mediaJSWrapperObject)
3841         return JSC::jsNull();
3842     
3843     JSC::Identifier controlsHost = JSC::Identifier::fromString(&vm, "controlsHost");
3844     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3845     RETURN_IF_EXCEPTION(scope, JSC::JSValue());
3846
3847     JSC::JSObject* controlsHostJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(controlsHostJSWrapper);
3848     if (!controlsHostJSWrapperObject)
3849         return JSC::jsNull();
3850
3851     JSC::Identifier controllerID = JSC::Identifier::fromString(&vm, "controller");
3852     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3853     RETURN_IF_EXCEPTION(scope, JSC::JSValue());
3854
3855     return controllerJSWrapper;
3856 }
3857
3858 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3859 {
3860     ASSERT(!m_creatingControls);
3861     m_creatingControls = true;
3862     ensureUserAgentShadowRoot();
3863     m_creatingControls = false;
3864 }
3865
3866 void HTMLMediaElement::updateCaptionContainer()
3867 {
3868     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3869 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3870     if (m_haveSetUpCaptionContainer)
3871         return;
3872
3873     Page* page = document().page();
3874     if (!page)
3875         return;
3876
3877     DOMWrapperWorld& world = ensureIsolatedWorld();
3878
3879     if (!ensureMediaControlsInjectedScript())
3880         return;
3881
3882     ensureMediaControlsShadowRoot();
3883
3884     if (!m_mediaControlsHost)
3885         m_mediaControlsHost = MediaControlsHost::create(this);
3886
3887     ScriptController& scriptController = document().frame()->script();
3888     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3889     JSC::VM& vm = globalObject->vm();
3890     JSC::JSLockHolder lock(vm);
3891     auto scope = DECLARE_CATCH_SCOPE(vm);
3892     JSC::ExecState* exec = globalObject->globalExec();
3893
3894     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3895     JSC::JSObject* controllerObject = jsDynamicDowncast<JSC::JSObject*>(controllerValue);
3896     if (!controllerObject)
3897         return;
3898
3899     // The media controls script must provide a method on the Controller object with the following details.
3900     // Name: updateCaptionContainer
3901     // Parameters:
3902     //     None
3903     // Return value:
3904     //     None
3905     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3906     JSC::JSObject* methodObject = jsDynamicDowncast<JSC::JSObject*>(methodValue);
3907     if (!methodObject)
3908         return;
3909
3910     JSC::CallData callData;
3911     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3912     if (callType == JSC::CallType::None)
3913         return;
3914
3915     JSC::MarkedArgumentBuffer noArguments;
3916     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3917     scope.clearException();
3918
3919     m_haveSetUpCaptionContainer = true;
3920 #endif
3921 }
3922
3923 void HTMLMediaElement::layoutSizeChanged()
3924 {
3925 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3926     auto task = [this, protectedThis = makeRef(*this)] {
3927         if (ShadowRoot* root = userAgentShadowRoot())
3928             root->dispatchEvent(Event::create("resize", false, false));
3929     };
3930     m_resizeTaskQueue.enqueueTask(WTFMove(task));
3931 #endif
3932
3933     if (!m_receivedLayoutSizeChanged) {
3934         m_receivedLayoutSizeChanged = true;
3935         scheduleUpdatePlaybackControlsManager();
3936     }
3937
3938     // If the video is a candidate for main content, we should register it for viewport visibility callbacks
3939     // if it hasn't already been registered.
3940     if (renderer() && m_mediaSession && !m_mediaSession->wantsToObserveViewportVisibilityForAutoplay() && m_mediaSession->wantsToObserveViewportVisibilityForMediaControls())
3941         renderer()->registerForVisibleInViewportCallback();
3942 }
3943
3944 void HTMLMediaElement::visibilityDidChange()
3945 {
3946     updateShouldAutoplay();
3947 }
3948
3949 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
3950 {
3951     TextTrackList& trackList = textTracks();
3952     if (!trackList.length())
3953         return;
3954
3955     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
3956         if (!trackToSelect || !trackList.contains(*trackToSelect))
3957             return;
3958         
3959         for (int i = 0, length = trackList.length(); i < length; ++i) {
3960             auto& track = *trackList.item(i);
3961             if (&track != trackToSelect)
3962                 track.setMode(TextTrack::Mode::Disabled);
3963             else
3964                 track.setMode(TextTrack::Mode::Showing);
3965         }
3966     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
3967         for (int i = 0, length = trackList.length(); i < length; ++i)
3968             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
3969     }
3970
3971     if (!document().page())
3972         return;
3973
3974     auto& captionPreferences = document().page()->group().captionPreferences();
3975     CaptionUserPreferences::CaptionDisplayMode displayMode;
3976     if (trackToSelect == TextTrack::captionMenuOffItem())
3977         displayMode = CaptionUserPreferences::ForcedOnly;
3978     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
3979         displayMode = CaptionUserPreferences::Automatic;
3980     else {
3981         displayMode = CaptionUserPreferences::AlwaysOn;
3982         if (trackToSelect->language().length())
3983             captionPreferences.setPreferredLanguage(trackToSelect->language());
3984     }
3985
3986     captionPreferences.setCaptionDisplayMode(displayMode);
3987 }
3988
3989 void HTMLMediaElement::configureTextTracks()
3990 {
3991     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
3992     TrackGroup descriptionTracks(TrackGroup::Description);
3993     TrackGroup chapterTracks(TrackGroup::Chapter);
3994     TrackGroup metadataTracks(TrackGroup::Metadata);
3995     TrackGroup otherTracks(TrackGroup::Other);
3996
3997     if (!m_textTracks)
3998         return;
3999
4000     for (size_t i = 0; i < m_textTracks->length(); ++i) {
4001         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
4002         if (!textTrack)
4003             continue;
4004
4005         auto kind = textTrack->kind();
4006         TrackGroup* currentGroup;
4007         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
4008             currentGroup = &captionAndSubtitleTracks;
4009         else if (kind == TextTrack::Kind::Descriptions)
4010             currentGroup = &descriptionTracks;
4011         else if (kind == TextTrack::Kind::Chapters)
4012             currentGroup = &chapterTracks;
4013         else if (kind == TextTrack::Kind::Metadata)
4014             currentGroup = &metadataTracks;
4015         else
4016             currentGroup = &otherTracks;
4017
4018         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4019             currentGroup->visibleTrack = textTrack;
4020         if (!currentGroup->defaultTrack && textTrack->isDefault())
4021             currentGroup->defaultTrack = textTrack;
4022
4023         // Do not add this track to the group if it has already been automatically configured
4024         // as we only want to call configureTextTrack once per track so that adding another 
4025         // track after the initial configuration doesn't reconfigure every track - only those 
4026         // that should be changed by the new addition. For example all metadata tracks are 
4027         // disabled by default, and we don't want a track that has been enabled by script 
4028         // to be disabled automatically when a new metadata track is added later.
4029         if (textTrack->hasBeenConfigured())
4030             continue;
4031         
4032         if (textTrack->language().length())
4033             currentGroup->hasSrcLang = true;
4034         currentGroup->tracks.append(textTrack);
4035     }
4036     
4037     if (captionAndSubtitleTracks.tracks.size())
4038         configureTextTrackGroup(captionAndSubtitleTracks);
4039     if (descriptionTracks.tracks.size())
4040         configureTextTrackGroup(descriptionTracks);
4041     if (chapterTracks.tracks.size())
4042         configureTextTrackGroup(chapterTracks);
4043     if (metadataTracks.tracks.size())
4044         configureTextTrackGroup(metadataTracks);
4045     if (otherTracks.tracks.size())
4046         configureTextTrackGroup(otherTracks);
4047
4048     updateCaptionContainer();
4049     configureTextTrackDisplay();
4050     if (hasMediaControls())
4051         mediaControls()->closedCaptionTracksChanged();
4052 }
4053 #endif
4054
4055 bool HTMLMediaElement::havePotentialSourceChild()
4056 {
4057     // Stash the current <source> node and next nodes so we can restore them after checking
4058     // to see there is another potential.
4059     RefPtr<HTMLSourceElement> currentSourceNode = m_currentSourceNode;
4060     RefPtr<Node> nextNode = m_nextChildNodeToConsider;
4061
4062     URL nextURL = selectNextSourceChild(0, 0, DoNothing);
4063
4064     m_currentSourceNode = currentSourceNode;
4065     m_nextChildNodeToConsider = nextNode;
4066
4067     return nextURL.isValid();
4068 }
4069
4070 URL HTMLMediaElement::selectNextSourceChild(ContentType* contentType, String* keySystem, InvalidURLAction actionIfInvalid)
4071 {
4072     UNUSED_PARAM(keySystem);
4073 #if !LOG_DISABLED
4074     // Don't log if this was just called to find out if there are any valid <source> elements.
4075     bool shouldLog = actionIfInvalid != DoNothing;
4076     if (shouldLog)
4077         LOG(Media, "HTMLMediaElement::selectNextSourceChild(%p)", this);
4078 #endif
4079
4080     if (!m_nextChildNodeToConsider) {
4081 #if !LOG_DISABLED
4082         if (shouldLog)
4083             LOG(Media, "HTMLMediaElement::selectNextSourceChild(%p) - end of list, stopping", this);
4084 #endif
4085         return URL();