[MediaStream] Separate media capture and audio playback muting
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27
28 #if ENABLE(VIDEO)
29
30 #include "HTMLMediaElement.h"
31
32 #include "ApplicationCacheHost.h"
33 #include "ApplicationCacheResource.h"
34 #include "Attribute.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSValueKeywords.h"
37 #include "ChromeClient.h"
38 #include "ClientRect.h"
39 #include "ClientRectList.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "ExceptionCodePlaceholder.h"
51 #include "FrameLoader.h"
52 #include "FrameLoaderClient.h"
53 #include "FrameView.h"
54 #include "HTMLParserIdioms.h"
55 #include "HTMLSourceElement.h"
56 #include "HTMLVideoElement.h"
57 #include "JSDOMError.h"
58 #include "JSHTMLMediaElement.h"
59 #include "Language.h"
60 #include "Logging.h"
61 #include "MIMETypeRegistry.h"
62 #include "MainFrame.h"
63 #include "MediaController.h"
64 #include "MediaControls.h"
65 #include "MediaDocument.h"
66 #include "MediaError.h"
67 #include "MediaFragmentURIParser.h"
68 #include "MediaList.h"
69 #include "MediaPlayer.h"
70 #include "MediaQueryEvaluator.h"
71 #include "MediaResourceLoader.h"
72 #include "MemoryPressureHandler.h"
73 #include "NetworkingContext.h"
74 #include "NoEventDispatchAssertion.h"
75 #include "Page.h"
76 #include "PageGroup.h"
77 #include "PageThrottler.h"
78 #include "PlatformMediaSessionManager.h"
79 #include "ProgressTracker.h"
80 #include "RenderLayerCompositor.h"
81 #include "RenderVideo.h"
82 #include "RenderView.h"
83 #include "ResourceLoadInfo.h"
84 #include "ScriptController.h"
85 #include "ScriptSourceCode.h"
86 #include "SecurityPolicy.h"
87 #include "SessionID.h"
88 #include "Settings.h"
89 #include "ShadowRoot.h"
90 #include "TimeRanges.h"
91 #include "UserContentController.h"
92 #include "UserGestureIndicator.h"
93 #include <limits>
94 #include <runtime/Uint8Array.h>
95 #include <wtf/CurrentTime.h>
96 #include <wtf/MathExtras.h>
97 #include <wtf/Ref.h>
98 #include <wtf/text/CString.h>
99
100 #if ENABLE(VIDEO_TRACK)
101 #include "AudioTrackList.h"
102 #include "HTMLTrackElement.h"
103 #include "InbandGenericTextTrack.h"
104 #include "InbandTextTrackPrivate.h"
105 #include "InbandWebVTTTextTrack.h"
106 #include "RuntimeEnabledFeatures.h"
107 #include "TextTrackCueList.h"
108 #include "TextTrackList.h"
109 #include "VideoTrackList.h"
110 #endif
111
112 #if ENABLE(WEB_AUDIO)
113 #include "AudioSourceProvider.h"
114 #include "MediaElementAudioSourceNode.h"
115 #endif
116
117 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
118 #include "WebVideoFullscreenInterface.h"
119 #endif
120
121 #if PLATFORM(IOS)
122 #include "RuntimeApplicationChecks.h"
123 #include "WebVideoFullscreenInterfaceAVKit.h"
124 #endif
125
126 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
127 #include "WebKitPlaybackTargetAvailabilityEvent.h"
128 #endif
129
130 #if ENABLE(MEDIA_SESSION)
131 #include "MediaSession.h"
132 #endif
133
134 #if ENABLE(MEDIA_SOURCE)
135 #include "DOMWindow.h"
136 #include "MediaSource.h"
137 #include "Performance.h"
138 #include "VideoPlaybackQuality.h"
139 #endif
140
141 #if ENABLE(MEDIA_STREAM)
142 #include "DOMURL.h"
143 #include "MediaStream.h"
144 #include "MediaStreamRegistry.h"
145 #endif
146
147 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
148 #include "WebKitMediaKeyNeededEvent.h"
149 #include "WebKitMediaKeys.h"
150 #endif
151
152 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
153 #include "JSMediaControlsHost.h"
154 #include "MediaControlsHost.h"
155 #include <bindings/ScriptObject.h>
156 #endif
157
158 namespace WebCore {
159
160 static const double SeekRepeatDelay = 0.1;
161 static const double SeekTime = 0.2;
162 static const double ScanRepeatDelay = 1.5;
163 static const double ScanMaximumRate = 8;
164
165 static const double HideMediaControlsAfterEndedDelay = 6;
166
167 static void setFlags(unsigned& value, unsigned flags)
168 {
169     value |= flags;
170 }
171
172 static void clearFlags(unsigned& value, unsigned flags)
173 {
174     value &= ~flags;
175 }
176     
177 #if !LOG_DISABLED
178 static String urlForLoggingMedia(const URL& url)
179 {
180     static const unsigned maximumURLLengthForLogging = 128;
181
182     if (url.string().length() < maximumURLLengthForLogging)
183         return url.string();
184     return url.string().substring(0, maximumURLLengthForLogging) + "...";
185 }
186
187 static const char* boolString(bool val)
188 {
189     return val ? "true" : "false";
190 }
191
192 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
193 {
194     StringBuilder actionBuilder;
195
196 #define ACTION(_actionType) \
197     if (action & (HTMLMediaElementEnums::_actionType)) { \
198         if (!actionBuilder.isEmpty()) \
199         actionBuilder.appendLiteral(", "); \
200         actionBuilder.append(#_actionType); \
201     } \
202
203     ACTION(LoadMediaResource);
204     ACTION(ConfigureTextTracks);
205     ACTION(TextTrackChangesNotification);
206     ACTION(ConfigureTextTrackDisplay);
207     ACTION(CheckPlaybackTargetCompatablity);
208     ACTION(CheckMediaState);
209     ACTION(MediaEngineUpdated);
210
211     return actionBuilder.toString();
212
213 #undef ACTION
214 }
215
216 #endif
217
218 #ifndef LOG_MEDIA_EVENTS
219 // Default to not logging events because so many are generated they can overwhelm the rest of 
220 // the logging.
221 #define LOG_MEDIA_EVENTS 0
222 #endif
223
224 #ifndef LOG_CACHED_TIME_WARNINGS
225 // Default to not logging warnings about excessive drift in the cached media time because it adds a
226 // fair amount of overhead and logging.
227 #define LOG_CACHED_TIME_WARNINGS 0
228 #endif
229
230 #if ENABLE(MEDIA_SOURCE)
231 // URL protocol used to signal that the media source API is being used.
232 static const char* mediaSourceBlobProtocol = "blob";
233 #endif
234
235 #if ENABLE(MEDIA_STREAM)
236 // URL protocol used to signal that the media stream API is being used.
237 static const char* mediaStreamBlobProtocol = "blob";
238 #endif
239
240 using namespace HTMLNames;
241
242 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
243 static DocumentElementSetMap& documentToElementSetMap()
244 {
245     static NeverDestroyed<DocumentElementSetMap> map;
246     return map;
247 }
248
249 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
250 {
251     DocumentElementSetMap& map = documentToElementSetMap();
252     HashSet<HTMLMediaElement*> set = map.take(&document);
253     set.add(&element);
254     map.add(&document, set);
255 }
256
257 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
258 {
259     DocumentElementSetMap& map = documentToElementSetMap();
260     HashSet<HTMLMediaElement*> set = map.take(&document);
261     set.remove(&element);
262     if (!set.isEmpty())
263         map.add(&document, set);
264 }
265
266 #if ENABLE(VIDEO_TRACK)
267 class TrackDisplayUpdateScope {
268 public:
269     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
270     {
271         m_mediaElement = mediaElement;
272         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
273     }
274     ~TrackDisplayUpdateScope()
275     {
276         ASSERT(m_mediaElement);
277         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
278     }
279     
280 private:
281     HTMLMediaElement* m_mediaElement;
282 };
283 #endif
284
285 struct HTMLMediaElement::TrackGroup {
286     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
287
288     TrackGroup(GroupKind kind)
289         : visibleTrack(0)
290         , defaultTrack(0)
291         , kind(kind)
292         , hasSrcLang(false)
293     {
294     }
295
296     Vector<RefPtr<TextTrack>> tracks;
297     RefPtr<TextTrack> visibleTrack;
298     RefPtr<TextTrack> defaultTrack;
299     GroupKind kind;
300     bool hasSrcLang;
301 };
302
303 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
304 {
305     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
306     return elements;
307 }
308
309 #if ENABLE(MEDIA_SESSION)
310 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
311
312 static IDToElementMap& elementIDsToElements()
313 {
314     static NeverDestroyed<IDToElementMap> map;
315     return map;
316 }
317
318 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
319 {
320     if (id == HTMLMediaElementInvalidID)
321         return nullptr;
322     
323     return elementIDsToElements().get(id);
324 }
325
326 static uint64_t nextElementID()
327 {
328     static uint64_t elementID = 0;
329     return ++elementID;
330 }
331 #endif
332
333 struct MediaElementSessionInfo {
334     const MediaElementSession* session;
335     MediaElementSession::PlaybackControlsPurpose purpose;
336
337     double timeOfLastUserInteraction;
338     bool canShowControlsManager : 1;
339     bool isVisibleInViewportOrFullscreen : 1;
340     bool isLargeEnoughForMainContent : 1;
341     bool isPlayingAudio : 1;
342 };
343
344 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
345 {
346     const HTMLMediaElement& element = session.element();
347     return {
348         &session,
349         purpose,
350         session.mostRecentUserInteractionTime(),
351         session.canShowControlsManager(purpose),
352         element.isFullscreen() || element.isVisibleInViewport(),
353         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
354         element.isPlaying() && element.hasAudio() && !element.muted()
355     };
356 }
357
358 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
359 {
360     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
361     ASSERT(purpose == otherSession.purpose);
362
363     // For the controls manager, prioritize visible media over offscreen media.
364     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
365         return session.isVisibleInViewportOrFullscreen;
366
367     // For Now Playing, prioritize elements that would normally satisfy main content.
368     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
369         return session.isLargeEnoughForMainContent;
370
371     // As a tiebreaker, prioritize elements that the user recently interacted with.
372     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
373 }
374
375 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
376 {
377     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
378         return session.isPlayingAudio;
379
380     if (!session.isVisibleInViewportOrFullscreen)
381         return false;
382
383     if (!session.isLargeEnoughForMainContent)
384         return false;
385
386     // Even if this video is not a candidate, if it is visible to the user and large enough
387     // to be main content, it poses a risk for being confused with main content.
388     return true;
389 }
390
391 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
392     : HTMLElement(tagName, document)
393     , ActiveDOMObject(&document)
394     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
395     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
396     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
397     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
398     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
399     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
400     , m_playedTimeRanges()
401     , m_asyncEventQueue(*this)
402     , m_requestedPlaybackRate(1)
403     , m_reportedPlaybackRate(1)
404     , m_defaultPlaybackRate(1)
405     , m_webkitPreservesPitch(true)
406     , m_networkState(NETWORK_EMPTY)
407     , m_readyState(HAVE_NOTHING)
408     , m_readyStateMaximum(HAVE_NOTHING)
409     , m_volume(1.0f)
410     , m_volumeInitialized(false)
411     , m_previousProgressTime(std::numeric_limits<double>::max())
412     , m_clockTimeAtLastUpdateEvent(0)
413     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
414     , m_loadState(WaitingForSource)
415     , m_videoFullscreenMode(VideoFullscreenModeNone)
416 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
417     , m_videoFullscreenGravity(MediaPlayer::VideoGravityResizeAspect)
418 #endif
419     , m_preload(MediaPlayer::Auto)
420     , m_displayMode(Unknown)
421     , m_processingMediaPlayerCallback(0)
422 #if ENABLE(MEDIA_SOURCE)
423     , m_droppedVideoFrames(0)
424 #endif
425     , m_clockTimeAtLastCachedTimeUpdate(0)
426     , m_minimumClockTimeToUpdateCachedTime(0)
427     , m_pendingActionFlags(0)
428     , m_actionAfterScan(Nothing)
429     , m_scanType(Scan)
430     , m_scanDirection(Forward)
431     , m_firstTimePlaying(true)
432     , m_playing(false)
433     , m_isWaitingUntilMediaCanStart(false)
434     , m_shouldDelayLoadEvent(false)
435     , m_haveFiredLoadedData(false)
436     , m_inActiveDocument(true)
437     , m_autoplaying(true)
438     , m_muted(false)
439     , m_explicitlyMuted(false)
440     , m_initiallyMuted(false)
441     , m_paused(true)
442     , m_seeking(false)
443     , m_sentStalledEvent(false)
444     , m_sentEndEvent(false)
445     , m_pausedInternal(false)
446     , m_sendProgressEvents(true)
447     , m_closedCaptionsVisible(false)
448     , m_webkitLegacyClosedCaptionOverride(false)
449     , m_completelyLoaded(false)
450     , m_havePreparedToPlay(false)
451     , m_parsingInProgress(createdByParser)
452     , m_elementIsHidden(document.hidden())
453     , m_creatingControls(false)
454     , m_receivedLayoutSizeChanged(false)
455     , m_hasEverNotifiedAboutPlaying(false)
456     , m_hasEverHadAudio(false)
457     , m_hasEverHadVideo(false)
458 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
459     , m_mediaControlsDependOnPageScaleFactor(false)
460     , m_haveSetUpCaptionContainer(false)
461 #endif
462     , m_isScrubbingRemotely(false)
463 #if ENABLE(VIDEO_TRACK)
464     , m_tracksAreReady(true)
465     , m_haveVisibleTextTrack(false)
466     , m_processingPreferenceChange(false)
467     , m_lastTextTrackUpdateTime(MediaTime(-1, 1))
468     , m_captionDisplayMode(CaptionUserPreferences::Automatic)
469     , m_audioTracks(0)
470     , m_textTracks(0)
471     , m_videoTracks(0)
472     , m_ignoreTrackDisplayUpdate(0)
473 #endif
474 #if ENABLE(WEB_AUDIO)
475     , m_audioSourceNode(0)
476 #endif
477     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
478     , m_reportedExtraMemoryCost(0)
479 #if ENABLE(MEDIA_STREAM)
480     , m_mediaStreamSrcObject(nullptr)
481 #endif
482 {
483     allMediaElements().add(this);
484
485     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
486     setHasCustomStyleResolveCallbacks();
487
488     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
489     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
490 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
491     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
492 #endif
493     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
494     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
495
496     Settings* settings = document.settings();
497 #if PLATFORM(IOS)
498     m_sendProgressEvents = false;
499 #endif
500
501     if (settings && settings->invisibleAutoplayNotPermitted())
502         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
503
504     if (document.ownerElement() || !document.isMediaDocument()) {
505         if (settings && settings->videoPlaybackRequiresUserGesture()) {
506             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
507             if (settings->requiresUserGestureToLoadVideo())
508                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
509         }
510
511         if (settings && settings->audioPlaybackRequiresUserGesture())
512             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
513
514 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
515         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
516             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
517 #endif
518
519         if (!settings || !settings->mediaDataLoadsAutomatically())
520             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
521
522         if (settings && settings->mainContentUserGestureOverrideEnabled())
523             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
524     }
525
526 #if PLATFORM(IOS)
527     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
528         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
529         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
530     }
531 #endif
532
533 #if ENABLE(VIDEO_TRACK)
534     if (document.page())
535         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
536 #endif
537
538 #if ENABLE(MEDIA_SESSION)
539     m_elementID = nextElementID();
540     elementIDsToElements().add(m_elementID, this);
541
542     setSessionInternal(document.defaultMediaSession());
543 #endif
544
545     registerWithDocument(document);
546 }
547
548 HTMLMediaElement::~HTMLMediaElement()
549 {
550     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
551
552     beginIgnoringTrackDisplayUpdateRequests();
553     allMediaElements().remove(this);
554
555     m_asyncEventQueue.close();
556
557     setShouldDelayLoadEvent(false);
558     unregisterWithDocument(document());
559
560 #if ENABLE(VIDEO_TRACK)
561     if (m_audioTracks)
562         m_audioTracks->clearElement();
563     if (m_textTracks)
564         m_textTracks->clearElement();
565     if (m_videoTracks)
566         m_videoTracks->clearElement();
567 #endif
568
569 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
570     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
571         m_hasPlaybackTargetAvailabilityListeners = false;
572         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
573         updateMediaState();
574     }
575 #endif
576
577     if (m_mediaController) {
578         m_mediaController->removeMediaElement(this);
579         m_mediaController = nullptr;
580     }
581
582 #if ENABLE(MEDIA_SOURCE)
583     detachMediaSource();
584 #endif
585
586 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
587     webkitSetMediaKeys(0);
588 #endif
589
590 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
591     if (m_isolatedWorld)
592         m_isolatedWorld->clearWrappers();
593 #endif
594
595 #if ENABLE(MEDIA_SESSION)
596     if (m_session) {
597         m_session->removeMediaElement(*this);
598         m_session = nullptr;
599     }
600
601     elementIDsToElements().remove(m_elementID);
602 #endif
603
604     m_seekTaskQueue.close();
605     m_promiseTaskQueue.close();
606     m_pauseAfterDetachedTaskQueue.close();
607     m_updatePlaybackControlsManagerQueue.close();
608     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
609
610     m_completelyLoaded = true;
611
612     m_player = nullptr;
613     updatePlaybackControlsManager();
614 }
615
616 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
617 {
618     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
619         return is<MediaElementSession>(session);
620     });
621
622     Vector<MediaElementSessionInfo> candidateSessions;
623     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
624     for (auto& session : allSessions) {
625         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
626         if (mediaElementSessionInfo.canShowControlsManager)
627             candidateSessions.append(mediaElementSessionInfo);
628         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
629             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
630     }
631
632     if (!candidateSessions.size())
633         return nullptr;
634
635     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
636     auto strongestSessionCandidate = candidateSessions.first();
637     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
638         return nullptr;
639
640     return &strongestSessionCandidate.session->element();
641 }
642
643 void HTMLMediaElement::registerWithDocument(Document& document)
644 {
645     m_mediaSession->registerWithDocument(document);
646
647     if (m_isWaitingUntilMediaCanStart)
648         document.addMediaCanStartListener(this);
649
650 #if !PLATFORM(IOS)
651     document.registerForMediaVolumeCallbacks(this);
652     document.registerForPrivateBrowsingStateChangedCallbacks(this);
653 #endif
654
655     document.registerForVisibilityStateChangedCallbacks(this);
656
657 #if ENABLE(VIDEO_TRACK)
658     if (m_requireCaptionPreferencesChangedCallbacks)
659         document.registerForCaptionPreferencesChangedCallbacks(this);
660 #endif
661
662 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
663     if (m_mediaControlsDependOnPageScaleFactor)
664         document.registerForPageScaleFactorChangedCallbacks(this);
665     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
666 #endif
667
668 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
669     document.registerForDocumentSuspensionCallbacks(this);
670 #endif
671
672     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
673
674     document.addAudioProducer(this);
675     addElementToDocumentMap(*this, document);
676 }
677
678 void HTMLMediaElement::unregisterWithDocument(Document& document)
679 {
680     m_mediaSession->unregisterWithDocument(document);
681
682     if (m_isWaitingUntilMediaCanStart)
683         document.removeMediaCanStartListener(this);
684
685 #if !PLATFORM(IOS)
686     document.unregisterForMediaVolumeCallbacks(this);
687     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
688 #endif
689
690     document.unregisterForVisibilityStateChangedCallbacks(this);
691
692 #if ENABLE(VIDEO_TRACK)
693     if (m_requireCaptionPreferencesChangedCallbacks)
694         document.unregisterForCaptionPreferencesChangedCallbacks(this);
695 #endif
696
697 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
698     if (m_mediaControlsDependOnPageScaleFactor)
699         document.unregisterForPageScaleFactorChangedCallbacks(this);
700     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
701 #endif
702
703 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
704     document.unregisterForDocumentSuspensionCallbacks(this);
705 #endif
706
707     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
708
709     document.removeAudioProducer(this);
710     removeElementFromDocumentMap(*this, document);
711 }
712
713 void HTMLMediaElement::didMoveToNewDocument(Document* oldDocument)
714 {
715     if (m_shouldDelayLoadEvent) {
716         if (oldDocument)
717             oldDocument->decrementLoadEventDelayCount();
718         document().incrementLoadEventDelayCount();
719     }
720
721     if (oldDocument)
722         unregisterWithDocument(*oldDocument);
723
724     registerWithDocument(document());
725
726     HTMLElement::didMoveToNewDocument(oldDocument);
727     updateShouldAutoplay();
728 }
729
730 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
731 void HTMLMediaElement::prepareForDocumentSuspension()
732 {
733     m_mediaSession->unregisterWithDocument(document());
734 }
735
736 void HTMLMediaElement::resumeFromDocumentSuspension()
737 {
738     m_mediaSession->registerWithDocument(document());
739     updateShouldAutoplay();
740 }
741 #endif
742
743 bool HTMLMediaElement::supportsFocus() const
744 {
745     if (document().isMediaDocument())
746         return false;
747
748     // If no controls specified, we should still be able to focus the element if it has tabIndex.
749     return controls() ||  HTMLElement::supportsFocus();
750 }
751
752 bool HTMLMediaElement::isMouseFocusable() const
753 {
754     return false;
755 }
756
757 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
758 {
759     if (name == srcAttr) {
760 #if PLATFORM(IOS)
761         // Note, unless the restriction on requiring user action has been removed,
762         // do not begin downloading data on iOS.
763         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
764 #else
765         // Trigger a reload, as long as the 'src' attribute is present.
766         if (!value.isNull())
767 #endif
768         {
769             clearMediaPlayer(LoadMediaResource);
770             scheduleDelayedAction(LoadMediaResource);
771         }
772     } else if (name == controlsAttr)
773         configureMediaControls();
774     else if (name == loopAttr)
775         updateSleepDisabling();
776     else if (name == preloadAttr) {
777         if (equalLettersIgnoringASCIICase(value, "none"))
778             m_preload = MediaPlayer::None;
779         else if (equalLettersIgnoringASCIICase(value, "metadata"))
780             m_preload = MediaPlayer::MetaData;
781         else {
782             // The spec does not define an "invalid value default" but "auto" is suggested as the
783             // "missing value default", so use it for everything except "none" and "metadata"
784             m_preload = MediaPlayer::Auto;
785         }
786
787         // The attribute must be ignored if the autoplay attribute is present
788         if (!autoplay() && m_player)
789             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
790
791     } else if (name == mediagroupAttr)
792         setMediaGroup(value);
793     else
794         HTMLElement::parseAttribute(name, value);
795 }
796
797 void HTMLMediaElement::finishParsingChildren()
798 {
799     HTMLElement::finishParsingChildren();
800     m_parsingInProgress = false;
801     
802 #if ENABLE(VIDEO_TRACK)
803     if (descendantsOfType<HTMLTrackElement>(*this).first())
804         scheduleDelayedAction(ConfigureTextTracks);
805 #endif
806 }
807
808 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
809 {
810     return controls() && HTMLElement::rendererIsNeeded(style);
811 }
812
813 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
814 {
815     return createRenderer<RenderMedia>(*this, WTFMove(style));
816 }
817
818 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
819 {
820 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
821     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
822 #else
823     if (!hasMediaControls())
824         return false;
825     // <media> doesn't allow its content, including shadow subtree, to
826     // be rendered. So this should return false for most of the children.
827     // One exception is a shadow tree built for rendering controls which should be visible.
828     // So we let them go here by comparing its subtree root with one of the controls.
829     return &mediaControls()->treeScope() == &child.treeScope()
830         && hasShadowRootParent(child)
831         && HTMLElement::childShouldCreateRenderer(child);
832 #endif
833 }
834
835 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
836 {
837     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
838
839     HTMLElement::insertedInto(insertionPoint);
840     if (insertionPoint.inDocument()) {
841         m_inActiveDocument = true;
842
843 #if PLATFORM(IOS)
844         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
845 #else
846         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
847 #endif
848             scheduleDelayedAction(LoadMediaResource);
849     }
850
851     if (!m_explicitlyMuted) {
852         m_explicitlyMuted = true;
853         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
854     }
855
856     configureMediaControls();
857     return InsertionDone;
858 }
859
860 void HTMLMediaElement::pauseAfterDetachedTask()
861 {
862     // If we were re-inserted into an active document, no need to pause.
863     if (m_inActiveDocument)
864         return;
865
866     if (hasMediaControls())
867         mediaControls()->hide();
868     if (m_networkState > NETWORK_EMPTY)
869         pause();
870     if (m_videoFullscreenMode != VideoFullscreenModeNone)
871         exitFullscreen();
872
873     if (!m_player)
874         return;
875
876     size_t extraMemoryCost = m_player->extraMemoryCost();
877     if (extraMemoryCost > m_reportedExtraMemoryCost) {
878         JSC::VM& vm = JSDOMWindowBase::commonVM();
879         JSC::JSLockHolder lock(vm);
880
881         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
882         m_reportedExtraMemoryCost = extraMemoryCost;
883         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
884         // https://bugs.webkit.org/show_bug.cgi?id=142595
885         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
886     }
887 }
888
889 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
890 {
891     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
892
893     m_inActiveDocument = false;
894     if (insertionPoint.inDocument()) {
895         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
896         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
897     }
898
899     HTMLElement::removedFrom(insertionPoint);
900 }
901
902 void HTMLMediaElement::willAttachRenderers()
903 {
904     ASSERT(!renderer());
905 }
906
907 inline void HTMLMediaElement::updateRenderer()
908 {
909     if (auto* renderer = this->renderer())
910         renderer->updateFromElement();
911 }
912
913 void HTMLMediaElement::didAttachRenderers()
914 {
915     if (auto* renderer = this->renderer()) {
916         renderer->updateFromElement();
917         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
918             renderer->registerForVisibleInViewportCallback();
919     }
920     updateShouldAutoplay();
921 }
922
923 void HTMLMediaElement::willDetachRenderers()
924 {
925     if (auto* renderer = this->renderer())
926         renderer->unregisterForVisibleInViewportCallback();
927 }
928
929 void HTMLMediaElement::didDetachRenderers()
930 {
931     updateShouldAutoplay();
932 }
933
934 void HTMLMediaElement::didRecalcStyle(Style::Change)
935 {
936     updateRenderer();
937 }
938
939 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
940 {
941     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
942
943     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
944         prepareForLoad();
945         setFlags(m_pendingActionFlags, LoadMediaResource);
946     }
947
948 #if ENABLE(VIDEO_TRACK)
949     if (actionType & ConfigureTextTracks)
950         setFlags(m_pendingActionFlags, ConfigureTextTracks);
951 #endif
952
953 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
954     if (actionType & CheckPlaybackTargetCompatablity)
955         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
956 #endif
957
958     if (actionType & CheckMediaState)
959         setFlags(m_pendingActionFlags, CheckMediaState);
960
961     if (actionType & MediaEngineUpdated)
962         setFlags(m_pendingActionFlags, MediaEngineUpdated);
963
964     if (actionType & UpdatePlayState)
965         setFlags(m_pendingActionFlags, UpdatePlayState);
966
967     m_pendingActionTimer.startOneShot(0);
968 }
969
970 void HTMLMediaElement::scheduleNextSourceChild()
971 {
972     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
973     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
974     setFlags(m_pendingActionFlags, LoadMediaResource);
975     m_pendingActionTimer.startOneShot(0);
976 }
977
978 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
979 {
980     m_hasEverHadAudio |= hasAudio();
981     m_hasEverHadVideo |= hasVideo();
982 }
983
984 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
985 {
986 #if LOG_MEDIA_EVENTS
987     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
988 #endif
989     RefPtr<Event> event = Event::create(eventName, false, true);
990     
991     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
992     // will trigger an ASSERT if this element has been marked for deletion.
993
994     m_asyncEventQueue.enqueueEvent(WTFMove(event));
995 }
996
997 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
998 {
999     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
1000 }
1001
1002 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
1003 {
1004     Vector<PlayPromise> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
1005
1006     for (auto& promise : pendingPlayPromises)
1007         promise.reject(error);
1008 }
1009
1010 void HTMLMediaElement::resolvePendingPlayPromises()
1011 {
1012     Vector<PlayPromise> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
1013
1014     for (auto& promise : pendingPlayPromises)
1015         promise.resolve(nullptr);
1016 }
1017
1018 void HTMLMediaElement::scheduleNotifyAboutPlaying()
1019 {
1020     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
1021 }
1022
1023 void HTMLMediaElement::notifyAboutPlaying()
1024 {
1025     m_playbackStartedTime = currentMediaTime().toDouble();
1026     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
1027     resolvePendingPlayPromises();
1028
1029     m_hasEverNotifiedAboutPlaying = true;
1030     scheduleUpdatePlaybackControlsManager();
1031 }
1032
1033 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
1034 {
1035     return m_hasEverNotifiedAboutPlaying;
1036 }
1037
1038 void HTMLMediaElement::pendingActionTimerFired()
1039 {
1040     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
1041     PendingActionFlags pendingActions = m_pendingActionFlags;
1042     m_pendingActionFlags = 0;
1043
1044 #if ENABLE(VIDEO_TRACK)
1045     if (pendingActions & ConfigureTextTracks)
1046         configureTextTracks();
1047 #endif
1048
1049     if (pendingActions & LoadMediaResource) {
1050         if (m_loadState == LoadingFromSourceElement)
1051             loadNextSourceChild();
1052         else
1053             loadInternal();
1054     }
1055
1056 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1057     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1058         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1059         m_failedToPlayToWirelessTarget = true;
1060         m_player->setShouldPlayToPlaybackTarget(false);
1061     }
1062
1063     if (pendingActions & CheckMediaState)
1064         updateMediaState();
1065 #endif
1066
1067     if (pendingActions & MediaEngineUpdated)
1068         mediaEngineWasUpdated();
1069
1070     if (pendingActions & UpdatePlayState)
1071         updatePlayState();
1072 }
1073
1074 MediaError* HTMLMediaElement::error() const
1075 {
1076     return m_error.get();
1077 }
1078
1079 void HTMLMediaElement::setSrc(const String& url)
1080 {
1081     setAttributeWithoutSynchronization(srcAttr, url);
1082 }
1083
1084 #if ENABLE(MEDIA_STREAM)
1085 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1086 {
1087     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1088     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1089     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1090     // the UA must re-run the media element load algorithm.
1091     //
1092     // https://bugs.webkit.org/show_bug.cgi?id=124896
1093
1094     m_mediaStreamSrcObject = mediaStream;
1095     if (mediaStream)
1096         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1097 }
1098 #endif
1099
1100 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1101 {
1102     setAttributeWithoutSynchronization(crossoriginAttr, value);
1103 }
1104
1105 String HTMLMediaElement::crossOrigin() const
1106 {
1107     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1108 }
1109
1110 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1111 {
1112     return m_networkState;
1113 }
1114
1115 String HTMLMediaElement::canPlayType(const String& mimeType) const
1116 {
1117     MediaEngineSupportParameters parameters;
1118     ContentType contentType(mimeType);
1119     parameters.type = contentType.type().convertToASCIILowercase();
1120     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1121     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1122     String canPlay;
1123
1124     // 4.8.10.3
1125     switch (support)
1126     {
1127         case MediaPlayer::IsNotSupported:
1128             canPlay = emptyString();
1129             break;
1130         case MediaPlayer::MayBeSupported:
1131             canPlay = ASCIILiteral("maybe");
1132             break;
1133         case MediaPlayer::IsSupported:
1134             canPlay = ASCIILiteral("probably");
1135             break;
1136     }
1137     
1138     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1139
1140     return canPlay;
1141 }
1142
1143 double HTMLMediaElement::getStartDate() const
1144 {
1145     if (!m_player)
1146         return std::numeric_limits<double>::quiet_NaN();
1147     return m_player->getStartDate().toDouble();
1148 }
1149
1150 void HTMLMediaElement::load()
1151 {
1152     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1153     
1154     LOG(Media, "HTMLMediaElement::load(%p)", this);
1155     
1156     if (!m_mediaSession->dataLoadingPermitted(*this))
1157         return;
1158     if (ScriptController::processingUserGestureForMedia())
1159         removeBehaviorsRestrictionsAfterFirstUserGesture();
1160
1161     prepareForLoad();
1162     loadInternal();
1163     prepareToPlay();
1164 }
1165
1166 void HTMLMediaElement::prepareForLoad()
1167 {
1168     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1169
1170     // Perform the cleanup required for the resource load algorithm to run.
1171     stopPeriodicTimers();
1172     m_pendingActionTimer.stop();
1173     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1174     m_pendingActionFlags &= ~LoadMediaResource;
1175     m_sentEndEvent = false;
1176     m_sentStalledEvent = false;
1177     m_haveFiredLoadedData = false;
1178     m_completelyLoaded = false;
1179     m_havePreparedToPlay = false;
1180     m_displayMode = Unknown;
1181     m_currentSrc = URL();
1182
1183 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1184     m_failedToPlayToWirelessTarget = false;
1185 #endif
1186
1187     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1188     m_loadState = WaitingForSource;
1189     m_currentSourceNode = nullptr;
1190
1191     // 2 - If there are any tasks from the media element's media element event task source in 
1192     // one of the task queues, then remove those tasks.
1193     cancelPendingEventsAndCallbacks();
1194
1195     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1196     // a task to fire a simple event named abort at the media element.
1197     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1198         scheduleEvent(eventNames().abortEvent);
1199
1200 #if ENABLE(MEDIA_SOURCE)
1201     detachMediaSource();
1202 #endif
1203
1204     createMediaPlayer();
1205
1206     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1207     if (m_networkState != NETWORK_EMPTY) {
1208         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1209         scheduleEvent(eventNames().emptiedEvent);
1210
1211         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1212         m_networkState = NETWORK_EMPTY;
1213
1214         // 4.3 - Forget the media element's media-resource-specific tracks.
1215         forgetResourceSpecificTracks();
1216
1217         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1218         m_readyState = HAVE_NOTHING;
1219         m_readyStateMaximum = HAVE_NOTHING;
1220
1221         // 4.5 - If the paused attribute is false, then set it to true.
1222         m_paused = true;
1223
1224         // 4.6 - If seeking is true, set it to false.
1225         clearSeeking();
1226
1227         // 4.7 - Set the current playback position to 0.
1228         //       Set the official playback position to 0.
1229         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1230         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1231
1232         // 4.8 - Set the initial playback position to 0.
1233         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1234         // above.
1235         refreshCachedTime();
1236
1237         invalidateCachedTime();
1238
1239         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1240         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1241
1242         updateMediaController();
1243 #if ENABLE(VIDEO_TRACK)
1244         updateActiveTextTrackCues(MediaTime::zeroTime());
1245 #endif
1246     }
1247
1248     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1249     setPlaybackRate(defaultPlaybackRate());
1250
1251     // 6 - Set the error attribute to null and the autoplaying flag to true.
1252     m_error = nullptr;
1253     m_autoplaying = true;
1254     mediaSession().clientWillBeginAutoplaying();
1255
1256     // 7 - Invoke the media element's resource selection algorithm.
1257
1258     // 8 - Note: Playback of any previously playing media resource for this element stops.
1259
1260     // The resource selection algorithm
1261     // 1 - Set the networkState to NETWORK_NO_SOURCE
1262     m_networkState = NETWORK_NO_SOURCE;
1263
1264     // 2 - Asynchronously await a stable state.
1265
1266     m_playedTimeRanges = TimeRanges::create();
1267
1268     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1269     // so they are closer to the relevant spec steps.
1270     m_lastSeekTime = MediaTime::zeroTime();
1271
1272     // The spec doesn't say to block the load event until we actually run the asynchronous section
1273     // algorithm, but do it now because we won't start that until after the timer fires and the 
1274     // event may have already fired by then.
1275     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1276     if (effectivePreload != MediaPlayer::None)
1277         setShouldDelayLoadEvent(true);
1278
1279 #if PLATFORM(IOS)
1280     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1281         prepareToPlay();
1282 #endif
1283
1284     configureMediaControls();
1285 }
1286
1287 void HTMLMediaElement::loadInternal()
1288 {
1289     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1290
1291     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1292     // us catch those bugs more quickly without needing all the branches to align to actually
1293     // trigger the event.
1294     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1295
1296     // If we can't start a load right away, start it later.
1297     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1298         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1299         setShouldDelayLoadEvent(false);
1300         if (m_isWaitingUntilMediaCanStart)
1301             return;
1302         m_isWaitingUntilMediaCanStart = true;
1303         document().addMediaCanStartListener(this);
1304         return;
1305     }
1306
1307     clearFlags(m_pendingActionFlags, LoadMediaResource);
1308
1309     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1310     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1311     // put into the background.
1312     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1313
1314 #if ENABLE(VIDEO_TRACK)
1315     if (hasMediaControls())
1316         mediaControls()->changedClosedCaptionsVisibility();
1317
1318     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1319     // disabled state when the element's resource selection algorithm last started".
1320     m_textTracksWhenResourceSelectionBegan.clear();
1321     if (m_textTracks) {
1322         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1323             TextTrack* track = m_textTracks->item(i);
1324             if (track->mode() != TextTrack::Mode::Disabled)
1325                 m_textTracksWhenResourceSelectionBegan.append(track);
1326         }
1327     }
1328 #endif
1329
1330     selectMediaResource();
1331 }
1332
1333 void HTMLMediaElement::selectMediaResource()
1334 {
1335     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1336
1337     ASSERT(m_player);
1338     if (!m_player)
1339         return;
1340
1341     enum Mode { attribute, children };
1342
1343     // 3 - If the media element has a src attribute, then let mode be attribute.
1344     Mode mode = attribute;
1345     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1346         // Otherwise, if the media element does not have a src attribute but has a source 
1347         // element child, then let mode be children and let candidate be the first such 
1348         // source element child in tree order.
1349         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1350             mode = children;
1351             m_nextChildNodeToConsider = firstSource;
1352             m_currentSourceNode = nullptr;
1353         } else {
1354             // Otherwise the media element has neither a src attribute nor a source element 
1355             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1356             // synchronous section ends.
1357             m_loadState = WaitingForSource;
1358             setShouldDelayLoadEvent(false);
1359             m_networkState = NETWORK_EMPTY;
1360
1361             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1362             return;
1363         }
1364     }
1365
1366     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1367     // and set its networkState to NETWORK_LOADING.
1368     setShouldDelayLoadEvent(true);
1369     m_networkState = NETWORK_LOADING;
1370
1371     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1372     scheduleEvent(eventNames().loadstartEvent);
1373
1374     // 6 - If mode is attribute, then run these substeps
1375     if (mode == attribute) {
1376         m_loadState = LoadingFromSrcAttr;
1377
1378         // If the src attribute's value is the empty string ... jump down to the failed step below
1379         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1380         if (mediaURL.isEmpty()) {
1381             mediaLoadingFailed(MediaPlayer::FormatError);
1382             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1383             return;
1384         }
1385
1386         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1387             mediaLoadingFailed(MediaPlayer::FormatError);
1388             return;
1389         }
1390
1391         // No type or key system information is available when the url comes
1392         // from the 'src' attribute so MediaPlayer
1393         // will have to pick a media engine based on the file extension.
1394         ContentType contentType((String()));
1395         loadResource(mediaURL, contentType, String());
1396         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1397         return;
1398     }
1399
1400     // Otherwise, the source elements will be used
1401     loadNextSourceChild();
1402 }
1403
1404 void HTMLMediaElement::loadNextSourceChild()
1405 {
1406     ContentType contentType((String()));
1407     String keySystem;
1408     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1409     if (!mediaURL.isValid()) {
1410         waitForSourceChange();
1411         return;
1412     }
1413
1414     // Recreate the media player for the new url
1415     createMediaPlayer();
1416
1417     m_loadState = LoadingFromSourceElement;
1418     loadResource(mediaURL, contentType, keySystem);
1419 }
1420
1421 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1422 {
1423     ASSERT(isSafeToLoadURL(initialURL, Complain));
1424
1425     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1426
1427     Frame* frame = document().frame();
1428     if (!frame) {
1429         mediaLoadingFailed(MediaPlayer::FormatError);
1430         return;
1431     }
1432
1433     Page* page = frame->page();
1434     if (!page) {
1435         mediaLoadingFailed(MediaPlayer::FormatError);
1436         return;
1437     }
1438
1439     URL url = initialURL;
1440     if (!frame->loader().willLoadMediaElementURL(url)) {
1441         mediaLoadingFailed(MediaPlayer::FormatError);
1442         return;
1443     }
1444
1445 #if ENABLE(CONTENT_EXTENSIONS)
1446     DocumentLoader* documentLoader = frame->loader().documentLoader();
1447
1448     if (documentLoader) {
1449         auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader);
1450         if (blockedStatus.blockedLoad) {
1451             mediaLoadingFailed(MediaPlayer::FormatError);
1452             return;
1453         }
1454     }
1455 #endif
1456
1457     // The resource fetch algorithm 
1458     m_networkState = NETWORK_LOADING;
1459
1460     // If the url should be loaded from the application cache, pass the url of the cached file
1461     // to the media engine.
1462     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1463     ApplicationCacheResource* resource = 0;
1464     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1465         // Resources that are not present in the manifest will always fail to load (at least, after the
1466         // cache has been primed the first time), making the testing of offline applications simpler.
1467         if (!resource || resource->path().isEmpty()) {
1468             mediaLoadingFailed(MediaPlayer::NetworkError);
1469             return;
1470         }
1471     }
1472
1473     // Log that we started loading a media element.
1474     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1475
1476     m_firstTimePlaying = true;
1477
1478     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1479     // cache is an internal detail not exposed through the media element API.
1480     m_currentSrc = url;
1481
1482     if (resource) {
1483         url = ApplicationCacheHost::createFileURL(resource->path());
1484         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1485     }
1486
1487     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1488
1489     if (m_sendProgressEvents)
1490         startProgressEventTimer();
1491
1492     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1493     m_player->setPrivateBrowsingMode(privateMode);
1494
1495     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1496     setDisplayMode(Unknown);
1497
1498     if (!autoplay())
1499         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1500     m_player->setPreservesPitch(m_webkitPreservesPitch);
1501
1502     if (!m_explicitlyMuted) {
1503         m_explicitlyMuted = true;
1504         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1505     }
1506
1507     updateVolume();
1508
1509     bool loadAttempted = false;
1510 #if ENABLE(MEDIA_SOURCE)
1511     ASSERT(!m_mediaSource);
1512
1513     if (url.protocolIs(mediaSourceBlobProtocol))
1514         m_mediaSource = MediaSource::lookup(url.string());
1515
1516     if (m_mediaSource) {
1517         if (m_mediaSource->attachToElement(*this))
1518             m_player->load(url, contentType, m_mediaSource.get());
1519         else {
1520             // Forget our reference to the MediaSource, so we leave it alone
1521             // while processing remainder of load failure.
1522             m_mediaSource = nullptr;
1523             mediaLoadingFailed(MediaPlayer::FormatError);
1524         }
1525         loadAttempted = true;
1526     }
1527 #endif
1528
1529 #if ENABLE(MEDIA_STREAM)
1530     if (!loadAttempted) {
1531         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1532             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1533
1534         if (m_mediaStreamSrcObject) {
1535             loadAttempted = true;
1536             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1537                 mediaLoadingFailed(MediaPlayer::FormatError);
1538         }
1539     }
1540 #endif
1541
1542     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1543         mediaLoadingFailed(MediaPlayer::FormatError);
1544
1545     // If there is no poster to display, allow the media engine to render video frames as soon as
1546     // they are available.
1547     updateDisplayState();
1548
1549     updateRenderer();
1550 }
1551
1552 #if ENABLE(VIDEO_TRACK)
1553 static bool trackIndexCompare(TextTrack* a,
1554                               TextTrack* b)
1555 {
1556     return a->trackIndex() - b->trackIndex() < 0;
1557 }
1558
1559 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1560 {
1561     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1562     // times first).
1563     if (a.first != b.first)
1564         return a.first - b.first < MediaTime::zeroTime();
1565
1566     // If the cues belong to different text tracks, it doesn't make sense to
1567     // compare the two tracks by the relative cue order, so return the relative
1568     // track order.
1569     if (a.second->track() != b.second->track())
1570         return trackIndexCompare(a.second->track(), b.second->track());
1571
1572     // 12 - Further sort tasks in events that have the same time by the
1573     // relative text track cue order of the text track cues associated
1574     // with these tasks.
1575     return a.second->cueIndex() - b.second->cueIndex() < 0;
1576 }
1577
1578 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1579 {
1580     return one.data()->isOrderedBefore(two.data());
1581 };
1582
1583
1584 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1585 {
1586     // 4.8.10.8 Playing the media resource
1587
1588     //  If the current playback position changes while the steps are running,
1589     //  then the user agent must wait for the steps to complete, and then must
1590     //  immediately rerun the steps.
1591     if (ignoreTrackDisplayUpdateRequests())
1592         return;
1593
1594     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1595
1596     // 1 - Let current cues be a list of cues, initialized to contain all the
1597     // cues of all the hidden, showing, or showing by default text tracks of the
1598     // media element (not the disabled ones) whose start times are less than or
1599     // equal to the current playback position and whose end times are greater
1600     // than the current playback position.
1601     CueList currentCues;
1602
1603     // The user agent must synchronously unset [the text track cue active] flag
1604     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1605     if (m_readyState != HAVE_NOTHING && m_player) {
1606         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1607         if (currentCues.size() > 1)
1608             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1609     }
1610
1611     CueList previousCues;
1612     CueList missedCues;
1613
1614     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1615     // of hidden, showing, and showing by default text tracks of the media
1616     // element that are not present in current cues.
1617     previousCues = m_currentlyActiveCues;
1618
1619     // 3 - Let last time be the current playback position at the time this
1620     // algorithm was last run for this media element, if this is not the first
1621     // time it has run.
1622     MediaTime lastTime = m_lastTextTrackUpdateTime;
1623
1624     // 4 - If the current playback position has, since the last time this
1625     // algorithm was run, only changed through its usual monotonic increase
1626     // during normal playback, then let missed cues be the list of cues in other
1627     // cues whose start times are greater than or equal to last time and whose
1628     // end times are less than or equal to the current playback position.
1629     // Otherwise, let missed cues be an empty list.
1630     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1631         CueList potentiallySkippedCues =
1632             m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime));
1633
1634         for (size_t i = 0; i < potentiallySkippedCues.size(); ++i) {
1635             MediaTime cueStartTime = potentiallySkippedCues[i].low();
1636             MediaTime cueEndTime = potentiallySkippedCues[i].high();
1637
1638             // Consider cues that may have been missed since the last seek time.
1639             if (cueStartTime > std::max(m_lastSeekTime, lastTime) && cueEndTime < movieTime)
1640                 missedCues.append(potentiallySkippedCues[i]);
1641         }
1642     }
1643
1644     m_lastTextTrackUpdateTime = movieTime;
1645
1646     // 5 - If the time was reached through the usual monotonic increase of the
1647     // current playback position during normal playback, and if the user agent
1648     // has not fired a timeupdate event at the element in the past 15 to 250ms
1649     // and is not still running event handlers for such an event, then the user
1650     // agent must queue a task to fire a simple event named timeupdate at the
1651     // element. (In the other cases, such as explicit seeks, relevant events get
1652     // fired as part of the overall process of changing the current playback
1653     // position.)
1654     if (!m_paused && m_lastSeekTime <= lastTime)
1655         scheduleTimeupdateEvent(false);
1656
1657     // Explicitly cache vector sizes, as their content is constant from here.
1658     size_t currentCuesSize = currentCues.size();
1659     size_t missedCuesSize = missedCues.size();
1660     size_t previousCuesSize = previousCues.size();
1661
1662     // 6 - If all of the cues in current cues have their text track cue active
1663     // flag set, none of the cues in other cues have their text track cue active
1664     // flag set, and missed cues is empty, then abort these steps.
1665     bool activeSetChanged = missedCuesSize;
1666
1667     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1668         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1669             activeSetChanged = true;
1670
1671     for (size_t i = 0; i < currentCuesSize; ++i) {
1672         TextTrackCue* cue = currentCues[i].data();
1673
1674         if (cue->isRenderable())
1675             toVTTCue(cue)->updateDisplayTree(movieTime);
1676
1677         if (!cue->isActive())
1678             activeSetChanged = true;
1679     }
1680
1681     if (!activeSetChanged)
1682         return;
1683
1684     // 7 - If the time was reached through the usual monotonic increase of the
1685     // current playback position during normal playback, and there are cues in
1686     // other cues that have their text track cue pause-on-exi flag set and that
1687     // either have their text track cue active flag set or are also in missed
1688     // cues, then immediately pause the media element.
1689     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1690         if (previousCues[i].data()->pauseOnExit()
1691             && previousCues[i].data()->isActive()
1692             && !currentCues.contains(previousCues[i]))
1693             pause();
1694     }
1695
1696     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1697         if (missedCues[i].data()->pauseOnExit())
1698             pause();
1699     }
1700
1701     // 8 - Let events be a list of tasks, initially empty. Each task in this
1702     // list will be associated with a text track, a text track cue, and a time,
1703     // which are used to sort the list before the tasks are queued.
1704     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1705
1706     // 8 - Let affected tracks be a list of text tracks, initially empty.
1707     Vector<TextTrack*> affectedTracks;
1708
1709     for (size_t i = 0; i < missedCuesSize; ++i) {
1710         // 9 - For each text track cue in missed cues, prepare an event named enter
1711         // for the TextTrackCue object with the text track cue start time.
1712         eventTasks.append(std::make_pair(missedCues[i].data()->startMediaTime(),
1713                                          missedCues[i].data()));
1714
1715         // 10 - For each text track [...] in missed cues, prepare an event
1716         // named exit for the TextTrackCue object with the  with the later of
1717         // the text track cue end time and the text track cue start time.
1718
1719         // Note: An explicit task is added only if the cue is NOT a zero or
1720         // negative length cue. Otherwise, the need for an exit event is
1721         // checked when these tasks are actually queued below. This doesn't
1722         // affect sorting events before dispatch either, because the exit
1723         // event has the same time as the enter event.
1724         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1725             eventTasks.append(std::make_pair(missedCues[i].data()->endMediaTime(), missedCues[i].data()));
1726     }
1727
1728     for (size_t i = 0; i < previousCuesSize; ++i) {
1729         // 10 - For each text track cue in other cues that has its text
1730         // track cue active flag set prepare an event named exit for the
1731         // TextTrackCue object with the text track cue end time.
1732         if (!currentCues.contains(previousCues[i]))
1733             eventTasks.append(std::make_pair(previousCues[i].data()->endMediaTime(),
1734                                              previousCues[i].data()));
1735     }
1736
1737     for (size_t i = 0; i < currentCuesSize; ++i) {
1738         // 11 - For each text track cue in current cues that does not have its
1739         // text track cue active flag set, prepare an event named enter for the
1740         // TextTrackCue object with the text track cue start time.
1741         if (!previousCues.contains(currentCues[i]))
1742             eventTasks.append(std::make_pair(currentCues[i].data()->startMediaTime(),
1743                                              currentCues[i].data()));
1744     }
1745
1746     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1747     // times first).
1748     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1749
1750     for (size_t i = 0; i < eventTasks.size(); ++i) {
1751         if (!affectedTracks.contains(eventTasks[i].second->track()))
1752             affectedTracks.append(eventTasks[i].second->track());
1753
1754         // 13 - Queue each task in events, in list order.
1755         RefPtr<Event> event;
1756
1757         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1758         // depending on the time that is associated with the event. This
1759         // correctly identifies the type of the event, if the startTime is
1760         // less than the endTime in the cue.
1761         if (eventTasks[i].second->startTime() >= eventTasks[i].second->endTime()) {
1762             event = Event::create(eventNames().enterEvent, false, false);
1763             event->setTarget(eventTasks[i].second);
1764             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1765
1766             event = Event::create(eventNames().exitEvent, false, false);
1767             event->setTarget(eventTasks[i].second);
1768             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1769         } else {
1770             if (eventTasks[i].first == eventTasks[i].second->startMediaTime())
1771                 event = Event::create(eventNames().enterEvent, false, false);
1772             else
1773                 event = Event::create(eventNames().exitEvent, false, false);
1774
1775             event->setTarget(eventTasks[i].second);
1776             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1777         }
1778     }
1779
1780     // 14 - Sort affected tracks in the same order as the text tracks appear in
1781     // the media element's list of text tracks, and remove duplicates.
1782     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1783
1784     // 15 - For each text track in affected tracks, in the list order, queue a
1785     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1786     for (size_t i = 0; i < affectedTracks.size(); ++i) {
1787         RefPtr<Event> event = Event::create(eventNames().cuechangeEvent, false, false);
1788         event->setTarget(affectedTracks[i]);
1789
1790         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1791
1792         // ... if the text track has a corresponding track element, to then fire a
1793         // simple event named cuechange at the track element as well.
1794         if (is<LoadableTextTrack>(*affectedTracks[i])) {
1795             RefPtr<Event> event = Event::create(eventNames().cuechangeEvent, false, false);
1796             HTMLTrackElement* trackElement = downcast<LoadableTextTrack>(*affectedTracks[i]).trackElement();
1797             ASSERT(trackElement);
1798             event->setTarget(trackElement);
1799             
1800             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1801         }
1802     }
1803
1804     // 16 - Set the text track cue active flag of all the cues in the current
1805     // cues, and unset the text track cue active flag of all the cues in the
1806     // other cues.
1807     for (size_t i = 0; i < currentCuesSize; ++i)
1808         currentCues[i].data()->setIsActive(true);
1809
1810     for (size_t i = 0; i < previousCuesSize; ++i)
1811         if (!currentCues.contains(previousCues[i]))
1812             previousCues[i].data()->setIsActive(false);
1813
1814     // Update the current active cues.
1815     m_currentlyActiveCues = currentCues;
1816
1817     if (activeSetChanged)
1818         updateTextTrackDisplay();
1819 }
1820
1821 bool HTMLMediaElement::textTracksAreReady() const
1822 {
1823     // 4.8.10.12.1 Text track model
1824     // ...
1825     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1826     // in the disabled state when the element's resource selection algorithm last started now
1827     // have a text track readiness state of loaded or failed to load.
1828     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1829         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1830             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1831             return false;
1832     }
1833
1834     return true;
1835 }
1836
1837 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1838 {
1839     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1840         if (track->readinessState() != TextTrack::Loading)
1841             setReadyState(m_player->readyState());
1842     } else {
1843         // The track readiness state might have changed as a result of the user
1844         // clicking the captions button. In this case, a check whether all the
1845         // resources have failed loading should be done in order to hide the CC button.
1846         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1847             mediaControls()->refreshClosedCaptionsButtonVisibility();
1848     }
1849 }
1850
1851 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1852 {
1853     ASSERT(track);
1854     if (m_audioTracks && m_audioTracks->contains(*track))
1855         m_audioTracks->scheduleChangeEvent();
1856     if (ScriptController::processingUserGestureForMedia())
1857         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1858 }
1859
1860 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1861 {
1862     bool trackIsLoaded = true;
1863     if (track->trackType() == TextTrack::TrackElement) {
1864         trackIsLoaded = false;
1865         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1866             if (trackElement.track() == track) {
1867                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1868                     trackIsLoaded = true;
1869                 break;
1870             }
1871         }
1872     }
1873
1874     // If this is the first added track, create the list of text tracks.
1875     if (!m_textTracks)
1876         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1877     
1878     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1879     track->setHasBeenConfigured(true);
1880     
1881     if (track->mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1882         textTrackAddCues(track, track->cues());
1883
1884     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1885
1886     if (m_textTracks && m_textTracks->contains(*track))
1887         m_textTracks->scheduleChangeEvent();
1888
1889 #if ENABLE(AVF_CAPTIONS)
1890     if (track->trackType() == TextTrack::TrackElement && m_player)
1891         m_player->notifyTrackModeChanged();
1892 #endif
1893 }
1894
1895 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1896 {
1897     ASSERT(track);
1898     if (m_videoTracks && m_videoTracks->contains(*track))
1899         m_videoTracks->scheduleChangeEvent();
1900 }
1901
1902 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1903 {
1904     if (track->kind() != TextTrack::Kind::Captions && track->kind() != TextTrack::Kind::Subtitles && track->mode() == TextTrack::Mode::Showing)
1905         track->setMode(TextTrack::Mode::Hidden);
1906 }
1907
1908 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1909 {
1910     ++m_ignoreTrackDisplayUpdate;
1911 }
1912
1913 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1914 {
1915     ASSERT(m_ignoreTrackDisplayUpdate);
1916     --m_ignoreTrackDisplayUpdate;
1917     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1918         updateActiveTextTrackCues(currentMediaTime());
1919 }
1920
1921 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1922 {
1923     if (track->mode() == TextTrack::Mode::Disabled)
1924         return;
1925
1926     TrackDisplayUpdateScope scope(this);
1927     for (size_t i = 0; i < cues->length(); ++i)
1928         textTrackAddCue(track, *cues->item(i));
1929 }
1930
1931 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues)
1932 {
1933     TrackDisplayUpdateScope scope(this);
1934     for (size_t i = 0; i < cues->length(); ++i)
1935         textTrackRemoveCue(cues->item(i)->track(), *cues->item(i));
1936 }
1937
1938 void HTMLMediaElement::textTrackAddCue(TextTrack* track, TextTrackCue& cue)
1939 {
1940     if (track->mode() == TextTrack::Mode::Disabled)
1941         return;
1942
1943     // Negative duration cues need be treated in the interval tree as
1944     // zero-length cues.
1945     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1946
1947     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1948     if (!m_cueTree.contains(interval))
1949         m_cueTree.add(interval);
1950     updateActiveTextTrackCues(currentMediaTime());
1951 }
1952
1953 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, TextTrackCue& cue)
1954 {
1955     // Negative duration cues need to be treated in the interval tree as
1956     // zero-length cues.
1957     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1958
1959     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1960     m_cueTree.remove(interval);
1961
1962     // Since the cue will be removed from the media element and likely the
1963     // TextTrack might also be destructed, notifying the region of the cue
1964     // removal shouldn't be done.
1965     if (cue.isRenderable())
1966         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1967
1968     size_t index = m_currentlyActiveCues.find(interval);
1969     if (index != notFound) {
1970         cue.setIsActive(false);
1971         m_currentlyActiveCues.remove(index);
1972     }
1973
1974     if (cue.isRenderable())
1975         toVTTCue(&cue)->removeDisplayTree();
1976     updateActiveTextTrackCues(currentMediaTime());
1977
1978     if (cue.isRenderable())
1979         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1980 }
1981
1982 #endif
1983
1984 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1985 {
1986     // Elements in user agent show tree should load whatever the embedding document policy is.
1987     if (isInUserAgentShadowTree)
1988         return true;
1989
1990     ASSERT(element.document().contentSecurityPolicy());
1991     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1992 }
1993
1994 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1995 {
1996     if (!url.isValid()) {
1997         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1998         return false;
1999     }
2000
2001     Frame* frame = document().frame();
2002     if (!frame || !document().securityOrigin()->canDisplay(url)) {
2003         if (actionIfInvalid == Complain)
2004             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
2005         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
2006         return false;
2007     }
2008
2009     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
2010         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
2011         return false;
2012     }
2013
2014     return true;
2015 }
2016
2017 void HTMLMediaElement::startProgressEventTimer()
2018 {
2019     if (m_progressEventTimer.isActive())
2020         return;
2021
2022     m_previousProgressTime = monotonicallyIncreasingTime();
2023     // 350ms is not magic, it is in the spec!
2024     m_progressEventTimer.startRepeating(0.350);
2025 }
2026
2027 void HTMLMediaElement::waitForSourceChange()
2028 {
2029     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
2030
2031     stopPeriodicTimers();
2032     m_loadState = WaitingForSource;
2033
2034     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
2035     m_networkState = NETWORK_NO_SOURCE;
2036
2037     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2038     setShouldDelayLoadEvent(false);
2039
2040     updateDisplayState();
2041     updateRenderer();
2042 }
2043
2044 void HTMLMediaElement::noneSupported()
2045 {
2046     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
2047
2048     stopPeriodicTimers();
2049     m_loadState = WaitingForSource;
2050     m_currentSourceNode = nullptr;
2051
2052     // 4.8.10.5 
2053     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
2054     // URL could not be resolved. In one atomic operation, run the following steps:
2055
2056     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
2057     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2058     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2059
2060     // 6.2 - Forget the media element's media-resource-specific text tracks.
2061     forgetResourceSpecificTracks();
2062
2063     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2064     m_networkState = NETWORK_NO_SOURCE;
2065
2066     // 7 - Queue a task to fire a simple event named error at the media element.
2067     scheduleEvent(eventNames().errorEvent);
2068
2069     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2070
2071 #if ENABLE(MEDIA_SOURCE)
2072     detachMediaSource();
2073 #endif
2074
2075     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2076     setShouldDelayLoadEvent(false);
2077
2078     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2079     // the element won't attempt to load another resource.
2080
2081     updateDisplayState();
2082     updateRenderer();
2083 }
2084
2085 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2086 {
2087     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2088
2089     // 1 - The user agent should cancel the fetching process.
2090     stopPeriodicTimers();
2091     m_loadState = WaitingForSource;
2092
2093     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2094     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2095     if (error == MediaPlayer::NetworkError)
2096         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2097     else if (error == MediaPlayer::DecodeError)
2098         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2099     else
2100         ASSERT_NOT_REACHED();
2101
2102     // 3 - Queue a task to fire a simple event named error at the media element.
2103     scheduleEvent(eventNames().errorEvent);
2104
2105 #if ENABLE(MEDIA_SOURCE)
2106     detachMediaSource();
2107 #endif
2108
2109     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2110     // task to fire a simple event called emptied at the element.
2111     m_networkState = NETWORK_EMPTY;
2112     scheduleEvent(eventNames().emptiedEvent);
2113
2114     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2115     setShouldDelayLoadEvent(false);
2116
2117     // 6 - Abort the overall resource selection algorithm.
2118     m_currentSourceNode = nullptr;
2119
2120 #if PLATFORM(COCOA)
2121     if (is<MediaDocument>(document()))
2122         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2123 #endif
2124 }
2125
2126 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2127 {
2128     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2129     m_asyncEventQueue.cancelAllEvents();
2130
2131     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2132         source.cancelPendingErrorEvent();
2133
2134     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2135 }
2136
2137 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2138 {
2139     beginProcessingMediaPlayerCallback();
2140     setNetworkState(m_player->networkState());
2141     endProcessingMediaPlayerCallback();
2142 }
2143
2144 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2145 {
2146     if (!page)
2147         return;
2148
2149     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2150     if (!succeeded) {
2151         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2152         return;
2153     }
2154
2155     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2156
2157     if (!page->hasSeenAnyMediaEngine())
2158         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2159
2160     if (!page->hasSeenMediaEngine(mediaEngine))
2161         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2162
2163     page->sawMediaEngine(mediaEngine);
2164 }
2165
2166 static String stringForNetworkState(MediaPlayer::NetworkState state)
2167 {
2168     switch (state) {
2169     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2170     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2171     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2172     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2173     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2174     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2175     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2176     default: return emptyString();
2177     }
2178 }
2179
2180 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2181 {
2182     stopPeriodicTimers();
2183     
2184     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2185     // <source> children, schedule the next one
2186     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2187         
2188         // resource selection algorithm
2189         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2190         if (m_currentSourceNode)
2191             m_currentSourceNode->scheduleErrorEvent();
2192         else
2193             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2194         
2195         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2196         
2197         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2198         forgetResourceSpecificTracks();
2199
2200         if (havePotentialSourceChild()) {
2201             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2202             scheduleNextSourceChild();
2203         } else {
2204             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2205             waitForSourceChange();
2206         }
2207         
2208         return;
2209     }
2210     
2211     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2212         mediaLoadingFailedFatally(error);
2213     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2214         noneSupported();
2215     
2216     updateDisplayState();
2217     if (hasMediaControls()) {
2218         mediaControls()->reset();
2219         mediaControls()->reportedError();
2220     }
2221
2222     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2223
2224     m_mediaSession->clientCharacteristicsChanged();
2225 }
2226
2227 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2228 {
2229     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2230
2231     if (state == MediaPlayer::Empty) {
2232         // Just update the cached state and leave, we can't do anything.
2233         m_networkState = NETWORK_EMPTY;
2234         return;
2235     }
2236
2237     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2238         mediaLoadingFailed(state);
2239         return;
2240     }
2241
2242     if (state == MediaPlayer::Idle) {
2243         if (m_networkState > NETWORK_IDLE) {
2244             changeNetworkStateFromLoadingToIdle();
2245             setShouldDelayLoadEvent(false);
2246         } else {
2247             m_networkState = NETWORK_IDLE;
2248         }
2249     }
2250
2251     if (state == MediaPlayer::Loading) {
2252         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2253             startProgressEventTimer();
2254         m_networkState = NETWORK_LOADING;
2255     }
2256
2257     if (state == MediaPlayer::Loaded) {
2258         if (m_networkState != NETWORK_IDLE)
2259             changeNetworkStateFromLoadingToIdle();
2260         m_completelyLoaded = true;
2261     }
2262
2263     if (hasMediaControls())
2264         mediaControls()->updateStatusDisplay();
2265 }
2266
2267 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2268 {
2269     m_progressEventTimer.stop();
2270     if (hasMediaControls() && m_player->didLoadingProgress())
2271         mediaControls()->bufferingProgressed();
2272
2273     // Schedule one last progress event so we guarantee that at least one is fired
2274     // for files that load very quickly.
2275     scheduleEvent(eventNames().progressEvent);
2276     scheduleEvent(eventNames().suspendEvent);
2277     m_networkState = NETWORK_IDLE;
2278 }
2279
2280 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2281 {
2282     beginProcessingMediaPlayerCallback();
2283
2284     setReadyState(m_player->readyState());
2285
2286     endProcessingMediaPlayerCallback();
2287 }
2288
2289 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2290 {
2291     return isAutoplaying()
2292         && paused()
2293         && autoplay()
2294         && !pausedForUserInteraction()
2295         && !document().isSandboxed(SandboxAutomaticFeatures)
2296         && mediaSession().playbackPermitted(*this);
2297 }
2298
2299 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2300 {
2301     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2302
2303     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2304     bool wasPotentiallyPlaying = potentiallyPlaying();
2305
2306     ReadyState oldState = m_readyState;
2307     ReadyState newState = static_cast<ReadyState>(state);
2308
2309 #if ENABLE(VIDEO_TRACK)
2310     bool tracksAreReady = textTracksAreReady();
2311
2312     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2313         return;
2314
2315     m_tracksAreReady = tracksAreReady;
2316 #else
2317     if (newState == oldState)
2318         return;
2319     bool tracksAreReady = true;
2320 #endif
2321     
2322     if (tracksAreReady)
2323         m_readyState = newState;
2324     else {
2325         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2326         // the text tracks are ready, regardless of the state of the media file.
2327         if (newState <= HAVE_METADATA)
2328             m_readyState = newState;
2329         else
2330             m_readyState = HAVE_CURRENT_DATA;
2331     }
2332     
2333     if (oldState > m_readyStateMaximum)
2334         m_readyStateMaximum = oldState;
2335
2336     if (m_networkState == NETWORK_EMPTY)
2337         return;
2338
2339     if (m_seeking) {
2340         // 4.8.10.9, step 11
2341         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2342             scheduleEvent(eventNames().waitingEvent);
2343
2344         // 4.8.10.10 step 14 & 15.
2345         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2346             finishSeek();
2347     } else {
2348         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2349             // 4.8.10.8
2350             invalidateCachedTime();
2351             scheduleTimeupdateEvent(false);
2352             scheduleEvent(eventNames().waitingEvent);
2353         }
2354     }
2355
2356     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2357         prepareMediaFragmentURI();
2358         scheduleEvent(eventNames().durationchangeEvent);
2359         scheduleResizeEvent();
2360         scheduleEvent(eventNames().loadedmetadataEvent);
2361 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2362         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2363             enqueuePlaybackTargetAvailabilityChangedEvent();
2364 #endif
2365         m_initiallyMuted = m_volume < 0.05 || muted();
2366
2367         if (hasMediaControls())
2368             mediaControls()->loadedMetadata();
2369         updateRenderer();
2370
2371         if (is<MediaDocument>(document()))
2372             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2373
2374         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2375
2376 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2377         updateMediaState(UpdateState::Asynchronously);
2378 #endif
2379
2380         m_mediaSession->clientCharacteristicsChanged();
2381     }
2382
2383     bool shouldUpdateDisplayState = false;
2384
2385     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2386         m_haveFiredLoadedData = true;
2387         shouldUpdateDisplayState = true;
2388         scheduleEvent(eventNames().loadeddataEvent);
2389         setShouldDelayLoadEvent(false);
2390         applyMediaFragmentURI();
2391     }
2392
2393     bool isPotentiallyPlaying = potentiallyPlaying();
2394     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2395         scheduleEvent(eventNames().canplayEvent);
2396         if (isPotentiallyPlaying)
2397             scheduleNotifyAboutPlaying();
2398         shouldUpdateDisplayState = true;
2399     }
2400
2401     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2402         if (oldState <= HAVE_CURRENT_DATA)
2403             scheduleEvent(eventNames().canplayEvent);
2404
2405         scheduleEvent(eventNames().canplaythroughEvent);
2406
2407         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2408             scheduleNotifyAboutPlaying();
2409
2410         if (canTransitionFromAutoplayToPlay()) {
2411             m_paused = false;
2412             invalidateCachedTime();
2413             m_playbackStartedTime = currentMediaTime().toDouble();
2414             scheduleEvent(eventNames().playEvent);
2415             scheduleNotifyAboutPlaying();
2416         }
2417
2418         shouldUpdateDisplayState = true;
2419     }
2420
2421     if (shouldUpdateDisplayState) {
2422         updateDisplayState();
2423         if (hasMediaControls()) {
2424             mediaControls()->refreshClosedCaptionsButtonVisibility();
2425             mediaControls()->updateStatusDisplay();
2426         }
2427     }
2428
2429     updatePlayState();
2430     updateMediaController();
2431 #if ENABLE(VIDEO_TRACK)
2432     updateActiveTextTrackCues(currentMediaTime());
2433 #endif
2434 }
2435
2436 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2437 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2438 {
2439     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2440 }
2441
2442 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2443 {
2444     if (!hasEventListeners("webkitneedkey")) {
2445         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2446         scheduleEvent(eventNames().errorEvent);
2447         return false;
2448     }
2449
2450     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2451     event->setTarget(this);
2452     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2453
2454     return true;
2455 }
2456
2457 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2458 {
2459     Settings* settings = document().settings();
2460     if (!settings)
2461         return emptyString();
2462
2463     String storageDirectory = settings->mediaKeysStorageDirectory();
2464     if (storageDirectory.isEmpty())
2465         return emptyString();
2466
2467     SecurityOrigin* origin = document().securityOrigin();
2468     if (!origin)
2469         return emptyString();
2470
2471     return pathByAppendingComponent(storageDirectory, origin->databaseIdentifier());
2472 }
2473
2474 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2475 {
2476     if (m_mediaKeys == mediaKeys)
2477         return;
2478
2479     if (m_mediaKeys)
2480         m_mediaKeys->setMediaElement(0);
2481     m_mediaKeys = mediaKeys;
2482     if (m_mediaKeys)
2483         m_mediaKeys->setMediaElement(this);
2484 }
2485
2486 void HTMLMediaElement::keyAdded()
2487 {
2488     if (m_player)
2489         m_player->keyAdded();
2490 }
2491 #endif
2492
2493 void HTMLMediaElement::progressEventTimerFired()
2494 {
2495     ASSERT(m_player);
2496     if (m_networkState != NETWORK_LOADING)
2497         return;
2498
2499     double time = monotonicallyIncreasingTime();
2500     double timedelta = time - m_previousProgressTime;
2501
2502     if (m_player->didLoadingProgress()) {
2503         scheduleEvent(eventNames().progressEvent);
2504         m_previousProgressTime = time;
2505         m_sentStalledEvent = false;
2506         updateRenderer();
2507         if (hasMediaControls())
2508             mediaControls()->bufferingProgressed();
2509     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2510         scheduleEvent(eventNames().stalledEvent);
2511         m_sentStalledEvent = true;
2512         setShouldDelayLoadEvent(false);
2513     }
2514 }
2515
2516 void HTMLMediaElement::rewind(double timeDelta)
2517 {
2518     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2519     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2520 }
2521
2522 void HTMLMediaElement::returnToRealtime()
2523 {
2524     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2525     setCurrentTime(maxTimeSeekable());
2526 }
2527
2528 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2529 {
2530     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2531     if (!m_playedTimeRanges)
2532         m_playedTimeRanges = TimeRanges::create();
2533     m_playedTimeRanges->ranges().add(start, end);
2534 }  
2535
2536 bool HTMLMediaElement::supportsScanning() const
2537 {
2538     return m_player ? m_player->supportsScanning() : false;
2539 }
2540
2541 void HTMLMediaElement::prepareToPlay()
2542 {
2543     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2544     if (m_havePreparedToPlay)
2545         return;
2546     m_havePreparedToPlay = true;
2547     m_player->prepareToPlay();
2548 }
2549
2550 void HTMLMediaElement::fastSeek(double time)
2551 {
2552     fastSeek(MediaTime::createWithDouble(time));
2553 }
2554
2555 void HTMLMediaElement::fastSeek(const MediaTime& time)
2556 {
2557     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2558     // 4.7.10.9 Seeking
2559     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2560     // allow for playback to resume promptly. If new playback position before this step is before current
2561     // playback position, then the adjusted new playback position must also be before the current playback
2562     // position. Similarly, if the new playback position before this step is after current playback position,
2563     // then the adjusted new playback position must also be after the current playback position.
2564     refreshCachedTime();
2565     MediaTime delta = time - currentMediaTime();
2566     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2567     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2568
2569     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2570 }
2571
2572 void HTMLMediaElement::seek(const MediaTime& time)
2573 {
2574     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2575     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2576 }
2577
2578 void HTMLMediaElement::seekInternal(const MediaTime& time)
2579 {
2580     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2581     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2582 }
2583
2584 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2585 {
2586     // 4.8.10.9 Seeking
2587     MediaTime time = inTime;
2588
2589     // 1 - Set the media element's show poster flag to false.
2590     setDisplayMode(Video);
2591
2592     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2593     if (m_readyState == HAVE_NOTHING || !m_player)
2594         return;
2595
2596     // If the media engine has been told to postpone loading data, let it go ahead now.
2597     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2598         prepareToPlay();
2599
2600     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2601     refreshCachedTime();
2602     MediaTime now = currentMediaTime();
2603
2604     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2605     // already running. Abort that other instance of the algorithm without waiting for the step that
2606     // it is running to complete.
2607     if (m_seekTaskQueue.hasPendingTasks()) {
2608         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2609         m_seekTaskQueue.cancelAllTasks();
2610         if (m_pendingSeek) {
2611             now = m_pendingSeek->now;
2612             m_pendingSeek = nullptr;
2613         }
2614         m_pendingSeekType = NoSeek;
2615     }
2616
2617     // 4 - Set the seeking IDL attribute to true.
2618     // The flag will be cleared when the engine tells us the time has actually changed.
2619     m_seeking = true;
2620     if (m_playing) {
2621         if (m_lastSeekTime < now)
2622             addPlayedRange(m_lastSeekTime, now);
2623     }
2624     m_lastSeekTime = time;
2625
2626     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2627     // the script. The remainder of these steps must be run asynchronously.
2628     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2629     if (fromDOM) {
2630         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2631         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2632     } else
2633         seekTask();
2634
2635     if (ScriptController::processingUserGestureForMedia())
2636         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2637 }
2638
2639 void HTMLMediaElement::seekTask()
2640 {
2641     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2642
2643     if (!m_player) {
2644         clearSeeking();
2645         return;
2646     }
2647
2648     ASSERT(m_pendingSeek);
2649     MediaTime now = m_pendingSeek->now;
2650     MediaTime time = m_pendingSeek->targetTime;
2651     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2652     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2653     m_pendingSeek = nullptr;
2654
2655     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2656     // of the media resource instead.
2657     time = std::min(time, durationMediaTime());
2658
2659     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2660     MediaTime earliestTime = m_player->startTime();
2661     time = std::max(time, earliestTime);
2662
2663     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2664     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2665     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2666     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2667     // fire a 'seeked' event.
2668 #if !LOG_DISABLED
2669     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2670     if (time != mediaTime)
2671         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2672 #endif
2673     time = m_player->mediaTimeForTimeValue(time);
2674
2675     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2676     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2677     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2678     // attribute then set the seeking IDL attribute to false and abort these steps.
2679     RefPtr<TimeRanges> seekableRanges = seekable();
2680     bool noSeekRequired = !seekableRanges->length();
2681
2682     // Short circuit seeking to the current time by just firing the events if no seek is required.
2683     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2684     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2685     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2686     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2687         noSeekRequired = true;
2688
2689 #if ENABLE(MEDIA_SOURCE)
2690     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2691     // always in a flushed state when the 'seeking' event fires.
2692     if (m_mediaSource && !m_mediaSource->isClosed())
2693         noSeekRequired = false;
2694 #endif
2695
2696     if (noSeekRequired) {
2697         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2698         if (time == now) {
2699             scheduleEvent(eventNames().seekingEvent);
2700             scheduleTimeupdateEvent(false);
2701             scheduleEvent(eventNames().seekedEvent);
2702         }
2703         clearSeeking();
2704         return;
2705     }
2706     time = seekableRanges->ranges().nearest(time);
2707
2708     m_sentEndEvent = false;
2709     m_lastSeekTime = time;
2710     m_pendingSeekType = thisSeekType;
2711     m_seeking = true;
2712
2713     // 10 - Queue a task to fire a simple event named seeking at the element.
2714     scheduleEvent(eventNames().seekingEvent);
2715
2716     // 11 - Set the current playback position to the given new playback position
2717     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2718
2719     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2720     // position is available, and, if it is, until it has decoded enough data to play back that position.
2721     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2722 }
2723
2724 void HTMLMediaElement::clearSeeking()
2725 {
2726     m_seeking = false;
2727     m_pendingSeekType = NoSeek;
2728     invalidateCachedTime();
2729 }
2730
2731 void HTMLMediaElement::finishSeek()
2732 {
2733     // 4.8.10.9 Seeking
2734     // 14 - Set the seeking IDL attribute to false.
2735     clearSeeking();
2736
2737     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2738
2739     // 15 - Run the time maches on steps.
2740     // Handled by mediaPlayerTimeChanged().
2741
2742     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2743     scheduleEvent(eventNames().timeupdateEvent);
2744
2745     // 17 - Queue a task to fire a simple event named seeked at the element.
2746     scheduleEvent(eventNames().seekedEvent);
2747
2748 #if ENABLE(MEDIA_SOURCE)
2749     if (m_mediaSource)
2750         m_mediaSource->monitorSourceBuffers();
2751 #endif
2752 }
2753
2754 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2755 {
2756     return m_readyState;
2757 }
2758
2759 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2760 {
2761     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2762 }
2763
2764 bool HTMLMediaElement::hasAudio() const
2765 {
2766     return m_player ? m_player->hasAudio() : false;
2767 }
2768
2769 bool HTMLMediaElement::seeking() const
2770 {
2771     return m_seeking;
2772 }
2773
2774 void HTMLMediaElement::refreshCachedTime() const
2775 {
2776     if (!m_player)
2777         return;
2778
2779     m_cachedTime = m_player->currentTime();
2780     if (!m_cachedTime) {
2781         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2782         // estimate current time until playback actually begins. 
2783         invalidateCachedTime(); 
2784         return; 
2785     } 
2786
2787     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2788 }
2789
2790 void HTMLMediaElement::invalidateCachedTime() const
2791 {
2792     m_cachedTime = MediaTime::invalidTime();
2793     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2794         return;
2795
2796 #if !LOG_DISABLED
2797     if (m_cachedTime.isValid())
2798         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2799 #endif
2800
2801     // Don't try to cache movie time when playback first starts as the time reported by the engine
2802     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2803     // too early.
2804     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2805
2806     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2807 }
2808
2809 // playback state
2810 double HTMLMediaElement::currentTime() const
2811 {
2812     return currentMediaTime().toDouble();
2813 }
2814
2815 MediaTime HTMLMediaElement::currentMediaTime() const
2816 {
2817 #if LOG_CACHED_TIME_WARNINGS
2818     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2819 #endif
2820
2821     if (!m_player)
2822         return MediaTime::zeroTime();
2823
2824     if (m_seeking) {
2825         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2826         return m_lastSeekTime;
2827     }
2828
2829     if (m_cachedTime.isValid() && m_paused) {
2830 #if LOG_CACHED_TIME_WARNINGS
2831         MediaTime delta = m_cachedTime - m_player->currentTime();
2832         if (delta > minCachedDeltaForWarning)
2833             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2834 #endif
2835         return m_cachedTime;
2836     }
2837
2838     // Is it too soon use a cached time?
2839     double now = monotonicallyIncreasingTime();
2840     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2841
2842     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2843         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2844
2845         // Not too soon, use the cached time only if it hasn't expired.
2846         if (clockDelta < maximumDurationToCacheMediaTime) {
2847             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2848
2849 #if LOG_CACHED_TIME_WARNINGS
2850             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2851             if (delta > minCachedDeltaForWarning)
2852                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2853 #endif
2854             return adjustedCacheTime;
2855         }
2856     }
2857
2858 #if LOG_CACHED_TIME_WARNINGS
2859     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2860         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2861         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2862         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2863     }
2864 #endif
2865
2866     refreshCachedTime();
2867
2868     if (m_cachedTime.isInvalid())
2869         return MediaTime::zeroTime();
2870     
2871     return m_cachedTime;
2872 }
2873
2874 void HTMLMediaElement::setCurrentTime(double time)
2875 {
2876     setCurrentTime(MediaTime::createWithDouble(time));
2877 }
2878
2879 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2880 {
2881     if (m_mediaController)
2882         return;
2883
2884     seekInternal(time);
2885 }
2886
2887 void HTMLMediaElement::setCurrentTime(double time, ExceptionCode& ec)
2888 {
2889     // On setting, if the media element has a current media controller, then the user agent must
2890     // throw an InvalidStateError exception
2891     if (m_mediaController) {
2892         ec = INVALID_STATE_ERR;
2893         return;
2894     }
2895
2896     seek(MediaTime::createWithDouble(time));
2897 }
2898
2899 double HTMLMediaElement::duration() const
2900 {
2901     return durationMediaTime().toDouble();
2902 }
2903
2904 MediaTime HTMLMediaElement::durationMediaTime() const
2905 {
2906     if (m_player && m_readyState >= HAVE_METADATA)
2907         return m_player->duration();
2908
2909     return MediaTime::invalidTime();
2910 }
2911
2912 bool HTMLMediaElement::paused() const
2913 {
2914     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2915     // we had problems where this was called on an object after a bad cast. The assertion below
2916     // made our regression test detect the problem, so we should keep it because of that. But note
2917     // that the value of the assertion relies on the compiler not being smart enough to know that
2918     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2919     ASSERT(!isHTMLUnknownElement());
2920
2921     return m_paused;
2922 }
2923
2924 double HTMLMediaElement::defaultPlaybackRate() const
2925 {
2926 #if ENABLE(MEDIA_STREAM)
2927     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2928     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2929     // A MediaStream is not seekable. Therefore, this attribute must always have the
2930     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2931     // that the ratechange event will not fire.
2932     if (m_mediaStreamSrcObject)
2933         return 1;
2934 #endif
2935
2936     return m_defaultPlaybackRate;
2937 }
2938
2939 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2940 {
2941 #if ENABLE(MEDIA_STREAM)
2942     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2943     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2944     // A MediaStream is not seekable. Therefore, this attribute must always have the
2945     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2946     // that the ratechange event will not fire.
2947     if (m_mediaStreamSrcObject)
2948         return;
2949 #endif
2950
2951     if (m_defaultPlaybackRate != rate) {
2952         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2953         m_defaultPlaybackRate = rate;
2954         scheduleEvent(eventNames().ratechangeEvent);
2955     }
2956 }
2957
2958 double HTMLMediaElement::effectivePlaybackRate() const
2959 {
2960     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2961 }
2962
2963 double HTMLMediaElement::requestedPlaybackRate() const
2964 {
2965     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2966 }
2967
2968 double HTMLMediaElement::playbackRate() const
2969 {
2970 #if ENABLE(MEDIA_STREAM)
2971     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2972     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2973     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2974     // means that the ratechange event will not fire.
2975     if (m_mediaStreamSrcObject)
2976         return 1;
2977 #endif
2978
2979     return m_requestedPlaybackRate;
2980 }
2981
2982 void HTMLMediaElement::setPlaybackRate(double rate)
2983 {
2984     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2985
2986 #if ENABLE(MEDIA_STREAM)
2987     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2988     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2989     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2990     // means that the ratechange event will not fire.
2991     if (m_mediaStreamSrcObject)
2992         return;
2993 #endif
2994
2995     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2996         m_player->setRate(rate);
2997
2998     if (m_requestedPlaybackRate != rate) {
2999         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
3000         invalidateCachedTime();
3001         scheduleEvent(eventNames().ratechangeEvent);
3002     }
3003 }
3004
3005 void HTMLMediaElement::updatePlaybackRate()
3006 {
3007     double requestedRate = requestedPlaybackRate();
3008     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
3009         m_player->setRate(requestedRate);
3010 }
3011
3012 bool HTMLMediaElement::webkitPreservesPitch() const
3013 {
3014     return m_webkitPreservesPitch;
3015 }
3016
3017 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
3018 {
3019     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
3020
3021     m_webkitPreservesPitch = preservesPitch;
3022     
3023     if (!m_player)
3024         return;
3025
3026     m_player->setPreservesPitch(preservesPitch);
3027 }
3028
3029 bool HTMLMediaElement::ended() const
3030 {
3031 #if ENABLE(MEDIA_STREAM)
3032     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3033     // When the MediaStream state moves from the active to the inactive state, the User Agent
3034     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
3035     if (m_mediaStreamSrcObject && m_player && m_player->ended())
3036         return true;
3037 #endif
3038
3039     // 4.8.10.8 Playing the media resource
3040     // The ended attribute must return true if the media element has ended 
3041     // playback and the direction of playback is forwards, and false otherwise.
3042     return endedPlayback() && requestedPlaybackRate() > 0;
3043 }
3044
3045 bool HTMLMediaElement::autoplay() const
3046 {
3047     return hasAttributeWithoutSynchronization(autoplayAttr);
3048 }
3049
3050 String HTMLMediaElement::preload() const
3051 {
3052 #if ENABLE(MEDIA_STREAM)
3053     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3054     // "preload" - On getting: none. On setting: ignored.
3055     if (m_mediaStreamSrcObject)
3056         return ASCIILiteral("none");
3057 #endif
3058
3059     switch (m_preload) {
3060     case MediaPlayer::None:
3061         return ASCIILiteral("none");
3062     case MediaPlayer::MetaData:
3063         return ASCIILiteral("metadata");
3064     case MediaPlayer::Auto:
3065         return ASCIILiteral("auto");
3066     }
3067
3068     ASSERT_NOT_REACHED();
3069     return String();
3070 }
3071
3072 void HTMLMediaElement::setPreload(const String& preload)
3073 {
3074     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3075 #if ENABLE(MEDIA_STREAM)
3076     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3077     // "preload" - On getting: none. On setting: ignored.
3078     if (m_mediaStreamSrcObject)
3079         return;
3080 #endif
3081
3082     setAttributeWithoutSynchronization(preloadAttr, preload);
3083 }
3084
3085 void HTMLMediaElement::play(PlayPromise&& promise)
3086 {
3087     LOG(Media, "HTMLMediaElement::play(%p)", this);
3088
3089     if (!m_mediaSession->playbackPermitted(*this)) {
3090         promise.reject(NotAllowedError);
3091         return;
3092     }
3093
3094     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3095         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3096         return;
3097     }
3098
3099     if (ScriptController::processingUserGestureForMedia())
3100         removeBehaviorsRestrictionsAfterFirstUserGesture();
3101
3102     if (!playInternal()) {
3103         promise.reject(NotAllowedError);
3104         return;
3105     }
3106
3107     m_pendingPlayPromises.append(WTFMove(promise));
3108 }
3109
3110 void HTMLMediaElement::play()
3111 {
3112     LOG(Media, "HTMLMediaElement::play(%p)", this);
3113
3114     if (!m_mediaSession->playbackPermitted(*this))
3115         return;
3116     if (ScriptController::processingUserGestureForMedia())
3117         removeBehaviorsRestrictionsAfterFirstUserGesture();
3118
3119     playInternal();
3120 }
3121
3122 bool HTMLMediaElement::playInternal()
3123 {
3124     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3125     
3126     if (!m_mediaSession->clientWillBeginPlayback()) {
3127         LOG(Media, "  returning because of interruption");
3128         return true; // Treat as success because we will begin playback on cessation of the interruption.
3129     }
3130
3131     // 4.8.10.9. Playing the media resource
3132     if (!m_player || m_networkState == NETWORK_EMPTY)
3133         scheduleDelayedAction(LoadMediaResource);
3134
3135     if (endedPlayback())
3136         seekInternal(MediaTime::zeroTime());
3137
3138     if (m_mediaController)
3139         m_mediaController->bringElementUpToSpeed(this);
3140
3141     if (m_paused) {
3142         m_paused = false;
3143         invalidateCachedTime();
3144         m_playbackStartedTime = currentMediaTime().toDouble();
3145         scheduleEvent(eventNames().playEvent);
3146
3147         if (m_readyState <= HAVE_CURRENT_DATA)
3148             scheduleEvent(eventNames().waitingEvent);
3149         else if (m_readyState >= HAVE_FUTURE_DATA)
3150             scheduleNotifyAboutPlaying();
3151
3152 #if ENABLE(MEDIA_SESSION)
3153         // 6.3 Activating a media session from a media element
3154         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3155         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3156         // 1. Let media session be the value of the current media session.
3157         // 2. If we are not currently in media session's list of active participating media elements then append
3158         //    ourselves to this list.
3159         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3160         // 4. If activated is failure, pause ourselves.
3161         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3162             if (m_session) {
3163                 m_session->addActiveMediaElement(*this);
3164
3165                 if (m_session->kind() == MediaSessionKind::Content) {
3166                     if (Page* page = document().page())
3167                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3168                 }
3169
3170                 if (!m_session->invoke()) {
3171                     pause();
3172                     return false;
3173                 }
3174             }
3175         }
3176 #endif
3177     } else if (m_readyState >= HAVE_FUTURE_DATA)
3178         scheduleResolvePendingPlayPromises();
3179
3180     m_autoplaying = false;
3181     updatePlayState();
3182
3183     return true;
3184 }
3185
3186 void HTMLMediaElement::pause()
3187 {
3188     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3189
3190     if (!m_mediaSession->playbackPermitted(*this))
3191         return;
3192
3193     if (ScriptController::processingUserGestureForMedia())
3194         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3195
3196     pauseInternal();
3197 }
3198
3199
3200 void HTMLMediaElement::pauseInternal()
3201 {
3202     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3203
3204     if (!m_mediaSession->clientWillPausePlayback()) {
3205         LOG(Media, "  returning because of interruption");
3206         return;
3207     }
3208
3209     // 4.8.10.9. Playing the media resource
3210     if (!m_player || m_networkState == NETWORK_EMPTY) {
3211         // Unless the restriction on media requiring user action has been lifted
3212         // don't trigger loading if a script calls pause().
3213         if (!m_mediaSession->playbackPermitted(*this))
3214             return;
3215         scheduleDelayedAction(LoadMediaResource);
3216     }
3217
3218     m_autoplaying = false;
3219
3220     if (!m_paused) {
3221         m_paused = true;
3222         scheduleTimeupdateEvent(false);
3223         scheduleEvent(eventNames().pauseEvent);
3224         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3225
3226         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3227             purgeBufferedDataIfPossible();
3228     }
3229
3230     updatePlayState();
3231 }
3232
3233 #if ENABLE(MEDIA_SOURCE)
3234 void HTMLMediaElement::detachMediaSource()
3235 {
3236     if (!m_mediaSource)
3237         return;
3238
3239     m_mediaSource->detachFromElement(*this);
3240     m_mediaSource = nullptr;
3241 }
3242 #endif
3243
3244 bool HTMLMediaElement::loop() const
3245 {
3246     return hasAttributeWithoutSynchronization(loopAttr);
3247 }
3248
3249 void HTMLMediaElement::setLoop(bool b)
3250 {
3251     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3252     setBooleanAttribute(loopAttr, b);
3253 }
3254
3255 bool HTMLMediaElement::controls() const
3256 {
3257     Frame* frame = document().frame();
3258
3259     // always show controls when scripting is disabled
3260     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3261         return true;
3262
3263     return hasAttributeWithoutSynchronization(controlsAttr);
3264 }
3265
3266 void HTMLMediaElement::setControls(bool b)
3267 {
3268     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3269     setBooleanAttribute(controlsAttr, b);
3270 }
3271
3272 double HTMLMediaElement::volume() const
3273 {
3274     return m_volume;
3275 }
3276
3277 void HTMLMediaElement::setVolume(double vol, ExceptionCode& ec)
3278 {
3279     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, vol);
3280
3281     if (vol < 0.0f || vol > 1.0f) {
3282         ec = INDEX_SIZE_ERR;
3283         return;
3284     }
3285     
3286 #if !PLATFORM(IOS)
3287     if (m_volume != vol) {
3288         m_volume = vol;
3289         m_volumeInitialized = true;
3290         updateVolume();
3291         scheduleEvent(eventNames().volumechangeEvent);
3292     }
3293 #endif
3294 }
3295
3296 bool HTMLMediaElement::muted() const
3297 {
3298     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3299 }
3300
3301 void HTMLMediaElement::setMuted(bool muted)
3302 {
3303     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3304
3305     bool mutedStateChanged = m_muted != muted;
3306     if (mutedStateChanged || !m_explicitlyMuted) {
3307         m_muted = muted;
3308         m_explicitlyMuted = true;
3309
3310         if (ScriptController::processingUserGestureForMedia())
3311             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3312
3313         // Avoid recursion when the player reports volume changes.
3314         if (!processingMediaPlayerCallback()) {
3315             if (m_player) {
3316                 m_player->setMuted(effectiveMuted());
3317                 if (hasMediaControls())
3318                     mediaControls()->changedMute();
3319             }
3320         }
3321
3322         if (mutedStateChanged)
3323             scheduleEvent(eventNames().volumechangeEvent);
3324
3325         updateShouldPlay();
3326
3327 #if ENABLE(MEDIA_SESSION)
3328         document().updateIsPlayingMedia(m_elementID);
3329 #else
3330         document().updateIsPlayingMedia();
3331 #endif
3332
3333 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3334         updateMediaState(UpdateState::Asynchronously);
3335 #endif
3336     }
3337
3338     scheduleUpdatePlaybackControlsManager();
3339     updateAudioAssertionState();
3340 }
3341
3342 void HTMLMediaElement::togglePlayState()
3343 {
3344     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3345
3346     // We can safely call the internal play/pause methods, which don't check restrictions, because
3347     // this method is only called from the built-in media controller
3348     if (canPlay()) {
3349         updatePlaybackRate();
3350         playInternal();
3351     } else 
3352         pauseInternal();
3353 }
3354
3355 void HTMLMediaElement::beginScrubbing()
3356 {
3357     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3358
3359     if (!paused()) {
3360         if (ended()) {
3361             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3362             // when the slider is dragged from the end to another position unless we pause first. Do 
3363             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3364             pause();
3365         } else {
3366             // Not at the end but we still want to pause playback so the media engine doesn't try to
3367             // continue playing during scrubbing. Pause without generating an event as we will 
3368             // unpause after scrubbing finishes.
3369             setPausedInternal(true);
3370         }
3371     }
3372
3373     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3374 }
3375
3376 void HTMLMediaElement::endScrubbing()
3377 {
3378     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3379
3380     if (m_pausedInternal)
3381         setPausedInternal(false);
3382 }
3383
3384 void HTMLMediaElement::beginScanning(ScanDirection direction)
3385 {
3386     m_scanType = supportsScanning() ? Scan : Seek;
3387     m_scanDirection = direction;
3388
3389     if (m_scanType == Seek) {
3390         // Scanning by seeking requires the video to be paused during scanning.
3391         m_actionAfterScan = paused() ? Nothing : Play;
3392         pause();
3393     } else {
3394         // Scanning by scanning requires the video to be playing during scanninging.
3395         m_actionAfterScan = paused() ? Pause : Nothing;
3396         play();
3397         setPlaybackRate(nextScanRate());
3398     }
3399
3400     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3401 }
3402
3403 void HTMLMediaElement::endScanning()
3404 {
3405     if (m_scanType == Scan)
3406         setPlaybackRate(defaultPlaybackRate());
3407
3408     if (m_actionAfterScan == Play)
3409         play();
3410     else if (m_actionAfterScan == Pause)
3411         pause();
3412
3413     if (m_scanTimer.isActive())
3414         m_scanTimer.stop();
3415 }
3416
3417 double HTMLMediaElement::nextScanRate()
3418 {
3419     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3420     if (m_scanDirection == Backward)
3421         rate *= -1;
3422 #if PLATFORM(IOS)
3423     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3424 #endif
3425     return rate;
3426 }
3427
3428 void HTMLMediaElement::scanTimerFired()
3429 {
3430     if (m_scanType == Seek) {
3431         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3432         setCurrentTime(currentTime() + seekTime);
3433     } else
3434         setPlaybackRate(nextScanRate());
3435 }
3436
3437 // The spec says to fire periodic timeupdate events (those sent while playing) every
3438 // "15 to 250ms", we choose the slowest frequency
3439 static const double maxTimeupdateEventFrequency = 0.25;
3440
3441 void HTMLMediaElement::startPlaybackProgressTimer()
3442 {
3443     if (m_playbackProgressTimer.isActive())
3444         return;
3445
3446     m_previousProgressTime = monotonicallyIncreasingTime();
3447     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3448 }
3449
3450 void HTMLMediaElement::playbackProgressTimerFired()
3451 {
3452     ASSERT(m_player);
3453
3454     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3455         m_fragmentEndTime = MediaTime::invalidTime();
3456         if (!m_mediaController && !m_paused) {
3457             // changes paused to true and fires a simple event named pause at the media element.
3458             pauseInternal();
3459         }
3460     }
3461     
3462     scheduleTimeupdateEvent(true);
3463
3464     if (!requestedPlaybackRate())
3465         return;
3466
3467     if (!m_paused && hasMediaControls())
3468         mediaControls()->playbackProgressed();
3469
3470 #if ENABLE(VIDEO_TRACK)
3471     updateActiveTextTrackCues(currentMediaTime());
3472 #endif
3473
3474 #if ENABLE(MEDIA_SOURCE)
3475     if (m_mediaSource)
3476         m_mediaSource->monitorSourceBuffers();
3477 #endif
3478 }
3479
3480 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3481 {
3482     double now = monotonicallyIncreasingTime();
3483     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3484
3485     // throttle the periodic events
3486     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3487         return;
3488
3489     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3490     // event at a given time so filter here
3491     MediaTime movieTime = currentMediaTime();
3492     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3493         scheduleEvent(eventNames().timeupdateEvent);
3494         m_clockTimeAtLastUpdateEvent = now;
3495         m_lastTimeUpdateEventMovieTime = movieTime;
3496     }
3497 }
3498
3499 bool HTMLMediaElement::canPlay() const
3500 {
3501     return paused() || ended() || m_readyState < HAVE_METADATA;
3502 }
3503
3504 double HTMLMediaElement::percentLoaded() const
3505 {
3506     if (!m_player)
3507         return 0;
3508     MediaTime duration = m_player->duration();
3509
3510     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3511         return 0;
3512
3513     MediaTime buffered = MediaTime::zeroTime();
3514     bool ignored;
3515     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3516     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3517         MediaTime start = timeRanges->start(i, ignored);
3518         MediaTime end = timeRanges->end(i, ignored);
3519         buffered += end - start;
3520     }
3521     return buffered.toDouble() / duration.toDouble();
3522 }
3523
3524 #if ENABLE(VIDEO_TRACK)
3525
3526 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(PassRefPtr<AudioTrackPrivate> prpTrack)
3527 {
3528     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3529         pauseInternal();
3530
3531     addAudioTrack(AudioTrack::create(this, prpTrack));
3532 }
3533
3534 void HTMLMediaElement::mediaPlayerDidAddTextTrack(PassRefPtr<InbandTextTrackPrivate> prpTrack)
3535 {
3536     // 4.8.10.12.2 Sourcing in-band text tracks
3537     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3538     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, prpTrack);
3539     textTrack->setMediaElement(this);
3540     
3541     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3542     // as defined by the relevant specification. If there is no label in that data, then the label must
3543     // be set to the empty string.
3544     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3545     // for the format in question.
3546     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3547     // as follows, based on the type of the media resource:
3548     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3549     // cues, and begin updating it dynamically as necessary.
3550     //   - Thess are all done by the media engine.
3551     
3552     // 6. Set the new text track's readiness state to loaded.
3553     textTrack->setReadinessState(TextTrack::Loaded);
3554     
3555     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3556     // the relevant specification for the data.
3557     //  - This will happen in configureTextTracks()
3558     scheduleDelayedAction(ConfigureTextTracks);
3559     
3560     // 8. Add the new text track to the media element's list of text tracks.
3561     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3562     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3563     // textTracks attribute's TextTrackList object.
3564     addTextTrack(textTrack.releaseNonNull());
3565 }
3566
3567 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(PassRefPtr<VideoTrackPrivate> prpTrack)
3568 {
3569     addVideoTrack(VideoTrack::create(this, prpTrack));
3570 }
3571
3572 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(PassRefPtr<AudioTrackPrivate> prpTrack)
3573 {
3574     prpTrack->willBeRemoved();
3575 }
3576
3577 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(PassRefPtr<InbandTextTrackPrivate> prpTrack)
3578 {
3579     prpTrack->willBeRemoved();
3580 }
3581
3582 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(PassRefPtr<VideoTrackPrivate> prpTrack)
3583 {
3584     prpTrack->willBeRemoved();
3585 }
3586
3587 void HTMLMediaElement::closeCaptionTracksChanged()
3588 {
3589     if (hasMediaControls())
3590         mediaControls()->closedCaptionTracksChanged();
3591 }
3592
3593 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3594 {
3595     audioTracks().append(WTFMove(track));
3596 }
3597
3598 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3599 {
3600     if (!m_requireCaptionPreferencesChangedCallbacks) {
3601         m_requireCaptionPreferencesChangedCallbacks = true;
3602         Document& document = this->document();
3603         document.registerForCaptionPreferencesChangedCallbacks(this);
3604         if (Page* page = document.page())
3605             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3606     }
3607
3608     textTracks().append(WTFMove(track));
3609
3610     closeCaptionTracksChanged();
3611 }
3612
3613 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3614 {
3615     videoTracks().append(WTFMove(track));
3616 }
3617
3618 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3619 {
3620     m_audioTracks->remove(track);
3621 }
3622
3623 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3624 {
3625     TrackDisplayUpdateScope scope(this);
3626     if (TextTrackCueList* cues = track.cues())
3627         textTrackRemoveCues(&track, cues);
3628     track.clearClient();
3629     if (m_textTracks)
3630         m_textTracks->remove(track, scheduleEvent);
3631
3632     closeCaptionTracksChanged();
3633 }
3634
3635 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3636 {
3637     m_videoTracks->remove(track);
3638 }
3639
3640 void HTMLMediaElement::forgetResourceSpecificTracks()
3641 {
3642     while (m_audioTracks &&  m_audioTracks->length())
3643         removeAudioTrack(*m_audioTracks->lastItem());
3644
3645     if (m_textTracks) {
3646         TrackDisplayUpdateScope scope(this);
3647         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3648             auto& track = *m_textTracks->item(i);
3649             if (track.trackType() == TextTrack::InBand)
3650                 removeTextTrack(track, false);
3651         }
3652     }
3653
3654     while (m_videoTracks &&  m_videoTracks->length())
3655         removeVideoTrack(*m_videoTracks->lastItem());
3656 }
3657
3658 RefPtr<TextTrack> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language, ExceptionCode& ec)
3659 {
3660     // 4.8.10.12.4 Text track API
3661     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3662
3663     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3664     if (!TextTrack::isValidKindKeyword(kind)) {
3665         ec = TypeError;
3666         return nullptr;
3667     }
3668
3669     // 2. If the label argument was omitted, let label be the empty string.
3670     // 3. If the language argument was omitted, let language be the empty string.
3671     // 4. Create a new TextTrack object.
3672
3673     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3674     // track label to label, its text track language to language...
3675     auto textTrack = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3676
3677     // Note, due to side effects when changing track parameters, we have to
3678     // first append the track to the text track list.
3679
3680     // 6. Add the new text track to the media element's list of text tracks.
3681     addTextTrack(textTrack.copyRef());
3682
3683     // ... its text track readiness state to the text track loaded state ...
3684     textTrack->setReadinessState(TextTrack::Loaded);
3685
3686     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3687     textTrack->setMode(TextTrack::Mode::Hidden);
3688
3689     return WTFMove(textTrack);
3690 }
3691
3692 AudioTrackList& HTMLMediaElement::audioTracks()
3693 {
3694     if (!m_audioTracks)
3695         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3696
3697     return *m_audioTracks;
3698 }
3699
3700 TextTrackList& HTMLMediaElement::textTracks()
3701 {
3702     if (!m_textTracks)
3703         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3704
3705     return *m_textTracks;
3706 }
3707
3708 VideoTrackList& HTMLMediaElement::videoTracks()
3709 {
3710     if (!m_videoTracks)
3711         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3712
3713     return *m_videoTracks;
3714 }
3715
3716 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement* trackElement)
3717 {
3718     ASSERT(trackElement->hasTagName(trackTag));
3719
3720     // 4.8.10.12.3 Sourcing out-of-band text tracks
3721     // When a track element's parent element changes and the new parent is a media element, 
3722     // then the user agent must add the track element's corresponding text track to the 
3723     // media element's list of text tracks ... [continues in TextTrackList::append]
3724     RefPtr<TextTrack> textTrack = trackElement->track();
3725     if (!textTrack)
3726         return;
3727     
3728     addTextTrack(textTrack.releaseNonNull());
3729     
3730     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3731     // in the markup have been added.
3732     if (!m_parsingInProgress)
3733         scheduleDelayedAction(ConfigureTextTracks);
3734
3735     if (hasMediaControls())
3736         mediaControls()->closedCaptionTracksChanged();
3737 }
3738
3739 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement* trackElement)
3740 {
3741     ASSERT(trackElement->hasTagName(trackTag));
3742
3743 #if !LOG_DISABLED
3744     if (trackElement->hasTagName(trackTag)) {
3745         URL url = trackElement->getNonEmptyURLAttribute(srcAttr);
3746         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3747     }
3748 #endif
3749
3750     RefPtr<TextTrack> textTrack = trackElement->track();
3751     if (!textTrack)
3752         return;
3753     
3754     textTrack->setHasBeenConfigured(false);
3755
3756     if (!m_textTracks)
3757         return;
3758     
3759     // 4.8.10.12.3 Sourcing out-of-band text tracks
3760     // When a track element's parent element changes and the old parent was a media element, 
3761     // then the user agent must remove the track element's corresponding text track from the 
3762     // media element's list of text tracks.
3763     removeTextTrack(*textTrack);
3764
3765     size_t index = m_textTracksWhenResourceSelectionBegan.find(textTrack.get());
3766     if (index != notFound)
3767         m_textTracksWhenResourceSelectionBegan.remove(index);
3768 }
3769
3770 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3771 {
3772     ASSERT(group.tracks.size());
3773
3774     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3775
3776     Page* page = document().page();
3777     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3778     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3779
3780     // First, find the track in the group that should be enabled (if any).
3781     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3782     RefPtr<TextTrack> trackToEnable;
3783     RefPtr<TextTrack> defaultTrack;
3784     RefPtr<TextTrack> fallbackTrack;
3785     RefPtr<TextTrack> forcedSubitleTrack;
3786     int highestTrackScore = 0;
3787     int highestForcedScore = 0;
3788
3789     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3790     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3791     int alreadyVisibleTrackScore = 0;
3792     if (group.visibleTrack && captionPreferences) {
3793         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3794         currentlyEnabledTracks.append(group.visibleTrack);
3795     }
3796
3797     for (size_t i = 0; i < group.tracks.size(); ++i) {
3798         RefPtr<TextTrack> textTrack = group.tracks[i];
3799
3800         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3801             currentlyEnabledTracks.append(textTrack);
3802
3803         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3804         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' has score %i", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), trackScore);
3805
3806         if (trackScore) {
3807
3808             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3809             // track with this text track kind, text track language, and text track label enabled, and there is no
3810             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3811             // or captions whose text track mode is showing
3812             // ...
3813             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3814             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3815             // text tracks with a text track kind of chapters whose text track mode is showing
3816             //    Let the text track mode be showing.
3817             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3818                 highestTrackScore = trackScore;
3819                 trackToEnable = textTrack;
3820             }
3821
3822             if (!defaultTrack && textTrack->isDefault())
3823                 defaultTrack = textTrack;
3824             if (!defaultTrack && !fallbackTrack)
3825                 fallbackTrack = textTrack;
3826             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3827                 forcedSubitleTrack = textTrack;
3828                 highestForcedScore = trackScore;
3829             }
3830         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3831             // * If the track element has a default attribute specified, and there is no other text track in the media
3832             // element's list of text tracks whose text track mode is showing or showing by default
3833             //    Let the text track mode be showing by default.
3834             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3835                 defaultTrack = textTrack;
3836         }
3837     }
3838
3839     if (displayMode != CaptionUserPreferences::Manual) {
3840         if (!trackToEnable && defaultTrack)
3841             trackToEnable = defaultTrack;
3842
3843         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3844         // in the same language as the language of the primary audio track, enable it.
3845         if (!trackToEnable && forcedSubitleTrack)
3846             trackToEnable = forcedSubitleTrack;
3847
3848         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3849         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3850             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3851                 trackToEnable = group.visibleTrack;
3852         }
3853
3854         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3855         // because the user has explicitly stated a preference for this kind of track.
3856         if (!trackToEnable && fallbackTrack)
3857             trackToEnable = fallbackTrack;
3858
3859         if (trackToEnable)
3860             m_subtitleTrackLanguage = trackToEnable->language();
3861         else
3862             m_subtitleTrackLanguage = emptyString();
3863     }
3864
3865     if (currentlyEnabledTracks.size()) {
3866         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3867             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3868             if (textTrack != trackToEnable)
3869                 textTrack->setMode(TextTrack::Mode::Disabled);
3870         }
3871     }
3872
3873     if (trackToEnable) {
3874         trackToEnable->setMode(TextTrack::Mode::Showing);
3875
3876         // If user preferences indicate we should always display captions, make sure we reflect the
3877         // proper status via the webkitClosedCaptionsVisible API call:
3878         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3879             m_webkitLegacyClosedCaptionOverride = true;
3880     }
3881
3882     m_processingPreferenceChange = false;
3883 }
3884
3885 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3886 {
3887     JSC::VM& vm = globalObject.vm();
3888     auto scope = DECLARE_THROW_SCOPE(vm);
3889     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3890     
3891     // Retrieve the controller through the JS object graph
3892     JSC::JSObject* mediaJSWrapperObject = JSC::jsDynamicCast<JSC::JSObject*>(mediaJSWrapper);
3893     if (!mediaJSWrapperObject)
3894         return JSC::jsNull();
3895     
3896     JSC::Identifier controlsHost = JSC::Identifier::fromString(&vm, "controlsHost");
3897     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3898     RETURN_IF_EXCEPTION(scope, JSC::JSValue());
3899
3900     JSC::JSObject* controlsHostJSWrapperObject = JSC::jsDynamicCast<JSC::JSObject*>(controlsHostJSWrapper);
3901     if (!controlsHostJSWrapperObject)
3902         return JSC::jsNull();
3903
3904     JSC::Identifier controllerID = JSC::Identifier::fromString(&vm, "controller");
3905     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3906     RETURN_IF_EXCEPTION(scope, JSC::JSValue());
3907
3908     return controllerJSWrapper;
3909 }
3910
3911 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3912 {
3913     ASSERT(!m_creatingControls);
3914     m_creatingControls = true;
3915     ensureUserAgentShadowRoot();
3916     m_creatingControls = false;
3917 }
3918
3919 void HTMLMediaElement::updateCaptionContainer()
3920 {
3921     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3922 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3923     if (m_haveSetUpCaptionContainer)
3924         return;
3925
3926     Page* page = document().page();
3927     if (!page)
3928         return;
3929
3930     DOMWrapperWorld& world = ensureIsolatedWorld();
3931
3932     if (!ensureMediaControlsInjectedScript())
3933         return;
3934
3935     ensureMediaControlsShadowRoot();
3936
3937     if (!m_mediaControlsHost)
3938         m_mediaControlsHost = MediaControlsHost::create(this);
3939
3940     ScriptController& scriptController = document().frame()->script();
3941     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3942     JSC::VM& vm = globalObject->vm();
3943     JSC::JSLockHolder lock(vm);
3944     auto scope = DECLARE_CATCH_SCOPE(vm);
3945     JSC::ExecState* exec = globalObject->globalExec();
3946
3947     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3948     JSC::JSObject* controllerObject = JSC::jsDynamicCast<JSC::JSObject*>(controllerValue);
3949     if (!controllerObject)
3950         return;
3951
3952     // The media controls script must provide a method on the Controller object with the following details.
3953     // Name: updateCaptionContainer
3954     // Parameters:
3955     //     None
3956     // Return value:
3957     //     None
3958     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3959     JSC::JSObject* methodObject = JSC::jsDynamicCast<JSC::JSObject*>(methodValue);
3960     if (!methodObject)
3961         return;
3962
3963     JSC::CallData callData;
3964     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3965     if (callType == JSC::CallType::None)
3966         return;
3967
3968     JSC::MarkedArgumentBuffer noArguments;
3969     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3970     scope.clearException();
3971
3972     m_haveSetUpCaptionContainer = true;
3973 #endif
3974 }
3975
3976 void HTMLMediaElement::layoutSizeChanged()
3977 {
3978 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3979     auto task = [this, protectedThis = makeRef(*this)] {
3980         if (ShadowRoot* root = userAgentShadowRoot())
3981             root->dispatchEvent(Event::create("resize", false, false));
3982     };
3983     m_resizeTaskQueue.enqueueTask(WTFMove(task));
3984 #endif
3985
3986     if (!m_receivedLayoutSizeChanged) {
3987         m_receivedLayoutSizeChanged = true;
3988         scheduleUpdatePlaybackControlsManager();
3989     }
3990
3991     // If the video is a candidate for main content, we should register it for viewport visibility callbacks
3992     // if it hasn't already been registered.
3993     if (renderer() && m_mediaSession && !m_mediaSession->wantsToObserveViewportVisibilityForAutoplay() && m_mediaSession->wantsToObserveViewportVisibilityForMediaControls())
3994         renderer()->registerForVisibleInViewportCallback();
3995 }
3996
3997 void HTMLMediaElement::visibilityDidChange()
3998 {
3999     updateShouldAutoplay();
4000 }
4001
4002 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
4003 {
4004     TextTrackList& trackList = textTracks();
4005     if (!trackList.length())
4006         return;
4007
4008     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
4009         if (!trackToSelect || !trackList.contains(*trackToSelect))
4010             return;
4011         
4012         for (int i = 0, length = trackList.length(); i < length; ++i) {
4013             auto& track = *trackList.item(i);
4014             if (&track != trackToSelect)
4015                 track.setMode(TextTrack::Mode::Disabled);
4016             else
4017                 track.setMode(TextTrack::Mode::Showing);
4018         }
4019     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
4020         for (int i = 0, length = trackList.length(); i < length; ++i)
4021             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
4022     }
4023
4024     if (!document().page())
4025         return;
4026
4027     auto& captionPreferences = document().page()->group().captionPreferences();
4028     CaptionUserPreferences::CaptionDisplayMode displayMode;
4029     if (trackToSelect == TextTrack::captionMenuOffItem())
4030         displayMode = CaptionUserPreferences::ForcedOnly;
4031     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
4032         displayMode = CaptionUserPreferences::Automatic;
4033     else {
4034         displayMode = CaptionUserPreferences::AlwaysOn;
4035         if (trackToSelect->language().length())
4036             captionPreferences.setPreferredLanguage(trackToSelect->language());
4037     }
4038
4039     captionPreferences.setCaptionDisplayMode(displayMode);
4040 }
4041
4042 void HTMLMediaElement::configureTextTracks()
4043 {
4044     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
4045     TrackGroup descriptionTracks(TrackGroup::Description);
4046     TrackGroup chapterTracks(TrackGroup::Chapter);
4047     TrackGroup metadataTracks(TrackGroup::Metadata);
4048     TrackGroup otherTracks(TrackGroup::Other);
4049
4050     if (!m_textTracks)
4051         return;
4052
4053     for (size_t i = 0; i < m_textTracks->length(); ++i) {
4054         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
4055         if (!textTrack)
4056             continue;
4057
4058         auto kind = textTrack->kind();
4059         TrackGroup* currentGroup;
4060         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
4061             currentGroup = &captionAndSubtitleTracks;
4062         else if (kind == TextTrack::Kind::Descriptions)
4063             currentGroup = &descriptionTracks;
4064         else if (kind == TextTrack::Kind::Chapters)
4065             currentGroup = &chapterTracks;
4066         else if (kind == TextTrack::Kind::Metadata)
4067             currentGroup = &metadataTracks;
4068         else
4069             currentGroup = &otherTracks;
4070
4071         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4072             currentGroup->visibleTrack = textTrack;
4073         if (!currentGroup->defaultTrack && textTrack->isDefault())
4074             currentGroup->defaultTrack = textTrack;
4075
4076         // Do not add this track to the group if it has already been automatically configured
4077         // as we only want to call configureTextTrack once per track so that adding another 
4078         // track after the initial configuration doesn't reconfigure every track - only those 
4079         // that should be changed by the new addition. For example all metadata tracks are 
4080         // disabled by default, and we don't want a track that has been enabled by&nbs