[Modern Media Controls] Implement the pageScaleFactor property
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27
28 #if ENABLE(VIDEO)
29
30 #include "HTMLMediaElement.h"
31
32 #include "ApplicationCacheHost.h"
33 #include "ApplicationCacheResource.h"
34 #include "Attribute.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSValueKeywords.h"
37 #include "ChromeClient.h"
38 #include "ClientRect.h"
39 #include "ClientRectList.h"
40 #include "ContentSecurityPolicy.h"
41 #include "ContentType.h"
42 #include "CookieJar.h"
43 #include "DiagnosticLoggingClient.h"
44 #include "DiagnosticLoggingKeys.h"
45 #include "DisplaySleepDisabler.h"
46 #include "Document.h"
47 #include "DocumentLoader.h"
48 #include "ElementIterator.h"
49 #include "EventNames.h"
50 #include "FrameLoader.h"
51 #include "FrameLoaderClient.h"
52 #include "FrameView.h"
53 #include "HTMLParserIdioms.h"
54 #include "HTMLSourceElement.h"
55 #include "HTMLVideoElement.h"
56 #include "JSDOMError.h"
57 #include "JSDOMPromise.h"
58 #include "JSHTMLMediaElement.h"
59 #include "Language.h"
60 #include "Logging.h"
61 #include "MIMETypeRegistry.h"
62 #include "MainFrame.h"
63 #include "MediaController.h"
64 #include "MediaControls.h"
65 #include "MediaDocument.h"
66 #include "MediaError.h"
67 #include "MediaFragmentURIParser.h"
68 #include "MediaList.h"
69 #include "MediaPlayer.h"
70 #include "MediaQueryEvaluator.h"
71 #include "MediaResourceLoader.h"
72 #include "MemoryPressureHandler.h"
73 #include "NetworkingContext.h"
74 #include "NoEventDispatchAssertion.h"
75 #include "Page.h"
76 #include "PageGroup.h"
77 #include "PlatformMediaSessionManager.h"
78 #include "ProgressTracker.h"
79 #include "RenderLayerCompositor.h"
80 #include "RenderVideo.h"
81 #include "RenderView.h"
82 #include "ResourceLoadInfo.h"
83 #include "ScriptController.h"
84 #include "ScriptSourceCode.h"
85 #include "SecurityOriginData.h"
86 #include "SecurityPolicy.h"
87 #include "SessionID.h"
88 #include "Settings.h"
89 #include "ShadowRoot.h"
90 #include "TimeRanges.h"
91 #include "UserContentController.h"
92 #include "UserGestureIndicator.h"
93 #include <limits>
94 #include <runtime/Uint8Array.h>
95 #include <wtf/CurrentTime.h>
96 #include <wtf/MathExtras.h>
97 #include <wtf/Ref.h>
98 #include <wtf/text/CString.h>
99
100 #if ENABLE(VIDEO_TRACK)
101 #include "AudioTrackList.h"
102 #include "HTMLTrackElement.h"
103 #include "InbandGenericTextTrack.h"
104 #include "InbandTextTrackPrivate.h"
105 #include "InbandWebVTTTextTrack.h"
106 #include "RuntimeEnabledFeatures.h"
107 #include "TextTrackCueList.h"
108 #include "TextTrackList.h"
109 #include "VideoTrackList.h"
110 #endif
111
112 #if ENABLE(WEB_AUDIO)
113 #include "AudioSourceProvider.h"
114 #include "MediaElementAudioSourceNode.h"
115 #endif
116
117 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
118 #include "WebVideoFullscreenInterface.h"
119 #endif
120
121 #if PLATFORM(IOS)
122 #include "RuntimeApplicationChecks.h"
123 #include "WebVideoFullscreenInterfaceAVKit.h"
124 #endif
125
126 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
127 #include "WebKitPlaybackTargetAvailabilityEvent.h"
128 #endif
129
130 #if ENABLE(MEDIA_SESSION)
131 #include "MediaSession.h"
132 #endif
133
134 #if ENABLE(MEDIA_SOURCE)
135 #include "DOMWindow.h"
136 #include "MediaSource.h"
137 #include "Performance.h"
138 #include "VideoPlaybackQuality.h"
139 #endif
140
141 #if ENABLE(MEDIA_STREAM)
142 #include "DOMURL.h"
143 #include "MediaStream.h"
144 #include "MediaStreamRegistry.h"
145 #endif
146
147 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
148 #include "WebKitMediaKeyNeededEvent.h"
149 #include "WebKitMediaKeys.h"
150 #endif
151
152 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
153 #include "JSMediaControlsHost.h"
154 #include "MediaControlsHost.h"
155 #include <bindings/ScriptObject.h>
156 #endif
157
158 namespace WebCore {
159
160 static const double SeekRepeatDelay = 0.1;
161 static const double SeekTime = 0.2;
162 static const double ScanRepeatDelay = 1.5;
163 static const double ScanMaximumRate = 8;
164
165 static const double HideMediaControlsAfterEndedDelay = 6;
166
167 static void setFlags(unsigned& value, unsigned flags)
168 {
169     value |= flags;
170 }
171
172 static void clearFlags(unsigned& value, unsigned flags)
173 {
174     value &= ~flags;
175 }
176     
177 #if !LOG_DISABLED
178 static String urlForLoggingMedia(const URL& url)
179 {
180     static const unsigned maximumURLLengthForLogging = 128;
181
182     if (url.string().length() < maximumURLLengthForLogging)
183         return url.string();
184     return url.string().substring(0, maximumURLLengthForLogging) + "...";
185 }
186
187 static const char* boolString(bool val)
188 {
189     return val ? "true" : "false";
190 }
191
192 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
193 {
194     StringBuilder actionBuilder;
195
196 #define ACTION(_actionType) \
197     if (action & (HTMLMediaElementEnums::_actionType)) { \
198         if (!actionBuilder.isEmpty()) \
199         actionBuilder.appendLiteral(", "); \
200         actionBuilder.append(#_actionType); \
201     } \
202
203     ACTION(LoadMediaResource);
204     ACTION(ConfigureTextTracks);
205     ACTION(TextTrackChangesNotification);
206     ACTION(ConfigureTextTrackDisplay);
207     ACTION(CheckPlaybackTargetCompatablity);
208     ACTION(CheckMediaState);
209     ACTION(MediaEngineUpdated);
210
211     return actionBuilder.toString();
212
213 #undef ACTION
214 }
215
216 #endif
217
218 #ifndef LOG_MEDIA_EVENTS
219 // Default to not logging events because so many are generated they can overwhelm the rest of 
220 // the logging.
221 #define LOG_MEDIA_EVENTS 0
222 #endif
223
224 #ifndef LOG_CACHED_TIME_WARNINGS
225 // Default to not logging warnings about excessive drift in the cached media time because it adds a
226 // fair amount of overhead and logging.
227 #define LOG_CACHED_TIME_WARNINGS 0
228 #endif
229
230 #if ENABLE(MEDIA_SOURCE)
231 // URL protocol used to signal that the media source API is being used.
232 static const char* mediaSourceBlobProtocol = "blob";
233 #endif
234
235 #if ENABLE(MEDIA_STREAM)
236 // URL protocol used to signal that the media stream API is being used.
237 static const char* mediaStreamBlobProtocol = "blob";
238 #endif
239
240 using namespace HTMLNames;
241
242 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
243 static DocumentElementSetMap& documentToElementSetMap()
244 {
245     static NeverDestroyed<DocumentElementSetMap> map;
246     return map;
247 }
248
249 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
250 {
251     DocumentElementSetMap& map = documentToElementSetMap();
252     HashSet<HTMLMediaElement*> set = map.take(&document);
253     set.add(&element);
254     map.add(&document, set);
255 }
256
257 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
258 {
259     DocumentElementSetMap& map = documentToElementSetMap();
260     HashSet<HTMLMediaElement*> set = map.take(&document);
261     set.remove(&element);
262     if (!set.isEmpty())
263         map.add(&document, set);
264 }
265
266 #if ENABLE(VIDEO_TRACK)
267 class TrackDisplayUpdateScope {
268 public:
269     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
270     {
271         m_mediaElement = mediaElement;
272         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
273     }
274     ~TrackDisplayUpdateScope()
275     {
276         ASSERT(m_mediaElement);
277         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
278     }
279     
280 private:
281     HTMLMediaElement* m_mediaElement;
282 };
283 #endif
284
285 struct HTMLMediaElement::TrackGroup {
286     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
287
288     TrackGroup(GroupKind kind)
289         : kind(kind)
290     {
291     }
292
293     Vector<RefPtr<TextTrack>> tracks;
294     RefPtr<TextTrack> visibleTrack;
295     RefPtr<TextTrack> defaultTrack;
296     GroupKind kind;
297     bool hasSrcLang { false };
298 };
299
300 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
301 {
302     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
303     return elements;
304 }
305
306 #if ENABLE(MEDIA_SESSION)
307 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
308
309 static IDToElementMap& elementIDsToElements()
310 {
311     static NeverDestroyed<IDToElementMap> map;
312     return map;
313 }
314
315 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
316 {
317     if (id == HTMLMediaElementInvalidID)
318         return nullptr;
319     
320     return elementIDsToElements().get(id);
321 }
322
323 static uint64_t nextElementID()
324 {
325     static uint64_t elementID = 0;
326     return ++elementID;
327 }
328 #endif
329
330 struct MediaElementSessionInfo {
331     const MediaElementSession* session;
332     MediaElementSession::PlaybackControlsPurpose purpose;
333
334     double timeOfLastUserInteraction;
335     bool canShowControlsManager : 1;
336     bool isVisibleInViewportOrFullscreen : 1;
337     bool isLargeEnoughForMainContent : 1;
338     bool isPlayingAudio : 1;
339 };
340
341 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
342 {
343     const HTMLMediaElement& element = session.element();
344     return {
345         &session,
346         purpose,
347         session.mostRecentUserInteractionTime(),
348         session.canShowControlsManager(purpose),
349         element.isFullscreen() || element.isVisibleInViewport(),
350         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
351         element.isPlaying() && element.hasAudio() && !element.muted()
352     };
353 }
354
355 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
356 {
357     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
358     ASSERT(purpose == otherSession.purpose);
359
360     // For the controls manager, prioritize visible media over offscreen media.
361     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
362         return session.isVisibleInViewportOrFullscreen;
363
364     // For Now Playing, prioritize elements that would normally satisfy main content.
365     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
366         return session.isLargeEnoughForMainContent;
367
368     // As a tiebreaker, prioritize elements that the user recently interacted with.
369     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
370 }
371
372 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
373 {
374     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
375         return session.isPlayingAudio;
376
377     if (!session.isVisibleInViewportOrFullscreen)
378         return false;
379
380     if (!session.isLargeEnoughForMainContent)
381         return false;
382
383     // Even if this video is not a candidate, if it is visible to the user and large enough
384     // to be main content, it poses a risk for being confused with main content.
385     return true;
386 }
387
388 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
389     : HTMLElement(tagName, document)
390     , ActiveDOMObject(&document)
391     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
392     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
393     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
394     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
395     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
396     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
397     , m_asyncEventQueue(*this)
398     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
399     , m_firstTimePlaying(true)
400     , m_playing(false)
401     , m_isWaitingUntilMediaCanStart(false)
402     , m_shouldDelayLoadEvent(false)
403     , m_haveFiredLoadedData(false)
404     , m_inActiveDocument(true)
405     , m_autoplaying(true)
406     , m_muted(false)
407     , m_explicitlyMuted(false)
408     , m_initiallyMuted(false)
409     , m_paused(true)
410     , m_seeking(false)
411     , m_sentStalledEvent(false)
412     , m_sentEndEvent(false)
413     , m_pausedInternal(false)
414     , m_sendProgressEvents(true)
415     , m_closedCaptionsVisible(false)
416     , m_webkitLegacyClosedCaptionOverride(false)
417     , m_completelyLoaded(false)
418     , m_havePreparedToPlay(false)
419     , m_parsingInProgress(createdByParser)
420     , m_elementIsHidden(document.hidden())
421     , m_creatingControls(false)
422     , m_receivedLayoutSizeChanged(false)
423     , m_hasEverNotifiedAboutPlaying(false)
424     , m_hasEverHadAudio(false)
425     , m_hasEverHadVideo(false)
426 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
427     , m_mediaControlsDependOnPageScaleFactor(false)
428     , m_haveSetUpCaptionContainer(false)
429 #endif
430     , m_isScrubbingRemotely(false)
431 #if ENABLE(VIDEO_TRACK)
432     , m_tracksAreReady(true)
433     , m_haveVisibleTextTrack(false)
434     , m_processingPreferenceChange(false)
435 #endif
436     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
437 {
438     allMediaElements().add(this);
439
440     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
441     setHasCustomStyleResolveCallbacks();
442
443     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
444     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
445 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
446     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
447 #endif
448     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
449     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
450
451     Settings* settings = document.settings();
452 #if PLATFORM(IOS)
453     m_sendProgressEvents = false;
454 #endif
455
456     if (settings && settings->invisibleAutoplayNotPermitted())
457         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
458
459     if (document.ownerElement() || !document.isMediaDocument()) {
460         if (settings && settings->videoPlaybackRequiresUserGesture()) {
461             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
462             if (settings->requiresUserGestureToLoadVideo())
463                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
464         }
465
466         if (settings && settings->audioPlaybackRequiresUserGesture())
467             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
468
469 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
470         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
471             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
472 #endif
473
474         if (!settings || !settings->mediaDataLoadsAutomatically())
475             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
476
477         if (settings && settings->mainContentUserGestureOverrideEnabled())
478             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
479     }
480
481 #if PLATFORM(IOS)
482     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
483         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
484         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
485     }
486 #endif
487
488 #if ENABLE(VIDEO_TRACK)
489     if (document.page())
490         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
491 #endif
492
493 #if ENABLE(MEDIA_SESSION)
494     m_elementID = nextElementID();
495     elementIDsToElements().add(m_elementID, this);
496
497     setSessionInternal(document.defaultMediaSession());
498 #endif
499
500     registerWithDocument(document);
501 }
502
503 HTMLMediaElement::~HTMLMediaElement()
504 {
505     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
506
507     beginIgnoringTrackDisplayUpdateRequests();
508     allMediaElements().remove(this);
509
510     m_asyncEventQueue.close();
511
512     setShouldDelayLoadEvent(false);
513     unregisterWithDocument(document());
514
515 #if ENABLE(VIDEO_TRACK)
516     if (m_audioTracks)
517         m_audioTracks->clearElement();
518     if (m_textTracks)
519         m_textTracks->clearElement();
520     if (m_videoTracks)
521         m_videoTracks->clearElement();
522 #endif
523
524 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
525     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
526         m_hasPlaybackTargetAvailabilityListeners = false;
527         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
528         updateMediaState();
529     }
530 #endif
531
532     if (m_mediaController) {
533         m_mediaController->removeMediaElement(*this);
534         m_mediaController = nullptr;
535     }
536
537 #if ENABLE(MEDIA_SOURCE)
538     detachMediaSource();
539 #endif
540
541 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
542     webkitSetMediaKeys(nullptr);
543 #endif
544
545 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
546     if (m_isolatedWorld)
547         m_isolatedWorld->clearWrappers();
548 #endif
549
550 #if ENABLE(MEDIA_SESSION)
551     if (m_session) {
552         m_session->removeMediaElement(*this);
553         m_session = nullptr;
554     }
555
556     elementIDsToElements().remove(m_elementID);
557 #endif
558
559     m_seekTaskQueue.close();
560     m_promiseTaskQueue.close();
561     m_pauseAfterDetachedTaskQueue.close();
562     m_updatePlaybackControlsManagerQueue.close();
563     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
564
565     m_completelyLoaded = true;
566
567     m_player = nullptr;
568     updatePlaybackControlsManager();
569 }
570
571 static bool needsPlaybackControlsManagerQuirk(Page& page)
572 {
573     if (!page.settings().needsSiteSpecificQuirks())
574         return false;
575
576     String host = page.mainFrame().document()->url().host();
577     return equalLettersIgnoringASCIICase(host, "netflix.com") || host.endsWithIgnoringASCIICase(".netflix.com");
578 }
579
580 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
581 {
582     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
583         return is<MediaElementSession>(session);
584     });
585
586     Vector<MediaElementSessionInfo> candidateSessions;
587     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
588     for (auto& session : allSessions) {
589         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
590         if (mediaElementSessionInfo.canShowControlsManager)
591             candidateSessions.append(mediaElementSessionInfo);
592         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
593             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
594     }
595
596     if (!candidateSessions.size())
597         return nullptr;
598
599     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
600     auto strongestSessionCandidate = candidateSessions.first();
601     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
602         return nullptr;
603
604     HTMLMediaElement* strongestElementCandidate = &strongestSessionCandidate.session->element();
605     if (strongestElementCandidate) {
606         if (Page* page = strongestElementCandidate->document().page()) {
607             if (needsPlaybackControlsManagerQuirk(*page))
608                 return nullptr;
609         }
610     }
611
612     return strongestElementCandidate;
613 }
614
615 void HTMLMediaElement::registerWithDocument(Document& document)
616 {
617     m_mediaSession->registerWithDocument(document);
618
619     if (m_isWaitingUntilMediaCanStart)
620         document.addMediaCanStartListener(this);
621
622 #if !PLATFORM(IOS)
623     document.registerForMediaVolumeCallbacks(this);
624     document.registerForPrivateBrowsingStateChangedCallbacks(this);
625 #endif
626
627     document.registerForVisibilityStateChangedCallbacks(this);
628
629 #if ENABLE(VIDEO_TRACK)
630     if (m_requireCaptionPreferencesChangedCallbacks)
631         document.registerForCaptionPreferencesChangedCallbacks(this);
632 #endif
633
634 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
635     if (m_mediaControlsDependOnPageScaleFactor)
636         document.registerForPageScaleFactorChangedCallbacks(this);
637     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
638 #endif
639
640 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
641     document.registerForDocumentSuspensionCallbacks(this);
642 #endif
643
644     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
645
646     document.addAudioProducer(this);
647     addElementToDocumentMap(*this, document);
648 }
649
650 void HTMLMediaElement::unregisterWithDocument(Document& document)
651 {
652     m_mediaSession->unregisterWithDocument(document);
653
654     if (m_isWaitingUntilMediaCanStart)
655         document.removeMediaCanStartListener(this);
656
657 #if !PLATFORM(IOS)
658     document.unregisterForMediaVolumeCallbacks(this);
659     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
660 #endif
661
662     document.unregisterForVisibilityStateChangedCallbacks(this);
663
664 #if ENABLE(VIDEO_TRACK)
665     if (m_requireCaptionPreferencesChangedCallbacks)
666         document.unregisterForCaptionPreferencesChangedCallbacks(this);
667 #endif
668
669 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
670     if (m_mediaControlsDependOnPageScaleFactor)
671         document.unregisterForPageScaleFactorChangedCallbacks(this);
672     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
673 #endif
674
675 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
676     document.unregisterForDocumentSuspensionCallbacks(this);
677 #endif
678
679     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
680
681     document.removeAudioProducer(this);
682     removeElementFromDocumentMap(*this, document);
683 }
684
685 void HTMLMediaElement::didMoveToNewDocument(Document& oldDocument)
686 {
687     if (m_shouldDelayLoadEvent) {
688         oldDocument.decrementLoadEventDelayCount();
689         document().incrementLoadEventDelayCount();
690     }
691
692     unregisterWithDocument(oldDocument);
693
694     registerWithDocument(document());
695
696     HTMLElement::didMoveToNewDocument(oldDocument);
697     updateShouldAutoplay();
698 }
699
700 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
701 void HTMLMediaElement::prepareForDocumentSuspension()
702 {
703     m_mediaSession->unregisterWithDocument(document());
704 }
705
706 void HTMLMediaElement::resumeFromDocumentSuspension()
707 {
708     m_mediaSession->registerWithDocument(document());
709     updateShouldAutoplay();
710 }
711 #endif
712
713 bool HTMLMediaElement::supportsFocus() const
714 {
715     if (document().isMediaDocument())
716         return false;
717
718     // If no controls specified, we should still be able to focus the element if it has tabIndex.
719     return controls() ||  HTMLElement::supportsFocus();
720 }
721
722 bool HTMLMediaElement::isMouseFocusable() const
723 {
724     return false;
725 }
726
727 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
728 {
729     if (name == srcAttr) {
730 #if PLATFORM(IOS)
731         // Note, unless the restriction on requiring user action has been removed,
732         // do not begin downloading data on iOS.
733         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
734 #else
735         // Trigger a reload, as long as the 'src' attribute is present.
736         if (!value.isNull())
737 #endif
738         {
739             clearMediaPlayer(LoadMediaResource);
740             scheduleDelayedAction(LoadMediaResource);
741         }
742     } else if (name == controlsAttr)
743         configureMediaControls();
744     else if (name == loopAttr)
745         updateSleepDisabling();
746     else if (name == preloadAttr) {
747         if (equalLettersIgnoringASCIICase(value, "none"))
748             m_preload = MediaPlayer::None;
749         else if (equalLettersIgnoringASCIICase(value, "metadata"))
750             m_preload = MediaPlayer::MetaData;
751         else {
752             // The spec does not define an "invalid value default" but "auto" is suggested as the
753             // "missing value default", so use it for everything except "none" and "metadata"
754             m_preload = MediaPlayer::Auto;
755         }
756
757         // The attribute must be ignored if the autoplay attribute is present
758         if (!autoplay() && m_player)
759             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
760
761     } else if (name == mediagroupAttr)
762         setMediaGroup(value);
763     else
764         HTMLElement::parseAttribute(name, value);
765 }
766
767 void HTMLMediaElement::finishParsingChildren()
768 {
769     HTMLElement::finishParsingChildren();
770     m_parsingInProgress = false;
771     
772 #if ENABLE(VIDEO_TRACK)
773     if (descendantsOfType<HTMLTrackElement>(*this).first())
774         scheduleDelayedAction(ConfigureTextTracks);
775 #endif
776 }
777
778 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
779 {
780     return controls() && HTMLElement::rendererIsNeeded(style);
781 }
782
783 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
784 {
785     return createRenderer<RenderMedia>(*this, WTFMove(style));
786 }
787
788 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
789 {
790 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
791     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
792 #else
793     if (!hasMediaControls())
794         return false;
795     // <media> doesn't allow its content, including shadow subtree, to
796     // be rendered. So this should return false for most of the children.
797     // One exception is a shadow tree built for rendering controls which should be visible.
798     // So we let them go here by comparing its subtree root with one of the controls.
799     return &mediaControls()->treeScope() == &child.treeScope()
800         && hasShadowRootParent(child)
801         && HTMLElement::childShouldCreateRenderer(child);
802 #endif
803 }
804
805 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
806 {
807     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
808
809     HTMLElement::insertedInto(insertionPoint);
810     if (insertionPoint.inDocument()) {
811         m_inActiveDocument = true;
812
813 #if PLATFORM(IOS)
814         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
815 #else
816         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
817 #endif
818             scheduleDelayedAction(LoadMediaResource);
819     }
820
821     if (!m_explicitlyMuted) {
822         m_explicitlyMuted = true;
823         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
824     }
825
826     return InsertionShouldCallFinishedInsertingSubtree;
827 }
828
829 void HTMLMediaElement::finishedInsertingSubtree()
830 {
831     configureMediaControls();
832 }
833
834 void HTMLMediaElement::pauseAfterDetachedTask()
835 {
836     // If we were re-inserted into an active document, no need to pause.
837     if (m_inActiveDocument)
838         return;
839
840     if (hasMediaControls())
841         mediaControls()->hide();
842     if (m_networkState > NETWORK_EMPTY)
843         pause();
844     if (m_videoFullscreenMode != VideoFullscreenModeNone)
845         exitFullscreen();
846
847     if (!m_player)
848         return;
849
850     size_t extraMemoryCost = m_player->extraMemoryCost();
851     if (extraMemoryCost > m_reportedExtraMemoryCost) {
852         JSC::VM& vm = JSDOMWindowBase::commonVM();
853         JSC::JSLockHolder lock(vm);
854
855         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
856         m_reportedExtraMemoryCost = extraMemoryCost;
857         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
858         // https://bugs.webkit.org/show_bug.cgi?id=142595
859         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
860     }
861 }
862
863 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
864 {
865     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
866
867     m_inActiveDocument = false;
868     if (insertionPoint.inDocument()) {
869         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
870         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
871     }
872
873     HTMLElement::removedFrom(insertionPoint);
874 }
875
876 void HTMLMediaElement::willAttachRenderers()
877 {
878     ASSERT(!renderer());
879 }
880
881 inline void HTMLMediaElement::updateRenderer()
882 {
883     if (auto* renderer = this->renderer())
884         renderer->updateFromElement();
885 }
886
887 void HTMLMediaElement::didAttachRenderers()
888 {
889     if (auto* renderer = this->renderer()) {
890         renderer->updateFromElement();
891         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
892             renderer->registerForVisibleInViewportCallback();
893     }
894     updateShouldAutoplay();
895 }
896
897 void HTMLMediaElement::willDetachRenderers()
898 {
899     if (auto* renderer = this->renderer())
900         renderer->unregisterForVisibleInViewportCallback();
901 }
902
903 void HTMLMediaElement::didDetachRenderers()
904 {
905     updateShouldAutoplay();
906 }
907
908 void HTMLMediaElement::didRecalcStyle(Style::Change)
909 {
910     updateRenderer();
911 }
912
913 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
914 {
915     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
916
917     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
918         prepareForLoad();
919         setFlags(m_pendingActionFlags, LoadMediaResource);
920     }
921
922 #if ENABLE(VIDEO_TRACK)
923     if (actionType & ConfigureTextTracks)
924         setFlags(m_pendingActionFlags, ConfigureTextTracks);
925 #endif
926
927 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
928     if (actionType & CheckPlaybackTargetCompatablity)
929         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
930 #endif
931
932     if (actionType & CheckMediaState)
933         setFlags(m_pendingActionFlags, CheckMediaState);
934
935     if (actionType & MediaEngineUpdated)
936         setFlags(m_pendingActionFlags, MediaEngineUpdated);
937
938     if (actionType & UpdatePlayState)
939         setFlags(m_pendingActionFlags, UpdatePlayState);
940
941     m_pendingActionTimer.startOneShot(0);
942 }
943
944 void HTMLMediaElement::scheduleNextSourceChild()
945 {
946     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
947     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
948     setFlags(m_pendingActionFlags, LoadMediaResource);
949     m_pendingActionTimer.startOneShot(0);
950 }
951
952 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
953 {
954     m_hasEverHadAudio |= hasAudio();
955     m_hasEverHadVideo |= hasVideo();
956 }
957
958 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
959 {
960 #if LOG_MEDIA_EVENTS
961     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
962 #endif
963     RefPtr<Event> event = Event::create(eventName, false, true);
964     
965     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
966     // will trigger an ASSERT if this element has been marked for deletion.
967
968     m_asyncEventQueue.enqueueEvent(WTFMove(event));
969 }
970
971 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
972 {
973     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
974 }
975
976 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
977 {
978     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
979
980     for (auto& promise : pendingPlayPromises)
981         promise.rejectType<IDLInterface<DOMError>>(error);
982 }
983
984 void HTMLMediaElement::resolvePendingPlayPromises()
985 {
986     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
987
988     for (auto& promise : pendingPlayPromises)
989         promise.resolve();
990 }
991
992 void HTMLMediaElement::scheduleNotifyAboutPlaying()
993 {
994     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
995 }
996
997 void HTMLMediaElement::notifyAboutPlaying()
998 {
999     m_playbackStartedTime = currentMediaTime().toDouble();
1000     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
1001     resolvePendingPlayPromises();
1002
1003     m_hasEverNotifiedAboutPlaying = true;
1004     scheduleUpdatePlaybackControlsManager();
1005 }
1006
1007 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
1008 {
1009     return m_hasEverNotifiedAboutPlaying;
1010 }
1011
1012 void HTMLMediaElement::pendingActionTimerFired()
1013 {
1014     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
1015     PendingActionFlags pendingActions = m_pendingActionFlags;
1016     m_pendingActionFlags = 0;
1017
1018 #if ENABLE(VIDEO_TRACK)
1019     if (pendingActions & ConfigureTextTracks)
1020         configureTextTracks();
1021 #endif
1022
1023     if (pendingActions & LoadMediaResource) {
1024         if (m_loadState == LoadingFromSourceElement)
1025             loadNextSourceChild();
1026         else
1027             loadInternal();
1028     }
1029
1030 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1031     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1032         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1033         m_failedToPlayToWirelessTarget = true;
1034         m_player->setShouldPlayToPlaybackTarget(false);
1035     }
1036
1037     if (pendingActions & CheckMediaState)
1038         updateMediaState();
1039 #endif
1040
1041     if (pendingActions & MediaEngineUpdated)
1042         mediaEngineWasUpdated();
1043
1044     if (pendingActions & UpdatePlayState)
1045         updatePlayState();
1046 }
1047
1048 MediaError* HTMLMediaElement::error() const
1049 {
1050     return m_error.get();
1051 }
1052
1053 void HTMLMediaElement::setSrc(const String& url)
1054 {
1055     setAttributeWithoutSynchronization(srcAttr, url);
1056 }
1057
1058 #if ENABLE(MEDIA_STREAM)
1059 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1060 {
1061     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1062     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1063     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1064     // the UA must re-run the media element load algorithm.
1065     //
1066     // https://bugs.webkit.org/show_bug.cgi?id=124896
1067
1068     m_mediaStreamSrcObject = mediaStream;
1069     if (mediaStream) {
1070         m_settingMediaStreamSrcObject = true;
1071         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1072         m_settingMediaStreamSrcObject = false;
1073     }
1074 }
1075 #endif
1076
1077 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1078 {
1079     setAttributeWithoutSynchronization(crossoriginAttr, value);
1080 }
1081
1082 String HTMLMediaElement::crossOrigin() const
1083 {
1084     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1085 }
1086
1087 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1088 {
1089     return m_networkState;
1090 }
1091
1092 String HTMLMediaElement::canPlayType(const String& mimeType) const
1093 {
1094     MediaEngineSupportParameters parameters;
1095     ContentType contentType(mimeType);
1096     parameters.type = contentType.type().convertToASCIILowercase();
1097     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1098     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1099     String canPlay;
1100
1101     // 4.8.10.3
1102     switch (support)
1103     {
1104         case MediaPlayer::IsNotSupported:
1105             canPlay = emptyString();
1106             break;
1107         case MediaPlayer::MayBeSupported:
1108             canPlay = ASCIILiteral("maybe");
1109             break;
1110         case MediaPlayer::IsSupported:
1111             canPlay = ASCIILiteral("probably");
1112             break;
1113     }
1114     
1115     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1116
1117     return canPlay;
1118 }
1119
1120 double HTMLMediaElement::getStartDate() const
1121 {
1122     if (!m_player)
1123         return std::numeric_limits<double>::quiet_NaN();
1124     return m_player->getStartDate().toDouble();
1125 }
1126
1127 void HTMLMediaElement::load()
1128 {
1129     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1130     
1131     LOG(Media, "HTMLMediaElement::load(%p)", this);
1132     
1133     if (!m_mediaSession->dataLoadingPermitted(*this))
1134         return;
1135     if (ScriptController::processingUserGestureForMedia())
1136         removeBehaviorsRestrictionsAfterFirstUserGesture();
1137
1138     prepareForLoad();
1139     loadInternal();
1140     prepareToPlay();
1141 }
1142
1143 void HTMLMediaElement::prepareForLoad()
1144 {
1145     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1146
1147     // Perform the cleanup required for the resource load algorithm to run.
1148     stopPeriodicTimers();
1149     m_pendingActionTimer.stop();
1150     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1151     m_pendingActionFlags &= ~LoadMediaResource;
1152     m_sentEndEvent = false;
1153     m_sentStalledEvent = false;
1154     m_haveFiredLoadedData = false;
1155     m_completelyLoaded = false;
1156     m_havePreparedToPlay = false;
1157     m_displayMode = Unknown;
1158     m_currentSrc = URL();
1159
1160 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1161     m_failedToPlayToWirelessTarget = false;
1162 #endif
1163
1164     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1165     m_loadState = WaitingForSource;
1166     m_currentSourceNode = nullptr;
1167
1168     // 2 - If there are any tasks from the media element's media element event task source in 
1169     // one of the task queues, then remove those tasks.
1170     cancelPendingEventsAndCallbacks();
1171
1172     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1173     // a task to fire a simple event named abort at the media element.
1174     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1175         scheduleEvent(eventNames().abortEvent);
1176
1177 #if ENABLE(MEDIA_SOURCE)
1178     detachMediaSource();
1179 #endif
1180
1181     createMediaPlayer();
1182
1183     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1184     if (m_networkState != NETWORK_EMPTY) {
1185         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1186         scheduleEvent(eventNames().emptiedEvent);
1187
1188         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1189         m_networkState = NETWORK_EMPTY;
1190
1191         // 4.3 - Forget the media element's media-resource-specific tracks.
1192         forgetResourceSpecificTracks();
1193
1194         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1195         m_readyState = HAVE_NOTHING;
1196         m_readyStateMaximum = HAVE_NOTHING;
1197
1198         // 4.5 - If the paused attribute is false, then set it to true.
1199         m_paused = true;
1200
1201         // 4.6 - If seeking is true, set it to false.
1202         clearSeeking();
1203
1204         // 4.7 - Set the current playback position to 0.
1205         //       Set the official playback position to 0.
1206         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1207         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1208
1209         // 4.8 - Set the initial playback position to 0.
1210         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1211         // above.
1212         refreshCachedTime();
1213
1214         invalidateCachedTime();
1215
1216         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1217         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1218
1219         updateMediaController();
1220 #if ENABLE(VIDEO_TRACK)
1221         updateActiveTextTrackCues(MediaTime::zeroTime());
1222 #endif
1223     }
1224
1225     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1226     setPlaybackRate(defaultPlaybackRate());
1227
1228     // 6 - Set the error attribute to null and the autoplaying flag to true.
1229     m_error = nullptr;
1230     m_autoplaying = true;
1231     mediaSession().clientWillBeginAutoplaying();
1232
1233     // 7 - Invoke the media element's resource selection algorithm.
1234
1235     // 8 - Note: Playback of any previously playing media resource for this element stops.
1236
1237     // The resource selection algorithm
1238     // 1 - Set the networkState to NETWORK_NO_SOURCE
1239     m_networkState = NETWORK_NO_SOURCE;
1240
1241     // 2 - Asynchronously await a stable state.
1242
1243     m_playedTimeRanges = TimeRanges::create();
1244
1245     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1246     // so they are closer to the relevant spec steps.
1247     m_lastSeekTime = MediaTime::zeroTime();
1248
1249     // The spec doesn't say to block the load event until we actually run the asynchronous section
1250     // algorithm, but do it now because we won't start that until after the timer fires and the 
1251     // event may have already fired by then.
1252     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1253     if (effectivePreload != MediaPlayer::None)
1254         setShouldDelayLoadEvent(true);
1255
1256 #if PLATFORM(IOS)
1257     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1258         prepareToPlay();
1259 #endif
1260
1261     configureMediaControls();
1262 }
1263
1264 void HTMLMediaElement::loadInternal()
1265 {
1266     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1267
1268     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1269     // us catch those bugs more quickly without needing all the branches to align to actually
1270     // trigger the event.
1271     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1272
1273     // If we can't start a load right away, start it later.
1274     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1275         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1276         setShouldDelayLoadEvent(false);
1277         if (m_isWaitingUntilMediaCanStart)
1278             return;
1279         m_isWaitingUntilMediaCanStart = true;
1280         document().addMediaCanStartListener(this);
1281         return;
1282     }
1283
1284     clearFlags(m_pendingActionFlags, LoadMediaResource);
1285
1286     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1287     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1288     // put into the background.
1289     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1290
1291 #if ENABLE(VIDEO_TRACK)
1292     if (hasMediaControls())
1293         mediaControls()->changedClosedCaptionsVisibility();
1294
1295     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1296     // disabled state when the element's resource selection algorithm last started".
1297     m_textTracksWhenResourceSelectionBegan.clear();
1298     if (m_textTracks) {
1299         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1300             TextTrack* track = m_textTracks->item(i);
1301             if (track->mode() != TextTrack::Mode::Disabled)
1302                 m_textTracksWhenResourceSelectionBegan.append(track);
1303         }
1304     }
1305 #endif
1306
1307     selectMediaResource();
1308 }
1309
1310 void HTMLMediaElement::selectMediaResource()
1311 {
1312     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1313
1314     ASSERT(m_player);
1315     if (!m_player)
1316         return;
1317
1318     enum Mode { attribute, children };
1319
1320     // 3 - If the media element has a src attribute, then let mode be attribute.
1321     Mode mode = attribute;
1322     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1323         // Otherwise, if the media element does not have a src attribute but has a source 
1324         // element child, then let mode be children and let candidate be the first such 
1325         // source element child in tree order.
1326         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1327             mode = children;
1328             m_nextChildNodeToConsider = firstSource;
1329             m_currentSourceNode = nullptr;
1330         } else {
1331             // Otherwise the media element has neither a src attribute nor a source element 
1332             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1333             // synchronous section ends.
1334             m_loadState = WaitingForSource;
1335             setShouldDelayLoadEvent(false);
1336             m_networkState = NETWORK_EMPTY;
1337
1338             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1339             return;
1340         }
1341     }
1342
1343     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1344     // and set its networkState to NETWORK_LOADING.
1345     setShouldDelayLoadEvent(true);
1346     m_networkState = NETWORK_LOADING;
1347
1348     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1349     scheduleEvent(eventNames().loadstartEvent);
1350
1351     // 6 - If mode is attribute, then run these substeps
1352     if (mode == attribute) {
1353         m_loadState = LoadingFromSrcAttr;
1354
1355         // If the src attribute's value is the empty string ... jump down to the failed step below
1356         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1357         if (mediaURL.isEmpty()) {
1358             mediaLoadingFailed(MediaPlayer::FormatError);
1359             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1360             return;
1361         }
1362
1363         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1364             mediaLoadingFailed(MediaPlayer::FormatError);
1365             return;
1366         }
1367
1368         // No type or key system information is available when the url comes
1369         // from the 'src' attribute so MediaPlayer
1370         // will have to pick a media engine based on the file extension.
1371         ContentType contentType((String()));
1372         loadResource(mediaURL, contentType, String());
1373         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1374         return;
1375     }
1376
1377     // Otherwise, the source elements will be used
1378     loadNextSourceChild();
1379 }
1380
1381 void HTMLMediaElement::loadNextSourceChild()
1382 {
1383     ContentType contentType((String()));
1384     String keySystem;
1385     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1386     if (!mediaURL.isValid()) {
1387         waitForSourceChange();
1388         return;
1389     }
1390
1391     // Recreate the media player for the new url
1392     createMediaPlayer();
1393
1394     m_loadState = LoadingFromSourceElement;
1395     loadResource(mediaURL, contentType, keySystem);
1396 }
1397
1398 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1399 {
1400     ASSERT(isSafeToLoadURL(initialURL, Complain));
1401
1402     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1403
1404     Frame* frame = document().frame();
1405     if (!frame) {
1406         mediaLoadingFailed(MediaPlayer::FormatError);
1407         return;
1408     }
1409
1410     Page* page = frame->page();
1411     if (!page) {
1412         mediaLoadingFailed(MediaPlayer::FormatError);
1413         return;
1414     }
1415
1416     URL url = initialURL;
1417     if (!frame->loader().willLoadMediaElementURL(url)) {
1418         mediaLoadingFailed(MediaPlayer::FormatError);
1419         return;
1420     }
1421
1422 #if ENABLE(CONTENT_EXTENSIONS)
1423     DocumentLoader* documentLoader = frame->loader().documentLoader();
1424
1425     if (documentLoader) {
1426         auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader);
1427         if (blockedStatus.blockedLoad) {
1428             mediaLoadingFailed(MediaPlayer::FormatError);
1429             return;
1430         }
1431     }
1432 #endif
1433
1434     // The resource fetch algorithm 
1435     m_networkState = NETWORK_LOADING;
1436
1437     // If the url should be loaded from the application cache, pass the url of the cached file
1438     // to the media engine.
1439     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1440     ApplicationCacheResource* resource = nullptr;
1441     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1442         // Resources that are not present in the manifest will always fail to load (at least, after the
1443         // cache has been primed the first time), making the testing of offline applications simpler.
1444         if (!resource || resource->path().isEmpty()) {
1445             mediaLoadingFailed(MediaPlayer::NetworkError);
1446             return;
1447         }
1448     }
1449
1450     // Log that we started loading a media element.
1451     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1452
1453     m_firstTimePlaying = true;
1454
1455     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1456     // cache is an internal detail not exposed through the media element API.
1457     m_currentSrc = url;
1458
1459     if (resource) {
1460         url = ApplicationCacheHost::createFileURL(resource->path());
1461         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1462     }
1463
1464     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1465
1466     if (m_sendProgressEvents)
1467         startProgressEventTimer();
1468
1469     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1470     m_player->setPrivateBrowsingMode(privateMode);
1471
1472     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1473     setDisplayMode(Unknown);
1474
1475     if (!autoplay())
1476         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1477     m_player->setPreservesPitch(m_webkitPreservesPitch);
1478
1479     if (!m_explicitlyMuted) {
1480         m_explicitlyMuted = true;
1481         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1482     }
1483
1484     updateVolume();
1485
1486     bool loadAttempted = false;
1487 #if ENABLE(MEDIA_SOURCE)
1488     ASSERT(!m_mediaSource);
1489
1490     if (url.protocolIs(mediaSourceBlobProtocol))
1491         m_mediaSource = MediaSource::lookup(url.string());
1492
1493     if (m_mediaSource) {
1494         if (m_mediaSource->attachToElement(*this))
1495             m_player->load(url, contentType, m_mediaSource.get());
1496         else {
1497             // Forget our reference to the MediaSource, so we leave it alone
1498             // while processing remainder of load failure.
1499             m_mediaSource = nullptr;
1500             mediaLoadingFailed(MediaPlayer::FormatError);
1501         }
1502         loadAttempted = true;
1503     }
1504 #endif
1505
1506 #if ENABLE(MEDIA_STREAM)
1507     if (!loadAttempted) {
1508         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1509             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1510
1511         if (m_mediaStreamSrcObject) {
1512             loadAttempted = true;
1513             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1514                 mediaLoadingFailed(MediaPlayer::FormatError);
1515         }
1516     }
1517 #endif
1518
1519     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1520         mediaLoadingFailed(MediaPlayer::FormatError);
1521
1522     // If there is no poster to display, allow the media engine to render video frames as soon as
1523     // they are available.
1524     updateDisplayState();
1525
1526     updateRenderer();
1527 }
1528
1529 #if ENABLE(VIDEO_TRACK)
1530
1531 static bool trackIndexCompare(TextTrack* a, TextTrack* b)
1532 {
1533     return a->trackIndex() - b->trackIndex() < 0;
1534 }
1535
1536 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1537 {
1538     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1539     // times first).
1540     if (a.first != b.first)
1541         return a.first - b.first < MediaTime::zeroTime();
1542
1543     // If the cues belong to different text tracks, it doesn't make sense to
1544     // compare the two tracks by the relative cue order, so return the relative
1545     // track order.
1546     if (a.second->track() != b.second->track())
1547         return trackIndexCompare(a.second->track(), b.second->track());
1548
1549     // 12 - Further sort tasks in events that have the same time by the
1550     // relative text track cue order of the text track cues associated
1551     // with these tasks.
1552     return a.second->cueIndex() - b.second->cueIndex() < 0;
1553 }
1554
1555 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1556 {
1557     return one.data()->isOrderedBefore(two.data());
1558 }
1559
1560 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1561 {
1562     // 4.8.10.8 Playing the media resource
1563
1564     //  If the current playback position changes while the steps are running,
1565     //  then the user agent must wait for the steps to complete, and then must
1566     //  immediately rerun the steps.
1567     if (ignoreTrackDisplayUpdateRequests())
1568         return;
1569
1570     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1571
1572     // 1 - Let current cues be a list of cues, initialized to contain all the
1573     // cues of all the hidden, showing, or showing by default text tracks of the
1574     // media element (not the disabled ones) whose start times are less than or
1575     // equal to the current playback position and whose end times are greater
1576     // than the current playback position.
1577     CueList currentCues;
1578
1579     // The user agent must synchronously unset [the text track cue active] flag
1580     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1581     if (m_readyState != HAVE_NOTHING && m_player) {
1582         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1583         if (currentCues.size() > 1)
1584             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1585     }
1586
1587     CueList previousCues;
1588     CueList missedCues;
1589
1590     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1591     // of hidden, showing, and showing by default text tracks of the media
1592     // element that are not present in current cues.
1593     previousCues = m_currentlyActiveCues;
1594
1595     // 3 - Let last time be the current playback position at the time this
1596     // algorithm was last run for this media element, if this is not the first
1597     // time it has run.
1598     MediaTime lastTime = m_lastTextTrackUpdateTime;
1599
1600     // 4 - If the current playback position has, since the last time this
1601     // algorithm was run, only changed through its usual monotonic increase
1602     // during normal playback, then let missed cues be the list of cues in other
1603     // cues whose start times are greater than or equal to last time and whose
1604     // end times are less than or equal to the current playback position.
1605     // Otherwise, let missed cues be an empty list.
1606     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1607         for (auto& cue : m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime))) {
1608             // Consider cues that may have been missed since the last seek time.
1609             if (cue.low() > std::max(m_lastSeekTime, lastTime) && cue.high() < movieTime)
1610                 missedCues.append(cue);
1611         }
1612     }
1613
1614     m_lastTextTrackUpdateTime = movieTime;
1615
1616     // 5 - If the time was reached through the usual monotonic increase of the
1617     // current playback position during normal playback, and if the user agent
1618     // has not fired a timeupdate event at the element in the past 15 to 250ms
1619     // and is not still running event handlers for such an event, then the user
1620     // agent must queue a task to fire a simple event named timeupdate at the
1621     // element. (In the other cases, such as explicit seeks, relevant events get
1622     // fired as part of the overall process of changing the current playback
1623     // position.)
1624     if (!m_paused && m_lastSeekTime <= lastTime)
1625         scheduleTimeupdateEvent(false);
1626
1627     // Explicitly cache vector sizes, as their content is constant from here.
1628     size_t currentCuesSize = currentCues.size();
1629     size_t missedCuesSize = missedCues.size();
1630     size_t previousCuesSize = previousCues.size();
1631
1632     // 6 - If all of the cues in current cues have their text track cue active
1633     // flag set, none of the cues in other cues have their text track cue active
1634     // flag set, and missed cues is empty, then abort these steps.
1635     bool activeSetChanged = missedCuesSize;
1636
1637     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1638         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1639             activeSetChanged = true;
1640
1641     for (size_t i = 0; i < currentCuesSize; ++i) {
1642         TextTrackCue* cue = currentCues[i].data();
1643
1644         if (cue->isRenderable())
1645             toVTTCue(cue)->updateDisplayTree(movieTime);
1646
1647         if (!cue->isActive())
1648             activeSetChanged = true;
1649     }
1650
1651     if (!activeSetChanged)
1652         return;
1653
1654     // 7 - If the time was reached through the usual monotonic increase of the
1655     // current playback position during normal playback, and there are cues in
1656     // other cues that have their text track cue pause-on-exi flag set and that
1657     // either have their text track cue active flag set or are also in missed
1658     // cues, then immediately pause the media element.
1659     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1660         if (previousCues[i].data()->pauseOnExit()
1661             && previousCues[i].data()->isActive()
1662             && !currentCues.contains(previousCues[i]))
1663             pause();
1664     }
1665
1666     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1667         if (missedCues[i].data()->pauseOnExit())
1668             pause();
1669     }
1670
1671     // 8 - Let events be a list of tasks, initially empty. Each task in this
1672     // list will be associated with a text track, a text track cue, and a time,
1673     // which are used to sort the list before the tasks are queued.
1674     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1675
1676     // 8 - Let affected tracks be a list of text tracks, initially empty.
1677     Vector<TextTrack*> affectedTracks;
1678
1679     for (size_t i = 0; i < missedCuesSize; ++i) {
1680         // 9 - For each text track cue in missed cues, prepare an event named enter
1681         // for the TextTrackCue object with the text track cue start time.
1682         eventTasks.append({ missedCues[i].data()->startMediaTime(), missedCues[i].data() });
1683
1684         // 10 - For each text track [...] in missed cues, prepare an event
1685         // named exit for the TextTrackCue object with the  with the later of
1686         // the text track cue end time and the text track cue start time.
1687
1688         // Note: An explicit task is added only if the cue is NOT a zero or
1689         // negative length cue. Otherwise, the need for an exit event is
1690         // checked when these tasks are actually queued below. This doesn't
1691         // affect sorting events before dispatch either, because the exit
1692         // event has the same time as the enter event.
1693         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1694             eventTasks.append({ missedCues[i].data()->endMediaTime(), missedCues[i].data() });
1695     }
1696
1697     for (size_t i = 0; i < previousCuesSize; ++i) {
1698         // 10 - For each text track cue in other cues that has its text
1699         // track cue active flag set prepare an event named exit for the
1700         // TextTrackCue object with the text track cue end time.
1701         if (!currentCues.contains(previousCues[i]))
1702             eventTasks.append({ previousCues[i].data()->endMediaTime(), previousCues[i].data() });
1703     }
1704
1705     for (size_t i = 0; i < currentCuesSize; ++i) {
1706         // 11 - For each text track cue in current cues that does not have its
1707         // text track cue active flag set, prepare an event named enter for the
1708         // TextTrackCue object with the text track cue start time.
1709         if (!previousCues.contains(currentCues[i]))
1710             eventTasks.append({ currentCues[i].data()->startMediaTime(), currentCues[i].data() });
1711     }
1712
1713     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1714     // times first).
1715     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1716
1717     for (auto& eventTask : eventTasks) {
1718         if (!affectedTracks.contains(eventTask.second->track()))
1719             affectedTracks.append(eventTask.second->track());
1720
1721         // 13 - Queue each task in events, in list order.
1722
1723         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1724         // depending on the time that is associated with the event. This
1725         // correctly identifies the type of the event, if the startTime is
1726         // less than the endTime in the cue.
1727         if (eventTask.second->startTime() >= eventTask.second->endTime()) {
1728             auto enterEvent = Event::create(eventNames().enterEvent, false, false);
1729             enterEvent->setTarget(eventTask.second);
1730             m_asyncEventQueue.enqueueEvent(WTFMove(enterEvent));
1731
1732             auto exitEvent = Event::create(eventNames().exitEvent, false, false);
1733             exitEvent->setTarget(eventTask.second);
1734             m_asyncEventQueue.enqueueEvent(WTFMove(exitEvent));
1735         } else {
1736             RefPtr<Event> event;
1737             if (eventTask.first == eventTask.second->startMediaTime())
1738                 event = Event::create(eventNames().enterEvent, false, false);
1739             else
1740                 event = Event::create(eventNames().exitEvent, false, false);
1741             event->setTarget(eventTask.second);
1742             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1743         }
1744     }
1745
1746     // 14 - Sort affected tracks in the same order as the text tracks appear in
1747     // the media element's list of text tracks, and remove duplicates.
1748     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1749
1750     // 15 - For each text track in affected tracks, in the list order, queue a
1751     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1752     for (auto& affectedTrack : affectedTracks) {
1753         auto event = Event::create(eventNames().cuechangeEvent, false, false);
1754         event->setTarget(affectedTrack);
1755         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1756
1757         // ... if the text track has a corresponding track element, to then fire a
1758         // simple event named cuechange at the track element as well.
1759         if (is<LoadableTextTrack>(*affectedTrack)) {
1760             auto event = Event::create(eventNames().cuechangeEvent, false, false);
1761             auto* trackElement = downcast<LoadableTextTrack>(*affectedTrack).trackElement();
1762             ASSERT(trackElement);
1763             event->setTarget(trackElement);
1764             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1765         }
1766     }
1767
1768     // 16 - Set the text track cue active flag of all the cues in the current
1769     // cues, and unset the text track cue active flag of all the cues in the
1770     // other cues.
1771     for (size_t i = 0; i < currentCuesSize; ++i)
1772         currentCues[i].data()->setIsActive(true);
1773
1774     for (size_t i = 0; i < previousCuesSize; ++i)
1775         if (!currentCues.contains(previousCues[i]))
1776             previousCues[i].data()->setIsActive(false);
1777
1778     // Update the current active cues.
1779     m_currentlyActiveCues = currentCues;
1780
1781     if (activeSetChanged)
1782         updateTextTrackDisplay();
1783 }
1784
1785 bool HTMLMediaElement::textTracksAreReady() const
1786 {
1787     // 4.8.10.12.1 Text track model
1788     // ...
1789     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1790     // in the disabled state when the element's resource selection algorithm last started now
1791     // have a text track readiness state of loaded or failed to load.
1792     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1793         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1794             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1795             return false;
1796     }
1797
1798     return true;
1799 }
1800
1801 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1802 {
1803     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1804         if (track->readinessState() != TextTrack::Loading)
1805             setReadyState(m_player->readyState());
1806     } else {
1807         // The track readiness state might have changed as a result of the user
1808         // clicking the captions button. In this case, a check whether all the
1809         // resources have failed loading should be done in order to hide the CC button.
1810         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1811             mediaControls()->refreshClosedCaptionsButtonVisibility();
1812     }
1813 }
1814
1815 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1816 {
1817     ASSERT(track);
1818     if (m_audioTracks && m_audioTracks->contains(*track))
1819         m_audioTracks->scheduleChangeEvent();
1820     if (ScriptController::processingUserGestureForMedia())
1821         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1822 }
1823
1824 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1825 {
1826     bool trackIsLoaded = true;
1827     if (track->trackType() == TextTrack::TrackElement) {
1828         trackIsLoaded = false;
1829         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1830             if (&trackElement.track() == track) {
1831                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1832                     trackIsLoaded = true;
1833                 break;
1834             }
1835         }
1836     }
1837
1838     // If this is the first added track, create the list of text tracks.
1839     if (!m_textTracks)
1840         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1841     
1842     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1843     track->setHasBeenConfigured(true);
1844     
1845     if (track->mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1846         textTrackAddCues(track, track->cues());
1847
1848     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1849
1850     if (m_textTracks && m_textTracks->contains(*track))
1851         m_textTracks->scheduleChangeEvent();
1852
1853 #if ENABLE(AVF_CAPTIONS)
1854     if (track->trackType() == TextTrack::TrackElement && m_player)
1855         m_player->notifyTrackModeChanged();
1856 #endif
1857 }
1858
1859 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1860 {
1861     ASSERT(track);
1862     if (m_videoTracks && m_videoTracks->contains(*track))
1863         m_videoTracks->scheduleChangeEvent();
1864 }
1865
1866 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1867 {
1868     if (track->kind() != TextTrack::Kind::Captions && track->kind() != TextTrack::Kind::Subtitles && track->mode() == TextTrack::Mode::Showing)
1869         track->setMode(TextTrack::Mode::Hidden);
1870 }
1871
1872 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1873 {
1874     ++m_ignoreTrackDisplayUpdate;
1875 }
1876
1877 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1878 {
1879     ASSERT(m_ignoreTrackDisplayUpdate);
1880     --m_ignoreTrackDisplayUpdate;
1881     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1882         updateActiveTextTrackCues(currentMediaTime());
1883 }
1884
1885 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1886 {
1887     if (track->mode() == TextTrack::Mode::Disabled)
1888         return;
1889
1890     TrackDisplayUpdateScope scope(this);
1891     for (size_t i = 0; i < cues->length(); ++i)
1892         textTrackAddCue(track, *cues->item(i));
1893 }
1894
1895 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues)
1896 {
1897     TrackDisplayUpdateScope scope(this);
1898     for (size_t i = 0; i < cues->length(); ++i)
1899         textTrackRemoveCue(cues->item(i)->track(), *cues->item(i));
1900 }
1901
1902 void HTMLMediaElement::textTrackAddCue(TextTrack* track, TextTrackCue& cue)
1903 {
1904     if (track->mode() == TextTrack::Mode::Disabled)
1905         return;
1906
1907     // Negative duration cues need be treated in the interval tree as
1908     // zero-length cues.
1909     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1910
1911     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1912     if (!m_cueTree.contains(interval))
1913         m_cueTree.add(interval);
1914     updateActiveTextTrackCues(currentMediaTime());
1915 }
1916
1917 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, TextTrackCue& cue)
1918 {
1919     // Negative duration cues need to be treated in the interval tree as
1920     // zero-length cues.
1921     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1922
1923     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1924     m_cueTree.remove(interval);
1925
1926     // Since the cue will be removed from the media element and likely the
1927     // TextTrack might also be destructed, notifying the region of the cue
1928     // removal shouldn't be done.
1929     if (cue.isRenderable())
1930         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1931
1932     size_t index = m_currentlyActiveCues.find(interval);
1933     if (index != notFound) {
1934         cue.setIsActive(false);
1935         m_currentlyActiveCues.remove(index);
1936     }
1937
1938     if (cue.isRenderable())
1939         toVTTCue(&cue)->removeDisplayTree();
1940     updateActiveTextTrackCues(currentMediaTime());
1941
1942     if (cue.isRenderable())
1943         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1944 }
1945
1946 #endif
1947
1948 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1949 {
1950     // Elements in user agent show tree should load whatever the embedding document policy is.
1951     if (isInUserAgentShadowTree)
1952         return true;
1953
1954     ASSERT(element.document().contentSecurityPolicy());
1955     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1956 }
1957
1958 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1959 {
1960     if (!url.isValid()) {
1961         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1962         return false;
1963     }
1964
1965     Frame* frame = document().frame();
1966     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1967         if (actionIfInvalid == Complain)
1968             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1969         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1970         return false;
1971     }
1972
1973     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
1974         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1975         return false;
1976     }
1977
1978     return true;
1979 }
1980
1981 void HTMLMediaElement::startProgressEventTimer()
1982 {
1983     if (m_progressEventTimer.isActive())
1984         return;
1985
1986     m_previousProgressTime = monotonicallyIncreasingTime();
1987     // 350ms is not magic, it is in the spec!
1988     m_progressEventTimer.startRepeating(0.350);
1989 }
1990
1991 void HTMLMediaElement::waitForSourceChange()
1992 {
1993     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
1994
1995     stopPeriodicTimers();
1996     m_loadState = WaitingForSource;
1997
1998     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
1999     m_networkState = NETWORK_NO_SOURCE;
2000
2001     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2002     setShouldDelayLoadEvent(false);
2003
2004     updateDisplayState();
2005     updateRenderer();
2006 }
2007
2008 void HTMLMediaElement::noneSupported()
2009 {
2010     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
2011
2012     stopPeriodicTimers();
2013     m_loadState = WaitingForSource;
2014     m_currentSourceNode = nullptr;
2015
2016     // 4.8.10.5 
2017     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
2018     // URL could not be resolved. In one atomic operation, run the following steps:
2019
2020     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
2021     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2022     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2023
2024     // 6.2 - Forget the media element's media-resource-specific text tracks.
2025     forgetResourceSpecificTracks();
2026
2027     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2028     m_networkState = NETWORK_NO_SOURCE;
2029
2030     // 7 - Queue a task to fire a simple event named error at the media element.
2031     scheduleEvent(eventNames().errorEvent);
2032
2033     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2034
2035 #if ENABLE(MEDIA_SOURCE)
2036     detachMediaSource();
2037 #endif
2038
2039     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2040     setShouldDelayLoadEvent(false);
2041
2042     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2043     // the element won't attempt to load another resource.
2044
2045     updateDisplayState();
2046     updateRenderer();
2047 }
2048
2049 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2050 {
2051     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2052
2053     // 1 - The user agent should cancel the fetching process.
2054     stopPeriodicTimers();
2055     m_loadState = WaitingForSource;
2056
2057     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2058     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2059     if (error == MediaPlayer::NetworkError)
2060         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2061     else if (error == MediaPlayer::DecodeError)
2062         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2063     else
2064         ASSERT_NOT_REACHED();
2065
2066     // 3 - Queue a task to fire a simple event named error at the media element.
2067     scheduleEvent(eventNames().errorEvent);
2068
2069 #if ENABLE(MEDIA_SOURCE)
2070     detachMediaSource();
2071 #endif
2072
2073     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2074     // task to fire a simple event called emptied at the element.
2075     m_networkState = NETWORK_EMPTY;
2076     scheduleEvent(eventNames().emptiedEvent);
2077
2078     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2079     setShouldDelayLoadEvent(false);
2080
2081     // 6 - Abort the overall resource selection algorithm.
2082     m_currentSourceNode = nullptr;
2083
2084 #if PLATFORM(COCOA)
2085     if (is<MediaDocument>(document()))
2086         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2087 #endif
2088 }
2089
2090 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2091 {
2092     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2093     m_asyncEventQueue.cancelAllEvents();
2094
2095     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2096         source.cancelPendingErrorEvent();
2097
2098     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2099 }
2100
2101 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2102 {
2103     beginProcessingMediaPlayerCallback();
2104     setNetworkState(m_player->networkState());
2105     endProcessingMediaPlayerCallback();
2106 }
2107
2108 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2109 {
2110     if (!page)
2111         return;
2112
2113     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2114     if (!succeeded) {
2115         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2116         return;
2117     }
2118
2119     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2120
2121     if (!page->hasSeenAnyMediaEngine())
2122         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2123
2124     if (!page->hasSeenMediaEngine(mediaEngine))
2125         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2126
2127     page->sawMediaEngine(mediaEngine);
2128 }
2129
2130 static String stringForNetworkState(MediaPlayer::NetworkState state)
2131 {
2132     switch (state) {
2133     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2134     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2135     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2136     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2137     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2138     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2139     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2140     default: return emptyString();
2141     }
2142 }
2143
2144 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2145 {
2146     stopPeriodicTimers();
2147     
2148     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2149     // <source> children, schedule the next one
2150     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2151         
2152         // resource selection algorithm
2153         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2154         if (m_currentSourceNode)
2155             m_currentSourceNode->scheduleErrorEvent();
2156         else
2157             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2158         
2159         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2160         
2161         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2162         forgetResourceSpecificTracks();
2163
2164         if (havePotentialSourceChild()) {
2165             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2166             scheduleNextSourceChild();
2167         } else {
2168             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2169             waitForSourceChange();
2170         }
2171         
2172         return;
2173     }
2174     
2175     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2176         mediaLoadingFailedFatally(error);
2177     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2178         noneSupported();
2179     
2180     updateDisplayState();
2181     if (hasMediaControls()) {
2182         mediaControls()->reset();
2183         mediaControls()->reportedError();
2184     }
2185
2186     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2187
2188     m_mediaSession->clientCharacteristicsChanged();
2189 }
2190
2191 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2192 {
2193     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2194
2195     if (state == MediaPlayer::Empty) {
2196         // Just update the cached state and leave, we can't do anything.
2197         m_networkState = NETWORK_EMPTY;
2198         return;
2199     }
2200
2201     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2202         mediaLoadingFailed(state);
2203         return;
2204     }
2205
2206     if (state == MediaPlayer::Idle) {
2207         if (m_networkState > NETWORK_IDLE) {
2208             changeNetworkStateFromLoadingToIdle();
2209             setShouldDelayLoadEvent(false);
2210         } else {
2211             m_networkState = NETWORK_IDLE;
2212         }
2213     }
2214
2215     if (state == MediaPlayer::Loading) {
2216         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2217             startProgressEventTimer();
2218         m_networkState = NETWORK_LOADING;
2219     }
2220
2221     if (state == MediaPlayer::Loaded) {
2222         if (m_networkState != NETWORK_IDLE)
2223             changeNetworkStateFromLoadingToIdle();
2224         m_completelyLoaded = true;
2225     }
2226
2227     if (hasMediaControls())
2228         mediaControls()->updateStatusDisplay();
2229 }
2230
2231 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2232 {
2233     m_progressEventTimer.stop();
2234     if (hasMediaControls() && m_player->didLoadingProgress())
2235         mediaControls()->bufferingProgressed();
2236
2237     // Schedule one last progress event so we guarantee that at least one is fired
2238     // for files that load very quickly.
2239     scheduleEvent(eventNames().progressEvent);
2240     scheduleEvent(eventNames().suspendEvent);
2241     m_networkState = NETWORK_IDLE;
2242 }
2243
2244 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2245 {
2246     beginProcessingMediaPlayerCallback();
2247
2248     setReadyState(m_player->readyState());
2249
2250     endProcessingMediaPlayerCallback();
2251 }
2252
2253 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2254 {
2255     return isAutoplaying()
2256         && mediaSession().autoplayPermitted()
2257         && paused()
2258         && autoplay()
2259         && !pausedForUserInteraction()
2260         && !document().isSandboxed(SandboxAutomaticFeatures)
2261         && mediaSession().playbackPermitted(*this);
2262 }
2263
2264 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2265 {
2266     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2267
2268     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2269     bool wasPotentiallyPlaying = potentiallyPlaying();
2270
2271     ReadyState oldState = m_readyState;
2272     ReadyState newState = static_cast<ReadyState>(state);
2273
2274 #if ENABLE(VIDEO_TRACK)
2275     bool tracksAreReady = textTracksAreReady();
2276
2277     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2278         return;
2279
2280     m_tracksAreReady = tracksAreReady;
2281 #else
2282     if (newState == oldState)
2283         return;
2284     bool tracksAreReady = true;
2285 #endif
2286     
2287     if (tracksAreReady)
2288         m_readyState = newState;
2289     else {
2290         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2291         // the text tracks are ready, regardless of the state of the media file.
2292         if (newState <= HAVE_METADATA)
2293             m_readyState = newState;
2294         else
2295             m_readyState = HAVE_CURRENT_DATA;
2296     }
2297     
2298     if (oldState > m_readyStateMaximum)
2299         m_readyStateMaximum = oldState;
2300
2301     if (m_networkState == NETWORK_EMPTY)
2302         return;
2303
2304     if (m_seeking) {
2305         // 4.8.10.9, step 11
2306         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2307             scheduleEvent(eventNames().waitingEvent);
2308
2309         // 4.8.10.10 step 14 & 15.
2310         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2311             finishSeek();
2312     } else {
2313         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2314             // 4.8.10.8
2315             invalidateCachedTime();
2316             scheduleTimeupdateEvent(false);
2317             scheduleEvent(eventNames().waitingEvent);
2318         }
2319     }
2320
2321     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2322         prepareMediaFragmentURI();
2323         scheduleEvent(eventNames().durationchangeEvent);
2324         scheduleResizeEvent();
2325         scheduleEvent(eventNames().loadedmetadataEvent);
2326 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2327         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2328             enqueuePlaybackTargetAvailabilityChangedEvent();
2329 #endif
2330         m_initiallyMuted = m_volume < 0.05 || muted();
2331
2332         if (hasMediaControls())
2333             mediaControls()->loadedMetadata();
2334         updateRenderer();
2335
2336         if (is<MediaDocument>(document()))
2337             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2338
2339         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2340
2341 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2342         updateMediaState(UpdateState::Asynchronously);
2343 #endif
2344
2345         m_mediaSession->clientCharacteristicsChanged();
2346     }
2347
2348     bool shouldUpdateDisplayState = false;
2349
2350     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2351         m_haveFiredLoadedData = true;
2352         shouldUpdateDisplayState = true;
2353         scheduleEvent(eventNames().loadeddataEvent);
2354         setShouldDelayLoadEvent(false);
2355         applyMediaFragmentURI();
2356     }
2357
2358     bool isPotentiallyPlaying = potentiallyPlaying();
2359     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2360         scheduleEvent(eventNames().canplayEvent);
2361         if (isPotentiallyPlaying)
2362             scheduleNotifyAboutPlaying();
2363         shouldUpdateDisplayState = true;
2364     }
2365
2366     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2367         if (oldState <= HAVE_CURRENT_DATA)
2368             scheduleEvent(eventNames().canplayEvent);
2369
2370         scheduleEvent(eventNames().canplaythroughEvent);
2371
2372         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2373             scheduleNotifyAboutPlaying();
2374
2375         if (canTransitionFromAutoplayToPlay()) {
2376             m_paused = false;
2377             invalidateCachedTime();
2378             m_playbackStartedTime = currentMediaTime().toDouble();
2379             scheduleEvent(eventNames().playEvent);
2380             scheduleNotifyAboutPlaying();
2381         }
2382
2383         shouldUpdateDisplayState = true;
2384     }
2385
2386     if (shouldUpdateDisplayState) {
2387         updateDisplayState();
2388         if (hasMediaControls()) {
2389             mediaControls()->refreshClosedCaptionsButtonVisibility();
2390             mediaControls()->updateStatusDisplay();
2391         }
2392     }
2393
2394     updatePlayState();
2395     updateMediaController();
2396 #if ENABLE(VIDEO_TRACK)
2397     updateActiveTextTrackCues(currentMediaTime());
2398 #endif
2399 }
2400
2401 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2402 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2403 {
2404     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2405 }
2406
2407 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2408 {
2409     if (!hasEventListeners("webkitneedkey")) {
2410         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2411         scheduleEvent(eventNames().errorEvent);
2412         return false;
2413     }
2414
2415     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2416     event->setTarget(this);
2417     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2418
2419     return true;
2420 }
2421
2422 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2423 {
2424     Settings* settings = document().settings();
2425     if (!settings)
2426         return emptyString();
2427
2428     String storageDirectory = settings->mediaKeysStorageDirectory();
2429     if (storageDirectory.isEmpty())
2430         return emptyString();
2431
2432     SecurityOrigin* origin = document().securityOrigin();
2433     if (!origin)
2434         return emptyString();
2435
2436     return pathByAppendingComponent(storageDirectory, SecurityOriginData::fromSecurityOrigin(*origin).databaseIdentifier());
2437 }
2438
2439 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2440 {
2441     if (m_mediaKeys == mediaKeys)
2442         return;
2443
2444     if (m_mediaKeys)
2445         m_mediaKeys->setMediaElement(nullptr);
2446     m_mediaKeys = mediaKeys;
2447     if (m_mediaKeys)
2448         m_mediaKeys->setMediaElement(this);
2449 }
2450
2451 void HTMLMediaElement::keyAdded()
2452 {
2453     if (m_player)
2454         m_player->keyAdded();
2455 }
2456
2457 #endif
2458
2459 #if ENABLE(ENCRYPTED_MEDIA)
2460
2461 MediaKeys* HTMLMediaElement::mediaKeys() const
2462 {
2463     return nullptr;
2464 }
2465
2466 void HTMLMediaElement::setMediaKeys(MediaKeys*, Ref<DeferredPromise>&&)
2467 {
2468     notImplemented();
2469 }
2470
2471 #endif // ENABLE(ENCRYPTED_MEDIA)
2472
2473 void HTMLMediaElement::progressEventTimerFired()
2474 {
2475     ASSERT(m_player);
2476     if (m_networkState != NETWORK_LOADING)
2477         return;
2478
2479     double time = monotonicallyIncreasingTime();
2480     double timedelta = time - m_previousProgressTime;
2481
2482     if (m_player->didLoadingProgress()) {
2483         scheduleEvent(eventNames().progressEvent);
2484         m_previousProgressTime = time;
2485         m_sentStalledEvent = false;
2486         updateRenderer();
2487         if (hasMediaControls())
2488             mediaControls()->bufferingProgressed();
2489     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2490         scheduleEvent(eventNames().stalledEvent);
2491         m_sentStalledEvent = true;
2492         setShouldDelayLoadEvent(false);
2493     }
2494 }
2495
2496 void HTMLMediaElement::rewind(double timeDelta)
2497 {
2498     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2499     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2500 }
2501
2502 void HTMLMediaElement::returnToRealtime()
2503 {
2504     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2505     setCurrentTime(maxTimeSeekable());
2506 }
2507
2508 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2509 {
2510     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2511     if (!m_playedTimeRanges)
2512         m_playedTimeRanges = TimeRanges::create();
2513     m_playedTimeRanges->ranges().add(start, end);
2514 }  
2515
2516 bool HTMLMediaElement::supportsScanning() const
2517 {
2518     return m_player ? m_player->supportsScanning() : false;
2519 }
2520
2521 void HTMLMediaElement::prepareToPlay()
2522 {
2523     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2524     if (m_havePreparedToPlay)
2525         return;
2526     m_havePreparedToPlay = true;
2527     m_player->prepareToPlay();
2528 }
2529
2530 void HTMLMediaElement::fastSeek(double time)
2531 {
2532     fastSeek(MediaTime::createWithDouble(time));
2533 }
2534
2535 void HTMLMediaElement::fastSeek(const MediaTime& time)
2536 {
2537     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2538     // 4.7.10.9 Seeking
2539     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2540     // allow for playback to resume promptly. If new playback position before this step is before current
2541     // playback position, then the adjusted new playback position must also be before the current playback
2542     // position. Similarly, if the new playback position before this step is after current playback position,
2543     // then the adjusted new playback position must also be after the current playback position.
2544     refreshCachedTime();
2545     MediaTime delta = time - currentMediaTime();
2546     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2547     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2548
2549     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2550 }
2551
2552 void HTMLMediaElement::seek(const MediaTime& time)
2553 {
2554     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2555     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2556 }
2557
2558 void HTMLMediaElement::seekInternal(const MediaTime& time)
2559 {
2560     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2561     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2562 }
2563
2564 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2565 {
2566     // 4.8.10.9 Seeking
2567     MediaTime time = inTime;
2568
2569     // 1 - Set the media element's show poster flag to false.
2570     setDisplayMode(Video);
2571
2572     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2573     if (m_readyState == HAVE_NOTHING || !m_player)
2574         return;
2575
2576     // If the media engine has been told to postpone loading data, let it go ahead now.
2577     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2578         prepareToPlay();
2579
2580     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2581     refreshCachedTime();
2582     MediaTime now = currentMediaTime();
2583
2584     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2585     // already running. Abort that other instance of the algorithm without waiting for the step that
2586     // it is running to complete.
2587     if (m_seekTaskQueue.hasPendingTasks()) {
2588         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2589         m_seekTaskQueue.cancelAllTasks();
2590         if (m_pendingSeek) {
2591             now = m_pendingSeek->now;
2592             m_pendingSeek = nullptr;
2593         }
2594         m_pendingSeekType = NoSeek;
2595     }
2596
2597     // 4 - Set the seeking IDL attribute to true.
2598     // The flag will be cleared when the engine tells us the time has actually changed.
2599     m_seeking = true;
2600     if (m_playing) {
2601         if (m_lastSeekTime < now)
2602             addPlayedRange(m_lastSeekTime, now);
2603     }
2604     m_lastSeekTime = time;
2605
2606     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2607     // the script. The remainder of these steps must be run asynchronously.
2608     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2609     if (fromDOM) {
2610         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2611         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2612     } else
2613         seekTask();
2614
2615     if (ScriptController::processingUserGestureForMedia())
2616         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2617 }
2618
2619 void HTMLMediaElement::seekTask()
2620 {
2621     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2622
2623     if (!m_player) {
2624         clearSeeking();
2625         return;
2626     }
2627
2628     ASSERT(m_pendingSeek);
2629     MediaTime now = m_pendingSeek->now;
2630     MediaTime time = m_pendingSeek->targetTime;
2631     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2632     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2633     m_pendingSeek = nullptr;
2634
2635     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2636     // of the media resource instead.
2637     time = std::min(time, durationMediaTime());
2638
2639     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2640     MediaTime earliestTime = m_player->startTime();
2641     time = std::max(time, earliestTime);
2642
2643     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2644     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2645     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2646     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2647     // fire a 'seeked' event.
2648 #if !LOG_DISABLED
2649     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2650     if (time != mediaTime)
2651         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2652 #endif
2653     time = m_player->mediaTimeForTimeValue(time);
2654
2655     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2656     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2657     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2658     // attribute then set the seeking IDL attribute to false and abort these steps.
2659     RefPtr<TimeRanges> seekableRanges = seekable();
2660     bool noSeekRequired = !seekableRanges->length();
2661
2662     // Short circuit seeking to the current time by just firing the events if no seek is required.
2663     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2664     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2665     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2666     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2667         noSeekRequired = true;
2668
2669 #if ENABLE(MEDIA_SOURCE)
2670     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2671     // always in a flushed state when the 'seeking' event fires.
2672     if (m_mediaSource && !m_mediaSource->isClosed())
2673         noSeekRequired = false;
2674 #endif
2675
2676     if (noSeekRequired) {
2677         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2678         if (time == now) {
2679             scheduleEvent(eventNames().seekingEvent);
2680             scheduleTimeupdateEvent(false);
2681             scheduleEvent(eventNames().seekedEvent);
2682         }
2683         clearSeeking();
2684         return;
2685     }
2686     time = seekableRanges->ranges().nearest(time);
2687
2688     m_sentEndEvent = false;
2689     m_lastSeekTime = time;
2690     m_pendingSeekType = thisSeekType;
2691     m_seeking = true;
2692
2693     // 10 - Queue a task to fire a simple event named seeking at the element.
2694     scheduleEvent(eventNames().seekingEvent);
2695
2696     // 11 - Set the current playback position to the given new playback position
2697     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2698
2699     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2700     // position is available, and, if it is, until it has decoded enough data to play back that position.
2701     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2702 }
2703
2704 void HTMLMediaElement::clearSeeking()
2705 {
2706     m_seeking = false;
2707     m_pendingSeekType = NoSeek;
2708     invalidateCachedTime();
2709 }
2710
2711 void HTMLMediaElement::finishSeek()
2712 {
2713     // 4.8.10.9 Seeking
2714     // 14 - Set the seeking IDL attribute to false.
2715     clearSeeking();
2716
2717     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2718
2719     // 15 - Run the time maches on steps.
2720     // Handled by mediaPlayerTimeChanged().
2721
2722     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2723     scheduleEvent(eventNames().timeupdateEvent);
2724
2725     // 17 - Queue a task to fire a simple event named seeked at the element.
2726     scheduleEvent(eventNames().seekedEvent);
2727
2728 #if ENABLE(MEDIA_SOURCE)
2729     if (m_mediaSource)
2730         m_mediaSource->monitorSourceBuffers();
2731 #endif
2732 }
2733
2734 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2735 {
2736     return m_readyState;
2737 }
2738
2739 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2740 {
2741     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2742 }
2743
2744 bool HTMLMediaElement::hasAudio() const
2745 {
2746     return m_player ? m_player->hasAudio() : false;
2747 }
2748
2749 bool HTMLMediaElement::seeking() const
2750 {
2751     return m_seeking;
2752 }
2753
2754 void HTMLMediaElement::refreshCachedTime() const
2755 {
2756     if (!m_player)
2757         return;
2758
2759     m_cachedTime = m_player->currentTime();
2760     if (!m_cachedTime) {
2761         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2762         // estimate current time until playback actually begins. 
2763         invalidateCachedTime(); 
2764         return; 
2765     } 
2766
2767     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2768 }
2769
2770 void HTMLMediaElement::invalidateCachedTime() const
2771 {
2772     m_cachedTime = MediaTime::invalidTime();
2773     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2774         return;
2775
2776 #if !LOG_DISABLED
2777     if (m_cachedTime.isValid())
2778         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2779 #endif
2780
2781     // Don't try to cache movie time when playback first starts as the time reported by the engine
2782     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2783     // too early.
2784     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2785
2786     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2787 }
2788
2789 // playback state
2790 double HTMLMediaElement::currentTime() const
2791 {
2792     return currentMediaTime().toDouble();
2793 }
2794
2795 MediaTime HTMLMediaElement::currentMediaTime() const
2796 {
2797 #if LOG_CACHED_TIME_WARNINGS
2798     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2799 #endif
2800
2801     if (!m_player)
2802         return MediaTime::zeroTime();
2803
2804     if (m_seeking) {
2805         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2806         return m_lastSeekTime;
2807     }
2808
2809     if (m_cachedTime.isValid() && m_paused) {
2810 #if LOG_CACHED_TIME_WARNINGS
2811         MediaTime delta = m_cachedTime - m_player->currentTime();
2812         if (delta > minCachedDeltaForWarning)
2813             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2814 #endif
2815         return m_cachedTime;
2816     }
2817
2818     // Is it too soon use a cached time?
2819     double now = monotonicallyIncreasingTime();
2820     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2821
2822     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2823         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2824
2825         // Not too soon, use the cached time only if it hasn't expired.
2826         if (clockDelta < maximumDurationToCacheMediaTime) {
2827             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2828
2829 #if LOG_CACHED_TIME_WARNINGS
2830             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2831             if (delta > minCachedDeltaForWarning)
2832                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2833 #endif
2834             return adjustedCacheTime;
2835         }
2836     }
2837
2838 #if LOG_CACHED_TIME_WARNINGS
2839     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2840         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2841         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2842         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2843     }
2844 #endif
2845
2846     refreshCachedTime();
2847
2848     if (m_cachedTime.isInvalid())
2849         return MediaTime::zeroTime();
2850     
2851     return m_cachedTime;
2852 }
2853
2854 void HTMLMediaElement::setCurrentTime(double time)
2855 {
2856     setCurrentTime(MediaTime::createWithDouble(time));
2857 }
2858
2859 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2860 {
2861     if (m_mediaController)
2862         return;
2863
2864     seekInternal(time);
2865 }
2866
2867 ExceptionOr<void> HTMLMediaElement::setCurrentTimeForBindings(double time)
2868 {
2869     if (m_mediaController)
2870         return Exception { INVALID_STATE_ERR };
2871     seek(MediaTime::createWithDouble(time));
2872     return { };
2873 }
2874
2875 double HTMLMediaElement::duration() const
2876 {
2877     return durationMediaTime().toDouble();
2878 }
2879
2880 MediaTime HTMLMediaElement::durationMediaTime() const
2881 {
2882     if (m_player && m_readyState >= HAVE_METADATA)
2883         return m_player->duration();
2884
2885     return MediaTime::invalidTime();
2886 }
2887
2888 bool HTMLMediaElement::paused() const
2889 {
2890     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2891     // we had problems where this was called on an object after a bad cast. The assertion below
2892     // made our regression test detect the problem, so we should keep it because of that. But note
2893     // that the value of the assertion relies on the compiler not being smart enough to know that
2894     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2895     ASSERT(!isHTMLUnknownElement());
2896
2897     return m_paused;
2898 }
2899
2900 double HTMLMediaElement::defaultPlaybackRate() const
2901 {
2902 #if ENABLE(MEDIA_STREAM)
2903     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2904     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2905     // A MediaStream is not seekable. Therefore, this attribute must always have the
2906     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2907     // that the ratechange event will not fire.
2908     if (m_mediaStreamSrcObject)
2909         return 1;
2910 #endif
2911
2912     return m_defaultPlaybackRate;
2913 }
2914
2915 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2916 {
2917 #if ENABLE(MEDIA_STREAM)
2918     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2919     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2920     // A MediaStream is not seekable. Therefore, this attribute must always have the
2921     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2922     // that the ratechange event will not fire.
2923     if (m_mediaStreamSrcObject)
2924         return;
2925 #endif
2926
2927     if (m_defaultPlaybackRate != rate) {
2928         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2929         m_defaultPlaybackRate = rate;
2930         scheduleEvent(eventNames().ratechangeEvent);
2931     }
2932 }
2933
2934 double HTMLMediaElement::effectivePlaybackRate() const
2935 {
2936     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2937 }
2938
2939 double HTMLMediaElement::requestedPlaybackRate() const
2940 {
2941     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2942 }
2943
2944 double HTMLMediaElement::playbackRate() const
2945 {
2946 #if ENABLE(MEDIA_STREAM)
2947     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2948     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2949     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2950     // means that the ratechange event will not fire.
2951     if (m_mediaStreamSrcObject)
2952         return 1;
2953 #endif
2954
2955     return m_requestedPlaybackRate;
2956 }
2957
2958 void HTMLMediaElement::setPlaybackRate(double rate)
2959 {
2960     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2961
2962 #if ENABLE(MEDIA_STREAM)
2963     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2964     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2965     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2966     // means that the ratechange event will not fire.
2967     if (m_mediaStreamSrcObject)
2968         return;
2969 #endif
2970
2971     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2972         m_player->setRate(rate);
2973
2974     if (m_requestedPlaybackRate != rate) {
2975         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2976         invalidateCachedTime();
2977         scheduleEvent(eventNames().ratechangeEvent);
2978     }
2979 }
2980
2981 void HTMLMediaElement::updatePlaybackRate()
2982 {
2983     double requestedRate = requestedPlaybackRate();
2984     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2985         m_player->setRate(requestedRate);
2986 }
2987
2988 bool HTMLMediaElement::webkitPreservesPitch() const
2989 {
2990     return m_webkitPreservesPitch;
2991 }
2992
2993 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
2994 {
2995     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
2996
2997     m_webkitPreservesPitch = preservesPitch;
2998     
2999     if (!m_player)
3000         return;
3001
3002     m_player->setPreservesPitch(preservesPitch);
3003 }
3004
3005 bool HTMLMediaElement::ended() const
3006 {
3007 #if ENABLE(MEDIA_STREAM)
3008     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3009     // When the MediaStream state moves from the active to the inactive state, the User Agent
3010     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
3011     if (m_mediaStreamSrcObject && m_player && m_player->ended())
3012         return true;
3013 #endif
3014
3015     // 4.8.10.8 Playing the media resource
3016     // The ended attribute must return true if the media element has ended 
3017     // playback and the direction of playback is forwards, and false otherwise.
3018     return endedPlayback() && requestedPlaybackRate() > 0;
3019 }
3020
3021 bool HTMLMediaElement::autoplay() const
3022 {
3023     return hasAttributeWithoutSynchronization(autoplayAttr);
3024 }
3025
3026 String HTMLMediaElement::preload() const
3027 {
3028 #if ENABLE(MEDIA_STREAM)
3029     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3030     // "preload" - On getting: none. On setting: ignored.
3031     if (m_mediaStreamSrcObject)
3032         return ASCIILiteral("none");
3033 #endif
3034
3035     switch (m_preload) {
3036     case MediaPlayer::None:
3037         return ASCIILiteral("none");
3038     case MediaPlayer::MetaData:
3039         return ASCIILiteral("metadata");
3040     case MediaPlayer::Auto:
3041         return ASCIILiteral("auto");
3042     }
3043
3044     ASSERT_NOT_REACHED();
3045     return String();
3046 }
3047
3048 void HTMLMediaElement::setPreload(const String& preload)
3049 {
3050     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3051 #if ENABLE(MEDIA_STREAM)
3052     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3053     // "preload" - On getting: none. On setting: ignored.
3054     if (m_mediaStreamSrcObject)
3055         return;
3056 #endif
3057
3058     setAttributeWithoutSynchronization(preloadAttr, preload);
3059 }
3060
3061 void HTMLMediaElement::play(DOMPromise<void>&& promise)
3062 {
3063     LOG(Media, "HTMLMediaElement::play(%p)", this);
3064
3065     if (!m_mediaSession->playbackPermitted(*this)) {
3066         promise.reject(NotAllowedError);
3067         return;
3068     }
3069
3070     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3071         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3072         return;
3073     }
3074
3075     if (ScriptController::processingUserGestureForMedia())
3076         removeBehaviorsRestrictionsAfterFirstUserGesture();
3077
3078     if (!playInternal()) {
3079         promise.reject(NotAllowedError);
3080         return;
3081     }
3082
3083     m_pendingPlayPromises.append(WTFMove(promise));
3084 }
3085
3086 void HTMLMediaElement::play()
3087 {
3088     LOG(Media, "HTMLMediaElement::play(%p)", this);
3089
3090     if (!m_mediaSession->playbackPermitted(*this))
3091         return;
3092     if (ScriptController::processingUserGestureForMedia())
3093         removeBehaviorsRestrictionsAfterFirstUserGesture();
3094
3095     playInternal();
3096 }
3097
3098 bool HTMLMediaElement::playInternal()
3099 {
3100     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3101     
3102     if (!m_mediaSession->clientWillBeginPlayback()) {
3103         LOG(Media, "  returning because of interruption");
3104         return true; // Treat as success because we will begin playback on cessation of the interruption.
3105     }
3106
3107     // 4.8.10.9. Playing the media resource
3108     if (!m_player || m_networkState == NETWORK_EMPTY)
3109         scheduleDelayedAction(LoadMediaResource);
3110
3111     if (endedPlayback())
3112         seekInternal(MediaTime::zeroTime());
3113
3114     if (m_mediaController)
3115         m_mediaController->bringElementUpToSpeed(*this);
3116
3117     if (m_paused) {
3118         m_paused = false;
3119         invalidateCachedTime();
3120         m_playbackStartedTime = currentMediaTime().toDouble();
3121         scheduleEvent(eventNames().playEvent);
3122
3123         if (m_readyState <= HAVE_CURRENT_DATA)
3124             scheduleEvent(eventNames().waitingEvent);
3125         else if (m_readyState >= HAVE_FUTURE_DATA)
3126             scheduleNotifyAboutPlaying();
3127
3128 #if ENABLE(MEDIA_SESSION)
3129         // 6.3 Activating a media session from a media element
3130         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3131         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3132         // 1. Let media session be the value of the current media session.
3133         // 2. If we are not currently in media session's list of active participating media elements then append
3134         //    ourselves to this list.
3135         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3136         // 4. If activated is failure, pause ourselves.
3137         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3138             if (m_session) {
3139                 m_session->addActiveMediaElement(*this);
3140
3141                 if (m_session->kind() == MediaSessionKind::Content) {
3142                     if (Page* page = document().page())
3143                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3144                 }
3145
3146                 if (!m_session->invoke()) {
3147                     pause();
3148                     return false;
3149                 }
3150             }
3151         }
3152 #endif
3153     } else if (m_readyState >= HAVE_FUTURE_DATA)
3154         scheduleResolvePendingPlayPromises();
3155
3156     m_autoplaying = false;
3157     updatePlayState();
3158
3159     return true;
3160 }
3161
3162 void HTMLMediaElement::pause()
3163 {
3164     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3165
3166     if (!m_mediaSession->playbackPermitted(*this))
3167         return;
3168
3169     if (ScriptController::processingUserGestureForMedia())
3170         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3171
3172     pauseInternal();
3173 }
3174
3175
3176 void HTMLMediaElement::pauseInternal()
3177 {
3178     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3179
3180     if (!m_mediaSession->clientWillPausePlayback()) {
3181         LOG(Media, "  returning because of interruption");
3182         return;
3183     }
3184
3185     // 4.8.10.9. Playing the media resource
3186     if (!m_player || m_networkState == NETWORK_EMPTY) {
3187         // Unless the restriction on media requiring user action has been lifted
3188         // don't trigger loading if a script calls pause().
3189         if (!m_mediaSession->playbackPermitted(*this))
3190             return;
3191         scheduleDelayedAction(LoadMediaResource);
3192     }
3193
3194     m_autoplaying = false;
3195
3196     if (!m_paused) {
3197         m_paused = true;
3198         scheduleTimeupdateEvent(false);
3199         scheduleEvent(eventNames().pauseEvent);
3200         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3201
3202         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3203             purgeBufferedDataIfPossible();
3204     }
3205
3206     updatePlayState();
3207 }
3208
3209 #if ENABLE(MEDIA_SOURCE)
3210 void HTMLMediaElement::detachMediaSource()
3211 {
3212     if (!m_mediaSource)
3213         return;
3214
3215     m_mediaSource->detachFromElement(*this);
3216     m_mediaSource = nullptr;
3217 }
3218 #endif
3219
3220 bool HTMLMediaElement::loop() const
3221 {
3222     return hasAttributeWithoutSynchronization(loopAttr);
3223 }
3224
3225 void HTMLMediaElement::setLoop(bool b)
3226 {
3227     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3228     setBooleanAttribute(loopAttr, b);
3229 }
3230
3231 bool HTMLMediaElement::controls() const
3232 {
3233     Frame* frame = document().frame();
3234
3235     // always show controls when scripting is disabled
3236     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3237         return true;
3238
3239     return hasAttributeWithoutSynchronization(controlsAttr);
3240 }
3241
3242 void HTMLMediaElement::setControls(bool b)
3243 {
3244     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3245     setBooleanAttribute(controlsAttr, b);
3246 }
3247
3248 double HTMLMediaElement::volume() const
3249 {
3250     return m_volume;
3251 }
3252
3253 ExceptionOr<void> HTMLMediaElement::setVolume(double volume)
3254 {
3255     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, volume);
3256
3257     if (!(volume >= 0 && volume <= 1))
3258         return Exception { INDEX_SIZE_ERR };
3259
3260 #if !PLATFORM(IOS)
3261     if (m_volume == volume)
3262         return { };
3263
3264     m_volume = volume;
3265     m_volumeInitialized = true;
3266     updateVolume();
3267     scheduleEvent(eventNames().volumechangeEvent);
3268 #endif
3269     return { };
3270 }
3271
3272 bool HTMLMediaElement::muted() const
3273 {
3274     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3275 }
3276
3277 void HTMLMediaElement::setMuted(bool muted)
3278 {
3279     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3280
3281     bool mutedStateChanged = m_muted != muted;
3282     if (mutedStateChanged || !m_explicitlyMuted) {
3283         m_muted = muted;
3284         m_explicitlyMuted = true;
3285
3286         if (ScriptController::processingUserGestureForMedia())
3287             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3288
3289         // Avoid recursion when the player reports volume changes.
3290         if (!processingMediaPlayerCallback()) {
3291             if (m_player) {
3292                 m_player->setMuted(effectiveMuted());
3293                 if (hasMediaControls())
3294                     mediaControls()->changedMute();
3295             }
3296         }
3297
3298         if (mutedStateChanged)
3299             scheduleEvent(eventNames().volumechangeEvent);
3300
3301         updateShouldPlay();
3302
3303 #if ENABLE(MEDIA_SESSION)
3304         document().updateIsPlayingMedia(m_elementID);
3305 #else
3306         document().updateIsPlayingMedia();
3307 #endif
3308
3309 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3310         updateMediaState(UpdateState::Asynchronously);
3311 #endif
3312     }
3313
3314     scheduleUpdatePlaybackControlsManager();
3315 }
3316
3317 void HTMLMediaElement::togglePlayState()
3318 {
3319     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3320
3321     // We can safely call the internal play/pause methods, which don't check restrictions, because
3322     // this method is only called from the built-in media controller
3323     if (canPlay()) {
3324         updatePlaybackRate();
3325         playInternal();
3326     } else 
3327         pauseInternal();
3328 }
3329
3330 void HTMLMediaElement::beginScrubbing()
3331 {
3332     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3333
3334     if (!paused()) {
3335         if (ended()) {
3336             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3337             // when the slider is dragged from the end to another position unless we pause first. Do 
3338             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3339             pause();
3340         } else {
3341             // Not at the end but we still want to pause playback so the media engine doesn't try to
3342             // continue playing during scrubbing. Pause without generating an event as we will 
3343             // unpause after scrubbing finishes.
3344             setPausedInternal(true);
3345         }
3346     }
3347
3348     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3349 }
3350
3351 void HTMLMediaElement::endScrubbing()
3352 {
3353     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3354
3355     if (m_pausedInternal)
3356         setPausedInternal(false);
3357 }
3358
3359 void HTMLMediaElement::beginScanning(ScanDirection direction)
3360 {
3361     m_scanType = supportsScanning() ? Scan : Seek;
3362     m_scanDirection = direction;
3363
3364     if (m_scanType == Seek) {
3365         // Scanning by seeking requires the video to be paused during scanning.
3366         m_actionAfterScan = paused() ? Nothing : Play;
3367         pause();
3368     } else {
3369         // Scanning by scanning requires the video to be playing during scanninging.
3370         m_actionAfterScan = paused() ? Pause : Nothing;
3371         play();
3372         setPlaybackRate(nextScanRate());
3373     }
3374
3375     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3376 }
3377
3378 void HTMLMediaElement::endScanning()
3379 {
3380     if (m_scanType == Scan)
3381         setPlaybackRate(defaultPlaybackRate());
3382
3383     if (m_actionAfterScan == Play)
3384         play();
3385     else if (m_actionAfterScan == Pause)
3386         pause();
3387
3388     if (m_scanTimer.isActive())
3389         m_scanTimer.stop();
3390 }
3391
3392 double HTMLMediaElement::nextScanRate()
3393 {
3394     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3395     if (m_scanDirection == Backward)
3396         rate *= -1;
3397 #if PLATFORM(IOS)
3398     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3399 #endif
3400     return rate;
3401 }
3402
3403 void HTMLMediaElement::scanTimerFired()
3404 {
3405     if (m_scanType == Seek) {
3406         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3407         setCurrentTime(currentTime() + seekTime);
3408     } else
3409         setPlaybackRate(nextScanRate());
3410 }
3411
3412 // The spec says to fire periodic timeupdate events (those sent while playing) every
3413 // "15 to 250ms", we choose the slowest frequency
3414 static const double maxTimeupdateEventFrequency = 0.25;
3415
3416 void HTMLMediaElement::startPlaybackProgressTimer()
3417 {
3418     if (m_playbackProgressTimer.isActive())
3419         return;
3420
3421     m_previousProgressTime = monotonicallyIncreasingTime();
3422     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3423 }
3424
3425 void HTMLMediaElement::playbackProgressTimerFired()
3426 {
3427     ASSERT(m_player);
3428
3429     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3430         m_fragmentEndTime = MediaTime::invalidTime();
3431         if (!m_mediaController && !m_paused) {
3432             // changes paused to true and fires a simple event named pause at the media element.
3433             pauseInternal();
3434         }
3435     }
3436     
3437     scheduleTimeupdateEvent(true);
3438
3439     if (!requestedPlaybackRate())
3440         return;
3441
3442     if (!m_paused && hasMediaControls())
3443         mediaControls()->playbackProgressed();
3444
3445 #if ENABLE(VIDEO_TRACK)
3446     updateActiveTextTrackCues(currentMediaTime());
3447 #endif
3448
3449 #if ENABLE(MEDIA_SOURCE)
3450     if (m_mediaSource)
3451         m_mediaSource->monitorSourceBuffers();
3452 #endif
3453 }
3454
3455 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3456 {
3457     double now = monotonicallyIncreasingTime();
3458     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3459
3460     // throttle the periodic events
3461     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3462         return;
3463
3464     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3465     // event at a given time so filter here
3466     MediaTime movieTime = currentMediaTime();
3467     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3468         scheduleEvent(eventNames().timeupdateEvent);
3469         m_clockTimeAtLastUpdateEvent = now;
3470         m_lastTimeUpdateEventMovieTime = movieTime;
3471     }
3472 }
3473
3474 bool HTMLMediaElement::canPlay() const
3475 {
3476     return paused() || ended() || m_readyState < HAVE_METADATA;
3477 }
3478
3479 double HTMLMediaElement::percentLoaded() const
3480 {
3481     if (!m_player)
3482         return 0;
3483     MediaTime duration = m_player->duration();
3484
3485     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3486         return 0;
3487
3488     MediaTime buffered = MediaTime::zeroTime();
3489     bool ignored;
3490     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3491     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3492         MediaTime start = timeRanges->start(i, ignored);
3493         MediaTime end = timeRanges->end(i, ignored);
3494         buffered += end - start;
3495     }
3496     return buffered.toDouble() / duration.toDouble();
3497 }
3498
3499 #if ENABLE(VIDEO_TRACK)
3500
3501 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(AudioTrackPrivate& track)
3502 {
3503     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3504         pauseInternal();
3505
3506     addAudioTrack(AudioTrack::create(this, &track));
3507 }
3508
3509 void HTMLMediaElement::mediaPlayerDidAddTextTrack(InbandTextTrackPrivate& track)
3510 {
3511     // 4.8.10.12.2 Sourcing in-band text tracks
3512     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3513     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, &track);
3514     textTrack->setMediaElement(this);
3515     
3516     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3517     // as defined by the relevant specification. If there is no label in that data, then the label must