Move existing CDM* implementations into modules/encryptedmedia/legacy
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27
28 #if ENABLE(VIDEO)
29
30 #include "HTMLMediaElement.h"
31
32 #include "ApplicationCacheHost.h"
33 #include "ApplicationCacheResource.h"
34 #include "Attribute.h"
35 #include "CSSPropertyNames.h"
36 #include "CSSValueKeywords.h"
37 #include "ChromeClient.h"
38 #include "ClientRect.h"
39 #include "ClientRectList.h"
40 #include "CommonVM.h"
41 #include "ContentSecurityPolicy.h"
42 #include "ContentType.h"
43 #include "CookieJar.h"
44 #include "DiagnosticLoggingClient.h"
45 #include "DiagnosticLoggingKeys.h"
46 #include "DisplaySleepDisabler.h"
47 #include "Document.h"
48 #include "DocumentLoader.h"
49 #include "ElementIterator.h"
50 #include "EventNames.h"
51 #include "FrameLoader.h"
52 #include "FrameLoaderClient.h"
53 #include "FrameView.h"
54 #include "HTMLParserIdioms.h"
55 #include "HTMLSourceElement.h"
56 #include "HTMLVideoElement.h"
57 #include "JSDOMError.h"
58 #include "JSDOMPromise.h"
59 #include "JSHTMLMediaElement.h"
60 #include "Language.h"
61 #include "Logging.h"
62 #include "MIMETypeRegistry.h"
63 #include "MainFrame.h"
64 #include "MediaController.h"
65 #include "MediaControls.h"
66 #include "MediaDocument.h"
67 #include "MediaError.h"
68 #include "MediaFragmentURIParser.h"
69 #include "MediaList.h"
70 #include "MediaPlayer.h"
71 #include "MediaQueryEvaluator.h"
72 #include "MediaResourceLoader.h"
73 #include "MemoryPressureHandler.h"
74 #include "NetworkingContext.h"
75 #include "NoEventDispatchAssertion.h"
76 #include "Page.h"
77 #include "PageGroup.h"
78 #include "PlatformMediaSessionManager.h"
79 #include "ProgressTracker.h"
80 #include "RenderLayerCompositor.h"
81 #include "RenderVideo.h"
82 #include "RenderView.h"
83 #include "ResourceLoadInfo.h"
84 #include "ScriptController.h"
85 #include "ScriptSourceCode.h"
86 #include "SecurityOriginData.h"
87 #include "SecurityPolicy.h"
88 #include "SessionID.h"
89 #include "Settings.h"
90 #include "ShadowRoot.h"
91 #include "TimeRanges.h"
92 #include "UserContentController.h"
93 #include "UserGestureIndicator.h"
94 #include <limits>
95 #include <runtime/Uint8Array.h>
96 #include <wtf/CurrentTime.h>
97 #include <wtf/MathExtras.h>
98 #include <wtf/Ref.h>
99 #include <wtf/text/CString.h>
100
101 #if ENABLE(VIDEO_TRACK)
102 #include "AudioTrackList.h"
103 #include "HTMLTrackElement.h"
104 #include "InbandGenericTextTrack.h"
105 #include "InbandTextTrackPrivate.h"
106 #include "InbandWebVTTTextTrack.h"
107 #include "RuntimeEnabledFeatures.h"
108 #include "TextTrackCueList.h"
109 #include "TextTrackList.h"
110 #include "VideoTrackList.h"
111 #endif
112
113 #if ENABLE(WEB_AUDIO)
114 #include "AudioSourceProvider.h"
115 #include "MediaElementAudioSourceNode.h"
116 #endif
117
118 #if PLATFORM(IOS) || (PLATFORM(MAC) && ENABLE(VIDEO_PRESENTATION_MODE))
119 #include "WebVideoFullscreenInterface.h"
120 #endif
121
122 #if PLATFORM(IOS)
123 #include "RuntimeApplicationChecks.h"
124 #include "WebVideoFullscreenInterfaceAVKit.h"
125 #endif
126
127 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
128 #include "WebKitPlaybackTargetAvailabilityEvent.h"
129 #endif
130
131 #if ENABLE(MEDIA_SESSION)
132 #include "MediaSession.h"
133 #endif
134
135 #if ENABLE(MEDIA_SOURCE)
136 #include "DOMWindow.h"
137 #include "MediaSource.h"
138 #include "Performance.h"
139 #include "VideoPlaybackQuality.h"
140 #endif
141
142 #if ENABLE(MEDIA_STREAM)
143 #include "DOMURL.h"
144 #include "MediaStream.h"
145 #include "MediaStreamRegistry.h"
146 #endif
147
148 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
149 #include "WebKitMediaKeyNeededEvent.h"
150 #include "WebKitMediaKeys.h"
151 #endif
152
153 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
154 #include "JSMediaControlsHost.h"
155 #include "MediaControlsHost.h"
156 #include <bindings/ScriptObject.h>
157 #endif
158
159 #if ENABLE(ENCRYPTED_MEDIA)
160 #include "NotImplemented.h"
161 #endif
162
163 namespace WebCore {
164
165 static const double SeekRepeatDelay = 0.1;
166 static const double SeekTime = 0.2;
167 static const double ScanRepeatDelay = 1.5;
168 static const double ScanMaximumRate = 8;
169
170 static const double HideMediaControlsAfterEndedDelay = 6;
171
172 static void setFlags(unsigned& value, unsigned flags)
173 {
174     value |= flags;
175 }
176
177 static void clearFlags(unsigned& value, unsigned flags)
178 {
179     value &= ~flags;
180 }
181     
182 #if !LOG_DISABLED
183 static String urlForLoggingMedia(const URL& url)
184 {
185     static const unsigned maximumURLLengthForLogging = 128;
186
187     if (url.string().length() < maximumURLLengthForLogging)
188         return url.string();
189     return url.string().substring(0, maximumURLLengthForLogging) + "...";
190 }
191
192 static const char* boolString(bool val)
193 {
194     return val ? "true" : "false";
195 }
196
197 static String actionName(HTMLMediaElementEnums::DelayedActionType action)
198 {
199     StringBuilder actionBuilder;
200
201 #define ACTION(_actionType) \
202     if (action & (HTMLMediaElementEnums::_actionType)) { \
203         if (!actionBuilder.isEmpty()) \
204         actionBuilder.appendLiteral(", "); \
205         actionBuilder.append(#_actionType); \
206     } \
207
208     ACTION(LoadMediaResource);
209     ACTION(ConfigureTextTracks);
210     ACTION(TextTrackChangesNotification);
211     ACTION(ConfigureTextTrackDisplay);
212     ACTION(CheckPlaybackTargetCompatablity);
213     ACTION(CheckMediaState);
214     ACTION(MediaEngineUpdated);
215
216     return actionBuilder.toString();
217
218 #undef ACTION
219 }
220
221 #endif
222
223 #ifndef LOG_MEDIA_EVENTS
224 // Default to not logging events because so many are generated they can overwhelm the rest of 
225 // the logging.
226 #define LOG_MEDIA_EVENTS 0
227 #endif
228
229 #ifndef LOG_CACHED_TIME_WARNINGS
230 // Default to not logging warnings about excessive drift in the cached media time because it adds a
231 // fair amount of overhead and logging.
232 #define LOG_CACHED_TIME_WARNINGS 0
233 #endif
234
235 #if ENABLE(MEDIA_SOURCE)
236 // URL protocol used to signal that the media source API is being used.
237 static const char* mediaSourceBlobProtocol = "blob";
238 #endif
239
240 #if ENABLE(MEDIA_STREAM)
241 // URL protocol used to signal that the media stream API is being used.
242 static const char* mediaStreamBlobProtocol = "blob";
243 #endif
244
245 using namespace HTMLNames;
246
247 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
248 static DocumentElementSetMap& documentToElementSetMap()
249 {
250     static NeverDestroyed<DocumentElementSetMap> map;
251     return map;
252 }
253
254 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
255 {
256     DocumentElementSetMap& map = documentToElementSetMap();
257     HashSet<HTMLMediaElement*> set = map.take(&document);
258     set.add(&element);
259     map.add(&document, set);
260 }
261
262 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
263 {
264     DocumentElementSetMap& map = documentToElementSetMap();
265     HashSet<HTMLMediaElement*> set = map.take(&document);
266     set.remove(&element);
267     if (!set.isEmpty())
268         map.add(&document, set);
269 }
270
271 #if ENABLE(VIDEO_TRACK)
272 class TrackDisplayUpdateScope {
273 public:
274     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
275     {
276         m_mediaElement = mediaElement;
277         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
278     }
279     ~TrackDisplayUpdateScope()
280     {
281         ASSERT(m_mediaElement);
282         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
283     }
284     
285 private:
286     HTMLMediaElement* m_mediaElement;
287 };
288 #endif
289
290 struct HTMLMediaElement::TrackGroup {
291     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
292
293     TrackGroup(GroupKind kind)
294         : kind(kind)
295     {
296     }
297
298     Vector<RefPtr<TextTrack>> tracks;
299     RefPtr<TextTrack> visibleTrack;
300     RefPtr<TextTrack> defaultTrack;
301     GroupKind kind;
302     bool hasSrcLang { false };
303 };
304
305 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
306 {
307     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
308     return elements;
309 }
310
311 #if ENABLE(MEDIA_SESSION)
312 typedef HashMap<uint64_t, HTMLMediaElement*> IDToElementMap;
313
314 static IDToElementMap& elementIDsToElements()
315 {
316     static NeverDestroyed<IDToElementMap> map;
317     return map;
318 }
319
320 HTMLMediaElement* HTMLMediaElement::elementWithID(uint64_t id)
321 {
322     if (id == HTMLMediaElementInvalidID)
323         return nullptr;
324     
325     return elementIDsToElements().get(id);
326 }
327
328 static uint64_t nextElementID()
329 {
330     static uint64_t elementID = 0;
331     return ++elementID;
332 }
333 #endif
334
335 struct MediaElementSessionInfo {
336     const MediaElementSession* session;
337     MediaElementSession::PlaybackControlsPurpose purpose;
338
339     double timeOfLastUserInteraction;
340     bool canShowControlsManager : 1;
341     bool isVisibleInViewportOrFullscreen : 1;
342     bool isLargeEnoughForMainContent : 1;
343     bool isPlayingAudio : 1;
344 };
345
346 static MediaElementSessionInfo mediaElementSessionInfoForSession(const MediaElementSession& session, MediaElementSession::PlaybackControlsPurpose purpose)
347 {
348     const HTMLMediaElement& element = session.element();
349     return {
350         &session,
351         purpose,
352         session.mostRecentUserInteractionTime(),
353         session.canShowControlsManager(purpose),
354         element.isFullscreen() || element.isVisibleInViewport(),
355         session.isLargeEnoughForMainContent(MediaSessionMainContentPurpose::MediaControls),
356         element.isPlaying() && element.hasAudio() && !element.muted()
357     };
358 }
359
360 static bool preferMediaControlsForCandidateSessionOverOtherCandidateSession(const MediaElementSessionInfo& session, const MediaElementSessionInfo& otherSession)
361 {
362     MediaElementSession::PlaybackControlsPurpose purpose = session.purpose;
363     ASSERT(purpose == otherSession.purpose);
364
365     // For the controls manager, prioritize visible media over offscreen media.
366     if (purpose == MediaElementSession::PlaybackControlsPurpose::ControlsManager && session.isVisibleInViewportOrFullscreen != otherSession.isVisibleInViewportOrFullscreen)
367         return session.isVisibleInViewportOrFullscreen;
368
369     // For Now Playing, prioritize elements that would normally satisfy main content.
370     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying && session.isLargeEnoughForMainContent != otherSession.isLargeEnoughForMainContent)
371         return session.isLargeEnoughForMainContent;
372
373     // As a tiebreaker, prioritize elements that the user recently interacted with.
374     return session.timeOfLastUserInteraction > otherSession.timeOfLastUserInteraction;
375 }
376
377 static bool mediaSessionMayBeConfusedWithMainContent(const MediaElementSessionInfo& session, MediaElementSession::PlaybackControlsPurpose purpose)
378 {
379     if (purpose == MediaElementSession::PlaybackControlsPurpose::NowPlaying)
380         return session.isPlayingAudio;
381
382     if (!session.isVisibleInViewportOrFullscreen)
383         return false;
384
385     if (!session.isLargeEnoughForMainContent)
386         return false;
387
388     // Even if this video is not a candidate, if it is visible to the user and large enough
389     // to be main content, it poses a risk for being confused with main content.
390     return true;
391 }
392
393 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
394     : HTMLElement(tagName, document)
395     , ActiveDOMObject(&document)
396     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
397     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
398     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
399     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
400     , m_playbackControlsManagerBehaviorRestrictionsTimer(*this, &HTMLMediaElement::playbackControlsManagerBehaviorRestrictionsTimerFired)
401     , m_seekToPlaybackPositionEndedTimer(*this, &HTMLMediaElement::seekToPlaybackPositionEndedTimerFired)
402     , m_asyncEventQueue(*this)
403     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
404     , m_firstTimePlaying(true)
405     , m_playing(false)
406     , m_isWaitingUntilMediaCanStart(false)
407     , m_shouldDelayLoadEvent(false)
408     , m_haveFiredLoadedData(false)
409     , m_inActiveDocument(true)
410     , m_autoplaying(true)
411     , m_muted(false)
412     , m_explicitlyMuted(false)
413     , m_initiallyMuted(false)
414     , m_paused(true)
415     , m_seeking(false)
416     , m_sentStalledEvent(false)
417     , m_sentEndEvent(false)
418     , m_pausedInternal(false)
419     , m_sendProgressEvents(true)
420     , m_closedCaptionsVisible(false)
421     , m_webkitLegacyClosedCaptionOverride(false)
422     , m_completelyLoaded(false)
423     , m_havePreparedToPlay(false)
424     , m_parsingInProgress(createdByParser)
425     , m_elementIsHidden(document.hidden())
426     , m_creatingControls(false)
427     , m_receivedLayoutSizeChanged(false)
428     , m_hasEverNotifiedAboutPlaying(false)
429     , m_hasEverHadAudio(false)
430     , m_hasEverHadVideo(false)
431 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
432     , m_mediaControlsDependOnPageScaleFactor(false)
433     , m_haveSetUpCaptionContainer(false)
434 #endif
435     , m_isScrubbingRemotely(false)
436 #if ENABLE(VIDEO_TRACK)
437     , m_tracksAreReady(true)
438     , m_haveVisibleTextTrack(false)
439     , m_processingPreferenceChange(false)
440 #endif
441     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
442 {
443     allMediaElements().add(this);
444
445     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
446     setHasCustomStyleResolveCallbacks();
447
448     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
449     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
450 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
451     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
452 #endif
453     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
454     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePlaybackToControlControlsManager);
455
456     Settings* settings = document.settings();
457 #if PLATFORM(IOS)
458     m_sendProgressEvents = false;
459 #endif
460
461     if (settings && settings->invisibleAutoplayNotPermitted())
462         m_mediaSession->addBehaviorRestriction(MediaElementSession::InvisibleAutoplayNotPermitted);
463
464     if (document.ownerElement() || !document.isMediaDocument()) {
465         if (settings && settings->videoPlaybackRequiresUserGesture()) {
466             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForVideoRateChange);
467             if (settings->requiresUserGestureToLoadVideo())
468                 m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
469         }
470
471         if (settings && settings->audioPlaybackRequiresUserGesture())
472             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
473
474 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
475         if (settings && (settings->videoPlaybackRequiresUserGesture() || settings->audioPlaybackRequiresUserGesture()))
476             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
477 #endif
478
479         if (!settings || !settings->mediaDataLoadsAutomatically())
480             m_mediaSession->addBehaviorRestriction(MediaElementSession::AutoPreloadingNotPermitted);
481
482         if (settings && settings->mainContentUserGestureOverrideEnabled())
483             m_mediaSession->addBehaviorRestriction(MediaElementSession::OverrideUserGestureRequirementForMainContent);
484     }
485
486 #if PLATFORM(IOS)
487     if (settings && !settings->videoPlaybackRequiresUserGesture() && !settings->audioPlaybackRequiresUserGesture()) {
488         // Relax RequireUserGestureForFullscreen when videoPlaybackRequiresUserGesture and audioPlaybackRequiresUserGesture is not set:
489         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
490     }
491 #endif
492
493 #if ENABLE(VIDEO_TRACK)
494     if (document.page())
495         m_captionDisplayMode = document.page()->group().captionPreferences().captionDisplayMode();
496 #endif
497
498 #if ENABLE(MEDIA_SESSION)
499     m_elementID = nextElementID();
500     elementIDsToElements().add(m_elementID, this);
501
502     setSessionInternal(document.defaultMediaSession());
503 #endif
504
505     registerWithDocument(document);
506 }
507
508 HTMLMediaElement::~HTMLMediaElement()
509 {
510     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
511
512     beginIgnoringTrackDisplayUpdateRequests();
513     allMediaElements().remove(this);
514
515     m_asyncEventQueue.close();
516
517     setShouldDelayLoadEvent(false);
518     unregisterWithDocument(document());
519
520 #if ENABLE(VIDEO_TRACK)
521     if (m_audioTracks)
522         m_audioTracks->clearElement();
523     if (m_textTracks)
524         m_textTracks->clearElement();
525     if (m_videoTracks)
526         m_videoTracks->clearElement();
527 #endif
528
529 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
530     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
531         m_hasPlaybackTargetAvailabilityListeners = false;
532         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
533         updateMediaState();
534     }
535 #endif
536
537     if (m_mediaController) {
538         m_mediaController->removeMediaElement(*this);
539         m_mediaController = nullptr;
540     }
541
542 #if ENABLE(MEDIA_SOURCE)
543     detachMediaSource();
544 #endif
545
546 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
547     webkitSetMediaKeys(nullptr);
548 #endif
549
550 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
551     if (m_isolatedWorld)
552         m_isolatedWorld->clearWrappers();
553 #endif
554
555 #if ENABLE(MEDIA_SESSION)
556     if (m_session) {
557         m_session->removeMediaElement(*this);
558         m_session = nullptr;
559     }
560
561     elementIDsToElements().remove(m_elementID);
562 #endif
563
564     m_seekTaskQueue.close();
565     m_promiseTaskQueue.close();
566     m_pauseAfterDetachedTaskQueue.close();
567     m_updatePlaybackControlsManagerQueue.close();
568     m_playbackControlsManagerBehaviorRestrictionsQueue.close();
569
570     m_completelyLoaded = true;
571
572     m_player = nullptr;
573     updatePlaybackControlsManager();
574 }
575
576 static bool needsPlaybackControlsManagerQuirk(Page& page)
577 {
578     if (!page.settings().needsSiteSpecificQuirks())
579         return false;
580
581     String host = page.mainFrame().document()->url().host();
582     return equalLettersIgnoringASCIICase(host, "netflix.com") || host.endsWithIgnoringASCIICase(".netflix.com");
583 }
584
585 HTMLMediaElement* HTMLMediaElement::bestMediaElementForShowingPlaybackControlsManager(MediaElementSession::PlaybackControlsPurpose purpose)
586 {
587     auto allSessions = PlatformMediaSessionManager::sharedManager().currentSessionsMatching([] (const PlatformMediaSession& session) {
588         return is<MediaElementSession>(session);
589     });
590
591     Vector<MediaElementSessionInfo> candidateSessions;
592     bool atLeastOneNonCandidateMayBeConfusedForMainContent = false;
593     for (auto& session : allSessions) {
594         auto mediaElementSessionInfo = mediaElementSessionInfoForSession(downcast<MediaElementSession>(*session), purpose);
595         if (mediaElementSessionInfo.canShowControlsManager)
596             candidateSessions.append(mediaElementSessionInfo);
597         else if (mediaSessionMayBeConfusedWithMainContent(mediaElementSessionInfo, purpose))
598             atLeastOneNonCandidateMayBeConfusedForMainContent = true;
599     }
600
601     if (!candidateSessions.size())
602         return nullptr;
603
604     std::sort(candidateSessions.begin(), candidateSessions.end(), preferMediaControlsForCandidateSessionOverOtherCandidateSession);
605     auto strongestSessionCandidate = candidateSessions.first();
606     if (!strongestSessionCandidate.isVisibleInViewportOrFullscreen && !strongestSessionCandidate.isPlayingAudio && atLeastOneNonCandidateMayBeConfusedForMainContent)
607         return nullptr;
608
609     HTMLMediaElement* strongestElementCandidate = &strongestSessionCandidate.session->element();
610     if (strongestElementCandidate) {
611         if (Page* page = strongestElementCandidate->document().page()) {
612             if (needsPlaybackControlsManagerQuirk(*page))
613                 return nullptr;
614         }
615     }
616
617     return strongestElementCandidate;
618 }
619
620 void HTMLMediaElement::registerWithDocument(Document& document)
621 {
622     m_mediaSession->registerWithDocument(document);
623
624     if (m_isWaitingUntilMediaCanStart)
625         document.addMediaCanStartListener(this);
626
627 #if !PLATFORM(IOS)
628     document.registerForMediaVolumeCallbacks(this);
629     document.registerForPrivateBrowsingStateChangedCallbacks(this);
630 #endif
631
632     document.registerForVisibilityStateChangedCallbacks(this);
633
634 #if ENABLE(VIDEO_TRACK)
635     if (m_requireCaptionPreferencesChangedCallbacks)
636         document.registerForCaptionPreferencesChangedCallbacks(this);
637 #endif
638
639 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
640     if (m_mediaControlsDependOnPageScaleFactor)
641         document.registerForPageScaleFactorChangedCallbacks(this);
642     document.registerForUserInterfaceLayoutDirectionChangedCallbacks(*this);
643 #endif
644
645 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
646     document.registerForDocumentSuspensionCallbacks(this);
647 #endif
648
649     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
650
651     document.addAudioProducer(this);
652     addElementToDocumentMap(*this, document);
653 }
654
655 void HTMLMediaElement::unregisterWithDocument(Document& document)
656 {
657     m_mediaSession->unregisterWithDocument(document);
658
659     if (m_isWaitingUntilMediaCanStart)
660         document.removeMediaCanStartListener(this);
661
662 #if !PLATFORM(IOS)
663     document.unregisterForMediaVolumeCallbacks(this);
664     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
665 #endif
666
667     document.unregisterForVisibilityStateChangedCallbacks(this);
668
669 #if ENABLE(VIDEO_TRACK)
670     if (m_requireCaptionPreferencesChangedCallbacks)
671         document.unregisterForCaptionPreferencesChangedCallbacks(this);
672 #endif
673
674 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
675     if (m_mediaControlsDependOnPageScaleFactor)
676         document.unregisterForPageScaleFactorChangedCallbacks(this);
677     document.unregisterForUserInterfaceLayoutDirectionChangedCallbacks(*this);
678 #endif
679
680 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
681     document.unregisterForDocumentSuspensionCallbacks(this);
682 #endif
683
684     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
685
686     document.removeAudioProducer(this);
687     removeElementFromDocumentMap(*this, document);
688 }
689
690 void HTMLMediaElement::didMoveToNewDocument(Document& oldDocument)
691 {
692     if (m_shouldDelayLoadEvent) {
693         oldDocument.decrementLoadEventDelayCount();
694         document().incrementLoadEventDelayCount();
695     }
696
697     unregisterWithDocument(oldDocument);
698
699     registerWithDocument(document());
700
701     HTMLElement::didMoveToNewDocument(oldDocument);
702     updateShouldAutoplay();
703 }
704
705 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
706 void HTMLMediaElement::prepareForDocumentSuspension()
707 {
708     m_mediaSession->unregisterWithDocument(document());
709 }
710
711 void HTMLMediaElement::resumeFromDocumentSuspension()
712 {
713     m_mediaSession->registerWithDocument(document());
714     updateShouldAutoplay();
715 }
716 #endif
717
718 bool HTMLMediaElement::supportsFocus() const
719 {
720     if (document().isMediaDocument())
721         return false;
722
723     // If no controls specified, we should still be able to focus the element if it has tabIndex.
724     return controls() ||  HTMLElement::supportsFocus();
725 }
726
727 bool HTMLMediaElement::isMouseFocusable() const
728 {
729     return false;
730 }
731
732 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
733 {
734     if (name == srcAttr) {
735 #if PLATFORM(IOS)
736         // Note, unless the restriction on requiring user action has been removed,
737         // do not begin downloading data on iOS.
738         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
739 #else
740         // Trigger a reload, as long as the 'src' attribute is present.
741         if (!value.isNull())
742 #endif
743         {
744             clearMediaPlayer(LoadMediaResource);
745             scheduleDelayedAction(LoadMediaResource);
746         }
747     } else if (name == controlsAttr)
748         configureMediaControls();
749     else if (name == loopAttr)
750         updateSleepDisabling();
751     else if (name == preloadAttr) {
752         if (equalLettersIgnoringASCIICase(value, "none"))
753             m_preload = MediaPlayer::None;
754         else if (equalLettersIgnoringASCIICase(value, "metadata"))
755             m_preload = MediaPlayer::MetaData;
756         else {
757             // The spec does not define an "invalid value default" but "auto" is suggested as the
758             // "missing value default", so use it for everything except "none" and "metadata"
759             m_preload = MediaPlayer::Auto;
760         }
761
762         // The attribute must be ignored if the autoplay attribute is present
763         if (!autoplay() && m_player)
764             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
765
766     } else if (name == mediagroupAttr)
767         setMediaGroup(value);
768     else
769         HTMLElement::parseAttribute(name, value);
770 }
771
772 void HTMLMediaElement::finishParsingChildren()
773 {
774     HTMLElement::finishParsingChildren();
775     m_parsingInProgress = false;
776     
777 #if ENABLE(VIDEO_TRACK)
778     if (descendantsOfType<HTMLTrackElement>(*this).first())
779         scheduleDelayedAction(ConfigureTextTracks);
780 #endif
781 }
782
783 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
784 {
785     return controls() && HTMLElement::rendererIsNeeded(style);
786 }
787
788 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(RenderStyle&& style, const RenderTreePosition&)
789 {
790     return createRenderer<RenderMedia>(*this, WTFMove(style));
791 }
792
793 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
794 {
795 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
796     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
797 #else
798     if (!hasMediaControls())
799         return false;
800     // <media> doesn't allow its content, including shadow subtree, to
801     // be rendered. So this should return false for most of the children.
802     // One exception is a shadow tree built for rendering controls which should be visible.
803     // So we let them go here by comparing its subtree root with one of the controls.
804     return &mediaControls()->treeScope() == &child.treeScope()
805         && hasShadowRootParent(child)
806         && HTMLElement::childShouldCreateRenderer(child);
807 #endif
808 }
809
810 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
811 {
812     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
813
814     HTMLElement::insertedInto(insertionPoint);
815     if (insertionPoint.inDocument()) {
816         m_inActiveDocument = true;
817
818 #if PLATFORM(IOS)
819         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
820 #else
821         if (m_networkState == NETWORK_EMPTY && !attributeWithoutSynchronization(srcAttr).isEmpty())
822 #endif
823             scheduleDelayedAction(LoadMediaResource);
824     }
825
826     if (!m_explicitlyMuted) {
827         m_explicitlyMuted = true;
828         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
829     }
830
831     return InsertionShouldCallFinishedInsertingSubtree;
832 }
833
834 void HTMLMediaElement::finishedInsertingSubtree()
835 {
836     configureMediaControls();
837 }
838
839 void HTMLMediaElement::pauseAfterDetachedTask()
840 {
841     // If we were re-inserted into an active document, no need to pause.
842     if (m_inActiveDocument)
843         return;
844
845     if (hasMediaControls())
846         mediaControls()->hide();
847     if (m_networkState > NETWORK_EMPTY)
848         pause();
849     if (m_videoFullscreenMode != VideoFullscreenModeNone)
850         exitFullscreen();
851
852     if (!m_player)
853         return;
854
855     size_t extraMemoryCost = m_player->extraMemoryCost();
856     if (extraMemoryCost > m_reportedExtraMemoryCost) {
857         JSC::VM& vm = commonVM();
858         JSC::JSLockHolder lock(vm);
859
860         size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
861         m_reportedExtraMemoryCost = extraMemoryCost;
862         // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
863         // https://bugs.webkit.org/show_bug.cgi?id=142595
864         vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
865     }
866 }
867
868 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
869 {
870     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
871
872     m_inActiveDocument = false;
873     if (insertionPoint.inDocument()) {
874         // Pause asynchronously to let the operation that removed us finish, in case we get inserted back into a document.
875         m_pauseAfterDetachedTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::pauseAfterDetachedTask, this));
876     }
877
878     HTMLElement::removedFrom(insertionPoint);
879 }
880
881 void HTMLMediaElement::willAttachRenderers()
882 {
883     ASSERT(!renderer());
884 }
885
886 inline void HTMLMediaElement::updateRenderer()
887 {
888     if (auto* renderer = this->renderer())
889         renderer->updateFromElement();
890 }
891
892 void HTMLMediaElement::didAttachRenderers()
893 {
894     if (auto* renderer = this->renderer()) {
895         renderer->updateFromElement();
896         if (m_mediaSession && m_mediaSession->wantsToObserveViewportVisibilityForAutoplay())
897             renderer->registerForVisibleInViewportCallback();
898     }
899     updateShouldAutoplay();
900 }
901
902 void HTMLMediaElement::willDetachRenderers()
903 {
904     if (auto* renderer = this->renderer())
905         renderer->unregisterForVisibleInViewportCallback();
906 }
907
908 void HTMLMediaElement::didDetachRenderers()
909 {
910     updateShouldAutoplay();
911 }
912
913 void HTMLMediaElement::didRecalcStyle(Style::Change)
914 {
915     updateRenderer();
916 }
917
918 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
919 {
920     LOG(Media, "HTMLMediaElement::scheduleDelayedAction(%p) - setting %s flag", this, actionName(actionType).utf8().data());
921
922     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
923         prepareForLoad();
924         setFlags(m_pendingActionFlags, LoadMediaResource);
925     }
926
927 #if ENABLE(VIDEO_TRACK)
928     if (actionType & ConfigureTextTracks)
929         setFlags(m_pendingActionFlags, ConfigureTextTracks);
930 #endif
931
932 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
933     if (actionType & CheckPlaybackTargetCompatablity)
934         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
935 #endif
936
937     if (actionType & CheckMediaState)
938         setFlags(m_pendingActionFlags, CheckMediaState);
939
940     if (actionType & MediaEngineUpdated)
941         setFlags(m_pendingActionFlags, MediaEngineUpdated);
942
943     if (actionType & UpdatePlayState)
944         setFlags(m_pendingActionFlags, UpdatePlayState);
945
946     m_pendingActionTimer.startOneShot(0);
947 }
948
949 void HTMLMediaElement::scheduleNextSourceChild()
950 {
951     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
952     LOG(Media, "HTMLMediaElement::scheduleNextSourceChild(%p) - setting %s flag", this, actionName(LoadMediaResource).utf8().data());
953     setFlags(m_pendingActionFlags, LoadMediaResource);
954     m_pendingActionTimer.startOneShot(0);
955 }
956
957 void HTMLMediaElement::mediaPlayerActiveSourceBuffersChanged(const MediaPlayer*)
958 {
959     m_hasEverHadAudio |= hasAudio();
960     m_hasEverHadVideo |= hasVideo();
961 }
962
963 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
964 {
965 #if LOG_MEDIA_EVENTS
966     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
967 #endif
968     RefPtr<Event> event = Event::create(eventName, false, true);
969     
970     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
971     // will trigger an ASSERT if this element has been marked for deletion.
972
973     m_asyncEventQueue.enqueueEvent(WTFMove(event));
974 }
975
976 void HTMLMediaElement::scheduleResolvePendingPlayPromises()
977 {
978     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::resolvePendingPlayPromises, this));
979 }
980
981 void HTMLMediaElement::rejectPendingPlayPromises(DOMError& error)
982 {
983     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
984
985     for (auto& promise : pendingPlayPromises)
986         promise.rejectType<IDLInterface<DOMError>>(error);
987 }
988
989 void HTMLMediaElement::resolvePendingPlayPromises()
990 {
991     Vector<DOMPromise<void>> pendingPlayPromises = WTFMove(m_pendingPlayPromises);
992
993     for (auto& promise : pendingPlayPromises)
994         promise.resolve();
995 }
996
997 void HTMLMediaElement::scheduleNotifyAboutPlaying()
998 {
999     m_promiseTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::notifyAboutPlaying, this));
1000 }
1001
1002 void HTMLMediaElement::notifyAboutPlaying()
1003 {
1004     m_playbackStartedTime = currentMediaTime().toDouble();
1005     dispatchEvent(Event::create(eventNames().playingEvent, false, true));
1006     resolvePendingPlayPromises();
1007
1008     m_hasEverNotifiedAboutPlaying = true;
1009     scheduleUpdatePlaybackControlsManager();
1010 }
1011
1012 bool HTMLMediaElement::hasEverNotifiedAboutPlaying() const
1013 {
1014     return m_hasEverNotifiedAboutPlaying;
1015 }
1016
1017 void HTMLMediaElement::pendingActionTimerFired()
1018 {
1019     Ref<HTMLMediaElement> protectedThis(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
1020     PendingActionFlags pendingActions = m_pendingActionFlags;
1021     m_pendingActionFlags = 0;
1022
1023 #if ENABLE(VIDEO_TRACK)
1024     if (pendingActions & ConfigureTextTracks)
1025         configureTextTracks();
1026 #endif
1027
1028     if (pendingActions & LoadMediaResource) {
1029         if (m_loadState == LoadingFromSourceElement)
1030             loadNextSourceChild();
1031         else
1032             loadInternal();
1033     }
1034
1035 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1036     if (pendingActions & CheckPlaybackTargetCompatablity && m_isPlayingToWirelessTarget && !m_player->canPlayToWirelessPlaybackTarget()) {
1037         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
1038         m_failedToPlayToWirelessTarget = true;
1039         m_player->setShouldPlayToPlaybackTarget(false);
1040     }
1041
1042     if (pendingActions & CheckMediaState)
1043         updateMediaState();
1044 #endif
1045
1046     if (pendingActions & MediaEngineUpdated)
1047         mediaEngineWasUpdated();
1048
1049     if (pendingActions & UpdatePlayState)
1050         updatePlayState();
1051 }
1052
1053 MediaError* HTMLMediaElement::error() const
1054 {
1055     return m_error.get();
1056 }
1057
1058 void HTMLMediaElement::setSrc(const String& url)
1059 {
1060     setAttributeWithoutSynchronization(srcAttr, url);
1061 }
1062
1063 #if ENABLE(MEDIA_STREAM)
1064 void HTMLMediaElement::setSrcObject(ScriptExecutionContext& context, MediaStream* mediaStream)
1065 {
1066     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
1067     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
1068     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
1069     // the UA must re-run the media element load algorithm.
1070     //
1071     // https://bugs.webkit.org/show_bug.cgi?id=124896
1072
1073     m_mediaStreamSrcObject = mediaStream;
1074     if (mediaStream) {
1075         m_settingMediaStreamSrcObject = true;
1076         setSrc(DOMURL::createPublicURL(context, *mediaStream));
1077         m_settingMediaStreamSrcObject = false;
1078     }
1079 }
1080 #endif
1081
1082 void HTMLMediaElement::setCrossOrigin(const AtomicString& value)
1083 {
1084     setAttributeWithoutSynchronization(crossoriginAttr, value);
1085 }
1086
1087 String HTMLMediaElement::crossOrigin() const
1088 {
1089     return parseCORSSettingsAttribute(attributeWithoutSynchronization(crossoriginAttr));
1090 }
1091
1092 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
1093 {
1094     return m_networkState;
1095 }
1096
1097 String HTMLMediaElement::canPlayType(const String& mimeType) const
1098 {
1099     MediaEngineSupportParameters parameters;
1100     ContentType contentType(mimeType);
1101     parameters.type = contentType.type().convertToASCIILowercase();
1102     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
1103     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
1104     String canPlay;
1105
1106     // 4.8.10.3
1107     switch (support)
1108     {
1109         case MediaPlayer::IsNotSupported:
1110             canPlay = emptyString();
1111             break;
1112         case MediaPlayer::MayBeSupported:
1113             canPlay = ASCIILiteral("maybe");
1114             break;
1115         case MediaPlayer::IsSupported:
1116             canPlay = ASCIILiteral("probably");
1117             break;
1118     }
1119     
1120     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s] -> %s", this, mimeType.utf8().data(), canPlay.utf8().data());
1121
1122     return canPlay;
1123 }
1124
1125 double HTMLMediaElement::getStartDate() const
1126 {
1127     if (!m_player)
1128         return std::numeric_limits<double>::quiet_NaN();
1129     return m_player->getStartDate().toDouble();
1130 }
1131
1132 void HTMLMediaElement::load()
1133 {
1134     Ref<HTMLMediaElement> protectedThis(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
1135     
1136     LOG(Media, "HTMLMediaElement::load(%p)", this);
1137     
1138     if (!m_mediaSession->dataLoadingPermitted(*this))
1139         return;
1140     if (ScriptController::processingUserGestureForMedia())
1141         removeBehaviorsRestrictionsAfterFirstUserGesture();
1142
1143     prepareForLoad();
1144     loadInternal();
1145     prepareToPlay();
1146 }
1147
1148 void HTMLMediaElement::prepareForLoad()
1149 {
1150     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
1151
1152     // Perform the cleanup required for the resource load algorithm to run.
1153     stopPeriodicTimers();
1154     m_pendingActionTimer.stop();
1155     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
1156     m_pendingActionFlags &= ~LoadMediaResource;
1157     m_sentEndEvent = false;
1158     m_sentStalledEvent = false;
1159     m_haveFiredLoadedData = false;
1160     m_completelyLoaded = false;
1161     m_havePreparedToPlay = false;
1162     m_displayMode = Unknown;
1163     m_currentSrc = URL();
1164
1165 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
1166     m_failedToPlayToWirelessTarget = false;
1167 #endif
1168
1169     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
1170     m_loadState = WaitingForSource;
1171     m_currentSourceNode = nullptr;
1172
1173     // 2 - If there are any tasks from the media element's media element event task source in 
1174     // one of the task queues, then remove those tasks.
1175     cancelPendingEventsAndCallbacks();
1176
1177     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
1178     // a task to fire a simple event named abort at the media element.
1179     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
1180         scheduleEvent(eventNames().abortEvent);
1181
1182 #if ENABLE(MEDIA_SOURCE)
1183     detachMediaSource();
1184 #endif
1185
1186     createMediaPlayer();
1187
1188     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
1189     if (m_networkState != NETWORK_EMPTY) {
1190         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
1191         scheduleEvent(eventNames().emptiedEvent);
1192
1193         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
1194         m_networkState = NETWORK_EMPTY;
1195
1196         // 4.3 - Forget the media element's media-resource-specific tracks.
1197         forgetResourceSpecificTracks();
1198
1199         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
1200         m_readyState = HAVE_NOTHING;
1201         m_readyStateMaximum = HAVE_NOTHING;
1202
1203         // 4.5 - If the paused attribute is false, then set it to true.
1204         m_paused = true;
1205
1206         // 4.6 - If seeking is true, set it to false.
1207         clearSeeking();
1208
1209         // 4.7 - Set the current playback position to 0.
1210         //       Set the official playback position to 0.
1211         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
1212         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
1213
1214         // 4.8 - Set the initial playback position to 0.
1215         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
1216         // above.
1217         refreshCachedTime();
1218
1219         invalidateCachedTime();
1220
1221         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1222         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1223
1224         updateMediaController();
1225 #if ENABLE(VIDEO_TRACK)
1226         updateActiveTextTrackCues(MediaTime::zeroTime());
1227 #endif
1228     }
1229
1230     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1231     setPlaybackRate(defaultPlaybackRate());
1232
1233     // 6 - Set the error attribute to null and the autoplaying flag to true.
1234     m_error = nullptr;
1235     m_autoplaying = true;
1236     mediaSession().clientWillBeginAutoplaying();
1237
1238     // 7 - Invoke the media element's resource selection algorithm.
1239
1240     // 8 - Note: Playback of any previously playing media resource for this element stops.
1241
1242     // The resource selection algorithm
1243     // 1 - Set the networkState to NETWORK_NO_SOURCE
1244     m_networkState = NETWORK_NO_SOURCE;
1245
1246     // 2 - Asynchronously await a stable state.
1247
1248     m_playedTimeRanges = TimeRanges::create();
1249
1250     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1251     // so they are closer to the relevant spec steps.
1252     m_lastSeekTime = MediaTime::zeroTime();
1253
1254     // The spec doesn't say to block the load event until we actually run the asynchronous section
1255     // algorithm, but do it now because we won't start that until after the timer fires and the 
1256     // event may have already fired by then.
1257     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1258     if (effectivePreload != MediaPlayer::None)
1259         setShouldDelayLoadEvent(true);
1260
1261 #if PLATFORM(IOS)
1262     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1263         prepareToPlay();
1264 #endif
1265
1266     configureMediaControls();
1267 }
1268
1269 void HTMLMediaElement::loadInternal()
1270 {
1271     LOG(Media, "HTMLMediaElement::loadInternal(%p)", this);
1272
1273     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1274     // us catch those bugs more quickly without needing all the branches to align to actually
1275     // trigger the event.
1276     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1277
1278     // If we can't start a load right away, start it later.
1279     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1280         LOG(Media, "HTMLMediaElement::loadInternal(%p) - not allowed to load in background, waiting", this);
1281         setShouldDelayLoadEvent(false);
1282         if (m_isWaitingUntilMediaCanStart)
1283             return;
1284         m_isWaitingUntilMediaCanStart = true;
1285         document().addMediaCanStartListener(this);
1286         return;
1287     }
1288
1289     clearFlags(m_pendingActionFlags, LoadMediaResource);
1290
1291     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1292     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1293     // put into the background.
1294     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1295
1296 #if ENABLE(VIDEO_TRACK)
1297     if (hasMediaControls())
1298         mediaControls()->changedClosedCaptionsVisibility();
1299
1300     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1301     // disabled state when the element's resource selection algorithm last started".
1302     m_textTracksWhenResourceSelectionBegan.clear();
1303     if (m_textTracks) {
1304         for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1305             TextTrack* track = m_textTracks->item(i);
1306             if (track->mode() != TextTrack::Mode::Disabled)
1307                 m_textTracksWhenResourceSelectionBegan.append(track);
1308         }
1309     }
1310 #endif
1311
1312     selectMediaResource();
1313 }
1314
1315 void HTMLMediaElement::selectMediaResource()
1316 {
1317     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1318
1319     ASSERT(m_player);
1320     if (!m_player)
1321         return;
1322
1323     enum Mode { attribute, children };
1324
1325     // 3 - If the media element has a src attribute, then let mode be attribute.
1326     Mode mode = attribute;
1327     if (!hasAttributeWithoutSynchronization(srcAttr)) {
1328         // Otherwise, if the media element does not have a src attribute but has a source 
1329         // element child, then let mode be children and let candidate be the first such 
1330         // source element child in tree order.
1331         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1332             mode = children;
1333             m_nextChildNodeToConsider = firstSource;
1334             m_currentSourceNode = nullptr;
1335         } else {
1336             // Otherwise the media element has neither a src attribute nor a source element 
1337             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1338             // synchronous section ends.
1339             m_loadState = WaitingForSource;
1340             setShouldDelayLoadEvent(false);
1341             m_networkState = NETWORK_EMPTY;
1342
1343             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1344             return;
1345         }
1346     }
1347
1348     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1349     // and set its networkState to NETWORK_LOADING.
1350     setShouldDelayLoadEvent(true);
1351     m_networkState = NETWORK_LOADING;
1352
1353     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1354     scheduleEvent(eventNames().loadstartEvent);
1355
1356     // 6 - If mode is attribute, then run these substeps
1357     if (mode == attribute) {
1358         m_loadState = LoadingFromSrcAttr;
1359
1360         // If the src attribute's value is the empty string ... jump down to the failed step below
1361         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1362         if (mediaURL.isEmpty()) {
1363             mediaLoadingFailed(MediaPlayer::FormatError);
1364             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1365             return;
1366         }
1367
1368         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1369             mediaLoadingFailed(MediaPlayer::FormatError);
1370             return;
1371         }
1372
1373         // No type or key system information is available when the url comes
1374         // from the 'src' attribute so MediaPlayer
1375         // will have to pick a media engine based on the file extension.
1376         ContentType contentType((String()));
1377         loadResource(mediaURL, contentType, String());
1378         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1379         return;
1380     }
1381
1382     // Otherwise, the source elements will be used
1383     loadNextSourceChild();
1384 }
1385
1386 void HTMLMediaElement::loadNextSourceChild()
1387 {
1388     ContentType contentType((String()));
1389     String keySystem;
1390     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1391     if (!mediaURL.isValid()) {
1392         waitForSourceChange();
1393         return;
1394     }
1395
1396     // Recreate the media player for the new url
1397     createMediaPlayer();
1398
1399     m_loadState = LoadingFromSourceElement;
1400     loadResource(mediaURL, contentType, keySystem);
1401 }
1402
1403 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1404 {
1405     ASSERT(isSafeToLoadURL(initialURL, Complain));
1406
1407     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1408
1409     Frame* frame = document().frame();
1410     if (!frame) {
1411         mediaLoadingFailed(MediaPlayer::FormatError);
1412         return;
1413     }
1414
1415     Page* page = frame->page();
1416     if (!page) {
1417         mediaLoadingFailed(MediaPlayer::FormatError);
1418         return;
1419     }
1420
1421     URL url = initialURL;
1422     if (!frame->loader().willLoadMediaElementURL(url)) {
1423         mediaLoadingFailed(MediaPlayer::FormatError);
1424         return;
1425     }
1426
1427 #if ENABLE(CONTENT_EXTENSIONS)
1428     DocumentLoader* documentLoader = frame->loader().documentLoader();
1429
1430     if (documentLoader) {
1431         auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(url, ResourceType::Media, *documentLoader);
1432         if (blockedStatus.blockedLoad) {
1433             mediaLoadingFailed(MediaPlayer::FormatError);
1434             return;
1435         }
1436     }
1437 #endif
1438
1439     // The resource fetch algorithm 
1440     m_networkState = NETWORK_LOADING;
1441
1442     // If the url should be loaded from the application cache, pass the url of the cached file
1443     // to the media engine.
1444     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1445     ApplicationCacheResource* resource = nullptr;
1446     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1447         // Resources that are not present in the manifest will always fail to load (at least, after the
1448         // cache has been primed the first time), making the testing of offline applications simpler.
1449         if (!resource || resource->path().isEmpty()) {
1450             mediaLoadingFailed(MediaPlayer::NetworkError);
1451             return;
1452         }
1453     }
1454
1455     // Log that we started loading a media element.
1456     page->diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1457
1458     m_firstTimePlaying = true;
1459
1460     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1461     // cache is an internal detail not exposed through the media element API.
1462     m_currentSrc = url;
1463
1464     if (resource) {
1465         url = ApplicationCacheHost::createFileURL(resource->path());
1466         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1467     }
1468
1469     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1470
1471     if (m_sendProgressEvents)
1472         startProgressEventTimer();
1473
1474     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1475     m_player->setPrivateBrowsingMode(privateMode);
1476
1477     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1478     setDisplayMode(Unknown);
1479
1480     if (!autoplay())
1481         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1482     m_player->setPreservesPitch(m_webkitPreservesPitch);
1483
1484     if (!m_explicitlyMuted) {
1485         m_explicitlyMuted = true;
1486         m_muted = hasAttributeWithoutSynchronization(mutedAttr);
1487     }
1488
1489     updateVolume();
1490
1491     bool loadAttempted = false;
1492 #if ENABLE(MEDIA_SOURCE)
1493     ASSERT(!m_mediaSource);
1494
1495     if (url.protocolIs(mediaSourceBlobProtocol))
1496         m_mediaSource = MediaSource::lookup(url.string());
1497
1498     if (m_mediaSource) {
1499         if (m_mediaSource->attachToElement(*this))
1500             m_player->load(url, contentType, m_mediaSource.get());
1501         else {
1502             // Forget our reference to the MediaSource, so we leave it alone
1503             // while processing remainder of load failure.
1504             m_mediaSource = nullptr;
1505             mediaLoadingFailed(MediaPlayer::FormatError);
1506         }
1507         loadAttempted = true;
1508     }
1509 #endif
1510
1511 #if ENABLE(MEDIA_STREAM)
1512     if (!loadAttempted) {
1513         if (!m_mediaStreamSrcObject && url.protocolIs(mediaStreamBlobProtocol))
1514             m_mediaStreamSrcObject = MediaStreamRegistry::shared().lookUp(url);
1515
1516         if (m_mediaStreamSrcObject) {
1517             loadAttempted = true;
1518             if (!m_player->load(m_mediaStreamSrcObject->privateStream()))
1519                 mediaLoadingFailed(MediaPlayer::FormatError);
1520         }
1521     }
1522 #endif
1523
1524     if (!loadAttempted && !m_player->load(url, contentType, keySystem))
1525         mediaLoadingFailed(MediaPlayer::FormatError);
1526
1527     // If there is no poster to display, allow the media engine to render video frames as soon as
1528     // they are available.
1529     updateDisplayState();
1530
1531     updateRenderer();
1532 }
1533
1534 #if ENABLE(VIDEO_TRACK)
1535
1536 static bool trackIndexCompare(TextTrack* a, TextTrack* b)
1537 {
1538     return a->trackIndex() - b->trackIndex() < 0;
1539 }
1540
1541 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1542 {
1543     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1544     // times first).
1545     if (a.first != b.first)
1546         return a.first - b.first < MediaTime::zeroTime();
1547
1548     // If the cues belong to different text tracks, it doesn't make sense to
1549     // compare the two tracks by the relative cue order, so return the relative
1550     // track order.
1551     if (a.second->track() != b.second->track())
1552         return trackIndexCompare(a.second->track(), b.second->track());
1553
1554     // 12 - Further sort tasks in events that have the same time by the
1555     // relative text track cue order of the text track cues associated
1556     // with these tasks.
1557     return a.second->cueIndex() - b.second->cueIndex() < 0;
1558 }
1559
1560 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1561 {
1562     return one.data()->isOrderedBefore(two.data());
1563 }
1564
1565 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1566 {
1567     // 4.8.10.8 Playing the media resource
1568
1569     //  If the current playback position changes while the steps are running,
1570     //  then the user agent must wait for the steps to complete, and then must
1571     //  immediately rerun the steps.
1572     if (ignoreTrackDisplayUpdateRequests())
1573         return;
1574
1575     LOG(Media, "HTMLMediaElement::updateActiveTextTrackCues(%p)", this);
1576
1577     // 1 - Let current cues be a list of cues, initialized to contain all the
1578     // cues of all the hidden, showing, or showing by default text tracks of the
1579     // media element (not the disabled ones) whose start times are less than or
1580     // equal to the current playback position and whose end times are greater
1581     // than the current playback position.
1582     CueList currentCues;
1583
1584     // The user agent must synchronously unset [the text track cue active] flag
1585     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1586     if (m_readyState != HAVE_NOTHING && m_player) {
1587         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1588         if (currentCues.size() > 1)
1589             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1590     }
1591
1592     CueList previousCues;
1593     CueList missedCues;
1594
1595     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1596     // of hidden, showing, and showing by default text tracks of the media
1597     // element that are not present in current cues.
1598     previousCues = m_currentlyActiveCues;
1599
1600     // 3 - Let last time be the current playback position at the time this
1601     // algorithm was last run for this media element, if this is not the first
1602     // time it has run.
1603     MediaTime lastTime = m_lastTextTrackUpdateTime;
1604
1605     // 4 - If the current playback position has, since the last time this
1606     // algorithm was run, only changed through its usual monotonic increase
1607     // during normal playback, then let missed cues be the list of cues in other
1608     // cues whose start times are greater than or equal to last time and whose
1609     // end times are less than or equal to the current playback position.
1610     // Otherwise, let missed cues be an empty list.
1611     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1612         for (auto& cue : m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime))) {
1613             // Consider cues that may have been missed since the last seek time.
1614             if (cue.low() > std::max(m_lastSeekTime, lastTime) && cue.high() < movieTime)
1615                 missedCues.append(cue);
1616         }
1617     }
1618
1619     m_lastTextTrackUpdateTime = movieTime;
1620
1621     // 5 - If the time was reached through the usual monotonic increase of the
1622     // current playback position during normal playback, and if the user agent
1623     // has not fired a timeupdate event at the element in the past 15 to 250ms
1624     // and is not still running event handlers for such an event, then the user
1625     // agent must queue a task to fire a simple event named timeupdate at the
1626     // element. (In the other cases, such as explicit seeks, relevant events get
1627     // fired as part of the overall process of changing the current playback
1628     // position.)
1629     if (!m_paused && m_lastSeekTime <= lastTime)
1630         scheduleTimeupdateEvent(false);
1631
1632     // Explicitly cache vector sizes, as their content is constant from here.
1633     size_t currentCuesSize = currentCues.size();
1634     size_t missedCuesSize = missedCues.size();
1635     size_t previousCuesSize = previousCues.size();
1636
1637     // 6 - If all of the cues in current cues have their text track cue active
1638     // flag set, none of the cues in other cues have their text track cue active
1639     // flag set, and missed cues is empty, then abort these steps.
1640     bool activeSetChanged = missedCuesSize;
1641
1642     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1643         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1644             activeSetChanged = true;
1645
1646     for (size_t i = 0; i < currentCuesSize; ++i) {
1647         TextTrackCue* cue = currentCues[i].data();
1648
1649         if (cue->isRenderable())
1650             toVTTCue(cue)->updateDisplayTree(movieTime);
1651
1652         if (!cue->isActive())
1653             activeSetChanged = true;
1654     }
1655
1656     if (!activeSetChanged)
1657         return;
1658
1659     // 7 - If the time was reached through the usual monotonic increase of the
1660     // current playback position during normal playback, and there are cues in
1661     // other cues that have their text track cue pause-on-exi flag set and that
1662     // either have their text track cue active flag set or are also in missed
1663     // cues, then immediately pause the media element.
1664     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1665         if (previousCues[i].data()->pauseOnExit()
1666             && previousCues[i].data()->isActive()
1667             && !currentCues.contains(previousCues[i]))
1668             pause();
1669     }
1670
1671     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1672         if (missedCues[i].data()->pauseOnExit())
1673             pause();
1674     }
1675
1676     // 8 - Let events be a list of tasks, initially empty. Each task in this
1677     // list will be associated with a text track, a text track cue, and a time,
1678     // which are used to sort the list before the tasks are queued.
1679     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1680
1681     // 8 - Let affected tracks be a list of text tracks, initially empty.
1682     Vector<TextTrack*> affectedTracks;
1683
1684     for (size_t i = 0; i < missedCuesSize; ++i) {
1685         // 9 - For each text track cue in missed cues, prepare an event named enter
1686         // for the TextTrackCue object with the text track cue start time.
1687         eventTasks.append({ missedCues[i].data()->startMediaTime(), missedCues[i].data() });
1688
1689         // 10 - For each text track [...] in missed cues, prepare an event
1690         // named exit for the TextTrackCue object with the  with the later of
1691         // the text track cue end time and the text track cue start time.
1692
1693         // Note: An explicit task is added only if the cue is NOT a zero or
1694         // negative length cue. Otherwise, the need for an exit event is
1695         // checked when these tasks are actually queued below. This doesn't
1696         // affect sorting events before dispatch either, because the exit
1697         // event has the same time as the enter event.
1698         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1699             eventTasks.append({ missedCues[i].data()->endMediaTime(), missedCues[i].data() });
1700     }
1701
1702     for (size_t i = 0; i < previousCuesSize; ++i) {
1703         // 10 - For each text track cue in other cues that has its text
1704         // track cue active flag set prepare an event named exit for the
1705         // TextTrackCue object with the text track cue end time.
1706         if (!currentCues.contains(previousCues[i]))
1707             eventTasks.append({ previousCues[i].data()->endMediaTime(), previousCues[i].data() });
1708     }
1709
1710     for (size_t i = 0; i < currentCuesSize; ++i) {
1711         // 11 - For each text track cue in current cues that does not have its
1712         // text track cue active flag set, prepare an event named enter for the
1713         // TextTrackCue object with the text track cue start time.
1714         if (!previousCues.contains(currentCues[i]))
1715             eventTasks.append({ currentCues[i].data()->startMediaTime(), currentCues[i].data() });
1716     }
1717
1718     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1719     // times first).
1720     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1721
1722     for (auto& eventTask : eventTasks) {
1723         if (!affectedTracks.contains(eventTask.second->track()))
1724             affectedTracks.append(eventTask.second->track());
1725
1726         // 13 - Queue each task in events, in list order.
1727
1728         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1729         // depending on the time that is associated with the event. This
1730         // correctly identifies the type of the event, if the startTime is
1731         // less than the endTime in the cue.
1732         if (eventTask.second->startTime() >= eventTask.second->endTime()) {
1733             auto enterEvent = Event::create(eventNames().enterEvent, false, false);
1734             enterEvent->setTarget(eventTask.second);
1735             m_asyncEventQueue.enqueueEvent(WTFMove(enterEvent));
1736
1737             auto exitEvent = Event::create(eventNames().exitEvent, false, false);
1738             exitEvent->setTarget(eventTask.second);
1739             m_asyncEventQueue.enqueueEvent(WTFMove(exitEvent));
1740         } else {
1741             RefPtr<Event> event;
1742             if (eventTask.first == eventTask.second->startMediaTime())
1743                 event = Event::create(eventNames().enterEvent, false, false);
1744             else
1745                 event = Event::create(eventNames().exitEvent, false, false);
1746             event->setTarget(eventTask.second);
1747             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1748         }
1749     }
1750
1751     // 14 - Sort affected tracks in the same order as the text tracks appear in
1752     // the media element's list of text tracks, and remove duplicates.
1753     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1754
1755     // 15 - For each text track in affected tracks, in the list order, queue a
1756     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1757     for (auto& affectedTrack : affectedTracks) {
1758         auto event = Event::create(eventNames().cuechangeEvent, false, false);
1759         event->setTarget(affectedTrack);
1760         m_asyncEventQueue.enqueueEvent(WTFMove(event));
1761
1762         // ... if the text track has a corresponding track element, to then fire a
1763         // simple event named cuechange at the track element as well.
1764         if (is<LoadableTextTrack>(*affectedTrack)) {
1765             auto event = Event::create(eventNames().cuechangeEvent, false, false);
1766             auto* trackElement = downcast<LoadableTextTrack>(*affectedTrack).trackElement();
1767             ASSERT(trackElement);
1768             event->setTarget(trackElement);
1769             m_asyncEventQueue.enqueueEvent(WTFMove(event));
1770         }
1771     }
1772
1773     // 16 - Set the text track cue active flag of all the cues in the current
1774     // cues, and unset the text track cue active flag of all the cues in the
1775     // other cues.
1776     for (size_t i = 0; i < currentCuesSize; ++i)
1777         currentCues[i].data()->setIsActive(true);
1778
1779     for (size_t i = 0; i < previousCuesSize; ++i)
1780         if (!currentCues.contains(previousCues[i]))
1781             previousCues[i].data()->setIsActive(false);
1782
1783     // Update the current active cues.
1784     m_currentlyActiveCues = currentCues;
1785
1786     if (activeSetChanged)
1787         updateTextTrackDisplay();
1788 }
1789
1790 bool HTMLMediaElement::textTracksAreReady() const
1791 {
1792     // 4.8.10.12.1 Text track model
1793     // ...
1794     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1795     // in the disabled state when the element's resource selection algorithm last started now
1796     // have a text track readiness state of loaded or failed to load.
1797     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1798         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1799             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1800             return false;
1801     }
1802
1803     return true;
1804 }
1805
1806 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1807 {
1808     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1809         if (track->readinessState() != TextTrack::Loading)
1810             setReadyState(m_player->readyState());
1811     } else {
1812         // The track readiness state might have changed as a result of the user
1813         // clicking the captions button. In this case, a check whether all the
1814         // resources have failed loading should be done in order to hide the CC button.
1815         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1816             mediaControls()->refreshClosedCaptionsButtonVisibility();
1817     }
1818 }
1819
1820 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1821 {
1822     ASSERT(track);
1823     if (m_audioTracks && m_audioTracks->contains(*track))
1824         m_audioTracks->scheduleChangeEvent();
1825     if (ScriptController::processingUserGestureForMedia())
1826         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
1827 }
1828
1829 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1830 {
1831     bool trackIsLoaded = true;
1832     if (track->trackType() == TextTrack::TrackElement) {
1833         trackIsLoaded = false;
1834         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1835             if (&trackElement.track() == track) {
1836                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1837                     trackIsLoaded = true;
1838                 break;
1839             }
1840         }
1841     }
1842
1843     // If this is the first added track, create the list of text tracks.
1844     if (!m_textTracks)
1845         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1846     
1847     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1848     track->setHasBeenConfigured(true);
1849     
1850     if (track->mode() != TextTrack::Mode::Disabled && trackIsLoaded)
1851         textTrackAddCues(track, track->cues());
1852
1853     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1854
1855     if (m_textTracks && m_textTracks->contains(*track))
1856         m_textTracks->scheduleChangeEvent();
1857
1858 #if ENABLE(AVF_CAPTIONS)
1859     if (track->trackType() == TextTrack::TrackElement && m_player)
1860         m_player->notifyTrackModeChanged();
1861 #endif
1862 }
1863
1864 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1865 {
1866     ASSERT(track);
1867     if (m_videoTracks && m_videoTracks->contains(*track))
1868         m_videoTracks->scheduleChangeEvent();
1869 }
1870
1871 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1872 {
1873     if (track->kind() != TextTrack::Kind::Captions && track->kind() != TextTrack::Kind::Subtitles && track->mode() == TextTrack::Mode::Showing)
1874         track->setMode(TextTrack::Mode::Hidden);
1875 }
1876
1877 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1878 {
1879     ++m_ignoreTrackDisplayUpdate;
1880 }
1881
1882 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1883 {
1884     ASSERT(m_ignoreTrackDisplayUpdate);
1885     --m_ignoreTrackDisplayUpdate;
1886     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1887         updateActiveTextTrackCues(currentMediaTime());
1888 }
1889
1890 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1891 {
1892     if (track->mode() == TextTrack::Mode::Disabled)
1893         return;
1894
1895     TrackDisplayUpdateScope scope(this);
1896     for (size_t i = 0; i < cues->length(); ++i)
1897         textTrackAddCue(track, *cues->item(i));
1898 }
1899
1900 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues)
1901 {
1902     TrackDisplayUpdateScope scope(this);
1903     for (size_t i = 0; i < cues->length(); ++i)
1904         textTrackRemoveCue(cues->item(i)->track(), *cues->item(i));
1905 }
1906
1907 void HTMLMediaElement::textTrackAddCue(TextTrack* track, TextTrackCue& cue)
1908 {
1909     if (track->mode() == TextTrack::Mode::Disabled)
1910         return;
1911
1912     // Negative duration cues need be treated in the interval tree as
1913     // zero-length cues.
1914     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1915
1916     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1917     if (!m_cueTree.contains(interval))
1918         m_cueTree.add(interval);
1919     updateActiveTextTrackCues(currentMediaTime());
1920 }
1921
1922 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, TextTrackCue& cue)
1923 {
1924     // Negative duration cues need to be treated in the interval tree as
1925     // zero-length cues.
1926     MediaTime endTime = std::max(cue.startMediaTime(), cue.endMediaTime());
1927
1928     CueInterval interval = m_cueTree.createInterval(cue.startMediaTime(), endTime, &cue);
1929     m_cueTree.remove(interval);
1930
1931     // Since the cue will be removed from the media element and likely the
1932     // TextTrack might also be destructed, notifying the region of the cue
1933     // removal shouldn't be done.
1934     if (cue.isRenderable())
1935         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(false);
1936
1937     size_t index = m_currentlyActiveCues.find(interval);
1938     if (index != notFound) {
1939         cue.setIsActive(false);
1940         m_currentlyActiveCues.remove(index);
1941     }
1942
1943     if (cue.isRenderable())
1944         toVTTCue(&cue)->removeDisplayTree();
1945     updateActiveTextTrackCues(currentMediaTime());
1946
1947     if (cue.isRenderable())
1948         toVTTCue(&cue)->notifyRegionWhenRemovingDisplayTree(true);
1949 }
1950
1951 #endif
1952
1953 static inline bool isAllowedToLoadMediaURL(HTMLMediaElement& element, const URL& url, bool isInUserAgentShadowTree)
1954 {
1955     // Elements in user agent show tree should load whatever the embedding document policy is.
1956     if (isInUserAgentShadowTree)
1957         return true;
1958
1959     ASSERT(element.document().contentSecurityPolicy());
1960     return element.document().contentSecurityPolicy()->allowMediaFromSource(url);
1961 }
1962
1963 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1964 {
1965     if (!url.isValid()) {
1966         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1967         return false;
1968     }
1969
1970     Frame* frame = document().frame();
1971     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1972         if (actionIfInvalid == Complain)
1973             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1974         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1975         return false;
1976     }
1977
1978     if (!isAllowedToLoadMediaURL(*this, url, isInUserAgentShadowTree())) {
1979         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1980         return false;
1981     }
1982
1983     return true;
1984 }
1985
1986 void HTMLMediaElement::startProgressEventTimer()
1987 {
1988     if (m_progressEventTimer.isActive())
1989         return;
1990
1991     m_previousProgressTime = monotonicallyIncreasingTime();
1992     // 350ms is not magic, it is in the spec!
1993     m_progressEventTimer.startRepeating(0.350);
1994 }
1995
1996 void HTMLMediaElement::waitForSourceChange()
1997 {
1998     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
1999
2000     stopPeriodicTimers();
2001     m_loadState = WaitingForSource;
2002
2003     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
2004     m_networkState = NETWORK_NO_SOURCE;
2005
2006     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2007     setShouldDelayLoadEvent(false);
2008
2009     updateDisplayState();
2010     updateRenderer();
2011 }
2012
2013 void HTMLMediaElement::noneSupported()
2014 {
2015     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
2016
2017     stopPeriodicTimers();
2018     m_loadState = WaitingForSource;
2019     m_currentSourceNode = nullptr;
2020
2021     // 4.8.10.5 
2022     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
2023     // URL could not be resolved. In one atomic operation, run the following steps:
2024
2025     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
2026     // MEDIA_ERR_SRC_NOT_SUPPORTED.
2027     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
2028
2029     // 6.2 - Forget the media element's media-resource-specific text tracks.
2030     forgetResourceSpecificTracks();
2031
2032     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
2033     m_networkState = NETWORK_NO_SOURCE;
2034
2035     // 7 - Queue a task to fire a simple event named error at the media element.
2036     scheduleEvent(eventNames().errorEvent);
2037
2038     rejectPendingPlayPromises(DOMError::create("NotSupportedError", "The operation is not supported."));
2039
2040 #if ENABLE(MEDIA_SOURCE)
2041     detachMediaSource();
2042 #endif
2043
2044     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2045     setShouldDelayLoadEvent(false);
2046
2047     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
2048     // the element won't attempt to load another resource.
2049
2050     updateDisplayState();
2051     updateRenderer();
2052 }
2053
2054 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
2055 {
2056     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
2057
2058     // 1 - The user agent should cancel the fetching process.
2059     stopPeriodicTimers();
2060     m_loadState = WaitingForSource;
2061
2062     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
2063     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
2064     if (error == MediaPlayer::NetworkError)
2065         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
2066     else if (error == MediaPlayer::DecodeError)
2067         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
2068     else
2069         ASSERT_NOT_REACHED();
2070
2071     // 3 - Queue a task to fire a simple event named error at the media element.
2072     scheduleEvent(eventNames().errorEvent);
2073
2074 #if ENABLE(MEDIA_SOURCE)
2075     detachMediaSource();
2076 #endif
2077
2078     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
2079     // task to fire a simple event called emptied at the element.
2080     m_networkState = NETWORK_EMPTY;
2081     scheduleEvent(eventNames().emptiedEvent);
2082
2083     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
2084     setShouldDelayLoadEvent(false);
2085
2086     // 6 - Abort the overall resource selection algorithm.
2087     m_currentSourceNode = nullptr;
2088
2089 #if PLATFORM(COCOA)
2090     if (is<MediaDocument>(document()))
2091         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
2092 #endif
2093 }
2094
2095 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
2096 {
2097     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
2098     m_asyncEventQueue.cancelAllEvents();
2099
2100     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
2101         source.cancelPendingErrorEvent();
2102
2103     rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
2104 }
2105
2106 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
2107 {
2108     beginProcessingMediaPlayerCallback();
2109     setNetworkState(m_player->networkState());
2110     endProcessingMediaPlayerCallback();
2111 }
2112
2113 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
2114 {
2115     if (!page)
2116         return;
2117
2118     DiagnosticLoggingClient& diagnosticLoggingClient = page->diagnosticLoggingClient();
2119     if (!succeeded) {
2120         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
2121         return;
2122     }
2123
2124     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
2125
2126     if (!page->hasSeenAnyMediaEngine())
2127         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
2128
2129     if (!page->hasSeenMediaEngine(mediaEngine))
2130         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
2131
2132     page->sawMediaEngine(mediaEngine);
2133 }
2134
2135 static String stringForNetworkState(MediaPlayer::NetworkState state)
2136 {
2137     switch (state) {
2138     case MediaPlayer::Empty: return ASCIILiteral("Empty");
2139     case MediaPlayer::Idle: return ASCIILiteral("Idle");
2140     case MediaPlayer::Loading: return ASCIILiteral("Loading");
2141     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
2142     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
2143     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
2144     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
2145     default: return emptyString();
2146     }
2147 }
2148
2149 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
2150 {
2151     stopPeriodicTimers();
2152     
2153     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
2154     // <source> children, schedule the next one
2155     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
2156         
2157         // resource selection algorithm
2158         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
2159         if (m_currentSourceNode)
2160             m_currentSourceNode->scheduleErrorEvent();
2161         else
2162             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
2163         
2164         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
2165         
2166         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
2167         forgetResourceSpecificTracks();
2168
2169         if (havePotentialSourceChild()) {
2170             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
2171             scheduleNextSourceChild();
2172         } else {
2173             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
2174             waitForSourceChange();
2175         }
2176         
2177         return;
2178     }
2179     
2180     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
2181         mediaLoadingFailedFatally(error);
2182     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
2183         noneSupported();
2184     
2185     updateDisplayState();
2186     if (hasMediaControls()) {
2187         mediaControls()->reset();
2188         mediaControls()->reportedError();
2189     }
2190
2191     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
2192
2193     m_mediaSession->clientCharacteristicsChanged();
2194 }
2195
2196 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
2197 {
2198     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
2199
2200     if (state == MediaPlayer::Empty) {
2201         // Just update the cached state and leave, we can't do anything.
2202         m_networkState = NETWORK_EMPTY;
2203         return;
2204     }
2205
2206     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
2207         mediaLoadingFailed(state);
2208         return;
2209     }
2210
2211     if (state == MediaPlayer::Idle) {
2212         if (m_networkState > NETWORK_IDLE) {
2213             changeNetworkStateFromLoadingToIdle();
2214             setShouldDelayLoadEvent(false);
2215         } else {
2216             m_networkState = NETWORK_IDLE;
2217         }
2218     }
2219
2220     if (state == MediaPlayer::Loading) {
2221         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2222             startProgressEventTimer();
2223         m_networkState = NETWORK_LOADING;
2224     }
2225
2226     if (state == MediaPlayer::Loaded) {
2227         if (m_networkState != NETWORK_IDLE)
2228             changeNetworkStateFromLoadingToIdle();
2229         m_completelyLoaded = true;
2230     }
2231
2232     if (hasMediaControls())
2233         mediaControls()->updateStatusDisplay();
2234 }
2235
2236 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2237 {
2238     m_progressEventTimer.stop();
2239     if (hasMediaControls() && m_player->didLoadingProgress())
2240         mediaControls()->bufferingProgressed();
2241
2242     // Schedule one last progress event so we guarantee that at least one is fired
2243     // for files that load very quickly.
2244     scheduleEvent(eventNames().progressEvent);
2245     scheduleEvent(eventNames().suspendEvent);
2246     m_networkState = NETWORK_IDLE;
2247 }
2248
2249 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2250 {
2251     beginProcessingMediaPlayerCallback();
2252
2253     setReadyState(m_player->readyState());
2254
2255     endProcessingMediaPlayerCallback();
2256 }
2257
2258 bool HTMLMediaElement::canTransitionFromAutoplayToPlay() const
2259 {
2260     return isAutoplaying()
2261         && mediaSession().autoplayPermitted()
2262         && paused()
2263         && autoplay()
2264         && !pausedForUserInteraction()
2265         && !document().isSandboxed(SandboxAutomaticFeatures)
2266         && mediaSession().playbackPermitted(*this);
2267 }
2268
2269 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2270 {
2271     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2272
2273     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2274     bool wasPotentiallyPlaying = potentiallyPlaying();
2275
2276     ReadyState oldState = m_readyState;
2277     ReadyState newState = static_cast<ReadyState>(state);
2278
2279 #if ENABLE(VIDEO_TRACK)
2280     bool tracksAreReady = textTracksAreReady();
2281
2282     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2283         return;
2284
2285     m_tracksAreReady = tracksAreReady;
2286 #else
2287     if (newState == oldState)
2288         return;
2289     bool tracksAreReady = true;
2290 #endif
2291     
2292     if (tracksAreReady)
2293         m_readyState = newState;
2294     else {
2295         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2296         // the text tracks are ready, regardless of the state of the media file.
2297         if (newState <= HAVE_METADATA)
2298             m_readyState = newState;
2299         else
2300             m_readyState = HAVE_CURRENT_DATA;
2301     }
2302     
2303     if (oldState > m_readyStateMaximum)
2304         m_readyStateMaximum = oldState;
2305
2306     if (m_networkState == NETWORK_EMPTY)
2307         return;
2308
2309     if (m_seeking) {
2310         // 4.8.10.9, step 11
2311         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2312             scheduleEvent(eventNames().waitingEvent);
2313
2314         // 4.8.10.10 step 14 & 15.
2315         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2316             finishSeek();
2317     } else {
2318         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2319             // 4.8.10.8
2320             invalidateCachedTime();
2321             scheduleTimeupdateEvent(false);
2322             scheduleEvent(eventNames().waitingEvent);
2323         }
2324     }
2325
2326     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2327         prepareMediaFragmentURI();
2328         scheduleEvent(eventNames().durationchangeEvent);
2329         scheduleResizeEvent();
2330         scheduleEvent(eventNames().loadedmetadataEvent);
2331 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2332         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2333             enqueuePlaybackTargetAvailabilityChangedEvent();
2334 #endif
2335         m_initiallyMuted = m_volume < 0.05 || muted();
2336
2337         if (hasMediaControls())
2338             mediaControls()->loadedMetadata();
2339         updateRenderer();
2340
2341         if (is<MediaDocument>(document()))
2342             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2343
2344         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2345
2346 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2347         updateMediaState(UpdateState::Asynchronously);
2348 #endif
2349
2350         m_mediaSession->clientCharacteristicsChanged();
2351     }
2352
2353     bool shouldUpdateDisplayState = false;
2354
2355     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2356         m_haveFiredLoadedData = true;
2357         shouldUpdateDisplayState = true;
2358         scheduleEvent(eventNames().loadeddataEvent);
2359         setShouldDelayLoadEvent(false);
2360         applyMediaFragmentURI();
2361     }
2362
2363     bool isPotentiallyPlaying = potentiallyPlaying();
2364     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2365         scheduleEvent(eventNames().canplayEvent);
2366         if (isPotentiallyPlaying)
2367             scheduleNotifyAboutPlaying();
2368         shouldUpdateDisplayState = true;
2369     }
2370
2371     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2372         if (oldState <= HAVE_CURRENT_DATA)
2373             scheduleEvent(eventNames().canplayEvent);
2374
2375         scheduleEvent(eventNames().canplaythroughEvent);
2376
2377         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2378             scheduleNotifyAboutPlaying();
2379
2380         if (canTransitionFromAutoplayToPlay()) {
2381             m_paused = false;
2382             invalidateCachedTime();
2383             m_playbackStartedTime = currentMediaTime().toDouble();
2384             scheduleEvent(eventNames().playEvent);
2385             scheduleNotifyAboutPlaying();
2386         }
2387
2388         shouldUpdateDisplayState = true;
2389     }
2390
2391     if (shouldUpdateDisplayState) {
2392         updateDisplayState();
2393         if (hasMediaControls()) {
2394             mediaControls()->refreshClosedCaptionsButtonVisibility();
2395             mediaControls()->updateStatusDisplay();
2396         }
2397     }
2398
2399     updatePlayState();
2400     updateMediaController();
2401 #if ENABLE(VIDEO_TRACK)
2402     updateActiveTextTrackCues(currentMediaTime());
2403 #endif
2404 }
2405
2406 #if ENABLE(LEGACY_ENCRYPTED_MEDIA)
2407 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2408 {
2409     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2410 }
2411
2412 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2413 {
2414     if (!hasEventListeners("webkitneedkey")) {
2415         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2416         scheduleEvent(eventNames().errorEvent);
2417         return false;
2418     }
2419
2420     auto event = WebKitMediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initData);
2421     event->setTarget(this);
2422     m_asyncEventQueue.enqueueEvent(WTFMove(event));
2423
2424     return true;
2425 }
2426
2427 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2428 {
2429     Settings* settings = document().settings();
2430     if (!settings)
2431         return emptyString();
2432
2433     String storageDirectory = settings->mediaKeysStorageDirectory();
2434     if (storageDirectory.isEmpty())
2435         return emptyString();
2436
2437     SecurityOrigin* origin = document().securityOrigin();
2438     if (!origin)
2439         return emptyString();
2440
2441     return pathByAppendingComponent(storageDirectory, SecurityOriginData::fromSecurityOrigin(*origin).databaseIdentifier());
2442 }
2443
2444 void HTMLMediaElement::webkitSetMediaKeys(WebKitMediaKeys* mediaKeys)
2445 {
2446     if (m_mediaKeys == mediaKeys)
2447         return;
2448
2449     if (m_mediaKeys)
2450         m_mediaKeys->setMediaElement(nullptr);
2451     m_mediaKeys = mediaKeys;
2452     if (m_mediaKeys)
2453         m_mediaKeys->setMediaElement(this);
2454 }
2455
2456 void HTMLMediaElement::keyAdded()
2457 {
2458     if (m_player)
2459         m_player->keyAdded();
2460 }
2461
2462 #endif
2463
2464 #if ENABLE(ENCRYPTED_MEDIA)
2465
2466 MediaKeys* HTMLMediaElement::mediaKeys() const
2467 {
2468     return nullptr;
2469 }
2470
2471 void HTMLMediaElement::setMediaKeys(MediaKeys*, Ref<DeferredPromise>&&)
2472 {
2473     notImplemented();
2474 }
2475
2476 #endif // ENABLE(ENCRYPTED_MEDIA)
2477
2478 void HTMLMediaElement::progressEventTimerFired()
2479 {
2480     ASSERT(m_player);
2481     if (m_networkState != NETWORK_LOADING)
2482         return;
2483
2484     double time = monotonicallyIncreasingTime();
2485     double timedelta = time - m_previousProgressTime;
2486
2487     if (m_player->didLoadingProgress()) {
2488         scheduleEvent(eventNames().progressEvent);
2489         m_previousProgressTime = time;
2490         m_sentStalledEvent = false;
2491         updateRenderer();
2492         if (hasMediaControls())
2493             mediaControls()->bufferingProgressed();
2494     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2495         scheduleEvent(eventNames().stalledEvent);
2496         m_sentStalledEvent = true;
2497         setShouldDelayLoadEvent(false);
2498     }
2499 }
2500
2501 void HTMLMediaElement::rewind(double timeDelta)
2502 {
2503     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2504     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2505 }
2506
2507 void HTMLMediaElement::returnToRealtime()
2508 {
2509     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2510     setCurrentTime(maxTimeSeekable());
2511 }
2512
2513 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2514 {
2515     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2516     if (!m_playedTimeRanges)
2517         m_playedTimeRanges = TimeRanges::create();
2518     m_playedTimeRanges->ranges().add(start, end);
2519 }  
2520
2521 bool HTMLMediaElement::supportsScanning() const
2522 {
2523     return m_player ? m_player->supportsScanning() : false;
2524 }
2525
2526 void HTMLMediaElement::prepareToPlay()
2527 {
2528     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2529     if (m_havePreparedToPlay)
2530         return;
2531     m_havePreparedToPlay = true;
2532     m_player->prepareToPlay();
2533 }
2534
2535 void HTMLMediaElement::fastSeek(double time)
2536 {
2537     fastSeek(MediaTime::createWithDouble(time));
2538 }
2539
2540 void HTMLMediaElement::fastSeek(const MediaTime& time)
2541 {
2542     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2543     // 4.7.10.9 Seeking
2544     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2545     // allow for playback to resume promptly. If new playback position before this step is before current
2546     // playback position, then the adjusted new playback position must also be before the current playback
2547     // position. Similarly, if the new playback position before this step is after current playback position,
2548     // then the adjusted new playback position must also be after the current playback position.
2549     refreshCachedTime();
2550     MediaTime delta = time - currentMediaTime();
2551     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2552     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2553
2554     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2555 }
2556
2557 void HTMLMediaElement::seek(const MediaTime& time)
2558 {
2559     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2560     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2561 }
2562
2563 void HTMLMediaElement::seekInternal(const MediaTime& time)
2564 {
2565     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2566     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2567 }
2568
2569 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2570 {
2571     // 4.8.10.9 Seeking
2572     MediaTime time = inTime;
2573
2574     // 1 - Set the media element's show poster flag to false.
2575     setDisplayMode(Video);
2576
2577     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2578     if (m_readyState == HAVE_NOTHING || !m_player)
2579         return;
2580
2581     // If the media engine has been told to postpone loading data, let it go ahead now.
2582     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2583         prepareToPlay();
2584
2585     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2586     refreshCachedTime();
2587     MediaTime now = currentMediaTime();
2588
2589     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2590     // already running. Abort that other instance of the algorithm without waiting for the step that
2591     // it is running to complete.
2592     if (m_seekTaskQueue.hasPendingTasks()) {
2593         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - cancelling pending seeks", this);
2594         m_seekTaskQueue.cancelAllTasks();
2595         if (m_pendingSeek) {
2596             now = m_pendingSeek->now;
2597             m_pendingSeek = nullptr;
2598         }
2599         m_pendingSeekType = NoSeek;
2600     }
2601
2602     // 4 - Set the seeking IDL attribute to true.
2603     // The flag will be cleared when the engine tells us the time has actually changed.
2604     m_seeking = true;
2605     if (m_playing) {
2606         if (m_lastSeekTime < now)
2607             addPlayedRange(m_lastSeekTime, now);
2608     }
2609     m_lastSeekTime = time;
2610
2611     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2612     // the script. The remainder of these steps must be run asynchronously.
2613     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2614     if (fromDOM) {
2615         LOG(Media, "HTMLMediaElement::seekWithTolerance(%p) - enqueuing seek from %s to %s", this, toString(now).utf8().data(), toString(time).utf8().data());
2616         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2617     } else
2618         seekTask();
2619
2620     if (ScriptController::processingUserGestureForMedia())
2621         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
2622 }
2623
2624 void HTMLMediaElement::seekTask()
2625 {
2626     LOG(Media, "HTMLMediaElement::seekTask(%p)", this);
2627
2628     if (!m_player) {
2629         clearSeeking();
2630         return;
2631     }
2632
2633     ASSERT(m_pendingSeek);
2634     MediaTime now = m_pendingSeek->now;
2635     MediaTime time = m_pendingSeek->targetTime;
2636     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2637     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2638     m_pendingSeek = nullptr;
2639
2640     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2641     // of the media resource instead.
2642     time = std::min(time, durationMediaTime());
2643
2644     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2645     MediaTime earliestTime = m_player->startTime();
2646     time = std::max(time, earliestTime);
2647
2648     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2649     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2650     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2651     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2652     // fire a 'seeked' event.
2653 #if !LOG_DISABLED
2654     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2655     if (time != mediaTime)
2656         LOG(Media, "HTMLMediaElement::seekTask(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2657 #endif
2658     time = m_player->mediaTimeForTimeValue(time);
2659
2660     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2661     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2662     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2663     // attribute then set the seeking IDL attribute to false and abort these steps.
2664     RefPtr<TimeRanges> seekableRanges = seekable();
2665     bool noSeekRequired = !seekableRanges->length();
2666
2667     // Short circuit seeking to the current time by just firing the events if no seek is required.
2668     // Don't skip calling the media engine if 1) we are in poster mode (because a seek should always cancel
2669     // poster display), or 2) if there is a pending fast seek, or 3) if this seek is not an exact seek
2670     SeekType thisSeekType = (negativeTolerance == MediaTime::zeroTime() && positiveTolerance == MediaTime::zeroTime()) ? Precise : Fast;
2671     if (!noSeekRequired && time == now && thisSeekType == Precise && m_pendingSeekType != Fast && displayMode() != Poster)
2672         noSeekRequired = true;
2673
2674 #if ENABLE(MEDIA_SOURCE)
2675     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2676     // always in a flushed state when the 'seeking' event fires.
2677     if (m_mediaSource && !m_mediaSource->isClosed())
2678         noSeekRequired = false;
2679 #endif
2680
2681     if (noSeekRequired) {
2682         LOG(Media, "HTMLMediaElement::seekTask(%p) - seek to %s ignored", this, toString(time).utf8().data());
2683         if (time == now) {
2684             scheduleEvent(eventNames().seekingEvent);
2685             scheduleTimeupdateEvent(false);
2686             scheduleEvent(eventNames().seekedEvent);
2687         }
2688         clearSeeking();
2689         return;
2690     }
2691     time = seekableRanges->ranges().nearest(time);
2692
2693     m_sentEndEvent = false;
2694     m_lastSeekTime = time;
2695     m_pendingSeekType = thisSeekType;
2696     m_seeking = true;
2697
2698     // 10 - Queue a task to fire a simple event named seeking at the element.
2699     scheduleEvent(eventNames().seekingEvent);
2700
2701     // 11 - Set the current playback position to the given new playback position
2702     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2703
2704     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2705     // position is available, and, if it is, until it has decoded enough data to play back that position.
2706     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2707 }
2708
2709 void HTMLMediaElement::clearSeeking()
2710 {
2711     m_seeking = false;
2712     m_pendingSeekType = NoSeek;
2713     invalidateCachedTime();
2714 }
2715
2716 void HTMLMediaElement::finishSeek()
2717 {
2718     // 4.8.10.9 Seeking
2719     // 14 - Set the seeking IDL attribute to false.
2720     clearSeeking();
2721
2722     LOG(Media, "HTMLMediaElement::finishSeek(%p) - current time = %s", this, toString(currentMediaTime()).utf8().data());
2723
2724     // 15 - Run the time maches on steps.
2725     // Handled by mediaPlayerTimeChanged().
2726
2727     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2728     scheduleEvent(eventNames().timeupdateEvent);
2729
2730     // 17 - Queue a task to fire a simple event named seeked at the element.
2731     scheduleEvent(eventNames().seekedEvent);
2732
2733 #if ENABLE(MEDIA_SOURCE)
2734     if (m_mediaSource)
2735         m_mediaSource->monitorSourceBuffers();
2736 #endif
2737 }
2738
2739 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2740 {
2741     return m_readyState;
2742 }
2743
2744 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2745 {
2746     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2747 }
2748
2749 bool HTMLMediaElement::hasAudio() const
2750 {
2751     return m_player ? m_player->hasAudio() : false;
2752 }
2753
2754 bool HTMLMediaElement::seeking() const
2755 {
2756     return m_seeking;
2757 }
2758
2759 void HTMLMediaElement::refreshCachedTime() const
2760 {
2761     if (!m_player)
2762         return;
2763
2764     m_cachedTime = m_player->currentTime();
2765     if (!m_cachedTime) {
2766         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2767         // estimate current time until playback actually begins. 
2768         invalidateCachedTime(); 
2769         return; 
2770     } 
2771
2772     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2773 }
2774
2775 void HTMLMediaElement::invalidateCachedTime() const
2776 {
2777     m_cachedTime = MediaTime::invalidTime();
2778     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2779         return;
2780
2781 #if !LOG_DISABLED
2782     if (m_cachedTime.isValid())
2783         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2784 #endif
2785
2786     // Don't try to cache movie time when playback first starts as the time reported by the engine
2787     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2788     // too early.
2789     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2790
2791     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2792 }
2793
2794 // playback state
2795 double HTMLMediaElement::currentTime() const
2796 {
2797     return currentMediaTime().toDouble();
2798 }
2799
2800 MediaTime HTMLMediaElement::currentMediaTime() const
2801 {
2802 #if LOG_CACHED_TIME_WARNINGS
2803     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2804 #endif
2805
2806     if (!m_player)
2807         return MediaTime::zeroTime();
2808
2809     if (m_seeking) {
2810         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2811         return m_lastSeekTime;
2812     }
2813
2814     if (m_cachedTime.isValid() && m_paused) {
2815 #if LOG_CACHED_TIME_WARNINGS
2816         MediaTime delta = m_cachedTime - m_player->currentTime();
2817         if (delta > minCachedDeltaForWarning)
2818             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2819 #endif
2820         return m_cachedTime;
2821     }
2822
2823     // Is it too soon use a cached time?
2824     double now = monotonicallyIncreasingTime();
2825     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2826
2827     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2828         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2829
2830         // Not too soon, use the cached time only if it hasn't expired.
2831         if (clockDelta < maximumDurationToCacheMediaTime) {
2832             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2833
2834 #if LOG_CACHED_TIME_WARNINGS
2835             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2836             if (delta > minCachedDeltaForWarning)
2837                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2838 #endif
2839             return adjustedCacheTime;
2840         }
2841     }
2842
2843 #if LOG_CACHED_TIME_WARNINGS
2844     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2845         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2846         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2847         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2848     }
2849 #endif
2850
2851     refreshCachedTime();
2852
2853     if (m_cachedTime.isInvalid())
2854         return MediaTime::zeroTime();
2855     
2856     return m_cachedTime;
2857 }
2858
2859 void HTMLMediaElement::setCurrentTime(double time)
2860 {
2861     setCurrentTime(MediaTime::createWithDouble(time));
2862 }
2863
2864 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2865 {
2866     if (m_mediaController)
2867         return;
2868
2869     seekInternal(time);
2870 }
2871
2872 ExceptionOr<void> HTMLMediaElement::setCurrentTimeForBindings(double time)
2873 {
2874     if (m_mediaController)
2875         return Exception { INVALID_STATE_ERR };
2876     seek(MediaTime::createWithDouble(time));
2877     return { };
2878 }
2879
2880 double HTMLMediaElement::duration() const
2881 {
2882     return durationMediaTime().toDouble();
2883 }
2884
2885 MediaTime HTMLMediaElement::durationMediaTime() const
2886 {
2887     if (m_player && m_readyState >= HAVE_METADATA)
2888         return m_player->duration();
2889
2890     return MediaTime::invalidTime();
2891 }
2892
2893 bool HTMLMediaElement::paused() const
2894 {
2895     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2896     // we had problems where this was called on an object after a bad cast. The assertion below
2897     // made our regression test detect the problem, so we should keep it because of that. But note
2898     // that the value of the assertion relies on the compiler not being smart enough to know that
2899     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2900     ASSERT(!isHTMLUnknownElement());
2901
2902     return m_paused;
2903 }
2904
2905 double HTMLMediaElement::defaultPlaybackRate() const
2906 {
2907 #if ENABLE(MEDIA_STREAM)
2908     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2909     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2910     // A MediaStream is not seekable. Therefore, this attribute must always have the
2911     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2912     // that the ratechange event will not fire.
2913     if (m_mediaStreamSrcObject)
2914         return 1;
2915 #endif
2916
2917     return m_defaultPlaybackRate;
2918 }
2919
2920 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2921 {
2922 #if ENABLE(MEDIA_STREAM)
2923     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2924     // "defaultPlaybackRate" - On setting: ignored. On getting: return 1.0
2925     // A MediaStream is not seekable. Therefore, this attribute must always have the
2926     // value 1.0 and any attempt to alter it must be ignored. Note that this also means
2927     // that the ratechange event will not fire.
2928     if (m_mediaStreamSrcObject)
2929         return;
2930 #endif
2931
2932     if (m_defaultPlaybackRate != rate) {
2933         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2934         m_defaultPlaybackRate = rate;
2935         scheduleEvent(eventNames().ratechangeEvent);
2936     }
2937 }
2938
2939 double HTMLMediaElement::effectivePlaybackRate() const
2940 {
2941     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2942 }
2943
2944 double HTMLMediaElement::requestedPlaybackRate() const
2945 {
2946     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2947 }
2948
2949 double HTMLMediaElement::playbackRate() const
2950 {
2951 #if ENABLE(MEDIA_STREAM)
2952     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2953     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2954     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2955     // means that the ratechange event will not fire.
2956     if (m_mediaStreamSrcObject)
2957         return 1;
2958 #endif
2959
2960     return m_requestedPlaybackRate;
2961 }
2962
2963 void HTMLMediaElement::setPlaybackRate(double rate)
2964 {
2965     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2966
2967 #if ENABLE(MEDIA_STREAM)
2968     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
2969     // "playbackRate" - A MediaStream is not seekable. Therefore, this attribute must always
2970     // have the value 1.0 and any attempt to alter it must be ignored. Note that this also
2971     // means that the ratechange event will not fire.
2972     if (m_mediaStreamSrcObject)
2973         return;
2974 #endif
2975
2976     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2977         m_player->setRate(rate);
2978
2979     if (m_requestedPlaybackRate != rate) {
2980         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2981         invalidateCachedTime();
2982         scheduleEvent(eventNames().ratechangeEvent);
2983     }
2984 }
2985
2986 void HTMLMediaElement::updatePlaybackRate()
2987 {
2988     double requestedRate = requestedPlaybackRate();
2989     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2990         m_player->setRate(requestedRate);
2991 }
2992
2993 bool HTMLMediaElement::webkitPreservesPitch() const
2994 {
2995     return m_webkitPreservesPitch;
2996 }
2997
2998 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
2999 {
3000     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
3001
3002     m_webkitPreservesPitch = preservesPitch;
3003     
3004     if (!m_player)
3005         return;
3006
3007     m_player->setPreservesPitch(preservesPitch);
3008 }
3009
3010 bool HTMLMediaElement::ended() const
3011 {
3012 #if ENABLE(MEDIA_STREAM)
3013     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3014     // When the MediaStream state moves from the active to the inactive state, the User Agent
3015     // must raise an ended event on the HTMLMediaElement and set its ended attribute to true.
3016     if (m_mediaStreamSrcObject && m_player && m_player->ended())
3017         return true;
3018 #endif
3019
3020     // 4.8.10.8 Playing the media resource
3021     // The ended attribute must return true if the media element has ended 
3022     // playback and the direction of playback is forwards, and false otherwise.
3023     return endedPlayback() && requestedPlaybackRate() > 0;
3024 }
3025
3026 bool HTMLMediaElement::autoplay() const
3027 {
3028     return hasAttributeWithoutSynchronization(autoplayAttr);
3029 }
3030
3031 String HTMLMediaElement::preload() const
3032 {
3033 #if ENABLE(MEDIA_STREAM)
3034     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3035     // "preload" - On getting: none. On setting: ignored.
3036     if (m_mediaStreamSrcObject)
3037         return ASCIILiteral("none");
3038 #endif
3039
3040     switch (m_preload) {
3041     case MediaPlayer::None:
3042         return ASCIILiteral("none");
3043     case MediaPlayer::MetaData:
3044         return ASCIILiteral("metadata");
3045     case MediaPlayer::Auto:
3046         return ASCIILiteral("auto");
3047     }
3048
3049     ASSERT_NOT_REACHED();
3050     return String();
3051 }
3052
3053 void HTMLMediaElement::setPreload(const String& preload)
3054 {
3055     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
3056 #if ENABLE(MEDIA_STREAM)
3057     // http://w3c.github.io/mediacapture-main/#mediastreams-in-media-elements
3058     // "preload" - On getting: none. On setting: ignored.
3059     if (m_mediaStreamSrcObject)
3060         return;
3061 #endif
3062
3063     setAttributeWithoutSynchronization(preloadAttr, preload);
3064 }
3065
3066 void HTMLMediaElement::play(DOMPromise<void>&& promise)
3067 {
3068     LOG(Media, "HTMLMediaElement::play(%p)", this);
3069
3070     if (!m_mediaSession->playbackPermitted(*this)) {
3071         promise.reject(NotAllowedError);
3072         return;
3073     }
3074
3075     if (m_error && m_error->code() == MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED) {
3076         promise.reject(NOT_SUPPORTED_ERR, "The operation is not supported.");
3077         return;
3078     }
3079
3080     if (ScriptController::processingUserGestureForMedia())
3081         removeBehaviorsRestrictionsAfterFirstUserGesture();
3082
3083     if (!playInternal()) {
3084         promise.reject(NotAllowedError);
3085         return;
3086     }
3087
3088     m_pendingPlayPromises.append(WTFMove(promise));
3089 }
3090
3091 void HTMLMediaElement::play()
3092 {
3093     LOG(Media, "HTMLMediaElement::play(%p)", this);
3094
3095     if (!m_mediaSession->playbackPermitted(*this))
3096         return;
3097     if (ScriptController::processingUserGestureForMedia())
3098         removeBehaviorsRestrictionsAfterFirstUserGesture();
3099
3100     playInternal();
3101 }
3102
3103 bool HTMLMediaElement::playInternal()
3104 {
3105     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
3106     
3107     if (!m_mediaSession->clientWillBeginPlayback()) {
3108         LOG(Media, "  returning because of interruption");
3109         return true; // Treat as success because we will begin playback on cessation of the interruption.
3110     }
3111
3112     // 4.8.10.9. Playing the media resource
3113     if (!m_player || m_networkState == NETWORK_EMPTY)
3114         scheduleDelayedAction(LoadMediaResource);
3115
3116     if (endedPlayback())
3117         seekInternal(MediaTime::zeroTime());
3118
3119     if (m_mediaController)
3120         m_mediaController->bringElementUpToSpeed(*this);
3121
3122     if (m_paused) {
3123         m_paused = false;
3124         invalidateCachedTime();
3125         m_playbackStartedTime = currentMediaTime().toDouble();
3126         scheduleEvent(eventNames().playEvent);
3127
3128         if (m_readyState <= HAVE_CURRENT_DATA)
3129             scheduleEvent(eventNames().waitingEvent);
3130         else if (m_readyState >= HAVE_FUTURE_DATA)
3131             scheduleNotifyAboutPlaying();
3132
3133 #if ENABLE(MEDIA_SESSION)
3134         // 6.3 Activating a media session from a media element
3135         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
3136         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
3137         // 1. Let media session be the value of the current media session.
3138         // 2. If we are not currently in media session's list of active participating media elements then append
3139         //    ourselves to this list.
3140         // 3. Let activated be the result of running the media session invocation algorithm for media session.
3141         // 4. If activated is failure, pause ourselves.
3142         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
3143             if (m_session) {
3144                 m_session->addActiveMediaElement(*this);
3145
3146                 if (m_session->kind() == MediaSessionKind::Content) {
3147                     if (Page* page = document().page())
3148                         page->chrome().client().focusedContentMediaElementDidChange(m_elementID);
3149                 }
3150
3151                 if (!m_session->invoke()) {
3152                     pause();
3153                     return false;
3154                 }
3155             }
3156         }
3157 #endif
3158     } else if (m_readyState >= HAVE_FUTURE_DATA)
3159         scheduleResolvePendingPlayPromises();
3160
3161     m_autoplaying = false;
3162     updatePlayState();
3163
3164     return true;
3165 }
3166
3167 void HTMLMediaElement::pause()
3168 {
3169     LOG(Media, "HTMLMediaElement::pause(%p)", this);
3170
3171     if (!m_mediaSession->playbackPermitted(*this))
3172         return;
3173
3174     if (ScriptController::processingUserGestureForMedia())
3175         removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::RequireUserGestureToControlControlsManager);
3176
3177     pauseInternal();
3178 }
3179
3180
3181 void HTMLMediaElement::pauseInternal()
3182 {
3183     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
3184
3185     if (!m_mediaSession->clientWillPausePlayback()) {
3186         LOG(Media, "  returning because of interruption");
3187         return;
3188     }
3189
3190     // 4.8.10.9. Playing the media resource
3191     if (!m_player || m_networkState == NETWORK_EMPTY) {
3192         // Unless the restriction on media requiring user action has been lifted
3193         // don't trigger loading if a script calls pause().
3194         if (!m_mediaSession->playbackPermitted(*this))
3195             return;
3196         scheduleDelayedAction(LoadMediaResource);
3197     }
3198
3199     m_autoplaying = false;
3200
3201     if (!m_paused) {
3202         m_paused = true;
3203         scheduleTimeupdateEvent(false);
3204         scheduleEvent(eventNames().pauseEvent);
3205         rejectPendingPlayPromises(DOMError::create("AbortError", "The operation was aborted."));
3206
3207         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
3208             purgeBufferedDataIfPossible();
3209     }
3210
3211     updatePlayState();
3212 }
3213
3214 #if ENABLE(MEDIA_SOURCE)
3215 void HTMLMediaElement::detachMediaSource()
3216 {
3217     if (!m_mediaSource)
3218         return;
3219
3220     m_mediaSource->detachFromElement(*this);
3221     m_mediaSource = nullptr;
3222 }
3223 #endif
3224
3225 bool HTMLMediaElement::loop() const
3226 {
3227     return hasAttributeWithoutSynchronization(loopAttr);
3228 }
3229
3230 void HTMLMediaElement::setLoop(bool b)
3231 {
3232     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3233     setBooleanAttribute(loopAttr, b);
3234 }
3235
3236 bool HTMLMediaElement::controls() const
3237 {
3238     Frame* frame = document().frame();
3239
3240     // always show controls when scripting is disabled
3241     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3242         return true;
3243
3244     return hasAttributeWithoutSynchronization(controlsAttr);
3245 }
3246
3247 void HTMLMediaElement::setControls(bool b)
3248 {
3249     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3250     setBooleanAttribute(controlsAttr, b);
3251 }
3252
3253 double HTMLMediaElement::volume() const
3254 {
3255     return m_volume;
3256 }
3257
3258 ExceptionOr<void> HTMLMediaElement::setVolume(double volume)
3259 {
3260     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, volume);
3261
3262     if (!(volume >= 0 && volume <= 1))
3263         return Exception { INDEX_SIZE_ERR };
3264
3265 #if !PLATFORM(IOS)
3266     if (m_volume == volume)
3267         return { };
3268
3269     m_volume = volume;
3270     m_volumeInitialized = true;
3271     updateVolume();
3272     scheduleEvent(eventNames().volumechangeEvent);
3273 #endif
3274     return { };
3275 }
3276
3277 bool HTMLMediaElement::muted() const
3278 {
3279     return m_explicitlyMuted ? m_muted : hasAttributeWithoutSynchronization(mutedAttr);
3280 }
3281
3282 void HTMLMediaElement::setMuted(bool muted)
3283 {
3284     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3285
3286     bool mutedStateChanged = m_muted != muted;
3287     if (mutedStateChanged || !m_explicitlyMuted) {
3288         m_muted = muted;
3289         m_explicitlyMuted = true;
3290
3291         if (ScriptController::processingUserGestureForMedia())
3292             removeBehaviorsRestrictionsAfterFirstUserGesture(MediaElementSession::AllRestrictions & ~MediaElementSession::RequireUserGestureToControlControlsManager);
3293
3294         // Avoid recursion when the player reports volume changes.
3295         if (!processingMediaPlayerCallback()) {
3296             if (m_player) {
3297                 m_player->setMuted(effectiveMuted());
3298                 if (hasMediaControls())
3299                     mediaControls()->changedMute();
3300             }
3301         }
3302
3303         if (mutedStateChanged)
3304             scheduleEvent(eventNames().volumechangeEvent);
3305
3306         updateShouldPlay();
3307
3308 #if ENABLE(MEDIA_SESSION)
3309         document().updateIsPlayingMedia(m_elementID);
3310 #else
3311         document().updateIsPlayingMedia();
3312 #endif
3313
3314 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3315         updateMediaState(UpdateState::Asynchronously);
3316 #endif
3317     }
3318
3319     scheduleUpdatePlaybackControlsManager();
3320 }
3321
3322 void HTMLMediaElement::togglePlayState()
3323 {
3324     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3325
3326     // We can safely call the internal play/pause methods, which don't check restrictions, because
3327     // this method is only called from the built-in media controller
3328     if (canPlay()) {
3329         updatePlaybackRate();
3330         playInternal();
3331     } else 
3332         pauseInternal();
3333 }
3334
3335 void HTMLMediaElement::beginScrubbing()
3336 {
3337     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3338
3339     if (!paused()) {
3340         if (ended()) {
3341             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3342             // when the slider is dragged from the end to another position unless we pause first. Do 
3343             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3344             pause();
3345         } else {
3346             // Not at the end but we still want to pause playback so the media engine doesn't try to
3347             // continue playing during scrubbing. Pause without generating an event as we will 
3348             // unpause after scrubbing finishes.
3349             setPausedInternal(true);
3350         }
3351     }
3352
3353     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureToControlControlsManager);
3354 }
3355
3356 void HTMLMediaElement::endScrubbing()
3357 {
3358     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3359
3360     if (m_pausedInternal)
3361         setPausedInternal(false);
3362 }
3363
3364 void HTMLMediaElement::beginScanning(ScanDirection direction)
3365 {
3366     m_scanType = supportsScanning() ? Scan : Seek;
3367     m_scanDirection = direction;
3368
3369     if (m_scanType == Seek) {
3370         // Scanning by seeking requires the video to be paused during scanning.
3371         m_actionAfterScan = paused() ? Nothing : Play;
3372         pause();
3373     } else {
3374         // Scanning by scanning requires the video to be playing during scanninging.
3375         m_actionAfterScan = paused() ? Pause : Nothing;
3376         play();
3377         setPlaybackRate(nextScanRate());
3378     }
3379
3380     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3381 }
3382
3383 void HTMLMediaElement::endScanning()
3384 {
3385     if (m_scanType == Scan)
3386         setPlaybackRate(defaultPlaybackRate());
3387
3388     if (m_actionAfterScan == Play)
3389         play();
3390     else if (m_actionAfterScan == Pause)
3391         pause();
3392
3393     if (m_scanTimer.isActive())
3394         m_scanTimer.stop();
3395 }
3396
3397 double HTMLMediaElement::nextScanRate()
3398 {
3399     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3400     if (m_scanDirection == Backward)
3401         rate *= -1;
3402 #if PLATFORM(IOS)
3403     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3404 #endif
3405     return rate;
3406 }
3407
3408 void HTMLMediaElement::scanTimerFired()
3409 {
3410     if (m_scanType == Seek) {
3411         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3412         setCurrentTime(currentTime() + seekTime);
3413     } else
3414         setPlaybackRate(nextScanRate());
3415 }
3416
3417 // The spec says to fire periodic timeupdate events (those sent while playing) every
3418 // "15 to 250ms", we choose the slowest frequency
3419 static const double maxTimeupdateEventFrequency = 0.25;
3420
3421 void HTMLMediaElement::startPlaybackProgressTimer()
3422 {
3423     if (m_playbackProgressTimer.isActive())
3424         return;
3425
3426     m_previousProgressTime = monotonicallyIncreasingTime();
3427     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3428 }
3429
3430 void HTMLMediaElement::playbackProgressTimerFired()
3431 {
3432     ASSERT(m_player);
3433
3434     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3435         m_fragmentEndTime = MediaTime::invalidTime();
3436         if (!m_mediaController && !m_paused) {
3437             // changes paused to true and fires a simple event named pause at the media element.
3438             pauseInternal();
3439         }
3440     }
3441     
3442     scheduleTimeupdateEvent(true);
3443
3444     if (!requestedPlaybackRate())
3445         return;
3446
3447     if (!m_paused && hasMediaControls())
3448         mediaControls()->playbackProgressed();
3449
3450 #if ENABLE(VIDEO_TRACK)
3451     updateActiveTextTrackCues(currentMediaTime());
3452 #endif
3453
3454 #if ENABLE(MEDIA_SOURCE)
3455     if (m_mediaSource)
3456         m_mediaSource->monitorSourceBuffers();
3457 #endif
3458 }
3459
3460 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3461 {
3462     double now = monotonicallyIncreasingTime();
3463     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3464
3465     // throttle the periodic events
3466     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3467         return;
3468
3469     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3470     // event at a given time so filter here
3471     MediaTime movieTime = currentMediaTime();
3472     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3473         scheduleEvent(eventNames().timeupdateEvent);
3474         m_clockTimeAtLastUpdateEvent = now;
3475         m_lastTimeUpdateEventMovieTime = movieTime;
3476     }
3477 }
3478
3479 bool HTMLMediaElement::canPlay() const
3480 {
3481     return paused() || ended() || m_readyState < HAVE_METADATA;
3482 }
3483
3484 double HTMLMediaElement::percentLoaded() const
3485 {
3486     if (!m_player)
3487         return 0;
3488     MediaTime duration = m_player->duration();
3489
3490     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3491         return 0;
3492
3493     MediaTime buffered = MediaTime::zeroTime();
3494     bool ignored;
3495     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3496     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3497         MediaTime start = timeRanges->start(i, ignored);
3498         MediaTime end = timeRanges->end(i, ignored);
3499         buffered += end - start;
3500     }
3501     return buffered.toDouble() / duration.toDouble();
3502 }
3503
3504 #if ENABLE(VIDEO_TRACK)
3505
3506 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(AudioTrackPrivate& track)
3507 {
3508     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3509         pauseInternal();
3510
3511     addAudioTrack(AudioTrack::create(this, &track));
3512 }
3513
3514 void HTMLMediaElement::mediaPlayerDidAddTextTrack(InbandTextTrackPrivate& track)
3515 {
3516     // 4.8.10.12.2 Sourcing in-band text tracks
3517     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3518     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, &track);
3519     textTrack->setMediaElement(this);
3520     
3521     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3522     // as defined by the relevant specification. If there is no label in that data, then the label must
3523     // be set to the empty string.
3524     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3525     // for the format in question.
3526     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3527     // as follows, based on the type of the media resource:
3528     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3529     // cues, and begin updating it dynamically as necessary.
3530     //   - Thess are all done by the media engine.
3531     
3532     // 6. Set the new text track's readiness state to loaded.
3533     textTrack->setReadinessState(TextTrack::Loaded);
3534     
3535     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3536     // the relevant specification for the data.
3537     //  - This will happen in configureTextTracks()
3538     scheduleDelayedAction(ConfigureTextTracks);
3539     
3540     // 8. Add the new text track to the media element's list of text tracks.
3541     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3542     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3543     // textTracks attribute's TextTrackList object.
3544     addTextTrack(textTrack.releaseNonNull());
3545 }
3546
3547 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(VideoTrackPrivate& track)
3548 {
3549     addVideoTrack(VideoTrack::create(this, &track));
3550 }
3551
3552 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(AudioTrackPrivate& track)
3553 {
3554     track.willBeRemoved();
3555 }
3556
3557 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(InbandTextTrackPrivate& track)
3558 {
3559     track.willBeRemoved();
3560 }
3561
3562 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(VideoTrackPrivate& track)
3563 {
3564     track.willBeRemoved();
3565 }
3566
3567 void HTMLMediaElement::closeCaptionTracksChanged()
3568 {
3569     if (hasMediaControls())
3570         mediaControls()->closedCaptionTracksChanged();
3571 }
3572
3573 void HTMLMediaElement::addAudioTrack(Ref<AudioTrack>&& track)
3574 {
3575     audioTracks().append(WTFMove(track));
3576 }
3577
3578 void HTMLMediaElement::addTextTrack(Ref<TextTrack>&& track)
3579 {
3580     if (!m_requireCaptionPreferencesChangedCallbacks) {
3581         m_requireCaptionPreferencesChangedCallbacks = true;
3582         Document& document = this->document();
3583         document.registerForCaptionPreferencesChangedCallbacks(this);
3584         if (Page* page = document.page())
3585             m_captionDisplayMode = page->group().captionPreferences().captionDisplayMode();
3586     }
3587
3588     textTracks().append(WTFMove(track));
3589
3590     closeCaptionTracksChanged();
3591 }
3592
3593 void HTMLMediaElement::addVideoTrack(Ref<VideoTrack>&& track)
3594 {
3595     videoTracks().append(WTFMove(track));
3596 }
3597
3598 void HTMLMediaElement::removeAudioTrack(AudioTrack& track)
3599 {
3600     m_audioTracks->remove(track);
3601     track.clearClient();
3602 }
3603
3604 void HTMLMediaElement::removeTextTrack(TextTrack& track, bool scheduleEvent)
3605 {
3606     TrackDisplayUpdateScope scope(this);
3607     if (TextTrackCueList* cues = track.cues())
3608         textTrackRemoveCues(&track, cues);
3609     track.clearClient();
3610     if (m_textTracks)
3611         m_textTracks->remove(track, scheduleEvent);
3612
3613     closeCaptionTracksChanged();
3614 }
3615
3616 void HTMLMediaElement::removeVideoTrack(VideoTrack& track)
3617 {
3618     m_videoTracks->remove(track);
3619     track.clearClient();
3620 }
3621
3622 void HTMLMediaElement::forgetResourceSpecificTracks()
3623 {
3624     while (m_audioTracks &&  m_audioTracks->length())
3625         removeAudioTrack(*m_audioTracks->lastItem());
3626
3627     if (m_textTracks) {
3628         TrackDisplayUpdateScope scope(this);
3629         for (int i = m_textTracks->length() - 1; i >= 0; --i) {
3630             auto& track = *m_textTracks->item(i);
3631             if (track.trackType() == TextTrack::InBand)
3632                 removeTextTrack(track, false);
3633         }
3634     }
3635
3636     while (m_videoTracks &&  m_videoTracks->length())
3637         removeVideoTrack(*m_videoTracks->lastItem());
3638 }
3639
3640 ExceptionOr<TextTrack&> HTMLMediaElement::addTextTrack(const String& kind, const String& label, const String& language)
3641 {
3642     // 4.8.10.12.4 Text track API
3643     // The addTextTrack(kind, label, language) method of media elements, when invoked, must run the following steps:
3644
3645     // 1. If kind is not one of the following strings, then throw a SyntaxError exception and abort these steps
3646     if (!TextTrack::isValidKindKeyword(kind))
3647         return Exception { TypeError };
3648
3649     // 2. If the label argument was omitted, let label be the empty string.
3650     // 3. If the language argument was omitted, let language be the empty string.
3651     // 4. Create a new TextTrack object.
3652
3653     // 5. Create a new text track corresponding to the new object, and set its text track kind to kind, its text 
3654     // track label to label, its text track language to language...
3655     auto track = TextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, kind, emptyString(), label, language);
3656     auto& trackReference = track.get();
3657
3658     // Note, due to side effects when changing track parameters, we have to
3659     // first append the track to the text track list.
3660
3661     // 6. Add the new text track to the media element's list of text tracks.
3662     addTextTrack(WTFMove(track));
3663
3664     // ... its text track readiness state to the text track loaded state ...
3665     trackReference.setReadinessState(TextTrack::Loaded);
3666
3667     // ... its text track mode to the text track hidden mode, and its text track list of cues to an empty list ...
3668     trackReference.setMode(TextTrack::Mode::Hidden);
3669
3670     return trackReference;
3671 }
3672
3673 AudioTrackList& HTMLMediaElement::audioTracks()
3674 {
3675     if (!m_audioTracks)
3676         m_audioTracks = AudioTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3677
3678     return *m_audioTracks;
3679 }
3680
3681 TextTrackList& HTMLMediaElement::textTracks()
3682 {
3683     if (!m_textTracks)
3684         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3685
3686     return *m_textTracks;
3687 }
3688
3689 VideoTrackList& HTMLMediaElement::videoTracks()
3690 {
3691     if (!m_videoTracks)
3692         m_videoTracks = VideoTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
3693
3694     return *m_videoTracks;
3695 }
3696
3697 void HTMLMediaElement::didAddTextTrack(HTMLTrackElement& trackElement)
3698 {
3699     ASSERT(trackElement.hasTagName(trackTag));
3700
3701     // 4.8.10.12.3 Sourcing out-of-band text tracks
3702     // When a track element's parent element changes and the new parent is a media element, 
3703     // then the user agent must add the track element's corresponding text track to the 
3704     // media element's list of text tracks ... [continues in TextTrackList::append]
3705     addTextTrack(trackElement.track());
3706
3707     // Do not schedule the track loading until parsing finishes so we don't start before all tracks
3708     // in the markup have been added.
3709     if (!m_parsingInProgress)
3710         scheduleDelayedAction(ConfigureTextTracks);
3711
3712     if (hasMediaControls())
3713         mediaControls()->closedCaptionTracksChanged();
3714 }
3715
3716 void HTMLMediaElement::didRemoveTextTrack(HTMLTrackElement& trackElement)
3717 {
3718     ASSERT(trackElement.hasTagName(trackTag));
3719
3720 #if !LOG_DISABLED
3721     if (trackElement.hasTagName(trackTag)) {
3722         URL url = trackElement.getNonEmptyURLAttribute(srcAttr);
3723         LOG(Media, "HTMLMediaElement::didRemoveTrack(%p) - 'src' is %s", this, urlForLoggingMedia(url).utf8().data());
3724     }
3725 #endif
3726
3727     auto& textTrack = trackElement.track();
3728
3729     textTrack.setHasBeenConfigured(false);
3730
3731     if (!m_textTracks)
3732         return;
3733     
3734     // 4.8.10.12.3 Sourcing out-of-band text tracks
3735     // When a track element's parent element changes and the old parent was a media element, 
3736     // then the user agent must remove the track element's corresponding text track from the 
3737     // media element's list of text tracks.
3738     removeTextTrack(textTrack);
3739
3740     m_textTracksWhenResourceSelectionBegan.removeFirst(&textTrack);
3741 }
3742
3743 void HTMLMediaElement::configureTextTrackGroup(const TrackGroup& group)
3744 {
3745     ASSERT(group.tracks.size());
3746
3747     LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p)", this);
3748
3749     Page* page = document().page();
3750     CaptionUserPreferences* captionPreferences = page ? &page->group().captionPreferences() : 0;
3751     CaptionUserPreferences::CaptionDisplayMode displayMode = captionPreferences ? captionPreferences->captionDisplayMode() : CaptionUserPreferences::Automatic;
3752
3753     // First, find the track in the group that should be enabled (if any).
3754     Vector<RefPtr<TextTrack>> currentlyEnabledTracks;
3755     RefPtr<TextTrack> trackToEnable;
3756     RefPtr<TextTrack> defaultTrack;
3757     RefPtr<TextTrack> fallbackTrack;
3758     RefPtr<TextTrack> forcedSubitleTrack;
3759     int highestTrackScore = 0;
3760     int highestForcedScore = 0;
3761
3762     // If there is a visible track, it has already been configured so it won't be considered in the loop below. We don't want to choose another
3763     // track if it is less suitable, and we do want to disable it if another track is more suitable.
3764     int alreadyVisibleTrackScore = 0;
3765     if (group.visibleTrack && captionPreferences) {
3766         alreadyVisibleTrackScore = captionPreferences->textTrackSelectionScore(group.visibleTrack.get(), this);
3767         currentlyEnabledTracks.append(group.visibleTrack);
3768     }
3769
3770     for (size_t i = 0; i < group.tracks.size(); ++i) {
3771         RefPtr<TextTrack> textTrack = group.tracks[i];
3772
3773         if (m_processingPreferenceChange && textTrack->mode() == TextTrack::Mode::Showing)
3774             currentlyEnabledTracks.append(textTrack);
3775
3776         int trackScore = captionPreferences ? captionPreferences->textTrackSelectionScore(textTrack.get(), this) : 0;
3777         LOG(Media, "HTMLMediaElement::configureTextTrackGroup(%p) -  '%s' track with language '%s' has score %i", this, textTrack->kindKeyword().string().utf8().data(), textTrack->language().string().utf8().data(), trackScore);
3778
3779         if (trackScore) {
3780
3781             // * If the text track kind is { [subtitles or captions] [descriptions] } and the user has indicated an interest in having a
3782             // track with this text track kind, text track language, and text track label enabled, and there is no
3783             // other text track in the media element's list of text tracks with a text track kind of either subtitles
3784             // or captions whose text track mode is showing
3785             // ...
3786             // * If the text track kind is chapters and the text track language is one that the user agent has reason
3787             // to believe is appropriate for the user, and there is no other text track in the media element's list of
3788             // text tracks with a text track kind of chapters whose text track mode is showing
3789             //    Let the text track mode be showing.
3790             if (trackScore > highestTrackScore && trackScore > alreadyVisibleTrackScore) {
3791                 highestTrackScore = trackScore;
3792                 trackToEnable = textTrack;
3793             }
3794
3795             if (!defaultTrack && textTrack->isDefault())
3796                 defaultTrack = textTrack;
3797             if (!defaultTrack && !fallbackTrack)
3798                 fallbackTrack = textTrack;
3799             if (textTrack->containsOnlyForcedSubtitles() && trackScore > highestForcedScore) {
3800                 forcedSubitleTrack = textTrack;
3801                 highestForcedScore = trackScore;
3802             }
3803         } else if (!group.visibleTrack && !defaultTrack && textTrack->isDefault()) {
3804             // * If the track element has a default attribute specified, and there is no other text track in the media
3805             // element's list of text tracks whose text track mode is showing or showing by default
3806             //    Let the text track mode be showing by default.
3807             if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly)
3808                 defaultTrack = textTrack;
3809         }
3810     }
3811
3812     if (displayMode != CaptionUserPreferences::Manual) {
3813         if (!trackToEnable && defaultTrack)
3814             trackToEnable = defaultTrack;
3815
3816         // If no track matches the user's preferred language, none was marked as 'default', and there is a forced subtitle track
3817         // in the same language as the language of the primary audio track, enable it.
3818         if (!trackToEnable && forcedSubitleTrack)
3819             trackToEnable = forcedSubitleTrack;
3820
3821         // If no track matches, don't disable an already visible track unless preferences say they all should be off.
3822         if (group.kind != TrackGroup::CaptionsAndSubtitles || displayMode != CaptionUserPreferences::ForcedOnly) {
3823             if (!trackToEnable && !defaultTrack && group.visibleTrack)
3824                 trackToEnable = group.visibleTrack;
3825         }
3826
3827         // If no track matches the user's preferred language and non was marked 'default', enable the first track
3828         // because the user has explicitly stated a preference for this kind of track.
3829         if (!trackToEnable && fallbackTrack)
3830             trackToEnable = fallbackTrack;
3831
3832         if (trackToEnable)
3833             m_subtitleTrackLanguage = trackToEnable->language();
3834         else
3835             m_subtitleTrackLanguage = emptyString();
3836     }
3837
3838     if (currentlyEnabledTracks.size()) {
3839         for (size_t i = 0; i < currentlyEnabledTracks.size(); ++i) {
3840             RefPtr<TextTrack> textTrack = currentlyEnabledTracks[i];
3841             if (textTrack != trackToEnable)
3842                 textTrack->setMode(TextTrack::Mode::Disabled);
3843         }
3844     }
3845
3846     if (trackToEnable) {
3847         trackToEnable->setMode(TextTrack::Mode::Showing);
3848
3849         // If user preferences indicate we should always display captions, make sure we reflect the
3850         // proper status via the webkitClosedCaptionsVisible API call:
3851         if (!webkitClosedCaptionsVisible() && closedCaptionsVisible() && displayMode == CaptionUserPreferences::AlwaysOn)
3852             m_webkitLegacyClosedCaptionOverride = true;
3853     }
3854
3855     m_processingPreferenceChange = false;
3856 }
3857
3858 static JSC::JSValue controllerJSValue(JSC::ExecState& exec, JSDOMGlobalObject& globalObject, HTMLMediaElement& media)
3859 {
3860     JSC::VM& vm = globalObject.vm();
3861     auto scope = DECLARE_THROW_SCOPE(vm);
3862     auto mediaJSWrapper = toJS(&exec, &globalObject, media);
3863     
3864     // Retrieve the controller through the JS object graph
3865     JSC::JSObject* mediaJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(mediaJSWrapper);
3866     if (!mediaJSWrapperObject)
3867         return JSC::jsNull();
3868     
3869     JSC::Identifier controlsHost = JSC::Identifier::fromString(&vm, "controlsHost");
3870     JSC::JSValue controlsHostJSWrapper = mediaJSWrapperObject->get(&exec, controlsHost);
3871     RETURN_IF_EXCEPTION(scope, JSC::jsNull());
3872
3873     JSC::JSObject* controlsHostJSWrapperObject = jsDynamicDowncast<JSC::JSObject*>(controlsHostJSWrapper);
3874     if (!controlsHostJSWrapperObject)
3875         return JSC::jsNull();
3876
3877     JSC::Identifier controllerID = JSC::Identifier::fromString(&vm, "controller");
3878     JSC::JSValue controllerJSWrapper = controlsHostJSWrapperObject->get(&exec, controllerID);
3879     RETURN_IF_EXCEPTION(scope, JSC::jsNull());
3880
3881     return controllerJSWrapper;
3882 }
3883
3884 void HTMLMediaElement::ensureMediaControlsShadowRoot()
3885 {
3886     ASSERT(!m_creatingControls);
3887     m_creatingControls = true;
3888     ensureUserAgentShadowRoot();
3889     m_creatingControls = false;
3890 }
3891
3892 void HTMLMediaElement::updateCaptionContainer()
3893 {
3894     LOG(Media, "HTMLMediaElement::updateCaptionContainer(%p)", this);
3895 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3896     if (m_haveSetUpCaptionContainer)
3897         return;
3898
3899     Page* page = document().page();
3900     if (!page)
3901         return;
3902
3903     DOMWrapperWorld& world = ensureIsolatedWorld();
3904
3905     if (!ensureMediaControlsInjectedScript())
3906         return;
3907
3908     ensureMediaControlsShadowRoot();
3909
3910     if (!m_mediaControlsHost)
3911         m_mediaControlsHost = MediaControlsHost::create(this);
3912
3913     ScriptController& scriptController = document().frame()->script();
3914     JSDOMGlobalObject* globalObject = JSC::jsCast<JSDOMGlobalObject*>(scriptController.globalObject(world));
3915     JSC::VM& vm = globalObject->vm();
3916     JSC::JSLockHolder lock(vm);
3917     auto scope = DECLARE_CATCH_SCOPE(vm);
3918     JSC::ExecState* exec = globalObject->globalExec();
3919
3920     JSC::JSValue controllerValue = controllerJSValue(*exec, *globalObject, *this);
3921     JSC::JSObject* controllerObject = jsDynamicDowncast<JSC::JSObject*>(controllerValue);
3922     if (!controllerObject)
3923         return;
3924
3925     // The media controls script must provide a method on the Controller object with the following details.
3926     // Name: updateCaptionContainer
3927     // Parameters:
3928     //     None
3929     // Return value:
3930     //     None
3931     JSC::JSValue methodValue = controllerObject->get(exec, JSC::Identifier::fromString(exec, "updateCaptionContainer"));
3932     JSC::JSObject* methodObject = jsDynamicDowncast<JSC::JSObject*>(methodValue);
3933     if (!methodObject)
3934         return;
3935
3936     JSC::CallData callData;
3937     JSC::CallType callType = methodObject->methodTable()->getCallData(methodObject, callData);
3938     if (callType == JSC::CallType::None)
3939         return;
3940
3941     JSC::MarkedArgumentBuffer noArguments;
3942     JSC::call(exec, methodObject, callType, callData, controllerObject, noArguments);
3943     scope.clearException();
3944
3945     m_haveSetUpCaptionContainer = true;
3946 #endif
3947 }
3948
3949 void HTMLMediaElement::layoutSizeChanged()
3950 {
3951 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
3952     auto task = [this, protectedThis = makeRef(*this)] {
3953         if (ShadowRoot* root = userAgentShadowRoot())
3954             root->dispatchEvent(Event::create("resize", false, false));
3955     };
3956     m_resizeTaskQueue.enqueueTask(WTFMove(task));
3957 #endif
3958
3959     if (!m_receivedLayoutSizeChanged) {
3960         m_receivedLayoutSizeChanged = true;
3961         scheduleUpdatePlaybackControlsManager();
3962     }
3963
3964     // If the video is a candidate for main content, we should register it for viewport visibility callbacks
3965     // if it hasn't already been registered.
3966     if (renderer() && m_mediaSession && !m_mediaSession->wantsToObserveViewportVisibilityForAutoplay() && m_mediaSession->wantsToObserveViewportVisibilityForMediaControls())
3967         renderer()->registerForVisibleInViewportCallback();
3968 }
3969
3970 void HTMLMediaElement::visibilityDidChange()
3971 {
3972     updateShouldAutoplay();
3973 }
3974
3975 void HTMLMediaElement::setSelectedTextTrack(TextTrack* trackToSelect)
3976 {
3977     TextTrackList& trackList = textTracks();
3978     if (!trackList.length())
3979         return;
3980
3981     if (trackToSelect != TextTrack::captionMenuOffItem() && trackToSelect != TextTrack::captionMenuAutomaticItem()) {
3982         if (!trackToSelect || !trackList.contains(*trackToSelect))
3983             return;
3984         
3985         for (int i = 0, length = trackList.length(); i < length; ++i) {
3986             auto& track = *trackList.item(i);
3987             if (&track != trackToSelect)
3988                 track.setMode(TextTrack::Mode::Disabled);
3989             else
3990                 track.setMode(TextTrack::Mode::Showing);
3991         }
3992     } else if (trackToSelect == TextTrack::captionMenuOffItem()) {
3993         for (int i = 0, length = trackList.length(); i < length; ++i)
3994             trackList.item(i)->setMode(TextTrack::Mode::Disabled);
3995     }
3996
3997     if (!document().page())
3998         return;
3999
4000     auto& captionPreferences = document().page()->group().captionPreferences();
4001     CaptionUserPreferences::CaptionDisplayMode displayMode;
4002     if (trackToSelect == TextTrack::captionMenuOffItem())
4003         displayMode = CaptionUserPreferences::ForcedOnly;
4004     else if (trackToSelect == TextTrack::captionMenuAutomaticItem())
4005         displayMode = CaptionUserPreferences::Automatic;
4006     else {
4007         displayMode = CaptionUserPreferences::AlwaysOn;
4008         if (trackToSelect->language().length())
4009             captionPreferences.setPreferredLanguage(trackToSelect->language());
4010     }
4011
4012     captionPreferences.setCaptionDisplayMode(displayMode);
4013 }
4014
4015 void HTMLMediaElement::configureTextTracks()
4016 {
4017     TrackGroup captionAndSubtitleTracks(TrackGroup::CaptionsAndSubtitles);
4018     TrackGroup descriptionTracks(TrackGroup::Description);
4019     TrackGroup chapterTracks(TrackGroup::Chapter);
4020     TrackGroup metadataTracks(TrackGroup::Metadata);
4021     TrackGroup otherTracks(TrackGroup::Other);
4022
4023     if (!m_textTracks)
4024         return;
4025
4026     for (size_t i = 0; i < m_textTracks->length(); ++i) {
4027         RefPtr<TextTrack> textTrack = m_textTracks->item(i);
4028         if (!textTrack)
4029             continue;
4030
4031         auto kind = textTrack->kind();
4032         TrackGroup* currentGroup;
4033         if (kind == TextTrack::Kind::Subtitles || kind == TextTrack::Kind::Captions || kind == TextTrack::Kind::Forced)
4034             currentGroup = &captionAndSubtitleTracks;
4035         else if (kind == TextTrack::Kind::Descriptions)
4036             currentGroup = &descriptionTracks;
4037         else if (kind == TextTrack::Kind::Chapters)
4038             currentGroup = &chapterTracks;
4039         else if (kind == TextTrack::Kind::Metadata)
4040             currentGroup = &metadataTracks;
4041         else
4042             currentGroup = &otherTracks;
4043
4044         if (!currentGroup->visibleTrack && textTrack->mode() == TextTrack::Mode::Showing)
4045             currentGroup->visibleTrack = textTrack;
4046         if (!currentGroup->defaultTrack && textTrack->isDefault())
4047             currentGroup->defaultTrack = textTrack;
4048
4049         // Do not add this track to the group if it has already been automatically configured
4050         // as we only want to call configureTextTrack once per track so that adding another 
4051         // track after the initial configuration doesn't reconfigure every track - only those 
4052         // that should be changed by the new addition. For example all metadata tracks are 
4053         // disabled by default, and we don't want a track that has been enabled by script 
4054         // to be disabled automatically when a new metadata track is added later.
4055         if (textTrack->hasBeenConfigured())
4056             continue;
4057         
4058         if (textTrack->language().length())
4059             currentGroup->hasSrcLang = true;
4060         currentGroup->tracks.append(textTrack);
4061     }
4062     
4063     if (captionAndSubtitleTracks.tracks.size())
4064         configureTextTrackGroup(captionAndSubtitleTracks);
4065     if (descriptionTracks.tracks.size())
4066         configureTextTrackGroup(descriptionTracks);
4067     if (chapterTracks.tracks.size())
4068         configureTextTrackGroup(chapterTracks);
4069     if (metadataTracks.tracks.size())
4070         configureTextTrackGroup(metadataTracks);
4071     if (otherTracks.tracks.size())
4072         configureTextTrackGroup(otherTracks);
4073
4074     updateCaptionContainer();
4075     configureTextTrackDisplay();
4076     if (hasMediaControls())
4077         mediaControls()->closedCaptionTracksChanged();
4078 }
4079 #endif
4080
4081 bool HTMLMediaElement::havePotentialSourceChild()
4082 {
4083     // Stash the current <source> node and next nodes so we can restore them after checking
4084     // to see there is another potential.
4085     RefPtr<HTMLSourceElement> currentSourceNode = m_currentSourceNode;