Notify the UI delegate when a MediaDocument's natural size changes
[WebKit-https.git] / Source / WebCore / html / HTMLMediaElement.cpp
1 /*
2  * Copyright (C) 2007-2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #if ENABLE(VIDEO)
28 #include "HTMLMediaElement.h"
29
30 #include "ApplicationCacheHost.h"
31 #include "ApplicationCacheResource.h"
32 #include "Attribute.h"
33 #include "CSSPropertyNames.h"
34 #include "CSSValueKeywords.h"
35 #include "ChromeClient.h"
36 #include "ClientRect.h"
37 #include "ClientRectList.h"
38 #include "ContentSecurityPolicy.h"
39 #include "ContentType.h"
40 #include "CookieJar.h"
41 #include "DiagnosticLoggingClient.h"
42 #include "DiagnosticLoggingKeys.h"
43 #include "DisplaySleepDisabler.h"
44 #include "DocumentLoader.h"
45 #include "ElementIterator.h"
46 #include "EventNames.h"
47 #include "ExceptionCodePlaceholder.h"
48 #include "FrameLoader.h"
49 #include "FrameLoaderClient.h"
50 #include "FrameView.h"
51 #include "HTMLSourceElement.h"
52 #include "HTMLVideoElement.h"
53 #include "JSHTMLMediaElement.h"
54 #include "Language.h"
55 #include "Logging.h"
56 #include "MIMETypeRegistry.h"
57 #include "MainFrame.h"
58 #include "MediaController.h"
59 #include "MediaControls.h"
60 #include "MediaDocument.h"
61 #include "MediaError.h"
62 #include "MediaFragmentURIParser.h"
63 #include "MediaKeyEvent.h"
64 #include "MediaList.h"
65 #include "MediaPlayer.h"
66 #include "MediaQueryEvaluator.h"
67 #include "MediaResourceLoader.h"
68 #include "MemoryPressureHandler.h"
69 #include "NetworkingContext.h"
70 #include "PageGroup.h"
71 #include "PageThrottler.h"
72 #include "PlatformMediaSessionManager.h"
73 #include "ProgressTracker.h"
74 #include "RenderLayerCompositor.h"
75 #include "RenderVideo.h"
76 #include "RenderView.h"
77 #include "ResourceLoadInfo.h"
78 #include "ScriptController.h"
79 #include "ScriptSourceCode.h"
80 #include "SecurityPolicy.h"
81 #include "SessionID.h"
82 #include "Settings.h"
83 #include "ShadowRoot.h"
84 #include "TimeRanges.h"
85 #include "UserContentController.h"
86 #include <limits>
87 #include <runtime/Uint8Array.h>
88 #include <wtf/CurrentTime.h>
89 #include <wtf/MathExtras.h>
90 #include <wtf/Ref.h>
91 #include <wtf/text/CString.h>
92
93 #if ENABLE(VIDEO_TRACK)
94 #include "AudioTrackList.h"
95 #include "HTMLTrackElement.h"
96 #include "InbandGenericTextTrack.h"
97 #include "InbandTextTrackPrivate.h"
98 #include "InbandWebVTTTextTrack.h"
99 #include "RuntimeEnabledFeatures.h"
100 #include "TextTrackCueList.h"
101 #include "TextTrackList.h"
102 #include "VideoTrackList.h"
103 #endif
104
105 #if ENABLE(WEB_AUDIO)
106 #include "AudioSourceProvider.h"
107 #include "MediaElementAudioSourceNode.h"
108 #endif
109
110 #if PLATFORM(IOS)
111 #include "RuntimeApplicationChecksIOS.h"
112 #endif
113
114 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
115 #include "WebKitPlaybackTargetAvailabilityEvent.h"
116 #endif
117
118 #if ENABLE(MEDIA_SESSION)
119 #include "MediaSession.h"
120 #endif
121
122 #if ENABLE(MEDIA_SOURCE)
123 #include "DOMWindow.h"
124 #include "MediaSource.h"
125 #include "Performance.h"
126 #include "VideoPlaybackQuality.h"
127 #endif
128
129 #if ENABLE(MEDIA_STREAM)
130 #include "MediaStream.h"
131 #include "MediaStreamRegistry.h"
132 #endif
133
134 #if ENABLE(ENCRYPTED_MEDIA_V2)
135 #include "MediaKeyNeededEvent.h"
136 #include "MediaKeys.h"
137 #endif
138
139 #if USE(PLATFORM_TEXT_TRACK_MENU)
140 #include "PlatformTextTrack.h"
141 #endif
142
143 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
144 #include "JSMediaControlsHost.h"
145 #include "MediaControlsHost.h"
146 #include "ScriptGlobalObject.h"
147 #include <bindings/ScriptObject.h>
148 #endif
149
150 namespace WebCore {
151
152 static const double SeekRepeatDelay = 0.1;
153 static const double SeekTime = 0.2;
154 static const double ScanRepeatDelay = 1.5;
155 static const double ScanMaximumRate = 8;
156
157 static void setFlags(unsigned& value, unsigned flags)
158 {
159     value |= flags;
160 }
161
162 static void clearFlags(unsigned& value, unsigned flags)
163 {
164     value &= ~flags;
165 }
166     
167 #if !LOG_DISABLED
168 static String urlForLoggingMedia(const URL& url)
169 {
170     static const unsigned maximumURLLengthForLogging = 128;
171
172     if (url.string().length() < maximumURLLengthForLogging)
173         return url.string();
174     return url.string().substring(0, maximumURLLengthForLogging) + "...";
175 }
176
177 static const char* boolString(bool val)
178 {
179     return val ? "true" : "false";
180 }
181 #endif
182
183 #ifndef LOG_MEDIA_EVENTS
184 // Default to not logging events because so many are generated they can overwhelm the rest of 
185 // the logging.
186 #define LOG_MEDIA_EVENTS 0
187 #endif
188
189 #ifndef LOG_CACHED_TIME_WARNINGS
190 // Default to not logging warnings about excessive drift in the cached media time because it adds a
191 // fair amount of overhead and logging.
192 #define LOG_CACHED_TIME_WARNINGS 0
193 #endif
194
195 #if ENABLE(MEDIA_SOURCE)
196 // URL protocol used to signal that the media source API is being used.
197 static const char* mediaSourceBlobProtocol = "blob";
198 #endif
199
200 #if ENABLE(MEDIA_STREAM)
201 // URL protocol used to signal that the media stream API is being used.
202 static const char* mediaStreamBlobProtocol = "blob";
203 #endif
204
205 using namespace HTMLNames;
206
207 typedef HashMap<Document*, HashSet<HTMLMediaElement*>> DocumentElementSetMap;
208 static DocumentElementSetMap& documentToElementSetMap()
209 {
210     DEPRECATED_DEFINE_STATIC_LOCAL(DocumentElementSetMap, map, ());
211     return map;
212 }
213
214 static void addElementToDocumentMap(HTMLMediaElement& element, Document& document)
215 {
216     DocumentElementSetMap& map = documentToElementSetMap();
217     HashSet<HTMLMediaElement*> set = map.take(&document);
218     set.add(&element);
219     map.add(&document, set);
220 }
221
222 static void removeElementFromDocumentMap(HTMLMediaElement& element, Document& document)
223 {
224     DocumentElementSetMap& map = documentToElementSetMap();
225     HashSet<HTMLMediaElement*> set = map.take(&document);
226     set.remove(&element);
227     if (!set.isEmpty())
228         map.add(&document, set);
229 }
230
231 #if ENABLE(ENCRYPTED_MEDIA)
232 static ExceptionCode exceptionCodeForMediaKeyException(MediaPlayer::MediaKeyException exception)
233 {
234     switch (exception) {
235     case MediaPlayer::NoError:
236         return 0;
237     case MediaPlayer::InvalidPlayerState:
238         return INVALID_STATE_ERR;
239     case MediaPlayer::KeySystemNotSupported:
240         return NOT_SUPPORTED_ERR;
241     }
242
243     ASSERT_NOT_REACHED();
244     return INVALID_STATE_ERR;
245 }
246 #endif
247
248 #if ENABLE(VIDEO_TRACK)
249 class TrackDisplayUpdateScope {
250 public:
251     TrackDisplayUpdateScope(HTMLMediaElement* mediaElement)
252     {
253         m_mediaElement = mediaElement;
254         m_mediaElement->beginIgnoringTrackDisplayUpdateRequests();
255     }
256     ~TrackDisplayUpdateScope()
257     {
258         ASSERT(m_mediaElement);
259         m_mediaElement->endIgnoringTrackDisplayUpdateRequests();
260     }
261     
262 private:
263     HTMLMediaElement* m_mediaElement;
264 };
265 #endif
266
267 struct HTMLMediaElement::TrackGroup {
268     enum GroupKind { CaptionsAndSubtitles, Description, Chapter, Metadata, Other };
269
270     TrackGroup(GroupKind kind)
271         : visibleTrack(0)
272         , defaultTrack(0)
273         , kind(kind)
274         , hasSrcLang(false)
275     {
276     }
277
278     Vector<RefPtr<TextTrack>> tracks;
279     RefPtr<TextTrack> visibleTrack;
280     RefPtr<TextTrack> defaultTrack;
281     GroupKind kind;
282     bool hasSrcLang;
283 };
284
285 HashSet<HTMLMediaElement*>& HTMLMediaElement::allMediaElements()
286 {
287     static NeverDestroyed<HashSet<HTMLMediaElement*>> elements;
288     return elements;
289 }
290
291 HTMLMediaElement::HTMLMediaElement(const QualifiedName& tagName, Document& document, bool createdByParser)
292     : HTMLElement(tagName, document)
293     , ActiveDOMObject(&document)
294     , m_pendingActionTimer(*this, &HTMLMediaElement::pendingActionTimerFired)
295     , m_progressEventTimer(*this, &HTMLMediaElement::progressEventTimerFired)
296     , m_playbackProgressTimer(*this, &HTMLMediaElement::playbackProgressTimerFired)
297     , m_scanTimer(*this, &HTMLMediaElement::scanTimerFired)
298     , m_seekTaskQueue(document)
299     , m_resizeTaskQueue(document)
300     , m_shadowDOMTaskQueue(document)
301     , m_playedTimeRanges()
302     , m_asyncEventQueue(*this)
303     , m_requestedPlaybackRate(1)
304     , m_reportedPlaybackRate(1)
305     , m_defaultPlaybackRate(1)
306     , m_webkitPreservesPitch(true)
307     , m_networkState(NETWORK_EMPTY)
308     , m_readyState(HAVE_NOTHING)
309     , m_readyStateMaximum(HAVE_NOTHING)
310     , m_volume(1.0f)
311     , m_volumeInitialized(false)
312     , m_previousProgressTime(std::numeric_limits<double>::max())
313     , m_clockTimeAtLastUpdateEvent(0)
314     , m_lastTimeUpdateEventMovieTime(MediaTime::positiveInfiniteTime())
315     , m_loadState(WaitingForSource)
316     , m_videoFullscreenMode(VideoFullscreenModeNone)
317 #if PLATFORM(IOS)
318     , m_videoFullscreenGravity(MediaPlayer::VideoGravityResizeAspect)
319 #endif
320     , m_preload(MediaPlayer::Auto)
321     , m_displayMode(Unknown)
322     , m_processingMediaPlayerCallback(0)
323 #if ENABLE(MEDIA_SOURCE)
324     , m_droppedVideoFrames(0)
325 #endif
326     , m_clockTimeAtLastCachedTimeUpdate(0)
327     , m_minimumClockTimeToUpdateCachedTime(0)
328     , m_pendingActionFlags(0)
329     , m_actionAfterScan(Nothing)
330     , m_scanType(Scan)
331     , m_scanDirection(Forward)
332     , m_firstTimePlaying(true)
333     , m_playing(false)
334     , m_isWaitingUntilMediaCanStart(false)
335     , m_shouldDelayLoadEvent(false)
336     , m_haveFiredLoadedData(false)
337     , m_inActiveDocument(true)
338     , m_autoplaying(true)
339     , m_muted(false)
340     , m_explicitlyMuted(false)
341     , m_initiallyMuted(false)
342     , m_paused(true)
343     , m_seeking(false)
344     , m_sentStalledEvent(false)
345     , m_sentEndEvent(false)
346     , m_pausedInternal(false)
347     , m_sendProgressEvents(true)
348     , m_closedCaptionsVisible(false)
349     , m_webkitLegacyClosedCaptionOverride(false)
350     , m_completelyLoaded(false)
351     , m_havePreparedToPlay(false)
352     , m_parsingInProgress(createdByParser)
353     , m_elementIsHidden(document.hidden())
354 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
355     , m_mediaControlsDependOnPageScaleFactor(false)
356 #endif
357 #if ENABLE(VIDEO_TRACK)
358     , m_tracksAreReady(true)
359     , m_haveVisibleTextTrack(false)
360     , m_processingPreferenceChange(false)
361     , m_lastTextTrackUpdateTime(MediaTime(-1, 1))
362     , m_captionDisplayMode(CaptionUserPreferences::Automatic)
363     , m_audioTracks(0)
364     , m_textTracks(0)
365     , m_videoTracks(0)
366     , m_ignoreTrackDisplayUpdate(0)
367 #endif
368 #if ENABLE(WEB_AUDIO)
369     , m_audioSourceNode(0)
370 #endif
371     , m_mediaSession(std::make_unique<MediaElementSession>(*this))
372     , m_reportedExtraMemoryCost(0)
373 #if ENABLE(MEDIA_STREAM)
374     , m_mediaStreamSrcObject(nullptr)
375 #endif
376 {
377     allMediaElements().add(this);
378
379     LOG(Media, "HTMLMediaElement::HTMLMediaElement(%p)", this);
380     setHasCustomStyleResolveCallbacks();
381
382     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
383     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
384 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
385     m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToAutoplayToExternalDevice);
386 #endif
387
388     // FIXME: We should clean up and look to better merge the iOS and non-iOS code below.
389     Settings* settings = document.settings();
390 #if !PLATFORM(IOS)
391     if (settings && settings->requiresUserGestureForMediaPlayback()) {
392         m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForRateChange);
393         m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForLoad);
394     }
395 #else
396     m_sendProgressEvents = false;
397     if (!settings || settings->requiresUserGestureForMediaPlayback()) {
398         // Allow autoplay in a MediaDocument that is not in an iframe.
399         if (document.ownerElement() || !document.isMediaDocument())
400             m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForRateChange);
401 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
402         m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureToShowPlaybackTargetPicker);
403 #endif
404     } else {
405         // Relax RequireUserGestureForFullscreen when requiresUserGestureForMediaPlayback is not set:
406         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForFullscreen);
407     }
408 #endif // !PLATFORM(IOS)
409
410     if (settings && settings->audioPlaybackRequiresUserGesture() && settings->requiresUserGestureForMediaPlayback())
411         m_mediaSession->addBehaviorRestriction(MediaElementSession::RequireUserGestureForAudioRateChange);
412
413 #if ENABLE(VIDEO_TRACK)
414     if (document.page())
415         m_captionDisplayMode = document.page()->group().captionPreferences()->captionDisplayMode();
416 #endif
417
418 #if ENABLE(MEDIA_SESSION)
419     setSessionInternal(document.defaultMediaSession());
420 #endif
421
422     registerWithDocument(document);
423 }
424
425 HTMLMediaElement::~HTMLMediaElement()
426 {
427     LOG(Media, "HTMLMediaElement::~HTMLMediaElement(%p)", this);
428
429     allMediaElements().remove(this);
430
431     m_asyncEventQueue.close();
432
433     setShouldDelayLoadEvent(false);
434     unregisterWithDocument(document());
435
436 #if ENABLE(VIDEO_TRACK)
437     if (m_audioTracks) {
438         m_audioTracks->clearElement();
439         for (unsigned i = 0; i < m_audioTracks->length(); ++i)
440             m_audioTracks->item(i)->clearClient();
441     }
442     if (m_textTracks)
443         m_textTracks->clearElement();
444     if (m_textTracks) {
445         for (unsigned i = 0; i < m_textTracks->length(); ++i)
446             m_textTracks->item(i)->clearClient();
447     }
448     if (m_videoTracks) {
449         m_videoTracks->clearElement();
450         for (unsigned i = 0; i < m_videoTracks->length(); ++i)
451             m_videoTracks->item(i)->clearClient();
452     }
453 #endif
454
455 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
456     if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent)) {
457         m_hasPlaybackTargetAvailabilityListeners = false;
458         m_mediaSession->setHasPlaybackTargetAvailabilityListeners(*this, false);
459         updateMediaState();
460     }
461 #endif
462
463     if (m_mediaController) {
464         m_mediaController->removeMediaElement(this);
465         m_mediaController = nullptr;
466     }
467
468 #if ENABLE(MEDIA_SOURCE)
469     closeMediaSource();
470 #endif
471
472 #if ENABLE(ENCRYPTED_MEDIA_V2)
473     setMediaKeys(0);
474 #endif
475
476 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
477     if (m_isolatedWorld)
478         m_isolatedWorld->clearWrappers();
479 #endif
480
481 #if ENABLE(MEDIA_SESSION)
482     if (m_session) {
483         m_session->removeMediaElement(*this);
484         m_session = nullptr;
485     }
486 #endif
487
488     m_seekTaskQueue.close();
489
490     m_completelyLoaded = true;
491 }
492
493 void HTMLMediaElement::registerWithDocument(Document& document)
494 {
495     m_mediaSession->registerWithDocument(document);
496
497     if (m_isWaitingUntilMediaCanStart)
498         document.addMediaCanStartListener(this);
499
500 #if !PLATFORM(IOS)
501     document.registerForMediaVolumeCallbacks(this);
502     document.registerForPrivateBrowsingStateChangedCallbacks(this);
503 #endif
504
505     document.registerForVisibilityStateChangedCallbacks(this);
506
507 #if ENABLE(VIDEO_TRACK)
508     if (m_requireCaptionPreferencesChangedCallbacks)
509         document.registerForCaptionPreferencesChangedCallbacks(this);
510 #endif
511
512 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
513     if (m_mediaControlsDependOnPageScaleFactor)
514         document.registerForPageScaleFactorChangedCallbacks(this);
515 #endif
516
517 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
518     document.registerForPageCacheSuspensionCallbacks(this);
519 #endif
520
521     document.registerForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
522
523     document.addAudioProducer(this);
524     addElementToDocumentMap(*this, document);
525 }
526
527 void HTMLMediaElement::unregisterWithDocument(Document& document)
528 {
529     m_mediaSession->unregisterWithDocument(document);
530
531     if (m_isWaitingUntilMediaCanStart)
532         document.removeMediaCanStartListener(this);
533
534 #if !PLATFORM(IOS)
535     document.unregisterForMediaVolumeCallbacks(this);
536     document.unregisterForPrivateBrowsingStateChangedCallbacks(this);
537 #endif
538
539     document.unregisterForVisibilityStateChangedCallbacks(this);
540
541 #if ENABLE(VIDEO_TRACK)
542     if (m_requireCaptionPreferencesChangedCallbacks)
543         document.unregisterForCaptionPreferencesChangedCallbacks(this);
544 #endif
545
546 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
547     if (m_mediaControlsDependOnPageScaleFactor)
548         document.unregisterForPageScaleFactorChangedCallbacks(this);
549 #endif
550
551 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
552     document.unregisterForPageCacheSuspensionCallbacks(this);
553 #endif
554
555     document.unregisterForAllowsMediaDocumentInlinePlaybackChangedCallbacks(*this);
556
557     document.removeAudioProducer(this);
558     removeElementFromDocumentMap(*this, document);
559 }
560
561 void HTMLMediaElement::didMoveToNewDocument(Document* oldDocument)
562 {
563     if (m_shouldDelayLoadEvent) {
564         if (oldDocument)
565             oldDocument->decrementLoadEventDelayCount();
566         document().incrementLoadEventDelayCount();
567     }
568
569     if (oldDocument)
570         unregisterWithDocument(*oldDocument);
571
572     registerWithDocument(document());
573
574     HTMLElement::didMoveToNewDocument(oldDocument);
575 }
576
577 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
578 void HTMLMediaElement::documentWillSuspendForPageCache()
579 {
580     m_mediaSession->unregisterWithDocument(document());
581 }
582
583 void HTMLMediaElement::documentDidResumeFromPageCache()
584 {
585     m_mediaSession->registerWithDocument(document());
586 }
587 #endif
588
589 bool HTMLMediaElement::hasCustomFocusLogic() const
590 {
591     return true;
592 }
593
594 bool HTMLMediaElement::supportsFocus() const
595 {
596     if (document().isMediaDocument())
597         return false;
598
599     // If no controls specified, we should still be able to focus the element if it has tabIndex.
600     return controls() ||  HTMLElement::supportsFocus();
601 }
602
603 bool HTMLMediaElement::isMouseFocusable() const
604 {
605     return false;
606 }
607
608 void HTMLMediaElement::parseAttribute(const QualifiedName& name, const AtomicString& value)
609 {
610     if (name == srcAttr) {
611 #if PLATFORM(IOS)
612         // Note, unless the restriction on requiring user action has been removed,
613         // do not begin downloading data on iOS.
614         if (!value.isNull() && m_mediaSession->dataLoadingPermitted(*this))
615 #else
616         // Trigger a reload, as long as the 'src' attribute is present.
617         if (!value.isNull())
618 #endif
619         {
620             clearMediaPlayer(LoadMediaResource);
621             scheduleDelayedAction(LoadMediaResource);
622         }
623     } else if (name == controlsAttr)
624         configureMediaControls();
625     else if (name == loopAttr)
626         updateSleepDisabling();
627     else if (name == preloadAttr) {
628         if (equalIgnoringCase(value, "none"))
629             m_preload = MediaPlayer::None;
630         else if (equalIgnoringCase(value, "metadata"))
631             m_preload = MediaPlayer::MetaData;
632         else {
633             // The spec does not define an "invalid value default" but "auto" is suggested as the
634             // "missing value default", so use it for everything except "none" and "metadata"
635             m_preload = MediaPlayer::Auto;
636         }
637
638         // The attribute must be ignored if the autoplay attribute is present
639         if (!autoplay() && m_player)
640             m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
641
642     } else if (name == mediagroupAttr)
643         setMediaGroup(value);
644     else
645         HTMLElement::parseAttribute(name, value);
646 }
647
648 void HTMLMediaElement::finishParsingChildren()
649 {
650     HTMLElement::finishParsingChildren();
651     m_parsingInProgress = false;
652     
653 #if ENABLE(VIDEO_TRACK)
654     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
655         return;
656
657     if (descendantsOfType<HTMLTrackElement>(*this).first())
658         scheduleDelayedAction(ConfigureTextTracks);
659 #endif
660 }
661
662 bool HTMLMediaElement::rendererIsNeeded(const RenderStyle& style)
663 {
664     return controls() && HTMLElement::rendererIsNeeded(style);
665 }
666
667 RenderPtr<RenderElement> HTMLMediaElement::createElementRenderer(Ref<RenderStyle>&& style, const RenderTreePosition&)
668 {
669     return createRenderer<RenderMedia>(*this, WTF::move(style));
670 }
671
672 bool HTMLMediaElement::childShouldCreateRenderer(const Node& child) const
673 {
674 #if ENABLE(MEDIA_CONTROLS_SCRIPT)
675     return hasShadowRootParent(child) && HTMLElement::childShouldCreateRenderer(child);
676 #else
677     if (!hasMediaControls())
678         return false;
679     // <media> doesn't allow its content, including shadow subtree, to
680     // be rendered. So this should return false for most of the children.
681     // One exception is a shadow tree built for rendering controls which should be visible.
682     // So we let them go here by comparing its subtree root with one of the controls.
683     return &mediaControls()->treeScope() == &child.treeScope()
684         && hasShadowRootParent(child)
685         && HTMLElement::childShouldCreateRenderer(child);
686 #endif
687 }
688
689 Node::InsertionNotificationRequest HTMLMediaElement::insertedInto(ContainerNode& insertionPoint)
690 {
691     LOG(Media, "HTMLMediaElement::insertedInto(%p)", this);
692
693     HTMLElement::insertedInto(insertionPoint);
694     if (insertionPoint.inDocument()) {
695         m_inActiveDocument = true;
696
697 #if PLATFORM(IOS)
698         if (m_networkState == NETWORK_EMPTY && !fastGetAttribute(srcAttr).isEmpty() && m_mediaSession->dataLoadingPermitted(*this))
699 #else
700         if (m_networkState == NETWORK_EMPTY && !fastGetAttribute(srcAttr).isEmpty())
701 #endif
702             scheduleDelayedAction(LoadMediaResource);
703     }
704
705     if (!m_explicitlyMuted) {
706         m_explicitlyMuted = true;
707         m_muted = fastHasAttribute(mutedAttr);
708     }
709
710     configureMediaControls();
711     return InsertionDone;
712 }
713
714 void HTMLMediaElement::removedFrom(ContainerNode& insertionPoint)
715 {
716     LOG(Media, "HTMLMediaElement::removedFrom(%p)", this);
717
718     m_inActiveDocument = false;
719     if (insertionPoint.inDocument()) {
720         if (hasMediaControls())
721             mediaControls()->hide();
722         if (m_networkState > NETWORK_EMPTY)
723             pause();
724         if (m_videoFullscreenMode != VideoFullscreenModeNone)
725             exitFullscreen();
726
727         if (m_player) {
728             size_t extraMemoryCost = m_player->extraMemoryCost();
729             if (extraMemoryCost > m_reportedExtraMemoryCost) {
730                 JSC::VM& vm = JSDOMWindowBase::commonVM();
731                 JSC::JSLockHolder lock(vm);
732
733                 size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
734                 m_reportedExtraMemoryCost = extraMemoryCost;
735                 // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
736                 // https://bugs.webkit.org/show_bug.cgi?id=142595
737                 vm.heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
738             }
739         }
740     }
741
742     HTMLElement::removedFrom(insertionPoint);
743 }
744
745 void HTMLMediaElement::willAttachRenderers()
746 {
747     ASSERT(!renderer());
748 }
749
750 void HTMLMediaElement::didAttachRenderers()
751 {
752     if (renderer())
753         renderer()->updateFromElement();
754 }
755
756 void HTMLMediaElement::didRecalcStyle(Style::Change)
757 {
758     if (renderer())
759         renderer()->updateFromElement();
760 }
761
762 void HTMLMediaElement::scheduleDelayedAction(DelayedActionType actionType)
763 {
764     LOG(Media, "HTMLMediaElement::scheduleLoad(%p)", this);
765
766     if ((actionType & LoadMediaResource) && !(m_pendingActionFlags & LoadMediaResource)) {
767         prepareForLoad();
768         setFlags(m_pendingActionFlags, LoadMediaResource);
769     }
770
771 #if ENABLE(VIDEO_TRACK)
772     if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled() && (actionType & ConfigureTextTracks))
773         setFlags(m_pendingActionFlags, ConfigureTextTracks);
774 #endif
775
776 #if USE(PLATFORM_TEXT_TRACK_MENU)
777     if (actionType & TextTrackChangesNotification)
778         setFlags(m_pendingActionFlags, TextTrackChangesNotification);
779 #endif
780
781 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
782     if (actionType & CheckPlaybackTargetCompatablity)
783         setFlags(m_pendingActionFlags, CheckPlaybackTargetCompatablity);
784 #endif
785
786     if (actionType & CheckMediaState)
787         setFlags(m_pendingActionFlags, CheckMediaState);
788
789     m_pendingActionTimer.startOneShot(0);
790 }
791
792 void HTMLMediaElement::scheduleNextSourceChild()
793 {
794     // Schedule the timer to try the next <source> element WITHOUT resetting state ala prepareForLoad.
795     setFlags(m_pendingActionFlags, LoadMediaResource);
796     m_pendingActionTimer.startOneShot(0);
797 }
798
799 void HTMLMediaElement::scheduleEvent(const AtomicString& eventName)
800 {
801 #if LOG_MEDIA_EVENTS
802     LOG(Media, "HTMLMediaElement::scheduleEvent(%p) - scheduling '%s'", this, eventName.string().ascii().data());
803 #endif
804     RefPtr<Event> event = Event::create(eventName, false, true);
805     
806     // Don't set the event target, the event queue will set it in GenericEventQueue::timerFired and setting it here
807     // will trigger an ASSERT if this element has been marked for deletion.
808
809     m_asyncEventQueue.enqueueEvent(event.release());
810 }
811
812 void HTMLMediaElement::pendingActionTimerFired()
813 {
814     Ref<HTMLMediaElement> protect(*this); // loadNextSourceChild may fire 'beforeload', which can make arbitrary DOM mutations.
815
816 #if ENABLE(VIDEO_TRACK)
817     if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled() && (m_pendingActionFlags & ConfigureTextTracks))
818         configureTextTracks();
819 #endif
820
821     if (m_pendingActionFlags & LoadMediaResource) {
822         if (m_loadState == LoadingFromSourceElement)
823             loadNextSourceChild();
824         else
825             loadInternal();
826     }
827
828 #if USE(PLATFORM_TEXT_TRACK_MENU)
829     if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled() && (m_pendingActionFlags & TextTrackChangesNotification))
830         notifyMediaPlayerOfTextTrackChanges();
831 #endif
832
833 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
834     if (m_pendingActionFlags & CheckPlaybackTargetCompatablity && m_player && m_player->isCurrentPlaybackTargetWireless() && !m_player->canPlayToWirelessPlaybackTarget()) {
835         LOG(Media, "HTMLMediaElement::pendingActionTimerFired(%p) - calling setShouldPlayToPlaybackTarget(false)", this);
836         m_failedToPlayToWirelessTarget = true;
837         m_player->setShouldPlayToPlaybackTarget(false);
838     }
839
840     if (m_pendingActionFlags & CheckMediaState)
841         updateMediaState();
842 #endif
843
844     m_pendingActionFlags = 0;
845 }
846
847 PassRefPtr<MediaError> HTMLMediaElement::error() const 
848 {
849     return m_error;
850 }
851
852 void HTMLMediaElement::setSrc(const String& url)
853 {
854     setAttribute(srcAttr, url);
855 }
856
857 #if ENABLE(MEDIA_STREAM)
858 void HTMLMediaElement::setSrcObject(MediaStream* mediaStream)
859 {
860     // FIXME: Setting the srcObject attribute may cause other changes to the media element's internal state:
861     // Specifically, if srcObject is specified, the UA must use it as the source of media, even if the src
862     // attribute is also set or children are present. If the value of srcObject is replaced or set to null
863     // the UA must re-run the media element load algorithm.
864     //
865     // https://bugs.webkit.org/show_bug.cgi?id=124896
866
867     m_mediaStreamSrcObject = mediaStream;
868 }
869 #endif
870
871 HTMLMediaElement::NetworkState HTMLMediaElement::networkState() const
872 {
873     return m_networkState;
874 }
875
876 String HTMLMediaElement::canPlayType(const String& mimeType, const String& keySystem, const URL& url) const
877 {
878     MediaEngineSupportParameters parameters;
879     ContentType contentType(mimeType);
880     parameters.type = contentType.type().lower();
881     parameters.codecs = contentType.parameter(ASCIILiteral("codecs"));
882     parameters.url = url;
883 #if ENABLE(ENCRYPTED_MEDIA)
884     parameters.keySystem = keySystem;
885 #else
886     UNUSED_PARAM(keySystem);
887 #endif
888     MediaPlayer::SupportsType support = MediaPlayer::supportsType(parameters, this);
889     String canPlay;
890
891     // 4.8.10.3
892     switch (support)
893     {
894         case MediaPlayer::IsNotSupported:
895             canPlay = emptyString();
896             break;
897         case MediaPlayer::MayBeSupported:
898             canPlay = ASCIILiteral("maybe");
899             break;
900         case MediaPlayer::IsSupported:
901             canPlay = ASCIILiteral("probably");
902             break;
903     }
904     
905     LOG(Media, "HTMLMediaElement::canPlayType(%p) - [%s, %s, %s] -> %s", this, mimeType.utf8().data(), keySystem.utf8().data(), url.stringCenterEllipsizedToLength().utf8().data(), canPlay.utf8().data());
906
907     return canPlay;
908 }
909
910 double HTMLMediaElement::getStartDate() const
911 {
912     return m_player->getStartDate().toDouble();
913 }
914
915 void HTMLMediaElement::load()
916 {
917     Ref<HTMLMediaElement> protect(*this); // loadInternal may result in a 'beforeload' event, which can make arbitrary DOM mutations.
918     
919     LOG(Media, "HTMLMediaElement::load(%p)", this);
920     
921     if (!m_mediaSession->dataLoadingPermitted(*this))
922         return;
923     if (ScriptController::processingUserGesture())
924         removeBehaviorsRestrictionsAfterFirstUserGesture();
925
926     prepareForLoad();
927     loadInternal();
928     prepareToPlay();
929 }
930
931 void HTMLMediaElement::prepareForLoad()
932 {
933     LOG(Media, "HTMLMediaElement::prepareForLoad(%p)", this);
934
935     // Perform the cleanup required for the resource load algorithm to run.
936     stopPeriodicTimers();
937     m_pendingActionTimer.stop();
938     // FIXME: Figure out appropriate place to reset LoadTextTrackResource if necessary and set m_pendingActionFlags to 0 here.
939     m_pendingActionFlags &= ~LoadMediaResource;
940     m_sentEndEvent = false;
941     m_sentStalledEvent = false;
942     m_haveFiredLoadedData = false;
943     m_completelyLoaded = false;
944     m_havePreparedToPlay = false;
945     m_displayMode = Unknown;
946     m_currentSrc = URL();
947
948 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
949     m_failedToPlayToWirelessTarget = false;
950 #endif
951
952     // 1 - Abort any already-running instance of the resource selection algorithm for this element.
953     m_loadState = WaitingForSource;
954     m_currentSourceNode = nullptr;
955
956     // 2 - If there are any tasks from the media element's media element event task source in 
957     // one of the task queues, then remove those tasks.
958     cancelPendingEventsAndCallbacks();
959
960     // 3 - If the media element's networkState is set to NETWORK_LOADING or NETWORK_IDLE, queue
961     // a task to fire a simple event named abort at the media element.
962     if (m_networkState == NETWORK_LOADING || m_networkState == NETWORK_IDLE)
963         scheduleEvent(eventNames().abortEvent);
964
965 #if ENABLE(MEDIA_SOURCE)
966     closeMediaSource();
967 #endif
968
969     createMediaPlayer();
970
971     // 4 - If the media element's networkState is not set to NETWORK_EMPTY, then run these substeps
972     if (m_networkState != NETWORK_EMPTY) {
973         // 4.1 - Queue a task to fire a simple event named emptied at the media element.
974         scheduleEvent(eventNames().emptiedEvent);
975
976         // 4.2 - If a fetching process is in progress for the media element, the user agent should stop it.
977         m_networkState = NETWORK_EMPTY;
978
979         // 4.3 - Forget the media element's media-resource-specific tracks.
980         forgetResourceSpecificTracks();
981
982         // 4.4 - If readyState is not set to HAVE_NOTHING, then set it to that state.
983         m_readyState = HAVE_NOTHING;
984         m_readyStateMaximum = HAVE_NOTHING;
985
986         // 4.5 - If the paused attribute is false, then set it to true.
987         m_paused = true;
988
989         // 4.6 - If seeking is true, set it to false.
990         m_seeking = false;
991
992         // 4.7 - Set the current playback position to 0.
993         //       Set the official playback position to 0.
994         //       If this changed the official playback position, then queue a task to fire a simple event named timeupdate at the media element.
995         // FIXME: Add support for firing this event. e.g., scheduleEvent(eventNames().timeUpdateEvent);
996
997         // 4.8 - Set the initial playback position to 0.
998         // FIXME: Make this less subtle. The position only becomes 0 because of the createMediaPlayer() call
999         // above.
1000         refreshCachedTime();
1001
1002         invalidateCachedTime();
1003
1004         // 4.9 - Set the timeline offset to Not-a-Number (NaN).
1005         // 4.10 - Update the duration attribute to Not-a-Number (NaN).
1006
1007         updateMediaController();
1008 #if ENABLE(VIDEO_TRACK)
1009         if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
1010             updateActiveTextTrackCues(MediaTime::zeroTime());
1011 #endif
1012     }
1013
1014     // 5 - Set the playbackRate attribute to the value of the defaultPlaybackRate attribute.
1015     setPlaybackRate(defaultPlaybackRate());
1016
1017     // 6 - Set the error attribute to null and the autoplaying flag to true.
1018     m_error = nullptr;
1019     m_autoplaying = true;
1020
1021     // 7 - Invoke the media element's resource selection algorithm.
1022
1023     // 8 - Note: Playback of any previously playing media resource for this element stops.
1024
1025     // The resource selection algorithm
1026     // 1 - Set the networkState to NETWORK_NO_SOURCE
1027     m_networkState = NETWORK_NO_SOURCE;
1028
1029     // 2 - Asynchronously await a stable state.
1030
1031     m_playedTimeRanges = TimeRanges::create();
1032
1033     // FIXME: Investigate whether these can be moved into m_networkState != NETWORK_EMPTY block above
1034     // so they are closer to the relevant spec steps.
1035     m_lastSeekTime = MediaTime::zeroTime();
1036
1037     // The spec doesn't say to block the load event until we actually run the asynchronous section
1038     // algorithm, but do it now because we won't start that until after the timer fires and the 
1039     // event may have already fired by then.
1040     MediaPlayer::Preload effectivePreload = m_mediaSession->effectivePreloadForElement(*this);
1041     if (effectivePreload != MediaPlayer::None)
1042         setShouldDelayLoadEvent(true);
1043
1044 #if PLATFORM(IOS)
1045     if (effectivePreload != MediaPlayer::None && m_mediaSession->allowsAutomaticMediaDataLoading(*this))
1046         prepareToPlay();
1047 #endif
1048
1049     configureMediaControls();
1050 }
1051
1052 void HTMLMediaElement::loadInternal()
1053 {
1054     // Some of the code paths below this function dispatch the BeforeLoad event. This ASSERT helps
1055     // us catch those bugs more quickly without needing all the branches to align to actually
1056     // trigger the event.
1057     ASSERT(!NoEventDispatchAssertion::isEventDispatchForbidden());
1058
1059     // If we can't start a load right away, start it later.
1060     if (!m_mediaSession->pageAllowsDataLoading(*this)) {
1061         setShouldDelayLoadEvent(false);
1062         if (m_isWaitingUntilMediaCanStart)
1063             return;
1064         document().addMediaCanStartListener(this);
1065         m_isWaitingUntilMediaCanStart = true;
1066         return;
1067     }
1068
1069     clearFlags(m_pendingActionFlags, LoadMediaResource);
1070
1071     // Once the page has allowed an element to load media, it is free to load at will. This allows a 
1072     // playlist that starts in a foreground tab to continue automatically if the tab is subsequently 
1073     // put into the background.
1074     m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequirePageConsentToLoadMedia);
1075
1076 #if ENABLE(VIDEO_TRACK)
1077     if (hasMediaControls())
1078         mediaControls()->changedClosedCaptionsVisibility();
1079
1080     // HTMLMediaElement::textTracksAreReady will need "... the text tracks whose mode was not in the
1081     // disabled state when the element's resource selection algorithm last started".
1082     if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled()) {
1083         m_textTracksWhenResourceSelectionBegan.clear();
1084         if (m_textTracks) {
1085             for (unsigned i = 0; i < m_textTracks->length(); ++i) {
1086                 TextTrack* track = m_textTracks->item(i);
1087                 if (track->mode() != TextTrack::disabledKeyword())
1088                     m_textTracksWhenResourceSelectionBegan.append(track);
1089             }
1090         }
1091     }
1092 #endif
1093
1094     selectMediaResource();
1095 }
1096
1097 void HTMLMediaElement::selectMediaResource()
1098 {
1099     LOG(Media, "HTMLMediaElement::selectMediaResource(%p)", this);
1100
1101     enum Mode { attribute, children };
1102
1103     // 3 - If the media element has a src attribute, then let mode be attribute.
1104     Mode mode = attribute;
1105     if (!fastHasAttribute(srcAttr)) {
1106         // Otherwise, if the media element does not have a src attribute but has a source 
1107         // element child, then let mode be children and let candidate be the first such 
1108         // source element child in tree order.
1109         if (auto firstSource = childrenOfType<HTMLSourceElement>(*this).first()) {
1110             mode = children;
1111             m_nextChildNodeToConsider = firstSource;
1112             m_currentSourceNode = nullptr;
1113         } else {
1114             // Otherwise the media element has neither a src attribute nor a source element 
1115             // child: set the networkState to NETWORK_EMPTY, and abort these steps; the 
1116             // synchronous section ends.
1117             m_loadState = WaitingForSource;
1118             setShouldDelayLoadEvent(false);
1119             m_networkState = NETWORK_EMPTY;
1120
1121             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - nothing to load", this);
1122             return;
1123         }
1124     }
1125
1126     // 4 - Set the media element's delaying-the-load-event flag to true (this delays the load event), 
1127     // and set its networkState to NETWORK_LOADING.
1128     setShouldDelayLoadEvent(true);
1129     m_networkState = NETWORK_LOADING;
1130
1131     // 5 - Queue a task to fire a simple event named loadstart at the media element.
1132     scheduleEvent(eventNames().loadstartEvent);
1133
1134     // 6 - If mode is attribute, then run these substeps
1135     if (mode == attribute) {
1136         m_loadState = LoadingFromSrcAttr;
1137
1138         // If the src attribute's value is the empty string ... jump down to the failed step below
1139         URL mediaURL = getNonEmptyURLAttribute(srcAttr);
1140         if (mediaURL.isEmpty()) {
1141             mediaLoadingFailed(MediaPlayer::FormatError);
1142             LOG(Media, "HTMLMediaElement::selectMediaResource(%p) -  empty 'src'", this);
1143             return;
1144         }
1145
1146         if (!isSafeToLoadURL(mediaURL, Complain) || !dispatchBeforeLoadEvent(mediaURL.string())) {
1147             mediaLoadingFailed(MediaPlayer::FormatError);
1148             return;
1149         }
1150
1151         // No type or key system information is available when the url comes
1152         // from the 'src' attribute so MediaPlayer
1153         // will have to pick a media engine based on the file extension.
1154         ContentType contentType((String()));
1155         loadResource(mediaURL, contentType, String());
1156         LOG(Media, "HTMLMediaElement::selectMediaResource(%p) - using 'src' attribute url", this);
1157         return;
1158     }
1159
1160     // Otherwise, the source elements will be used
1161     loadNextSourceChild();
1162 }
1163
1164 void HTMLMediaElement::loadNextSourceChild()
1165 {
1166     ContentType contentType((String()));
1167     String keySystem;
1168     URL mediaURL = selectNextSourceChild(&contentType, &keySystem, Complain);
1169     if (!mediaURL.isValid()) {
1170         waitForSourceChange();
1171         return;
1172     }
1173
1174     // Recreate the media player for the new url
1175     createMediaPlayer();
1176
1177     m_loadState = LoadingFromSourceElement;
1178     loadResource(mediaURL, contentType, keySystem);
1179 }
1180
1181 void HTMLMediaElement::loadResource(const URL& initialURL, ContentType& contentType, const String& keySystem)
1182 {
1183     ASSERT(isSafeToLoadURL(initialURL, Complain));
1184
1185     LOG(Media, "HTMLMediaElement::loadResource(%p) - %s, %s, %s", this, urlForLoggingMedia(initialURL).utf8().data(), contentType.raw().utf8().data(), keySystem.utf8().data());
1186
1187     Frame* frame = document().frame();
1188     if (!frame) {
1189         mediaLoadingFailed(MediaPlayer::FormatError);
1190         return;
1191     }
1192
1193     Page* page = frame->page();
1194     if (!page) {
1195         mediaLoadingFailed(MediaPlayer::FormatError);
1196         return;
1197     }
1198
1199     URL url = initialURL;
1200     if (!frame->loader().willLoadMediaElementURL(url)) {
1201         mediaLoadingFailed(MediaPlayer::FormatError);
1202         return;
1203     }
1204
1205 #if ENABLE(CONTENT_EXTENSIONS)
1206     ResourceRequest request(url);
1207     DocumentLoader* documentLoader = frame->loader().documentLoader();
1208
1209     if (page->userContentController() && documentLoader)
1210         page->userContentController()->processContentExtensionRulesForLoad(*page, request, ResourceType::Media, *documentLoader);
1211
1212     if (request.isNull()) {
1213         mediaLoadingFailed(MediaPlayer::FormatError);
1214         return;
1215     }
1216 #endif
1217
1218     // The resource fetch algorithm 
1219     m_networkState = NETWORK_LOADING;
1220
1221     // If the url should be loaded from the application cache, pass the url of the cached file
1222     // to the media engine.
1223     ApplicationCacheHost* cacheHost = frame->loader().documentLoader()->applicationCacheHost();
1224     ApplicationCacheResource* resource = 0;
1225     if (cacheHost && cacheHost->shouldLoadResourceFromApplicationCache(ResourceRequest(url), resource)) {
1226         // Resources that are not present in the manifest will always fail to load (at least, after the
1227         // cache has been primed the first time), making the testing of offline applications simpler.
1228         if (!resource || resource->path().isEmpty()) {
1229             mediaLoadingFailed(MediaPlayer::NetworkError);
1230             return;
1231         }
1232     }
1233
1234     // Log that we started loading a media element.
1235     if (Frame* frame = document().frame())
1236         frame->mainFrame().diagnosticLoggingClient().logDiagnosticMessageWithValue(DiagnosticLoggingKeys::mediaKey(), isVideo() ? DiagnosticLoggingKeys::videoKey() : DiagnosticLoggingKeys::audioKey(), DiagnosticLoggingKeys::loadingKey(), ShouldSample::No);
1237
1238     m_firstTimePlaying = true;
1239
1240     // Set m_currentSrc *before* changing to the cache url, the fact that we are loading from the app
1241     // cache is an internal detail not exposed through the media element API.
1242     m_currentSrc = url;
1243
1244     if (resource) {
1245         url = ApplicationCacheHost::createFileURL(resource->path());
1246         LOG(Media, "HTMLMediaElement::loadResource(%p) - will load from app cache -> %s", this, urlForLoggingMedia(url).utf8().data());
1247     }
1248
1249     LOG(Media, "HTMLMediaElement::loadResource(%p) - m_currentSrc -> %s", this, urlForLoggingMedia(m_currentSrc).utf8().data());
1250
1251 #if ENABLE(MEDIA_STREAM)
1252     if (MediaStreamRegistry::registry().lookup(url.string()))
1253         m_mediaSession->removeBehaviorRestriction(MediaElementSession::RequireUserGestureForRateChange);
1254 #endif
1255
1256     if (m_sendProgressEvents) 
1257         startProgressEventTimer();
1258
1259     bool privateMode = document().page() && document().page()->usesEphemeralSession();
1260     m_player->setPrivateBrowsingMode(privateMode);
1261
1262     // Reset display mode to force a recalculation of what to show because we are resetting the player.
1263     setDisplayMode(Unknown);
1264
1265     if (!autoplay())
1266         m_player->setPreload(m_mediaSession->effectivePreloadForElement(*this));
1267     m_player->setPreservesPitch(m_webkitPreservesPitch);
1268
1269     if (!m_explicitlyMuted) {
1270         m_explicitlyMuted = true;
1271         m_muted = fastHasAttribute(mutedAttr);
1272     }
1273
1274     updateVolume();
1275
1276 #if ENABLE(MEDIA_SOURCE)
1277     ASSERT(!m_mediaSource);
1278
1279     if (url.protocolIs(mediaSourceBlobProtocol))
1280         m_mediaSource = MediaSource::lookup(url.string());
1281
1282     if (m_mediaSource) {
1283         if (m_mediaSource->attachToElement(this))
1284             m_player->load(url, contentType, m_mediaSource.get());
1285         else {
1286             // Forget our reference to the MediaSource, so we leave it alone
1287             // while processing remainder of load failure.
1288             m_mediaSource = nullptr;
1289             mediaLoadingFailed(MediaPlayer::FormatError);
1290         }
1291     } else
1292 #endif
1293 #if ENABLE(MEDIA_STREAM)
1294         if (m_mediaStreamSrcObject)
1295             m_player->load(m_mediaStreamSrcObject->privateStream());
1296         else
1297 #endif
1298     if (!m_player->load(url, contentType, keySystem))
1299         mediaLoadingFailed(MediaPlayer::FormatError);
1300
1301     // If there is no poster to display, allow the media engine to render video frames as soon as
1302     // they are available.
1303     updateDisplayState();
1304
1305     if (renderer())
1306         renderer()->updateFromElement();
1307 }
1308
1309 #if ENABLE(VIDEO_TRACK)
1310 static bool trackIndexCompare(TextTrack* a,
1311                               TextTrack* b)
1312 {
1313     return a->trackIndex() - b->trackIndex() < 0;
1314 }
1315
1316 static bool eventTimeCueCompare(const std::pair<MediaTime, TextTrackCue*>& a, const std::pair<MediaTime, TextTrackCue*>& b)
1317 {
1318     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1319     // times first).
1320     if (a.first != b.first)
1321         return a.first - b.first < MediaTime::zeroTime();
1322
1323     // If the cues belong to different text tracks, it doesn't make sense to
1324     // compare the two tracks by the relative cue order, so return the relative
1325     // track order.
1326     if (a.second->track() != b.second->track())
1327         return trackIndexCompare(a.second->track(), b.second->track());
1328
1329     // 12 - Further sort tasks in events that have the same time by the
1330     // relative text track cue order of the text track cues associated
1331     // with these tasks.
1332     return a.second->cueIndex() - b.second->cueIndex() < 0;
1333 }
1334
1335 static bool compareCueInterval(const CueInterval& one, const CueInterval& two)
1336 {
1337     return one.data()->isOrderedBefore(two.data());
1338 };
1339
1340
1341 void HTMLMediaElement::updateActiveTextTrackCues(const MediaTime& movieTime)
1342 {
1343     // 4.8.10.8 Playing the media resource
1344
1345     //  If the current playback position changes while the steps are running,
1346     //  then the user agent must wait for the steps to complete, and then must
1347     //  immediately rerun the steps.
1348     if (ignoreTrackDisplayUpdateRequests())
1349         return;
1350
1351     LOG(Media, "HTMLMediaElement::updateActiveTextTracks(%p)", this);
1352
1353     // 1 - Let current cues be a list of cues, initialized to contain all the
1354     // cues of all the hidden, showing, or showing by default text tracks of the
1355     // media element (not the disabled ones) whose start times are less than or
1356     // equal to the current playback position and whose end times are greater
1357     // than the current playback position.
1358     CueList currentCues;
1359
1360     // The user agent must synchronously unset [the text track cue active] flag
1361     // whenever ... the media element's readyState is changed back to HAVE_NOTHING.
1362     if (m_readyState != HAVE_NOTHING && m_player) {
1363         currentCues = m_cueTree.allOverlaps(m_cueTree.createInterval(movieTime, movieTime));
1364         if (currentCues.size() > 1)
1365             std::sort(currentCues.begin(), currentCues.end(), &compareCueInterval);
1366     }
1367
1368     CueList previousCues;
1369     CueList missedCues;
1370
1371     // 2 - Let other cues be a list of cues, initialized to contain all the cues
1372     // of hidden, showing, and showing by default text tracks of the media
1373     // element that are not present in current cues.
1374     previousCues = m_currentlyActiveCues;
1375
1376     // 3 - Let last time be the current playback position at the time this
1377     // algorithm was last run for this media element, if this is not the first
1378     // time it has run.
1379     MediaTime lastTime = m_lastTextTrackUpdateTime;
1380
1381     // 4 - If the current playback position has, since the last time this
1382     // algorithm was run, only changed through its usual monotonic increase
1383     // during normal playback, then let missed cues be the list of cues in other
1384     // cues whose start times are greater than or equal to last time and whose
1385     // end times are less than or equal to the current playback position.
1386     // Otherwise, let missed cues be an empty list.
1387     if (lastTime >= MediaTime::zeroTime() && m_lastSeekTime < movieTime) {
1388         CueList potentiallySkippedCues =
1389             m_cueTree.allOverlaps(m_cueTree.createInterval(lastTime, movieTime));
1390
1391         for (size_t i = 0; i < potentiallySkippedCues.size(); ++i) {
1392             MediaTime cueStartTime = potentiallySkippedCues[i].low();
1393             MediaTime cueEndTime = potentiallySkippedCues[i].high();
1394
1395             // Consider cues that may have been missed since the last seek time.
1396             if (cueStartTime > std::max(m_lastSeekTime, lastTime) && cueEndTime < movieTime)
1397                 missedCues.append(potentiallySkippedCues[i]);
1398         }
1399     }
1400
1401     m_lastTextTrackUpdateTime = movieTime;
1402
1403     // 5 - If the time was reached through the usual monotonic increase of the
1404     // current playback position during normal playback, and if the user agent
1405     // has not fired a timeupdate event at the element in the past 15 to 250ms
1406     // and is not still running event handlers for such an event, then the user
1407     // agent must queue a task to fire a simple event named timeupdate at the
1408     // element. (In the other cases, such as explicit seeks, relevant events get
1409     // fired as part of the overall process of changing the current playback
1410     // position.)
1411     if (!m_paused && m_lastSeekTime <= lastTime)
1412         scheduleTimeupdateEvent(false);
1413
1414     // Explicitly cache vector sizes, as their content is constant from here.
1415     size_t currentCuesSize = currentCues.size();
1416     size_t missedCuesSize = missedCues.size();
1417     size_t previousCuesSize = previousCues.size();
1418
1419     // 6 - If all of the cues in current cues have their text track cue active
1420     // flag set, none of the cues in other cues have their text track cue active
1421     // flag set, and missed cues is empty, then abort these steps.
1422     bool activeSetChanged = missedCuesSize;
1423
1424     for (size_t i = 0; !activeSetChanged && i < previousCuesSize; ++i)
1425         if (!currentCues.contains(previousCues[i]) && previousCues[i].data()->isActive())
1426             activeSetChanged = true;
1427
1428     for (size_t i = 0; i < currentCuesSize; ++i) {
1429         TextTrackCue* cue = currentCues[i].data();
1430
1431         if (cue->isRenderable())
1432             toVTTCue(cue)->updateDisplayTree(movieTime);
1433
1434         if (!cue->isActive())
1435             activeSetChanged = true;
1436     }
1437
1438     if (!activeSetChanged)
1439         return;
1440
1441     // 7 - If the time was reached through the usual monotonic increase of the
1442     // current playback position during normal playback, and there are cues in
1443     // other cues that have their text track cue pause-on-exi flag set and that
1444     // either have their text track cue active flag set or are also in missed
1445     // cues, then immediately pause the media element.
1446     for (size_t i = 0; !m_paused && i < previousCuesSize; ++i) {
1447         if (previousCues[i].data()->pauseOnExit()
1448             && previousCues[i].data()->isActive()
1449             && !currentCues.contains(previousCues[i]))
1450             pause();
1451     }
1452
1453     for (size_t i = 0; !m_paused && i < missedCuesSize; ++i) {
1454         if (missedCues[i].data()->pauseOnExit())
1455             pause();
1456     }
1457
1458     // 8 - Let events be a list of tasks, initially empty. Each task in this
1459     // list will be associated with a text track, a text track cue, and a time,
1460     // which are used to sort the list before the tasks are queued.
1461     Vector<std::pair<MediaTime, TextTrackCue*>> eventTasks;
1462
1463     // 8 - Let affected tracks be a list of text tracks, initially empty.
1464     Vector<TextTrack*> affectedTracks;
1465
1466     for (size_t i = 0; i < missedCuesSize; ++i) {
1467         // 9 - For each text track cue in missed cues, prepare an event named enter
1468         // for the TextTrackCue object with the text track cue start time.
1469         eventTasks.append(std::make_pair(missedCues[i].data()->startMediaTime(),
1470                                          missedCues[i].data()));
1471
1472         // 10 - For each text track [...] in missed cues, prepare an event
1473         // named exit for the TextTrackCue object with the  with the later of
1474         // the text track cue end time and the text track cue start time.
1475
1476         // Note: An explicit task is added only if the cue is NOT a zero or
1477         // negative length cue. Otherwise, the need for an exit event is
1478         // checked when these tasks are actually queued below. This doesn't
1479         // affect sorting events before dispatch either, because the exit
1480         // event has the same time as the enter event.
1481         if (missedCues[i].data()->startMediaTime() < missedCues[i].data()->endMediaTime())
1482             eventTasks.append(std::make_pair(missedCues[i].data()->endMediaTime(), missedCues[i].data()));
1483     }
1484
1485     for (size_t i = 0; i < previousCuesSize; ++i) {
1486         // 10 - For each text track cue in other cues that has its text
1487         // track cue active flag set prepare an event named exit for the
1488         // TextTrackCue object with the text track cue end time.
1489         if (!currentCues.contains(previousCues[i]))
1490             eventTasks.append(std::make_pair(previousCues[i].data()->endMediaTime(),
1491                                              previousCues[i].data()));
1492     }
1493
1494     for (size_t i = 0; i < currentCuesSize; ++i) {
1495         // 11 - For each text track cue in current cues that does not have its
1496         // text track cue active flag set, prepare an event named enter for the
1497         // TextTrackCue object with the text track cue start time.
1498         if (!previousCues.contains(currentCues[i]))
1499             eventTasks.append(std::make_pair(currentCues[i].data()->startMediaTime(),
1500                                              currentCues[i].data()));
1501     }
1502
1503     // 12 - Sort the tasks in events in ascending time order (tasks with earlier
1504     // times first).
1505     std::sort(eventTasks.begin(), eventTasks.end(), eventTimeCueCompare);
1506
1507     for (size_t i = 0; i < eventTasks.size(); ++i) {
1508         if (!affectedTracks.contains(eventTasks[i].second->track()))
1509             affectedTracks.append(eventTasks[i].second->track());
1510
1511         // 13 - Queue each task in events, in list order.
1512         RefPtr<Event> event;
1513
1514         // Each event in eventTasks may be either an enterEvent or an exitEvent,
1515         // depending on the time that is associated with the event. This
1516         // correctly identifies the type of the event, if the startTime is
1517         // less than the endTime in the cue.
1518         if (eventTasks[i].second->startTime() >= eventTasks[i].second->endTime()) {
1519             event = Event::create(eventNames().enterEvent, false, false);
1520             event->setTarget(eventTasks[i].second);
1521             m_asyncEventQueue.enqueueEvent(event.release());
1522
1523             event = Event::create(eventNames().exitEvent, false, false);
1524             event->setTarget(eventTasks[i].second);
1525             m_asyncEventQueue.enqueueEvent(event.release());
1526         } else {
1527             if (eventTasks[i].first == eventTasks[i].second->startMediaTime())
1528                 event = Event::create(eventNames().enterEvent, false, false);
1529             else
1530                 event = Event::create(eventNames().exitEvent, false, false);
1531
1532             event->setTarget(eventTasks[i].second);
1533             m_asyncEventQueue.enqueueEvent(event.release());
1534         }
1535     }
1536
1537     // 14 - Sort affected tracks in the same order as the text tracks appear in
1538     // the media element's list of text tracks, and remove duplicates.
1539     std::sort(affectedTracks.begin(), affectedTracks.end(), trackIndexCompare);
1540
1541     // 15 - For each text track in affected tracks, in the list order, queue a
1542     // task to fire a simple event named cuechange at the TextTrack object, and, ...
1543     for (size_t i = 0; i < affectedTracks.size(); ++i) {
1544         RefPtr<Event> event = Event::create(eventNames().cuechangeEvent, false, false);
1545         event->setTarget(affectedTracks[i]);
1546
1547         m_asyncEventQueue.enqueueEvent(event.release());
1548
1549         // ... if the text track has a corresponding track element, to then fire a
1550         // simple event named cuechange at the track element as well.
1551         if (is<LoadableTextTrack>(*affectedTracks[i])) {
1552             RefPtr<Event> event = Event::create(eventNames().cuechangeEvent, false, false);
1553             HTMLTrackElement* trackElement = downcast<LoadableTextTrack>(*affectedTracks[i]).trackElement();
1554             ASSERT(trackElement);
1555             event->setTarget(trackElement);
1556             
1557             m_asyncEventQueue.enqueueEvent(event.release());
1558         }
1559     }
1560
1561     // 16 - Set the text track cue active flag of all the cues in the current
1562     // cues, and unset the text track cue active flag of all the cues in the
1563     // other cues.
1564     for (size_t i = 0; i < currentCuesSize; ++i)
1565         currentCues[i].data()->setIsActive(true);
1566
1567     for (size_t i = 0; i < previousCuesSize; ++i)
1568         if (!currentCues.contains(previousCues[i]))
1569             previousCues[i].data()->setIsActive(false);
1570
1571     // Update the current active cues.
1572     m_currentlyActiveCues = currentCues;
1573
1574     if (activeSetChanged)
1575         updateTextTrackDisplay();
1576 }
1577
1578 bool HTMLMediaElement::textTracksAreReady() const
1579 {
1580     // 4.8.10.12.1 Text track model
1581     // ...
1582     // The text tracks of a media element are ready if all the text tracks whose mode was not 
1583     // in the disabled state when the element's resource selection algorithm last started now
1584     // have a text track readiness state of loaded or failed to load.
1585     for (unsigned i = 0; i < m_textTracksWhenResourceSelectionBegan.size(); ++i) {
1586         if (m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::Loading
1587             || m_textTracksWhenResourceSelectionBegan[i]->readinessState() == TextTrack::NotLoaded)
1588             return false;
1589     }
1590
1591     return true;
1592 }
1593
1594 void HTMLMediaElement::textTrackReadyStateChanged(TextTrack* track)
1595 {
1596     if (m_player && m_textTracksWhenResourceSelectionBegan.contains(track)) {
1597         if (track->readinessState() != TextTrack::Loading)
1598             setReadyState(m_player->readyState());
1599     } else {
1600         // The track readiness state might have changed as a result of the user
1601         // clicking the captions button. In this case, a check whether all the
1602         // resources have failed loading should be done in order to hide the CC button.
1603         if (hasMediaControls() && track->readinessState() == TextTrack::FailedToLoad)
1604             mediaControls()->refreshClosedCaptionsButtonVisibility();
1605     }
1606 }
1607
1608 void HTMLMediaElement::audioTrackEnabledChanged(AudioTrack* track)
1609 {
1610     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
1611         return;
1612     if (m_audioTracks && m_audioTracks->contains(track))
1613         m_audioTracks->scheduleChangeEvent();
1614 }
1615
1616 void HTMLMediaElement::textTrackModeChanged(TextTrack* track)
1617 {
1618     bool trackIsLoaded = true;
1619     if (track->trackType() == TextTrack::TrackElement) {
1620         trackIsLoaded = false;
1621         for (auto& trackElement : childrenOfType<HTMLTrackElement>(*this)) {
1622             if (trackElement.track() == track) {
1623                 if (trackElement.readyState() == HTMLTrackElement::LOADING || trackElement.readyState() == HTMLTrackElement::LOADED)
1624                     trackIsLoaded = true;
1625                 break;
1626             }
1627         }
1628     }
1629
1630     // If this is the first added track, create the list of text tracks.
1631     if (!m_textTracks)
1632         m_textTracks = TextTrackList::create(this, ActiveDOMObject::scriptExecutionContext());
1633     
1634     // Mark this track as "configured" so configureTextTracks won't change the mode again.
1635     track->setHasBeenConfigured(true);
1636     
1637     if (track->mode() != TextTrack::disabledKeyword() && trackIsLoaded)
1638         textTrackAddCues(track, track->cues());
1639
1640 #if USE(PLATFORM_TEXT_TRACK_MENU)
1641     if (platformTextTrackMenu())
1642         platformTextTrackMenu()->trackWasSelected(track->platformTextTrack());
1643 #endif
1644     
1645     configureTextTrackDisplay(AssumeTextTrackVisibilityChanged);
1646
1647     if (m_textTracks && m_textTracks->contains(track))
1648         m_textTracks->scheduleChangeEvent();
1649
1650 #if ENABLE(AVF_CAPTIONS)
1651     if (track->trackType() == TextTrack::TrackElement && m_player)
1652         m_player->notifyTrackModeChanged();
1653 #endif
1654 }
1655
1656 void HTMLMediaElement::videoTrackSelectedChanged(VideoTrack* track)
1657 {
1658     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
1659         return;
1660     if (m_videoTracks && m_videoTracks->contains(track))
1661         m_videoTracks->scheduleChangeEvent();
1662 }
1663
1664 void HTMLMediaElement::textTrackKindChanged(TextTrack* track)
1665 {
1666     if (track->kind() != TextTrack::captionsKeyword() && track->kind() != TextTrack::subtitlesKeyword() && track->mode() == TextTrack::showingKeyword())
1667         track->setMode(TextTrack::hiddenKeyword());
1668 }
1669
1670 void HTMLMediaElement::beginIgnoringTrackDisplayUpdateRequests()
1671 {
1672     ++m_ignoreTrackDisplayUpdate;
1673 }
1674
1675 void HTMLMediaElement::endIgnoringTrackDisplayUpdateRequests()
1676 {
1677     ASSERT(m_ignoreTrackDisplayUpdate);
1678     --m_ignoreTrackDisplayUpdate;
1679     if (!m_ignoreTrackDisplayUpdate && m_inActiveDocument)
1680         updateActiveTextTrackCues(currentMediaTime());
1681 }
1682
1683 void HTMLMediaElement::textTrackAddCues(TextTrack* track, const TextTrackCueList* cues) 
1684 {
1685     if (track->mode() == TextTrack::disabledKeyword())
1686         return;
1687
1688     TrackDisplayUpdateScope scope(this);
1689     for (size_t i = 0; i < cues->length(); ++i)
1690         textTrackAddCue(track, cues->item(i));
1691 }
1692
1693 void HTMLMediaElement::textTrackRemoveCues(TextTrack*, const TextTrackCueList* cues) 
1694 {
1695     TrackDisplayUpdateScope scope(this);
1696     for (size_t i = 0; i < cues->length(); ++i)
1697         textTrackRemoveCue(cues->item(i)->track(), cues->item(i));
1698 }
1699
1700 void HTMLMediaElement::textTrackAddCue(TextTrack* track, PassRefPtr<TextTrackCue> prpCue)
1701 {
1702     if (track->mode() == TextTrack::disabledKeyword())
1703         return;
1704
1705     RefPtr<TextTrackCue> cue = prpCue;
1706
1707     // Negative duration cues need be treated in the interval tree as
1708     // zero-length cues.
1709     MediaTime endTime = std::max(cue->startMediaTime(), cue->endMediaTime());
1710
1711     CueInterval interval = m_cueTree.createInterval(cue->startMediaTime(), endTime, cue.get());
1712     if (!m_cueTree.contains(interval))
1713         m_cueTree.add(interval);
1714     updateActiveTextTrackCues(currentMediaTime());
1715 }
1716
1717 void HTMLMediaElement::textTrackRemoveCue(TextTrack*, PassRefPtr<TextTrackCue> prpCue)
1718 {
1719     RefPtr<TextTrackCue> cue = prpCue;
1720     // Negative duration cues need to be treated in the interval tree as
1721     // zero-length cues.
1722     MediaTime endTime = std::max(cue->startMediaTime(), cue->endMediaTime());
1723
1724     CueInterval interval = m_cueTree.createInterval(cue->startMediaTime(), endTime, cue.get());
1725     m_cueTree.remove(interval);
1726
1727 #if ENABLE(WEBVTT_REGIONS)
1728     // Since the cue will be removed from the media element and likely the
1729     // TextTrack might also be destructed, notifying the region of the cue
1730     // removal shouldn't be done.
1731     if (cue->isRenderable())
1732         toVTTCue(cue.get())->notifyRegionWhenRemovingDisplayTree(false);
1733 #endif
1734
1735     size_t index = m_currentlyActiveCues.find(interval);
1736     if (index != notFound) {
1737         cue->setIsActive(false);
1738         m_currentlyActiveCues.remove(index);
1739     }
1740
1741     if (cue->isRenderable())
1742         toVTTCue(cue.get())->removeDisplayTree();
1743     updateActiveTextTrackCues(currentMediaTime());
1744
1745 #if ENABLE(WEBVTT_REGIONS)
1746     if (cue->isRenderable())
1747         toVTTCue(cue.get())->notifyRegionWhenRemovingDisplayTree(true);
1748 #endif
1749 }
1750
1751 #endif
1752
1753 bool HTMLMediaElement::isSafeToLoadURL(const URL& url, InvalidURLAction actionIfInvalid)
1754 {
1755     if (!url.isValid()) {
1756         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE because url is invalid", this, urlForLoggingMedia(url).utf8().data());
1757         return false;
1758     }
1759
1760     Frame* frame = document().frame();
1761     if (!frame || !document().securityOrigin()->canDisplay(url)) {
1762         if (actionIfInvalid == Complain)
1763             FrameLoader::reportLocalLoadFailed(frame, url.stringCenterEllipsizedToLength());
1764         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> FALSE rejected by SecurityOrigin", this, urlForLoggingMedia(url).utf8().data());
1765         return false;
1766     }
1767
1768     if (!document().contentSecurityPolicy()->allowMediaFromSource(url, isInUserAgentShadowTree())) {
1769         LOG(Media, "HTMLMediaElement::isSafeToLoadURL(%p) - %s -> rejected by Content Security Policy", this, urlForLoggingMedia(url).utf8().data());
1770         return false;
1771     }
1772
1773     return true;
1774 }
1775
1776 void HTMLMediaElement::startProgressEventTimer()
1777 {
1778     if (m_progressEventTimer.isActive())
1779         return;
1780
1781     m_previousProgressTime = monotonicallyIncreasingTime();
1782     // 350ms is not magic, it is in the spec!
1783     m_progressEventTimer.startRepeating(0.350);
1784 }
1785
1786 void HTMLMediaElement::waitForSourceChange()
1787 {
1788     LOG(Media, "HTMLMediaElement::waitForSourceChange(%p)", this);
1789
1790     stopPeriodicTimers();
1791     m_loadState = WaitingForSource;
1792
1793     // 6.17 - Waiting: Set the element's networkState attribute to the NETWORK_NO_SOURCE value
1794     m_networkState = NETWORK_NO_SOURCE;
1795
1796     // 6.18 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1797     setShouldDelayLoadEvent(false);
1798
1799     updateDisplayState();
1800
1801     if (renderer())
1802         renderer()->updateFromElement();
1803 }
1804
1805 void HTMLMediaElement::noneSupported()
1806 {
1807     LOG(Media, "HTMLMediaElement::noneSupported(%p)", this);
1808
1809     stopPeriodicTimers();
1810     m_loadState = WaitingForSource;
1811     m_currentSourceNode = nullptr;
1812
1813     // 4.8.10.5 
1814     // 6 - Reaching this step indicates that the media resource failed to load or that the given 
1815     // URL could not be resolved. In one atomic operation, run the following steps:
1816
1817     // 6.1 - Set the error attribute to a new MediaError object whose code attribute is set to
1818     // MEDIA_ERR_SRC_NOT_SUPPORTED.
1819     m_error = MediaError::create(MediaError::MEDIA_ERR_SRC_NOT_SUPPORTED);
1820
1821     // 6.2 - Forget the media element's media-resource-specific text tracks.
1822     forgetResourceSpecificTracks();
1823
1824     // 6.3 - Set the element's networkState attribute to the NETWORK_NO_SOURCE value.
1825     m_networkState = NETWORK_NO_SOURCE;
1826
1827     // 7 - Queue a task to fire a simple event named error at the media element.
1828     scheduleEvent(eventNames().errorEvent);
1829
1830 #if ENABLE(MEDIA_SOURCE)
1831     closeMediaSource();
1832 #endif
1833
1834     // 8 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1835     setShouldDelayLoadEvent(false);
1836
1837     // 9 - Abort these steps. Until the load() method is invoked or the src attribute is changed, 
1838     // the element won't attempt to load another resource.
1839
1840     updateDisplayState();
1841
1842     if (renderer())
1843         renderer()->updateFromElement();
1844 }
1845
1846 void HTMLMediaElement::mediaLoadingFailedFatally(MediaPlayer::NetworkState error)
1847 {
1848     LOG(Media, "HTMLMediaElement::mediaLoadingFailedFatally(%p) - error = %d", this, static_cast<int>(error));
1849
1850     // 1 - The user agent should cancel the fetching process.
1851     stopPeriodicTimers();
1852     m_loadState = WaitingForSource;
1853
1854     // 2 - Set the error attribute to a new MediaError object whose code attribute is 
1855     // set to MEDIA_ERR_NETWORK/MEDIA_ERR_DECODE.
1856     if (error == MediaPlayer::NetworkError)
1857         m_error = MediaError::create(MediaError::MEDIA_ERR_NETWORK);
1858     else if (error == MediaPlayer::DecodeError)
1859         m_error = MediaError::create(MediaError::MEDIA_ERR_DECODE);
1860     else
1861         ASSERT_NOT_REACHED();
1862
1863     // 3 - Queue a task to fire a simple event named error at the media element.
1864     scheduleEvent(eventNames().errorEvent);
1865
1866 #if ENABLE(MEDIA_SOURCE)
1867     closeMediaSource();
1868 #endif
1869
1870     // 4 - Set the element's networkState attribute to the NETWORK_EMPTY value and queue a
1871     // task to fire a simple event called emptied at the element.
1872     m_networkState = NETWORK_EMPTY;
1873     scheduleEvent(eventNames().emptiedEvent);
1874
1875     // 5 - Set the element's delaying-the-load-event flag to false. This stops delaying the load event.
1876     setShouldDelayLoadEvent(false);
1877
1878     // 6 - Abort the overall resource selection algorithm.
1879     m_currentSourceNode = nullptr;
1880
1881 #if PLATFORM(COCOA)
1882     if (is<MediaDocument>(document()))
1883         downcast<MediaDocument>(document()).mediaElementSawUnsupportedTracks();
1884 #endif
1885 }
1886
1887 void HTMLMediaElement::cancelPendingEventsAndCallbacks()
1888 {
1889     LOG(Media, "HTMLMediaElement::cancelPendingEventsAndCallbacks(%p)", this);
1890     m_asyncEventQueue.cancelAllEvents();
1891
1892     for (auto& source : childrenOfType<HTMLSourceElement>(*this))
1893         source.cancelPendingErrorEvent();
1894 }
1895
1896 void HTMLMediaElement::mediaPlayerNetworkStateChanged(MediaPlayer*)
1897 {
1898     beginProcessingMediaPlayerCallback();
1899     setNetworkState(m_player->networkState());
1900     endProcessingMediaPlayerCallback();
1901 }
1902
1903 static void logMediaLoadRequest(Page* page, const String& mediaEngine, const String& errorMessage, bool succeeded)
1904 {
1905     if (!page)
1906         return;
1907
1908     DiagnosticLoggingClient& diagnosticLoggingClient = page->mainFrame().diagnosticLoggingClient();
1909     if (!succeeded) {
1910         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::mediaLoadingFailedKey(), errorMessage, DiagnosticLoggingResultFail, ShouldSample::No);
1911         return;
1912     }
1913
1914     diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::mediaLoadedKey(), mediaEngine, ShouldSample::No);
1915
1916     if (!page->hasSeenAnyMediaEngine())
1917         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsAtLeastOneMediaEngineKey(), emptyString(), ShouldSample::No);
1918
1919     if (!page->hasSeenMediaEngine(mediaEngine))
1920         diagnosticLoggingClient.logDiagnosticMessage(DiagnosticLoggingKeys::pageContainsMediaEngineKey(), mediaEngine, ShouldSample::No);
1921
1922     page->sawMediaEngine(mediaEngine);
1923 }
1924
1925 static String stringForNetworkState(MediaPlayer::NetworkState state)
1926 {
1927     switch (state) {
1928     case MediaPlayer::Empty: return ASCIILiteral("Empty");
1929     case MediaPlayer::Idle: return ASCIILiteral("Idle");
1930     case MediaPlayer::Loading: return ASCIILiteral("Loading");
1931     case MediaPlayer::Loaded: return ASCIILiteral("Loaded");
1932     case MediaPlayer::FormatError: return ASCIILiteral("FormatError");
1933     case MediaPlayer::NetworkError: return ASCIILiteral("NetworkError");
1934     case MediaPlayer::DecodeError: return ASCIILiteral("DecodeError");
1935     default: return emptyString();
1936     }
1937 }
1938
1939 void HTMLMediaElement::mediaLoadingFailed(MediaPlayer::NetworkState error)
1940 {
1941     stopPeriodicTimers();
1942     
1943     // If we failed while trying to load a <source> element, the movie was never parsed, and there are more
1944     // <source> children, schedule the next one
1945     if (m_readyState < HAVE_METADATA && m_loadState == LoadingFromSourceElement) {
1946         
1947         // resource selection algorithm
1948         // Step 9.Otherwise.9 - Failed with elements: Queue a task, using the DOM manipulation task source, to fire a simple event named error at the candidate element.
1949         if (m_currentSourceNode)
1950             m_currentSourceNode->scheduleErrorEvent();
1951         else
1952             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - error event not sent, <source> was removed", this);
1953         
1954         // 9.Otherwise.10 - Asynchronously await a stable state. The synchronous section consists of all the remaining steps of this algorithm until the algorithm says the synchronous section has ended.
1955         
1956         // 9.Otherwise.11 - Forget the media element's media-resource-specific tracks.
1957         forgetResourceSpecificTracks();
1958
1959         if (havePotentialSourceChild()) {
1960             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - scheduling next <source>", this);
1961             scheduleNextSourceChild();
1962         } else {
1963             LOG(Media, "HTMLMediaElement::setNetworkState(%p) - no more <source> elements, waiting", this);
1964             waitForSourceChange();
1965         }
1966         
1967         return;
1968     }
1969     
1970     if ((error == MediaPlayer::NetworkError && m_readyState >= HAVE_METADATA) || error == MediaPlayer::DecodeError)
1971         mediaLoadingFailedFatally(error);
1972     else if ((error == MediaPlayer::FormatError || error == MediaPlayer::NetworkError) && m_loadState == LoadingFromSrcAttr)
1973         noneSupported();
1974     
1975     updateDisplayState();
1976     if (hasMediaControls()) {
1977         mediaControls()->reset();
1978         mediaControls()->reportedError();
1979     }
1980
1981     logMediaLoadRequest(document().page(), String(), stringForNetworkState(error), false);
1982 }
1983
1984 void HTMLMediaElement::setNetworkState(MediaPlayer::NetworkState state)
1985 {
1986     LOG(Media, "HTMLMediaElement::setNetworkState(%p) - new state = %d, current state = %d", this, static_cast<int>(state), static_cast<int>(m_networkState));
1987
1988     if (state == MediaPlayer::Empty) {
1989         // Just update the cached state and leave, we can't do anything.
1990         m_networkState = NETWORK_EMPTY;
1991         return;
1992     }
1993
1994     if (state == MediaPlayer::FormatError || state == MediaPlayer::NetworkError || state == MediaPlayer::DecodeError) {
1995         mediaLoadingFailed(state);
1996         return;
1997     }
1998
1999     if (state == MediaPlayer::Idle) {
2000         if (m_networkState > NETWORK_IDLE) {
2001             changeNetworkStateFromLoadingToIdle();
2002             setShouldDelayLoadEvent(false);
2003         } else {
2004             m_networkState = NETWORK_IDLE;
2005         }
2006     }
2007
2008     if (state == MediaPlayer::Loading) {
2009         if (m_networkState < NETWORK_LOADING || m_networkState == NETWORK_NO_SOURCE)
2010             startProgressEventTimer();
2011         m_networkState = NETWORK_LOADING;
2012     }
2013
2014     if (state == MediaPlayer::Loaded) {
2015         if (m_networkState != NETWORK_IDLE)
2016             changeNetworkStateFromLoadingToIdle();
2017         m_completelyLoaded = true;
2018     }
2019
2020     if (hasMediaControls())
2021         mediaControls()->updateStatusDisplay();
2022 }
2023
2024 void HTMLMediaElement::changeNetworkStateFromLoadingToIdle()
2025 {
2026     m_progressEventTimer.stop();
2027     if (hasMediaControls() && m_player->didLoadingProgress())
2028         mediaControls()->bufferingProgressed();
2029
2030     // Schedule one last progress event so we guarantee that at least one is fired
2031     // for files that load very quickly.
2032     scheduleEvent(eventNames().progressEvent);
2033     scheduleEvent(eventNames().suspendEvent);
2034     m_networkState = NETWORK_IDLE;
2035 }
2036
2037 void HTMLMediaElement::mediaPlayerReadyStateChanged(MediaPlayer*)
2038 {
2039     beginProcessingMediaPlayerCallback();
2040
2041     setReadyState(m_player->readyState());
2042
2043     endProcessingMediaPlayerCallback();
2044 }
2045
2046 void HTMLMediaElement::setReadyState(MediaPlayer::ReadyState state)
2047 {
2048     LOG(Media, "HTMLMediaElement::setReadyState(%p) - new state = %d, current state = %d,", this, static_cast<int>(state), static_cast<int>(m_readyState));
2049
2050     // Set "wasPotentiallyPlaying" BEFORE updating m_readyState, potentiallyPlaying() uses it
2051     bool wasPotentiallyPlaying = potentiallyPlaying();
2052
2053     ReadyState oldState = m_readyState;
2054     ReadyState newState = static_cast<ReadyState>(state);
2055
2056 #if ENABLE(VIDEO_TRACK)
2057     bool tracksAreReady = !RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled() || textTracksAreReady();
2058
2059     if (newState == oldState && m_tracksAreReady == tracksAreReady)
2060         return;
2061
2062     m_tracksAreReady = tracksAreReady;
2063 #else
2064     if (newState == oldState)
2065         return;
2066     bool tracksAreReady = true;
2067 #endif
2068     
2069     if (tracksAreReady)
2070         m_readyState = newState;
2071     else {
2072         // If a media file has text tracks the readyState may not progress beyond HAVE_FUTURE_DATA until
2073         // the text tracks are ready, regardless of the state of the media file.
2074         if (newState <= HAVE_METADATA)
2075             m_readyState = newState;
2076         else
2077             m_readyState = HAVE_CURRENT_DATA;
2078     }
2079     
2080     if (oldState > m_readyStateMaximum)
2081         m_readyStateMaximum = oldState;
2082
2083     if (m_networkState == NETWORK_EMPTY)
2084         return;
2085
2086     if (m_seeking) {
2087         // 4.8.10.9, step 11
2088         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA)
2089             scheduleEvent(eventNames().waitingEvent);
2090
2091         // 4.8.10.10 step 14 & 15.
2092         if (!m_player->seeking() && m_readyState >= HAVE_CURRENT_DATA)
2093             finishSeek();
2094     } else {
2095         if (wasPotentiallyPlaying && m_readyState < HAVE_FUTURE_DATA) {
2096             // 4.8.10.8
2097             invalidateCachedTime();
2098             scheduleTimeupdateEvent(false);
2099             scheduleEvent(eventNames().waitingEvent);
2100         }
2101     }
2102
2103     if (m_readyState >= HAVE_METADATA && oldState < HAVE_METADATA) {
2104         prepareMediaFragmentURI();
2105         scheduleEvent(eventNames().durationchangeEvent);
2106         scheduleEvent(eventNames().loadedmetadataEvent);
2107 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
2108         if (hasEventListeners(eventNames().webkitplaybacktargetavailabilitychangedEvent))
2109             enqueuePlaybackTargetAvailabilityChangedEvent();
2110 #endif
2111         m_initiallyMuted = m_volume < 0.05 || muted();
2112
2113         if (hasMediaControls())
2114             mediaControls()->loadedMetadata();
2115         if (renderer())
2116             renderer()->updateFromElement();
2117
2118         if (is<MediaDocument>(document()))
2119             downcast<MediaDocument>(document()).mediaElementNaturalSizeChanged(expandedIntSize(m_player->naturalSize()));
2120
2121         logMediaLoadRequest(document().page(), m_player->engineDescription(), String(), true);
2122     }
2123
2124     bool shouldUpdateDisplayState = false;
2125
2126     if (m_readyState >= HAVE_CURRENT_DATA && oldState < HAVE_CURRENT_DATA && !m_haveFiredLoadedData) {
2127         m_haveFiredLoadedData = true;
2128         shouldUpdateDisplayState = true;
2129         scheduleEvent(eventNames().loadeddataEvent);
2130         setShouldDelayLoadEvent(false);
2131         applyMediaFragmentURI();
2132     }
2133
2134     bool isPotentiallyPlaying = potentiallyPlaying();
2135     if (m_readyState == HAVE_FUTURE_DATA && oldState <= HAVE_CURRENT_DATA && tracksAreReady) {
2136         scheduleEvent(eventNames().canplayEvent);
2137         if (isPotentiallyPlaying)
2138             scheduleEvent(eventNames().playingEvent);
2139         shouldUpdateDisplayState = true;
2140     }
2141
2142     if (m_readyState == HAVE_ENOUGH_DATA && oldState < HAVE_ENOUGH_DATA && tracksAreReady) {
2143         if (oldState <= HAVE_CURRENT_DATA)
2144             scheduleEvent(eventNames().canplayEvent);
2145
2146         scheduleEvent(eventNames().canplaythroughEvent);
2147
2148         if (isPotentiallyPlaying && oldState <= HAVE_CURRENT_DATA)
2149             scheduleEvent(eventNames().playingEvent);
2150
2151         if (m_autoplaying && m_paused && autoplay() && !document().isSandboxed(SandboxAutomaticFeatures) && m_mediaSession->playbackPermitted(*this)) {
2152             m_paused = false;
2153             invalidateCachedTime();
2154             scheduleEvent(eventNames().playEvent);
2155             scheduleEvent(eventNames().playingEvent);
2156         }
2157
2158         shouldUpdateDisplayState = true;
2159     }
2160
2161     if (shouldUpdateDisplayState) {
2162         updateDisplayState();
2163         if (hasMediaControls()) {
2164             mediaControls()->refreshClosedCaptionsButtonVisibility();
2165             mediaControls()->updateStatusDisplay();
2166         }
2167     }
2168
2169     updatePlayState();
2170     updateMediaController();
2171 #if ENABLE(VIDEO_TRACK)
2172     if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
2173         updateActiveTextTrackCues(currentMediaTime());
2174 #endif
2175 }
2176
2177 #if ENABLE(ENCRYPTED_MEDIA)
2178 void HTMLMediaElement::mediaPlayerKeyAdded(MediaPlayer*, const String& keySystem, const String& sessionId)
2179 {
2180     MediaKeyEventInit initializer;
2181     initializer.keySystem = keySystem;
2182     initializer.sessionId = sessionId;
2183     initializer.bubbles = false;
2184     initializer.cancelable = false;
2185
2186     RefPtr<Event> event = MediaKeyEvent::create(eventNames().webkitkeyaddedEvent, initializer);
2187     event->setTarget(this);
2188     m_asyncEventQueue.enqueueEvent(event.release());
2189 }
2190
2191 void HTMLMediaElement::mediaPlayerKeyError(MediaPlayer*, const String& keySystem, const String& sessionId, MediaPlayerClient::MediaKeyErrorCode errorCode, unsigned short systemCode)
2192 {
2193     MediaKeyError::Code mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_UNKNOWN;
2194     switch (errorCode) {
2195     case MediaPlayerClient::UnknownError:
2196         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_UNKNOWN;
2197         break;
2198     case MediaPlayerClient::ClientError:
2199         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_CLIENT;
2200         break;
2201     case MediaPlayerClient::ServiceError:
2202         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_SERVICE;
2203         break;
2204     case MediaPlayerClient::OutputError:
2205         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_OUTPUT;
2206         break;
2207     case MediaPlayerClient::HardwareChangeError:
2208         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_HARDWARECHANGE;
2209         break;
2210     case MediaPlayerClient::DomainError:
2211         mediaKeyErrorCode = MediaKeyError::MEDIA_KEYERR_DOMAIN;
2212         break;
2213     }
2214
2215     MediaKeyEventInit initializer;
2216     initializer.keySystem = keySystem;
2217     initializer.sessionId = sessionId;
2218     initializer.errorCode = MediaKeyError::create(mediaKeyErrorCode);
2219     initializer.systemCode = systemCode;
2220     initializer.bubbles = false;
2221     initializer.cancelable = false;
2222
2223     RefPtr<Event> event = MediaKeyEvent::create(eventNames().webkitkeyerrorEvent, initializer);
2224     event->setTarget(this);
2225     m_asyncEventQueue.enqueueEvent(event.release());
2226 }
2227
2228 void HTMLMediaElement::mediaPlayerKeyMessage(MediaPlayer*, const String& keySystem, const String& sessionId, const unsigned char* message, unsigned messageLength, const URL& defaultURL)
2229 {
2230     MediaKeyEventInit initializer;
2231     initializer.keySystem = keySystem;
2232     initializer.sessionId = sessionId;
2233     initializer.message = Uint8Array::create(message, messageLength);
2234     initializer.defaultURL = defaultURL; 
2235     initializer.bubbles = false;
2236     initializer.cancelable = false;
2237
2238     RefPtr<Event> event = MediaKeyEvent::create(eventNames().webkitkeymessageEvent, initializer);
2239     event->setTarget(this);
2240     m_asyncEventQueue.enqueueEvent(event.release());
2241 }
2242
2243 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, const String& keySystem, const String& sessionId, const unsigned char* initData, unsigned initDataLength)
2244 {
2245     if (!hasEventListeners(eventNames().webkitneedkeyEvent)) {
2246         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2247         scheduleEvent(eventNames().errorEvent);
2248         return false;
2249     }
2250
2251     MediaKeyEventInit initializer;
2252     initializer.keySystem = keySystem;
2253     initializer.sessionId = sessionId;
2254     initializer.initData = Uint8Array::create(initData, initDataLength);
2255     initializer.bubbles = false;
2256     initializer.cancelable = false;
2257
2258     RefPtr<Event> event = MediaKeyEvent::create(eventNames().webkitneedkeyEvent, initializer);
2259     event->setTarget(this);
2260     m_asyncEventQueue.enqueueEvent(event.release());
2261     return true;
2262 }
2263 #endif
2264
2265 #if ENABLE(ENCRYPTED_MEDIA_V2)
2266 RefPtr<ArrayBuffer> HTMLMediaElement::mediaPlayerCachedKeyForKeyId(const String& keyId) const
2267 {
2268     return m_mediaKeys ? m_mediaKeys->cachedKeyForKeyId(keyId) : nullptr;
2269 }
2270
2271 bool HTMLMediaElement::mediaPlayerKeyNeeded(MediaPlayer*, Uint8Array* initData)
2272 {
2273     if (!hasEventListeners("webkitneedkey")) {
2274         m_error = MediaError::create(MediaError::MEDIA_ERR_ENCRYPTED);
2275         scheduleEvent(eventNames().errorEvent);
2276         return false;
2277     }
2278
2279     MediaKeyNeededEventInit initializer;
2280     initializer.initData = initData;
2281     initializer.bubbles = false;
2282     initializer.cancelable = false;
2283
2284     RefPtr<Event> event = MediaKeyNeededEvent::create(eventNames().webkitneedkeyEvent, initializer);
2285     event->setTarget(this);
2286     m_asyncEventQueue.enqueueEvent(event.release());
2287
2288     return true;
2289 }
2290
2291 String HTMLMediaElement::mediaPlayerMediaKeysStorageDirectory() const
2292 {
2293     Settings* settings = document().settings();
2294     if (!settings)
2295         return emptyString();
2296
2297     String storageDirectory = settings->mediaKeysStorageDirectory();
2298     if (storageDirectory.isEmpty())
2299         return emptyString();
2300
2301     SecurityOrigin* origin = document().securityOrigin();
2302     if (!origin)
2303         return emptyString();
2304
2305     return pathByAppendingComponent(storageDirectory, origin->databaseIdentifier());
2306 }
2307
2308 void HTMLMediaElement::setMediaKeys(MediaKeys* mediaKeys)
2309 {
2310     if (m_mediaKeys == mediaKeys)
2311         return;
2312
2313     if (m_mediaKeys)
2314         m_mediaKeys->setMediaElement(0);
2315     m_mediaKeys = mediaKeys;
2316     if (m_mediaKeys)
2317         m_mediaKeys->setMediaElement(this);
2318 }
2319
2320 void HTMLMediaElement::keyAdded()
2321 {
2322     if (m_player)
2323         m_player->keyAdded();
2324 }
2325 #endif
2326
2327 void HTMLMediaElement::progressEventTimerFired()
2328 {
2329     ASSERT(m_player);
2330     if (m_networkState != NETWORK_LOADING)
2331         return;
2332
2333     double time = monotonicallyIncreasingTime();
2334     double timedelta = time - m_previousProgressTime;
2335
2336     if (m_player->didLoadingProgress()) {
2337         scheduleEvent(eventNames().progressEvent);
2338         m_previousProgressTime = time;
2339         m_sentStalledEvent = false;
2340         if (renderer())
2341             renderer()->updateFromElement();
2342         if (hasMediaControls())
2343             mediaControls()->bufferingProgressed();
2344     } else if (timedelta > 3.0 && !m_sentStalledEvent) {
2345         scheduleEvent(eventNames().stalledEvent);
2346         m_sentStalledEvent = true;
2347         setShouldDelayLoadEvent(false);
2348     }
2349 }
2350
2351 void HTMLMediaElement::rewind(double timeDelta)
2352 {
2353     LOG(Media, "HTMLMediaElement::rewind(%p) - %f", this, timeDelta);
2354     setCurrentTime(std::max(currentMediaTime() - MediaTime::createWithDouble(timeDelta), minTimeSeekable()));
2355 }
2356
2357 void HTMLMediaElement::returnToRealtime()
2358 {
2359     LOG(Media, "HTMLMediaElement::returnToRealtime(%p)", this);
2360     setCurrentTime(maxTimeSeekable());
2361 }
2362
2363 void HTMLMediaElement::addPlayedRange(const MediaTime& start, const MediaTime& end)
2364 {
2365     LOG(Media, "HTMLMediaElement::addPlayedRange(%p) - [%s, %s]", this, toString(start).utf8().data(), toString(end).utf8().data());
2366     if (!m_playedTimeRanges)
2367         m_playedTimeRanges = TimeRanges::create();
2368     m_playedTimeRanges->ranges().add(start, end);
2369 }  
2370
2371 bool HTMLMediaElement::supportsScanning() const
2372 {
2373     return m_player ? m_player->supportsScanning() : false;
2374 }
2375
2376 void HTMLMediaElement::prepareToPlay()
2377 {
2378     LOG(Media, "HTMLMediaElement::prepareToPlay(%p)", this);
2379     if (m_havePreparedToPlay)
2380         return;
2381     m_havePreparedToPlay = true;
2382     m_player->prepareToPlay();
2383 }
2384
2385 void HTMLMediaElement::fastSeek(double time)
2386 {
2387     fastSeek(MediaTime::createWithDouble(time));
2388 }
2389
2390 void HTMLMediaElement::fastSeek(const MediaTime& time)
2391 {
2392     LOG(Media, "HTMLMediaElement::fastSeek(%p) - %s", this, toString(time).utf8().data());
2393     // 4.7.10.9 Seeking
2394     // 9. If the approximate-for-speed flag is set, adjust the new playback position to a value that will
2395     // allow for playback to resume promptly. If new playback position before this step is before current
2396     // playback position, then the adjusted new playback position must also be before the current playback
2397     // position. Similarly, if the new playback position before this step is after current playback position,
2398     // then the adjusted new playback position must also be after the current playback position.
2399     refreshCachedTime();
2400     MediaTime delta = time - currentMediaTime();
2401     MediaTime negativeTolerance = delta >= MediaTime::zeroTime() ? delta : MediaTime::positiveInfiniteTime();
2402     MediaTime positiveTolerance = delta < MediaTime::zeroTime() ? -delta : MediaTime::positiveInfiniteTime();
2403
2404     seekWithTolerance(time, negativeTolerance, positiveTolerance, true);
2405 }
2406
2407 void HTMLMediaElement::seek(const MediaTime& time)
2408 {
2409     LOG(Media, "HTMLMediaElement::seek(%p) - %s", this, toString(time).utf8().data());
2410     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), true);
2411 }
2412
2413 void HTMLMediaElement::seekInternal(const MediaTime& time)
2414 {
2415     LOG(Media, "HTMLMediaElement::seekInternal(%p) - %s", this, toString(time).utf8().data());
2416     seekWithTolerance(time, MediaTime::zeroTime(), MediaTime::zeroTime(), false);
2417 }
2418
2419 void HTMLMediaElement::seekWithTolerance(const MediaTime& inTime, const MediaTime& negativeTolerance, const MediaTime& positiveTolerance, bool fromDOM)
2420 {
2421     // 4.8.10.9 Seeking
2422     MediaTime time = inTime;
2423
2424     // 1 - Set the media element's show poster flag to false.
2425     setDisplayMode(Video);
2426
2427     // 2 - If the media element's readyState is HAVE_NOTHING, abort these steps.
2428     if (m_readyState == HAVE_NOTHING || !m_player)
2429         return;
2430
2431     // If the media engine has been told to postpone loading data, let it go ahead now.
2432     if (m_preload < MediaPlayer::Auto && m_readyState < HAVE_FUTURE_DATA)
2433         prepareToPlay();
2434
2435     // Get the current time before setting m_seeking, m_lastSeekTime is returned once it is set.
2436     refreshCachedTime();
2437     MediaTime now = currentMediaTime();
2438
2439     // 3 - If the element's seeking IDL attribute is true, then another instance of this algorithm is
2440     // already running. Abort that other instance of the algorithm without waiting for the step that
2441     // it is running to complete.
2442     if (m_seekTaskQueue.hasPendingTasks()) {
2443         m_seekTaskQueue.cancelAllTasks();
2444         m_pendingSeek = nullptr;
2445     }
2446
2447     // 4 - Set the seeking IDL attribute to true.
2448     // The flag will be cleared when the engine tells us the time has actually changed.
2449     m_seeking = true;
2450     if (m_playing) {
2451         if (m_lastSeekTime < now)
2452             addPlayedRange(m_lastSeekTime, now);
2453     }
2454     m_lastSeekTime = time;
2455
2456     // 5 - If the seek was in response to a DOM method call or setting of an IDL attribute, then continue
2457     // the script. The remainder of these steps must be run asynchronously.
2458     m_pendingSeek = std::make_unique<PendingSeek>(now, time, negativeTolerance, positiveTolerance);
2459     if (fromDOM)
2460         m_seekTaskQueue.enqueueTask(std::bind(&HTMLMediaElement::seekTask, this));
2461     else
2462         seekTask();
2463 }
2464
2465 void HTMLMediaElement::seekTask()
2466 {
2467     if (!m_player) {
2468         m_seeking = false;
2469         return;
2470     }
2471
2472     ASSERT(m_pendingSeek);
2473     MediaTime now = m_pendingSeek->now;
2474     MediaTime time = m_pendingSeek->targetTime;
2475     MediaTime negativeTolerance = m_pendingSeek->negativeTolerance;
2476     MediaTime positiveTolerance = m_pendingSeek->positiveTolerance;
2477     m_pendingSeek = nullptr;
2478
2479     // 6 - If the new playback position is later than the end of the media resource, then let it be the end 
2480     // of the media resource instead.
2481     time = std::min(time, durationMediaTime());
2482
2483     // 7 - If the new playback position is less than the earliest possible position, let it be that position instead.
2484     MediaTime earliestTime = m_player->startTime();
2485     time = std::max(time, earliestTime);
2486
2487     // Ask the media engine for the time value in the movie's time scale before comparing with current time. This
2488     // is necessary because if the seek time is not equal to currentTime but the delta is less than the movie's
2489     // time scale, we will ask the media engine to "seek" to the current movie time, which may be a noop and
2490     // not generate a timechanged callback. This means m_seeking will never be cleared and we will never 
2491     // fire a 'seeked' event.
2492 #if !LOG_DISABLED
2493     MediaTime mediaTime = m_player->mediaTimeForTimeValue(time);
2494     if (time != mediaTime)
2495         LOG(Media, "HTMLMediaElement::seekTimerFired(%p) - %s - media timeline equivalent is %s", this, toString(time).utf8().data(), toString(mediaTime).utf8().data());
2496 #endif
2497     time = m_player->mediaTimeForTimeValue(time);
2498
2499     // 8 - If the (possibly now changed) new playback position is not in one of the ranges given in the
2500     // seekable attribute, then let it be the position in one of the ranges given in the seekable attribute 
2501     // that is the nearest to the new playback position. ... If there are no ranges given in the seekable
2502     // attribute then set the seeking IDL attribute to false and abort these steps.
2503     RefPtr<TimeRanges> seekableRanges = seekable();
2504
2505     // Short circuit seeking to the current time by just firing the events if no seek is required.
2506     // Don't skip calling the media engine if we are in poster mode because a seek should always 
2507     // cancel poster display.
2508     bool noSeekRequired = !seekableRanges->length() || (time == now && displayMode() != Poster);
2509
2510 #if ENABLE(MEDIA_SOURCE)
2511     // Always notify the media engine of a seek if the source is not closed. This ensures that the source is
2512     // always in a flushed state when the 'seeking' event fires.
2513     if (m_mediaSource && !m_mediaSource->isClosed())
2514         noSeekRequired = false;
2515 #endif
2516
2517     if (noSeekRequired) {
2518         if (time == now) {
2519             scheduleEvent(eventNames().seekingEvent);
2520             scheduleTimeupdateEvent(false);
2521             scheduleEvent(eventNames().seekedEvent);
2522         }
2523         m_seeking = false;
2524         return;
2525     }
2526     time = seekableRanges->ranges().nearest(time);
2527
2528     m_sentEndEvent = false;
2529     m_lastSeekTime = time;
2530
2531     // 10 - Queue a task to fire a simple event named seeking at the element.
2532     scheduleEvent(eventNames().seekingEvent);
2533
2534     // 11 - Set the current playback position to the given new playback position
2535     m_player->seekWithTolerance(time, negativeTolerance, positiveTolerance);
2536
2537     // 12 - Wait until the user agent has established whether or not the media data for the new playback
2538     // position is available, and, if it is, until it has decoded enough data to play back that position.
2539     // 13 - Await a stable state. The synchronous section consists of all the remaining steps of this algorithm.
2540 }
2541
2542 void HTMLMediaElement::finishSeek()
2543 {
2544     LOG(Media, "HTMLMediaElement::finishSeek(%p)", this);
2545
2546     // 4.8.10.9 Seeking
2547     // 14 - Set the seeking IDL attribute to false.
2548     m_seeking = false;
2549
2550     // 15 - Run the time maches on steps.
2551     // Handled by mediaPlayerTimeChanged().
2552
2553     // 16 - Queue a task to fire a simple event named timeupdate at the element.
2554     scheduleEvent(eventNames().timeupdateEvent);
2555
2556     // 17 - Queue a task to fire a simple event named seeked at the element.
2557     scheduleEvent(eventNames().seekedEvent);
2558
2559 #if ENABLE(MEDIA_SOURCE)
2560     if (m_mediaSource)
2561         m_mediaSource->monitorSourceBuffers();
2562 #endif
2563 }
2564
2565 HTMLMediaElement::ReadyState HTMLMediaElement::readyState() const
2566 {
2567     return m_readyState;
2568 }
2569
2570 MediaPlayer::MovieLoadType HTMLMediaElement::movieLoadType() const
2571 {
2572     return m_player ? m_player->movieLoadType() : MediaPlayer::Unknown;
2573 }
2574
2575 bool HTMLMediaElement::hasAudio() const
2576 {
2577     return m_player ? m_player->hasAudio() : false;
2578 }
2579
2580 bool HTMLMediaElement::seeking() const
2581 {
2582     return m_seeking;
2583 }
2584
2585 void HTMLMediaElement::refreshCachedTime() const
2586 {
2587     if (!m_player)
2588         return;
2589
2590     m_cachedTime = m_player->currentTime();
2591     if (!m_cachedTime) {
2592         // Do not use m_cachedTime until the media engine returns a non-zero value because we can't 
2593         // estimate current time until playback actually begins. 
2594         invalidateCachedTime(); 
2595         return; 
2596     } 
2597
2598     m_clockTimeAtLastCachedTimeUpdate = monotonicallyIncreasingTime();
2599 }
2600
2601 void HTMLMediaElement::invalidateCachedTime() const
2602 {
2603     if (!m_player || !m_player->maximumDurationToCacheMediaTime())
2604         return;
2605
2606 #if !LOG_DISABLED
2607     if (m_cachedTime.isValid())
2608         LOG(Media, "HTMLMediaElement::invalidateCachedTime(%p)", this);
2609 #endif
2610
2611     // Don't try to cache movie time when playback first starts as the time reported by the engine
2612     // sometimes fluctuates for a short amount of time, so the cached time will be off if we take it
2613     // too early.
2614     static const double minimumTimePlayingBeforeCacheSnapshot = 0.5;
2615
2616     m_minimumClockTimeToUpdateCachedTime = monotonicallyIncreasingTime() + minimumTimePlayingBeforeCacheSnapshot;
2617     m_cachedTime = MediaTime::invalidTime();
2618 }
2619
2620 // playback state
2621 double HTMLMediaElement::currentTime() const
2622 {
2623     return currentMediaTime().toDouble();
2624 }
2625
2626 MediaTime HTMLMediaElement::currentMediaTime() const
2627 {
2628 #if LOG_CACHED_TIME_WARNINGS
2629     static const MediaTime minCachedDeltaForWarning = MediaTime::create(1, 100);
2630 #endif
2631
2632     if (!m_player)
2633         return MediaTime::zeroTime();
2634
2635     if (m_seeking) {
2636         LOG(Media, "HTMLMediaElement::currentTime(%p) - seeking, returning %s", this, toString(m_lastSeekTime).utf8().data());
2637         return m_lastSeekTime;
2638     }
2639
2640     if (m_cachedTime.isValid() && m_paused) {
2641 #if LOG_CACHED_TIME_WARNINGS
2642         MediaTime delta = m_cachedTime - m_player->currentTime();
2643         if (delta > minCachedDeltaForWarning)
2644             LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %s seconds off of media time when paused", this, toString(delta).utf8().data());
2645 #endif
2646         return m_cachedTime;
2647     }
2648
2649     // Is it too soon use a cached time?
2650     double now = monotonicallyIncreasingTime();
2651     double maximumDurationToCacheMediaTime = m_player->maximumDurationToCacheMediaTime();
2652
2653     if (maximumDurationToCacheMediaTime && m_cachedTime.isValid() && !m_paused && now > m_minimumClockTimeToUpdateCachedTime) {
2654         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2655
2656         // Not too soon, use the cached time only if it hasn't expired.
2657         if (clockDelta < maximumDurationToCacheMediaTime) {
2658             MediaTime adjustedCacheTime = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta);
2659
2660 #if LOG_CACHED_TIME_WARNINGS
2661             MediaTime delta = adjustedCacheTime - m_player->currentTime();
2662             if (delta > minCachedDeltaForWarning)
2663                 LOG(Media, "HTMLMediaElement::currentTime(%p) - WARNING, cached time is %f seconds off of media time when playing", this, delta);
2664 #endif
2665             return adjustedCacheTime;
2666         }
2667     }
2668
2669 #if LOG_CACHED_TIME_WARNINGS
2670     if (maximumDurationToCacheMediaTime && now > m_minimumClockTimeToUpdateCachedTime && m_cachedTime != MediaPlayer::invalidTime()) {
2671         double clockDelta = now - m_clockTimeAtLastCachedTimeUpdate;
2672         MediaTime delta = m_cachedTime + MediaTime::createWithDouble(effectivePlaybackRate() * clockDelta) - m_player->currentTime();
2673         LOG(Media, "HTMLMediaElement::currentTime(%p) - cached time was %s seconds off of media time when it expired", this, toString(delta).utf8().data());
2674     }
2675 #endif
2676
2677     refreshCachedTime();
2678
2679     if (m_cachedTime.isInvalid())
2680         return MediaTime::zeroTime();
2681     
2682     return m_cachedTime;
2683 }
2684
2685 void HTMLMediaElement::setCurrentTime(double time)
2686 {
2687     setCurrentTime(MediaTime::createWithDouble(time));
2688 }
2689
2690 void HTMLMediaElement::setCurrentTime(const MediaTime& time)
2691 {
2692     if (m_mediaController)
2693         return;
2694
2695     seekInternal(time);
2696 }
2697
2698 void HTMLMediaElement::setCurrentTime(double time, ExceptionCode& ec)
2699 {
2700     // On setting, if the media element has a current media controller, then the user agent must
2701     // throw an InvalidStateError exception
2702     if (m_mediaController) {
2703         ec = INVALID_STATE_ERR;
2704         return;
2705     }
2706
2707     seek(MediaTime::createWithDouble(time));
2708 }
2709
2710 double HTMLMediaElement::duration() const
2711 {
2712     return durationMediaTime().toDouble();
2713 }
2714
2715 MediaTime HTMLMediaElement::durationMediaTime() const
2716 {
2717     if (m_player && m_readyState >= HAVE_METADATA)
2718         return m_player->duration();
2719
2720     return MediaTime::invalidTime();
2721 }
2722
2723 bool HTMLMediaElement::paused() const
2724 {
2725     // As of this writing, JavaScript garbage collection calls this function directly. In the past
2726     // we had problems where this was called on an object after a bad cast. The assertion below
2727     // made our regression test detect the problem, so we should keep it because of that. But note
2728     // that the value of the assertion relies on the compiler not being smart enough to know that
2729     // isHTMLUnknownElement is guaranteed to return false for an HTMLMediaElement.
2730     ASSERT(!isHTMLUnknownElement());
2731
2732     return m_paused;
2733 }
2734
2735 double HTMLMediaElement::defaultPlaybackRate() const
2736 {
2737     return m_defaultPlaybackRate;
2738 }
2739
2740 void HTMLMediaElement::setDefaultPlaybackRate(double rate)
2741 {
2742     if (m_defaultPlaybackRate != rate) {
2743         LOG(Media, "HTMLMediaElement::setDefaultPlaybackRate(%p) - %f", this, rate);
2744         m_defaultPlaybackRate = rate;
2745         scheduleEvent(eventNames().ratechangeEvent);
2746     }
2747 }
2748
2749 double HTMLMediaElement::effectivePlaybackRate() const
2750 {
2751     return m_mediaController ? m_mediaController->playbackRate() : m_reportedPlaybackRate;
2752 }
2753
2754 double HTMLMediaElement::requestedPlaybackRate() const
2755 {
2756     return m_mediaController ? m_mediaController->playbackRate() : m_requestedPlaybackRate;
2757 }
2758
2759 double HTMLMediaElement::playbackRate() const
2760 {
2761     return m_requestedPlaybackRate;
2762 }
2763
2764 void HTMLMediaElement::setPlaybackRate(double rate)
2765 {
2766     LOG(Media, "HTMLMediaElement::setPlaybackRate(%p) - %f", this, rate);
2767
2768     if (m_player && potentiallyPlaying() && m_player->rate() != rate && !m_mediaController)
2769         m_player->setRate(rate);
2770
2771     if (m_requestedPlaybackRate != rate) {
2772         m_reportedPlaybackRate = m_requestedPlaybackRate = rate;
2773         invalidateCachedTime();
2774         scheduleEvent(eventNames().ratechangeEvent);
2775     }
2776 }
2777
2778 void HTMLMediaElement::updatePlaybackRate()
2779 {
2780     double requestedRate = requestedPlaybackRate();
2781     if (m_player && potentiallyPlaying() && m_player->rate() != requestedRate)
2782         m_player->setRate(requestedRate);
2783 }
2784
2785 bool HTMLMediaElement::webkitPreservesPitch() const
2786 {
2787     return m_webkitPreservesPitch;
2788 }
2789
2790 void HTMLMediaElement::setWebkitPreservesPitch(bool preservesPitch)
2791 {
2792     LOG(Media, "HTMLMediaElement::setWebkitPreservesPitch(%p) - %s", this, boolString(preservesPitch));
2793
2794     m_webkitPreservesPitch = preservesPitch;
2795     
2796     if (!m_player)
2797         return;
2798
2799     m_player->setPreservesPitch(preservesPitch);
2800 }
2801
2802 bool HTMLMediaElement::ended() const
2803 {
2804     // 4.8.10.8 Playing the media resource
2805     // The ended attribute must return true if the media element has ended 
2806     // playback and the direction of playback is forwards, and false otherwise.
2807     return endedPlayback() && requestedPlaybackRate() > 0;
2808 }
2809
2810 bool HTMLMediaElement::autoplay() const
2811 {
2812     return fastHasAttribute(autoplayAttr);
2813 }
2814
2815 String HTMLMediaElement::preload() const
2816 {
2817     switch (m_preload) {
2818     case MediaPlayer::None:
2819         return ASCIILiteral("none");
2820     case MediaPlayer::MetaData:
2821         return ASCIILiteral("metadata");
2822     case MediaPlayer::Auto:
2823         return ASCIILiteral("auto");
2824     }
2825
2826     ASSERT_NOT_REACHED();
2827     return String();
2828 }
2829
2830 void HTMLMediaElement::setPreload(const String& preload)
2831 {
2832     LOG(Media, "HTMLMediaElement::setPreload(%p) - %s", this, preload.utf8().data());
2833     setAttribute(preloadAttr, preload);
2834 }
2835
2836 void HTMLMediaElement::play()
2837 {
2838     LOG(Media, "HTMLMediaElement::play(%p)", this);
2839
2840     if (!m_mediaSession->playbackPermitted(*this))
2841         return;
2842     if (ScriptController::processingUserGesture())
2843         removeBehaviorsRestrictionsAfterFirstUserGesture();
2844
2845     playInternal();
2846 }
2847
2848 void HTMLMediaElement::playInternal()
2849 {
2850     LOG(Media, "HTMLMediaElement::playInternal(%p)", this);
2851     
2852     if (!m_mediaSession->clientWillBeginPlayback()) {
2853         LOG(Media, "  returning because of interruption");
2854         return;
2855     }
2856     
2857     // 4.8.10.9. Playing the media resource
2858     if (!m_player || m_networkState == NETWORK_EMPTY)
2859         scheduleDelayedAction(LoadMediaResource);
2860
2861     if (endedPlayback())
2862         seekInternal(MediaTime::zeroTime());
2863
2864     if (m_mediaController)
2865         m_mediaController->bringElementUpToSpeed(this);
2866
2867     if (m_paused) {
2868         m_paused = false;
2869         invalidateCachedTime();
2870         scheduleEvent(eventNames().playEvent);
2871
2872         if (m_readyState <= HAVE_CURRENT_DATA)
2873             scheduleEvent(eventNames().waitingEvent);
2874         else if (m_readyState >= HAVE_FUTURE_DATA)
2875             scheduleEvent(eventNames().playingEvent);
2876
2877 #if ENABLE(MEDIA_SESSION)
2878         // 6.3 Activating a media session from a media element
2879         // When the play() method is invoked, the paused attribute is true, and the readyState attribute has the value
2880         // HAVE_FUTURE_DATA or HAVE_ENOUGH_DATA, then
2881         // 1. Let media session be the value of the current media session.
2882         // 2. If we are not currently in media session's list of active participating media elements then append
2883         //    ourselves to this list.
2884         // 3. Let activated be the result of running the media session invocation algorithm for media session.
2885         // 4. If activated is failure, pause ourselves.
2886         if (m_readyState == HAVE_ENOUGH_DATA || m_readyState == HAVE_FUTURE_DATA) {
2887             if (m_session) {
2888                 m_session->addActiveMediaElement(*this);
2889                 
2890                 if (!m_session->invoke()) {
2891                     pause();
2892                     return;
2893                 }
2894             }
2895         }
2896 #endif
2897     }
2898     m_autoplaying = false;
2899     updatePlayState();
2900     updateMediaController();
2901 }
2902
2903 void HTMLMediaElement::pause()
2904 {
2905     LOG(Media, "HTMLMediaElement::pause(%p)", this);
2906
2907     if (!m_mediaSession->playbackPermitted(*this))
2908         return;
2909
2910     pauseInternal();
2911 }
2912
2913
2914 void HTMLMediaElement::pauseInternal()
2915 {
2916     LOG(Media, "HTMLMediaElement::pauseInternal(%p)", this);
2917
2918     if (!m_mediaSession->clientWillPausePlayback()) {
2919         LOG(Media, "  returning because of interruption");
2920         return;
2921     }
2922     
2923     // 4.8.10.9. Playing the media resource
2924     if (!m_player || m_networkState == NETWORK_EMPTY) {
2925         // Unless the restriction on media requiring user action has been lifted
2926         // don't trigger loading if a script calls pause().
2927         if (!m_mediaSession->playbackPermitted(*this))
2928             return;
2929         scheduleDelayedAction(LoadMediaResource);
2930     }
2931
2932     m_autoplaying = false;
2933
2934     if (!m_paused) {
2935         m_paused = true;
2936         scheduleTimeupdateEvent(false);
2937         scheduleEvent(eventNames().pauseEvent);
2938
2939         if (MemoryPressureHandler::singleton().isUnderMemoryPressure())
2940             purgeBufferedDataIfPossible();
2941     }
2942
2943     updatePlayState();
2944 }
2945
2946 #if ENABLE(MEDIA_SOURCE)
2947 void HTMLMediaElement::closeMediaSource()
2948 {
2949     if (!m_mediaSource)
2950         return;
2951
2952     m_mediaSource->close();
2953     m_mediaSource = nullptr;
2954 }
2955 #endif
2956
2957 #if ENABLE(ENCRYPTED_MEDIA)
2958 void HTMLMediaElement::webkitGenerateKeyRequest(const String& keySystem, PassRefPtr<Uint8Array> initData, ExceptionCode& ec)
2959 {
2960 #if ENABLE(ENCRYPTED_MEDIA_V2)
2961     static bool firstTime = true;
2962     if (firstTime && scriptExecutionContext()) {
2963         scriptExecutionContext()->addConsoleMessage(MessageSource::JS, MessageLevel::Warning, ASCIILiteral("'HTMLMediaElement.webkitGenerateKeyRequest()' is deprecated.  Use 'MediaKeys.createSession()' instead."));
2964         firstTime = false;
2965     }
2966 #endif
2967
2968     if (keySystem.isEmpty()) {
2969         ec = SYNTAX_ERR;
2970         return;
2971     }
2972
2973     if (!m_player) {
2974         ec = INVALID_STATE_ERR;
2975         return;
2976     }
2977
2978     const unsigned char* initDataPointer = 0;
2979     unsigned initDataLength = 0;
2980     if (initData) {
2981         initDataPointer = initData->data();
2982         initDataLength = initData->length();
2983     }
2984
2985     MediaPlayer::MediaKeyException result = m_player->generateKeyRequest(keySystem, initDataPointer, initDataLength);
2986     ec = exceptionCodeForMediaKeyException(result);
2987 }
2988
2989 void HTMLMediaElement::webkitGenerateKeyRequest(const String& keySystem, ExceptionCode& ec)
2990 {
2991     webkitGenerateKeyRequest(keySystem, Uint8Array::create(0), ec);
2992 }
2993
2994 void HTMLMediaElement::webkitAddKey(const String& keySystem, PassRefPtr<Uint8Array> key, PassRefPtr<Uint8Array> initData, const String& sessionId, ExceptionCode& ec)
2995 {
2996 #if ENABLE(ENCRYPTED_MEDIA_V2)
2997     static bool firstTime = true;
2998     if (firstTime && scriptExecutionContext()) {
2999         scriptExecutionContext()->addConsoleMessage(MessageSource::JS, MessageLevel::Warning, ASCIILiteral("'HTMLMediaElement.webkitAddKey()' is deprecated.  Use 'MediaKeySession.update()' instead."));
3000         firstTime = false;
3001     }
3002 #endif
3003
3004     if (keySystem.isEmpty()) {
3005         ec = SYNTAX_ERR;
3006         return;
3007     }
3008
3009     if (!key) {
3010         ec = SYNTAX_ERR;
3011         return;
3012     }
3013
3014     if (!key->length()) {
3015         ec = TYPE_MISMATCH_ERR;
3016         return;
3017     }
3018
3019     if (!m_player) {
3020         ec = INVALID_STATE_ERR;
3021         return;
3022     }
3023
3024     const unsigned char* initDataPointer = 0;
3025     unsigned initDataLength = 0;
3026     if (initData) {
3027         initDataPointer = initData->data();
3028         initDataLength = initData->length();
3029     }
3030
3031     MediaPlayer::MediaKeyException result = m_player->addKey(keySystem, key->data(), key->length(), initDataPointer, initDataLength, sessionId);
3032     ec = exceptionCodeForMediaKeyException(result);
3033 }
3034
3035 void HTMLMediaElement::webkitAddKey(const String& keySystem, PassRefPtr<Uint8Array> key, ExceptionCode& ec)
3036 {
3037     webkitAddKey(keySystem, key, Uint8Array::create(0), String(), ec);
3038 }
3039
3040 void HTMLMediaElement::webkitCancelKeyRequest(const String& keySystem, const String& sessionId, ExceptionCode& ec)
3041 {
3042     if (keySystem.isEmpty()) {
3043         ec = SYNTAX_ERR;
3044         return;
3045     }
3046
3047     if (!m_player) {
3048         ec = INVALID_STATE_ERR;
3049         return;
3050     }
3051
3052     MediaPlayer::MediaKeyException result = m_player->cancelKeyRequest(keySystem, sessionId);
3053     ec = exceptionCodeForMediaKeyException(result);
3054 }
3055
3056 #endif
3057
3058 bool HTMLMediaElement::loop() const
3059 {
3060     return fastHasAttribute(loopAttr);
3061 }
3062
3063 void HTMLMediaElement::setLoop(bool b)
3064 {
3065     LOG(Media, "HTMLMediaElement::setLoop(%p) - %s", this, boolString(b));
3066     setBooleanAttribute(loopAttr, b);
3067 }
3068
3069 bool HTMLMediaElement::controls() const
3070 {
3071     Frame* frame = document().frame();
3072
3073     // always show controls when scripting is disabled
3074     if (frame && !frame->script().canExecuteScripts(NotAboutToExecuteScript))
3075         return true;
3076
3077     return fastHasAttribute(controlsAttr);
3078 }
3079
3080 void HTMLMediaElement::setControls(bool b)
3081 {
3082     LOG(Media, "HTMLMediaElement::setControls(%p) - %s", this, boolString(b));
3083     setBooleanAttribute(controlsAttr, b);
3084 }
3085
3086 double HTMLMediaElement::volume() const
3087 {
3088     return m_volume;
3089 }
3090
3091 void HTMLMediaElement::setVolume(double vol, ExceptionCode& ec)
3092 {
3093     LOG(Media, "HTMLMediaElement::setVolume(%p) - %f", this, vol);
3094
3095     if (vol < 0.0f || vol > 1.0f) {
3096         ec = INDEX_SIZE_ERR;
3097         return;
3098     }
3099     
3100 #if !PLATFORM(IOS)
3101     if (m_volume != vol) {
3102         m_volume = vol;
3103         m_volumeInitialized = true;
3104         updateVolume();
3105         scheduleEvent(eventNames().volumechangeEvent);
3106     }
3107 #endif
3108 }
3109
3110 bool HTMLMediaElement::muted() const
3111 {
3112     return m_explicitlyMuted ? m_muted : fastHasAttribute(mutedAttr);
3113 }
3114
3115 void HTMLMediaElement::setMuted(bool muted)
3116 {
3117     LOG(Media, "HTMLMediaElement::setMuted(%p) - %s", this, boolString(muted));
3118
3119 #if PLATFORM(IOS)
3120     UNUSED_PARAM(muted);
3121 #else
3122     if (m_muted != muted || !m_explicitlyMuted) {
3123         m_muted = muted;
3124         m_explicitlyMuted = true;
3125         // Avoid recursion when the player reports volume changes.
3126         if (!processingMediaPlayerCallback()) {
3127             if (m_player) {
3128                 m_player->setMuted(effectiveMuted());
3129                 if (hasMediaControls())
3130                     mediaControls()->changedMute();
3131             }
3132         }
3133         scheduleEvent(eventNames().volumechangeEvent);
3134         document().updateIsPlayingMedia();
3135
3136 #if ENABLE(WIRELESS_PLAYBACK_TARGET)
3137         updateMediaState(UpdateMediaState::Asynchronously);
3138 #endif
3139     }
3140 #endif
3141 }
3142
3143 void HTMLMediaElement::togglePlayState()
3144 {
3145     LOG(Media, "HTMLMediaElement::togglePlayState(%p) - canPlay() is %s", this, boolString(canPlay()));
3146
3147     // We can safely call the internal play/pause methods, which don't check restrictions, because
3148     // this method is only called from the built-in media controller
3149     if (canPlay()) {
3150         updatePlaybackRate();
3151         playInternal();
3152     } else 
3153         pauseInternal();
3154 }
3155
3156 void HTMLMediaElement::beginScrubbing()
3157 {
3158     LOG(Media, "HTMLMediaElement::beginScrubbing(%p) - paused() is %s", this, boolString(paused()));
3159
3160     if (!paused()) {
3161         if (ended()) {
3162             // Because a media element stays in non-paused state when it reaches end, playback resumes 
3163             // when the slider is dragged from the end to another position unless we pause first. Do 
3164             // a "hard pause" so an event is generated, since we want to stay paused after scrubbing finishes.
3165             pause();
3166         } else {
3167             // Not at the end but we still want to pause playback so the media engine doesn't try to
3168             // continue playing during scrubbing. Pause without generating an event as we will 
3169             // unpause after scrubbing finishes.
3170             setPausedInternal(true);
3171         }
3172     }
3173 }
3174
3175 void HTMLMediaElement::endScrubbing()
3176 {
3177     LOG(Media, "HTMLMediaElement::endScrubbing(%p) - m_pausedInternal is %s", this, boolString(m_pausedInternal));
3178
3179     if (m_pausedInternal)
3180         setPausedInternal(false);
3181 }
3182
3183 void HTMLMediaElement::beginScanning(ScanDirection direction)
3184 {
3185     m_scanType = supportsScanning() ? Scan : Seek;
3186     m_scanDirection = direction;
3187
3188     if (m_scanType == Seek) {
3189         // Scanning by seeking requires the video to be paused during scanning.
3190         m_actionAfterScan = paused() ? Nothing : Play;
3191         pause();
3192     } else {
3193         // Scanning by scanning requires the video to be playing during scanninging.
3194         m_actionAfterScan = paused() ? Pause : Nothing;
3195         play();
3196         setPlaybackRate(nextScanRate());
3197     }
3198
3199     m_scanTimer.start(0, m_scanType == Seek ? SeekRepeatDelay : ScanRepeatDelay);
3200 }
3201
3202 void HTMLMediaElement::endScanning()
3203 {
3204     if (m_scanType == Scan)
3205         setPlaybackRate(defaultPlaybackRate());
3206
3207     if (m_actionAfterScan == Play)
3208         play();
3209     else if (m_actionAfterScan == Pause)
3210         pause();
3211
3212     if (m_scanTimer.isActive())
3213         m_scanTimer.stop();
3214 }
3215
3216 double HTMLMediaElement::nextScanRate()
3217 {
3218     double rate = std::min(ScanMaximumRate, fabs(playbackRate() * 2));
3219     if (m_scanDirection == Backward)
3220         rate *= -1;
3221 #if PLATFORM(IOS)
3222     rate = std::min(std::max(rate, minFastReverseRate()), maxFastForwardRate());
3223 #endif
3224     return rate;
3225 }
3226
3227 void HTMLMediaElement::scanTimerFired()
3228 {
3229     if (m_scanType == Seek) {
3230         double seekTime = m_scanDirection == Forward ? SeekTime : -SeekTime;
3231         setCurrentTime(currentTime() + seekTime);
3232     } else
3233         setPlaybackRate(nextScanRate());
3234 }
3235
3236 // The spec says to fire periodic timeupdate events (those sent while playing) every
3237 // "15 to 250ms", we choose the slowest frequency
3238 static const double maxTimeupdateEventFrequency = 0.25;
3239
3240 void HTMLMediaElement::startPlaybackProgressTimer()
3241 {
3242     if (m_playbackProgressTimer.isActive())
3243         return;
3244
3245     m_previousProgressTime = monotonicallyIncreasingTime();
3246     m_playbackProgressTimer.startRepeating(maxTimeupdateEventFrequency);
3247 }
3248
3249 void HTMLMediaElement::playbackProgressTimerFired()
3250 {
3251     ASSERT(m_player);
3252
3253     if (m_fragmentEndTime.isValid() && currentMediaTime() >= m_fragmentEndTime && requestedPlaybackRate() > 0) {
3254         m_fragmentEndTime = MediaTime::invalidTime();
3255         if (!m_mediaController && !m_paused) {
3256             // changes paused to true and fires a simple event named pause at the media element.
3257             pauseInternal();
3258         }
3259     }
3260     
3261     scheduleTimeupdateEvent(true);
3262
3263     if (!requestedPlaybackRate())
3264         return;
3265
3266     if (!m_paused && hasMediaControls())
3267         mediaControls()->playbackProgressed();
3268
3269 #if ENABLE(VIDEO_TRACK)
3270     if (RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3271         updateActiveTextTrackCues(currentMediaTime());
3272 #endif
3273
3274 #if ENABLE(MEDIA_SOURCE)
3275     if (m_mediaSource)
3276         m_mediaSource->monitorSourceBuffers();
3277 #endif
3278 }
3279
3280 void HTMLMediaElement::scheduleTimeupdateEvent(bool periodicEvent)
3281 {
3282     double now = monotonicallyIncreasingTime();
3283     double timedelta = now - m_clockTimeAtLastUpdateEvent;
3284
3285     // throttle the periodic events
3286     if (periodicEvent && timedelta < maxTimeupdateEventFrequency)
3287         return;
3288
3289     // Some media engines make multiple "time changed" callbacks at the same time, but we only want one
3290     // event at a given time so filter here
3291     MediaTime movieTime = currentMediaTime();
3292     if (movieTime != m_lastTimeUpdateEventMovieTime) {
3293         scheduleEvent(eventNames().timeupdateEvent);
3294         m_clockTimeAtLastUpdateEvent = now;
3295         m_lastTimeUpdateEventMovieTime = movieTime;
3296     }
3297 }
3298
3299 bool HTMLMediaElement::canPlay() const
3300 {
3301     return paused() || ended() || m_readyState < HAVE_METADATA;
3302 }
3303
3304 double HTMLMediaElement::percentLoaded() const
3305 {
3306     if (!m_player)
3307         return 0;
3308     MediaTime duration = m_player->duration();
3309
3310     if (!duration || duration.isPositiveInfinite() || duration.isNegativeInfinite())
3311         return 0;
3312
3313     MediaTime buffered = MediaTime::zeroTime();
3314     bool ignored;
3315     std::unique_ptr<PlatformTimeRanges> timeRanges = m_player->buffered();
3316     for (unsigned i = 0; i < timeRanges->length(); ++i) {
3317         MediaTime start = timeRanges->start(i, ignored);
3318         MediaTime end = timeRanges->end(i, ignored);
3319         buffered += end - start;
3320     }
3321     return buffered.toDouble() / duration.toDouble();
3322 }
3323
3324 #if ENABLE(VIDEO_TRACK)
3325
3326 void HTMLMediaElement::mediaPlayerDidAddAudioTrack(PassRefPtr<AudioTrackPrivate> prpTrack)
3327 {
3328     if (isPlaying() && !m_mediaSession->playbackPermitted(*this))
3329         pauseInternal();
3330
3331     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3332         return;
3333
3334     addAudioTrack(AudioTrack::create(this, prpTrack));
3335 }
3336
3337 void HTMLMediaElement::mediaPlayerDidAddTextTrack(PassRefPtr<InbandTextTrackPrivate> prpTrack)
3338 {
3339     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3340         return;
3341     
3342     // 4.8.10.12.2 Sourcing in-band text tracks
3343     // 1. Associate the relevant data with a new text track and its corresponding new TextTrack object.
3344     RefPtr<InbandTextTrack> textTrack = InbandTextTrack::create(ActiveDOMObject::scriptExecutionContext(), this, prpTrack);
3345     textTrack->setMediaElement(this);
3346     
3347     // 2. Set the new text track's kind, label, and language based on the semantics of the relevant data,
3348     // as defined by the relevant specification. If there is no label in that data, then the label must
3349     // be set to the empty string.
3350     // 3. Associate the text track list of cues with the rules for updating the text track rendering appropriate
3351     // for the format in question.
3352     // 4. If the new text track's kind is metadata, then set the text track in-band metadata track dispatch type
3353     // as follows, based on the type of the media resource:
3354     // 5. Populate the new text track's list of cues with the cues parsed so far, folllowing the guidelines for exposing
3355     // cues, and begin updating it dynamically as necessary.
3356     //   - Thess are all done by the media engine.
3357     
3358     // 6. Set the new text track's readiness state to loaded.
3359     textTrack->setReadinessState(TextTrack::Loaded);
3360     
3361     // 7. Set the new text track's mode to the mode consistent with the user's preferences and the requirements of
3362     // the relevant specification for the data.
3363     //  - This will happen in configureTextTracks()
3364     scheduleDelayedAction(ConfigureTextTracks);
3365     
3366     // 8. Add the new text track to the media element's list of text tracks.
3367     // 9. Fire an event with the name addtrack, that does not bubble and is not cancelable, and that uses the TrackEvent
3368     // interface, with the track attribute initialized to the text track's TextTrack object, at the media element's
3369     // textTracks attribute's TextTrackList object.
3370     addTextTrack(textTrack.release());
3371 }
3372
3373 void HTMLMediaElement::mediaPlayerDidAddVideoTrack(PassRefPtr<VideoTrackPrivate> prpTrack)
3374 {
3375     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3376         return;
3377
3378     addVideoTrack(VideoTrack::create(this, prpTrack));
3379 }
3380
3381 void HTMLMediaElement::mediaPlayerDidRemoveAudioTrack(PassRefPtr<AudioTrackPrivate> prpTrack)
3382 {
3383     prpTrack->willBeRemoved();
3384 }
3385
3386 void HTMLMediaElement::mediaPlayerDidRemoveTextTrack(PassRefPtr<InbandTextTrackPrivate> prpTrack)
3387 {
3388     prpTrack->willBeRemoved();
3389 }
3390
3391 void HTMLMediaElement::mediaPlayerDidRemoveVideoTrack(PassRefPtr<VideoTrackPrivate> prpTrack)
3392 {
3393     prpTrack->willBeRemoved();
3394 }
3395
3396 #if USE(PLATFORM_TEXT_TRACK_MENU)
3397 void HTMLMediaElement::setSelectedTextTrack(PassRefPtr<PlatformTextTrack> platformTrack)
3398 {
3399     if (!m_textTracks)
3400         return;
3401
3402     TrackDisplayUpdateScope scope(this);
3403
3404     if (!platformTrack) {
3405         setSelectedTextTrack(TextTrack::captionMenuOffItem());
3406         return;
3407     }
3408
3409     TextTrack* textTrack;
3410     if (platformTrack == PlatformTextTrack::captionMenuOffItem())
3411         textTrack = TextTrack::captionMenuOffItem();
3412     else if (platformTrack == PlatformTextTrack::captionMenuAutomaticItem())
3413         textTrack = TextTrack::captionMenuAutomaticItem();
3414     else {
3415         size_t i;
3416         for (i = 0; i < m_textTracks->length(); ++i) {
3417             textTrack = m_textTracks->item(i);
3418             
3419             if (textTrack->platformTextTrack() == platformTrack)
3420                 break;
3421         }
3422         if (i == m_textTracks->length())
3423             return;
3424     }
3425
3426     setSelectedTextTrack(textTrack);
3427 }
3428
3429 Vector<RefPtr<PlatformTextTrack>> HTMLMediaElement::platformTextTracks()
3430 {
3431     if (!m_textTracks || !m_textTracks->length())
3432         return Vector<RefPtr<PlatformTextTrack>>();
3433     
3434     Vector<RefPtr<PlatformTextTrack>> platformTracks;
3435     for (size_t i = 0; i < m_textTracks->length(); ++i)
3436         platformTracks.append(m_textTracks->item(i)->platformTextTrack());
3437     
3438     return platformTracks;
3439 }
3440
3441 void HTMLMediaElement::notifyMediaPlayerOfTextTrackChanges()
3442 {
3443     if (!m_textTracks || !m_textTracks->length() || !platformTextTrackMenu())
3444         return;
3445     
3446     m_platformMenu->tracksDidChange();
3447 }
3448
3449 PlatformTextTrackMenuInterface* HTMLMediaElement::platformTextTrackMenu()
3450 {
3451     if (m_platformMenu)
3452         return m_platformMenu.get();
3453
3454     if (!m_player || !m_player->implementsTextTrackControls())
3455         return 0;
3456
3457     m_platformMenu = m_player->textTrackMenu();
3458     if (!m_platformMenu)
3459         return 0;
3460
3461     m_platformMenu->setClient(this);
3462
3463     return m_platformMenu.get();
3464 }
3465 #endif // #if USE(PLATFORM_TEXT_TRACK_MENU)
3466     
3467 void HTMLMediaElement::closeCaptionTracksChanged()
3468 {
3469     if (hasMediaControls())
3470         mediaControls()->closedCaptionTracksChanged();
3471
3472 #if USE(PLATFORM_TEXT_TRACK_MENU)
3473     if (m_player && m_player->implementsTextTrackControls())
3474         scheduleDelayedAction(TextTrackChangesNotification);
3475 #endif
3476 }
3477
3478 void HTMLMediaElement::addAudioTrack(PassRefPtr<AudioTrack> track)
3479 {
3480     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3481         return;
3482
3483     audioTracks()->append(track);
3484 }
3485
3486 void HTMLMediaElement::addTextTrack(PassRefPtr<TextTrack> track)
3487 {
3488     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3489         return;
3490
3491     if (!m_requireCaptionPreferencesChangedCallbacks) {
3492         m_requireCaptionPreferencesChangedCallbacks = true;
3493         document().registerForCaptionPreferencesChangedCallbacks(this);
3494     }
3495
3496     textTracks()->append(track);
3497
3498     closeCaptionTracksChanged();
3499 }
3500
3501 void HTMLMediaElement::addVideoTrack(PassRefPtr<VideoTrack> track)
3502 {
3503     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3504         return;
3505
3506     videoTracks()->append(track);
3507 }
3508
3509 void HTMLMediaElement::removeAudioTrack(AudioTrack* track)
3510 {
3511     if (!RuntimeEnabledFeatures::sharedFeatures().webkitVideoTrackEnabled())
3512         return;
3513
3514     m_audioTracks->remove(track);
3515 }
3516
3517 void HTMLMediaElement::removeTextTrack(TextTrack* track, bool scheduleEvent)
3518 {