78fae2b17c0bef7a7a3a10450967c84cbfad67c3
[WebKit-https.git] / Source / WebCore / Modules / mediasource / SourceBuffer.cpp
1 /*
2  * Copyright (C) 2013 Google Inc. All rights reserved.
3  * Copyright (C) 2013-2014 Apple Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions are
7  * met:
8  *
9  *     * Redistributions of source code must retain the above copyright
10  * notice, this list of conditions and the following disclaimer.
11  *     * Redistributions in binary form must reproduce the above
12  * copyright notice, this list of conditions and the following disclaimer
13  * in the documentation and/or other materials provided with the
14  * distribution.
15  *     * Neither the name of Google Inc. nor the names of its
16  * contributors may be used to endorse or promote products derived from
17  * this software without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #include "config.h"
33 #include "SourceBuffer.h"
34
35 #if ENABLE(MEDIA_SOURCE)
36
37 #include "AudioTrackList.h"
38 #include "Event.h"
39 #include "ExceptionCodePlaceholder.h"
40 #include "GenericEventQueue.h"
41 #include "HTMLMediaElement.h"
42 #include "InbandTextTrack.h"
43 #include "Logging.h"
44 #include "MediaDescription.h"
45 #include "MediaSample.h"
46 #include "MediaSource.h"
47 #include "SampleMap.h"
48 #include "SourceBufferPrivate.h"
49 #include "TextTrackList.h"
50 #include "TimeRanges.h"
51 #include "VideoTrackList.h"
52 #include <limits>
53 #include <map>
54 #include <runtime/JSCInlines.h>
55 #include <runtime/JSLock.h>
56 #include <runtime/VM.h>
57 #include <wtf/CurrentTime.h>
58 #include <wtf/NeverDestroyed.h>
59 #if !LOG_DISABLED
60 #include <wtf/text/StringBuilder.h>
61 #endif
62
63 namespace WebCore {
64
65 static const double ExponentialMovingAverageCoefficient = 0.1;
66
67 // Allow hasCurrentTime() to be off by as much as the length of a 24fps video frame
68 static const MediaTime& currentTimeFudgeFactor()
69 {
70     static NeverDestroyed<MediaTime> fudgeFactor(1, 24);
71     return fudgeFactor;
72 }
73
74 const AtomicString& SourceBuffer::segmentsKeyword()
75 {
76     static NeverDestroyed<AtomicString> segments("segments");
77     return segments.get();
78 }
79
80 const AtomicString& SourceBuffer::sequenceKeyword()
81 {
82     static NeverDestroyed<AtomicString> segments("sequence");
83     return segments.get();
84 }
85
86 struct SourceBuffer::TrackBuffer {
87     MediaTime lastDecodeTimestamp;
88     MediaTime lastFrameDuration;
89     MediaTime highestPresentationTimestamp;
90     MediaTime lastEnqueuedPresentationTime;
91     MediaTime lastEnqueuedDecodeEndTime;
92     bool needRandomAccessFlag;
93     bool enabled;
94     bool needsReenqueueing;
95     SampleMap samples;
96     DecodeOrderSampleMap::MapType decodeQueue;
97     RefPtr<MediaDescription> description;
98
99     TrackBuffer()
100         : lastDecodeTimestamp(MediaTime::invalidTime())
101         , lastFrameDuration(MediaTime::invalidTime())
102         , highestPresentationTimestamp(MediaTime::invalidTime())
103         , lastEnqueuedPresentationTime(MediaTime::invalidTime())
104         , lastEnqueuedDecodeEndTime(MediaTime::invalidTime())
105         , needRandomAccessFlag(true)
106         , enabled(false)
107         , needsReenqueueing(false)
108     {
109     }
110 };
111
112 Ref<SourceBuffer> SourceBuffer::create(Ref<SourceBufferPrivate>&& sourceBufferPrivate, MediaSource* source)
113 {
114     RefPtr<SourceBuffer> sourceBuffer(adoptRef(new SourceBuffer(WTFMove(sourceBufferPrivate), source)));
115     sourceBuffer->suspendIfNeeded();
116     return sourceBuffer.releaseNonNull();
117 }
118
119 SourceBuffer::SourceBuffer(Ref<SourceBufferPrivate>&& sourceBufferPrivate, MediaSource* source)
120     : ActiveDOMObject(source->scriptExecutionContext())
121     , m_private(WTFMove(sourceBufferPrivate))
122     , m_source(source)
123     , m_asyncEventQueue(*this)
124     , m_mode(segmentsKeyword())
125     , m_appendBufferTimer(*this, &SourceBuffer::appendBufferTimerFired)
126     , m_appendWindowStart(MediaTime::zeroTime())
127     , m_appendWindowEnd(MediaTime::positiveInfiniteTime())
128     , m_groupStartTimestamp(MediaTime::invalidTime())
129     , m_groupEndTimestamp(MediaTime::zeroTime())
130     , m_buffered(TimeRanges::create())
131     , m_appendState(WaitingForSegment)
132     , m_timeOfBufferingMonitor(monotonicallyIncreasingTime())
133     , m_bufferedSinceLastMonitor(0)
134     , m_averageBufferRate(0)
135     , m_reportedExtraMemoryCost(0)
136     , m_pendingRemoveStart(MediaTime::invalidTime())
137     , m_pendingRemoveEnd(MediaTime::invalidTime())
138     , m_removeTimer(*this, &SourceBuffer::removeTimerFired)
139     , m_updating(false)
140     , m_receivedFirstInitializationSegment(false)
141     , m_active(false)
142     , m_bufferFull(false)
143     , m_shouldGenerateTimestamps(false)
144 {
145     ASSERT(m_source);
146
147     m_private->setClient(this);
148 }
149
150 SourceBuffer::~SourceBuffer()
151 {
152     ASSERT(isRemoved());
153
154     m_private->setClient(nullptr);
155 }
156
157 PassRefPtr<TimeRanges> SourceBuffer::buffered(ExceptionCode& ec) const
158 {
159     // Section 3.1 buffered attribute steps.
160     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#attributes-1
161     // 1. If this object has been removed from the sourceBuffers attribute of the parent media source then throw an
162     //    INVALID_STATE_ERR exception and abort these steps.
163     if (isRemoved()) {
164         ec = INVALID_STATE_ERR;
165         return nullptr;
166     }
167
168     // 2. Return a new static normalized TimeRanges object for the media segments buffered.
169     return m_buffered->copy();
170 }
171
172 const RefPtr<TimeRanges>& SourceBuffer::buffered() const
173 {
174     return m_buffered;
175 }
176
177 double SourceBuffer::timestampOffset() const
178 {
179     return m_timestampOffset.toDouble();
180 }
181
182 void SourceBuffer::setTimestampOffset(double offset, ExceptionCode& ec)
183 {
184     // Section 3.1 timestampOffset attribute setter steps.
185     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#attributes-1
186     // 1. Let new timestamp offset equal the new value being assigned to this attribute.
187     // 2. If this object has been removed from the sourceBuffers attribute of the parent media source, then throw an
188     //    INVALID_STATE_ERR exception and abort these steps.
189     // 3. If the updating attribute equals true, then throw an INVALID_STATE_ERR exception and abort these steps.
190     if (isRemoved() || m_updating) {
191         ec = INVALID_STATE_ERR;
192         return;
193     }
194
195     // 4. If the readyState attribute of the parent media source is in the "ended" state then run the following steps:
196     // 4.1 Set the readyState attribute of the parent media source to "open"
197     // 4.2 Queue a task to fire a simple event named sourceopen at the parent media source.
198     m_source->openIfInEndedState();
199
200     // 5. If the append state equals PARSING_MEDIA_SEGMENT, then throw an INVALID_STATE_ERR and abort these steps.
201     if (m_appendState == ParsingMediaSegment) {
202         ec = INVALID_STATE_ERR;
203         return;
204     }
205
206     MediaTime newTimestampOffset = MediaTime::createWithDouble(offset);
207
208     // 6. If the mode attribute equals "sequence", then set the group start timestamp to new timestamp offset.
209     if (m_mode == sequenceKeyword())
210         m_groupStartTimestamp = newTimestampOffset;
211
212     // 7. Update the attribute to the new value.
213     m_timestampOffset = newTimestampOffset;
214 }
215
216 double SourceBuffer::appendWindowStart() const
217 {
218     return m_appendWindowStart.toDouble();
219 };
220
221 void SourceBuffer::setAppendWindowStart(double newValue, ExceptionCode& ec)
222 {
223     // Section 3.1 appendWindowStart attribute setter steps.
224     // http://www.w3.org/TR/media-source/#widl-SourceBuffer-appendWindowStart
225     // 1. If this object has been removed from the sourceBuffers attribute of the parent media source,
226     //    then throw an INVALID_STATE_ERR exception and abort these steps.
227     // 2. If the updating attribute equals true, then throw an INVALID_STATE_ERR exception and abort these steps.
228     if (isRemoved() || m_updating) {
229         ec = INVALID_STATE_ERR;
230         return;
231     }
232
233     // 3. If the new value is less than 0 or greater than or equal to appendWindowEnd then
234     //    throw an INVALID_ACCESS_ERR exception and abort these steps.
235     if (newValue < 0 || newValue >= m_appendWindowEnd.toDouble()) {
236         ec = INVALID_ACCESS_ERR;
237         return;
238     }
239
240     // 4. Update the attribute to the new value.
241     m_appendWindowStart = MediaTime::createWithDouble(newValue);
242 }
243
244 double SourceBuffer::appendWindowEnd() const
245 {
246     return m_appendWindowEnd.toDouble();
247 };
248
249 void SourceBuffer::setAppendWindowEnd(double newValue, ExceptionCode& ec)
250 {
251     // Section 3.1 appendWindowEnd attribute setter steps.
252     // http://www.w3.org/TR/media-source/#widl-SourceBuffer-appendWindowEnd
253     // 1. If this object has been removed from the sourceBuffers attribute of the parent media source,
254     //    then throw an INVALID_STATE_ERR exception and abort these steps.
255     // 2. If the updating attribute equals true, then throw an INVALID_STATE_ERR exception and abort these steps.
256     if (isRemoved() || m_updating) {
257         ec = INVALID_STATE_ERR;
258         return;
259     }
260
261     // 3. If the new value equals NaN, then throw an INVALID_ACCESS_ERR and abort these steps.
262     // 4. If the new value is less than or equal to appendWindowStart then throw an INVALID_ACCESS_ERR exception
263     //    and abort these steps.
264     if (std::isnan(newValue) || newValue <= m_appendWindowStart.toDouble()) {
265         ec = INVALID_ACCESS_ERR;
266         return;
267     }
268
269     // 5.. Update the attribute to the new value.
270     m_appendWindowEnd = MediaTime::createWithDouble(newValue);
271 }
272
273
274 void SourceBuffer::appendBuffer(ArrayBuffer& data, ExceptionCode& ec)
275 {
276     appendBufferInternal(static_cast<unsigned char*>(data.data()), data.byteLength(), ec);
277 }
278
279 void SourceBuffer::appendBuffer(ArrayBufferView* data, ExceptionCode& ec)
280 {
281     if (!data) {
282         ec = TypeError;
283         return;
284     }
285
286     appendBufferInternal(static_cast<unsigned char*>(data->baseAddress()), data->byteLength(), ec);
287 }
288
289 void SourceBuffer::resetParserState()
290 {
291     // Section 3.5.2 Reset Parser State algorithm steps.
292     // http://www.w3.org/TR/2014/CR-media-source-20140717/#sourcebuffer-reset-parser-state
293     // 1. If the append state equals PARSING_MEDIA_SEGMENT and the input buffer contains some complete coded frames,
294     //    then run the coded frame processing algorithm until all of these complete coded frames have been processed.
295     // FIXME: If any implementation will work in pulling mode (instead of async push to SourceBufferPrivate, and forget)
296     //     this should be handled somehow either here, or in m_private->abort();
297
298     // 2. Unset the last decode timestamp on all track buffers.
299     // 3. Unset the last frame duration on all track buffers.
300     // 4. Unset the highest presentation timestamp on all track buffers.
301     // 5. Set the need random access point flag on all track buffers to true.
302     for (auto& trackBufferPair : m_trackBufferMap.values()) {
303         trackBufferPair.lastDecodeTimestamp = MediaTime::invalidTime();
304         trackBufferPair.lastFrameDuration = MediaTime::invalidTime();
305         trackBufferPair.highestPresentationTimestamp = MediaTime::invalidTime();
306         trackBufferPair.needRandomAccessFlag = true;
307     }
308     // 6. Remove all bytes from the input buffer.
309     // Note: this is handled by abortIfUpdating()
310     // 7. Set append state to WAITING_FOR_SEGMENT.
311     m_appendState = WaitingForSegment;
312
313     m_private->abort();
314 }
315
316 void SourceBuffer::abort(ExceptionCode& ec)
317 {
318     // Section 3.2 abort() method steps.
319     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#widl-SourceBuffer-abort-void
320     // 1. If this object has been removed from the sourceBuffers attribute of the parent media source
321     //    then throw an INVALID_STATE_ERR exception and abort these steps.
322     // 2. If the readyState attribute of the parent media source is not in the "open" state
323     //    then throw an INVALID_STATE_ERR exception and abort these steps.
324     if (isRemoved() || !m_source->isOpen()) {
325         ec = INVALID_STATE_ERR;
326         return;
327     }
328
329     // 3. If the sourceBuffer.updating attribute equals true, then run the following steps: ...
330     abortIfUpdating();
331
332     // 4. Run the reset parser state algorithm.
333     resetParserState();
334
335     // 5. Set appendWindowStart to the presentation start time.
336     m_appendWindowStart = MediaTime::zeroTime();
337
338     // 6. Set appendWindowEnd to positive Infinity.
339     m_appendWindowEnd = MediaTime::positiveInfiniteTime();
340 }
341
342 void SourceBuffer::remove(double start, double end, ExceptionCode& ec)
343 {
344     remove(MediaTime::createWithDouble(start), MediaTime::createWithDouble(end), ec);
345 }
346
347 void SourceBuffer::remove(const MediaTime& start, const MediaTime& end, ExceptionCode& ec)
348 {
349     LOG(MediaSource, "SourceBuffer::remove(%p) - start(%lf), end(%lf)", this, start.toDouble(), end.toDouble());
350
351     // Section 3.2 remove() method steps.
352     // 1. If duration equals NaN, then throw an InvalidAccessError exception and abort these steps.
353     // 2. If start is negative or greater than duration, then throw an InvalidAccessError exception and abort these steps.
354     // 3. If end is less than or equal to start, then throw an InvalidAccessError exception and abort these steps.
355
356     // FIXME: reorder/revisit this section once <https://www.w3.org/Bugs/Public/show_bug.cgi?id=27857> got resolved
357     // as it seems wrong to check mediaSource duration before checking isRemoved().
358     if ((m_source && m_source->duration().isInvalid())
359         || start < MediaTime::zeroTime() || (m_source && start > m_source->duration())
360         || end <= start) {
361         ec = INVALID_ACCESS_ERR;
362         return;
363     }
364
365     // 4. If this object has been removed from the sourceBuffers attribute of the parent media source then throw an
366     //    InvalidStateError exception and abort these steps.
367     // 5. If the updating attribute equals true, then throw an InvalidStateError exception and abort these steps.
368     if (isRemoved() || m_updating) {
369         ec = INVALID_STATE_ERR;
370         return;
371     }
372
373     // 6. If the readyState attribute of the parent media source is in the "ended" state then run the following steps:
374     // 6.1. Set the readyState attribute of the parent media source to "open"
375     // 6.2. Queue a task to fire a simple event named sourceopen at the parent media source .
376     m_source->openIfInEndedState();
377
378     // 7. Run the range removal algorithm with start and end as the start and end of the removal range.
379     rangeRemoval(start, end);
380 }
381
382 void SourceBuffer::rangeRemoval(const MediaTime& start, const MediaTime& end)
383 {
384     // 3.5.7 Range Removal
385     // https://rawgit.com/w3c/media-source/7bbe4aa33c61ec025bc7acbd80354110f6a000f9/media-source.html#sourcebuffer-range-removal
386     // 1. Let start equal the starting presentation timestamp for the removal range.
387     // 2. Let end equal the end presentation timestamp for the removal range.
388     // 3. Set the updating attribute to true.
389     m_updating = true;
390
391     // 4. Queue a task to fire a simple event named updatestart at this SourceBuffer object.
392     scheduleEvent(eventNames().updatestartEvent);
393
394     // 5. Return control to the caller and run the rest of the steps asynchronously.
395     m_pendingRemoveStart = start;
396     m_pendingRemoveEnd = end;
397     m_removeTimer.startOneShot(0);
398 }
399
400 void SourceBuffer::abortIfUpdating()
401 {
402     // Section 3.2 abort() method step 3 substeps.
403     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#widl-SourceBuffer-abort-void
404
405     if (!m_updating)
406         return;
407
408     // 3.1. Abort the buffer append and stream append loop algorithms if they are running.
409     m_appendBufferTimer.stop();
410     m_pendingAppendData.clear();
411
412     m_removeTimer.stop();
413     m_pendingRemoveStart = MediaTime::invalidTime();
414     m_pendingRemoveEnd = MediaTime::invalidTime();
415
416     // 3.2. Set the updating attribute to false.
417     m_updating = false;
418
419     // 3.3. Queue a task to fire a simple event named abort at this SourceBuffer object.
420     scheduleEvent(eventNames().abortEvent);
421
422     // 3.4. Queue a task to fire a simple event named updateend at this SourceBuffer object.
423     scheduleEvent(eventNames().updateendEvent);
424 }
425
426 void SourceBuffer::removedFromMediaSource()
427 {
428     if (isRemoved())
429         return;
430
431     abortIfUpdating();
432
433     for (auto& trackBufferPair : m_trackBufferMap.values()) {
434         trackBufferPair.samples.clear();
435         trackBufferPair.decodeQueue.clear();
436     }
437
438     m_private->removedFromMediaSource();
439     m_source = nullptr;
440 }
441
442 void SourceBuffer::seekToTime(const MediaTime& time)
443 {
444     LOG(MediaSource, "SourceBuffer::seekToTime(%p) - time(%s)", this, toString(time).utf8().data());
445
446     for (auto& trackBufferPair : m_trackBufferMap) {
447         TrackBuffer& trackBuffer = trackBufferPair.value;
448         const AtomicString& trackID = trackBufferPair.key;
449
450         trackBuffer.needsReenqueueing = true;
451         reenqueueMediaForTime(trackBuffer, trackID, time);
452     }
453 }
454
455 MediaTime SourceBuffer::sourceBufferPrivateFastSeekTimeForMediaTime(SourceBufferPrivate*, const MediaTime& targetTime, const MediaTime& negativeThreshold, const MediaTime& positiveThreshold)
456 {
457     MediaTime seekTime = targetTime;
458     MediaTime lowerBoundTime = targetTime - negativeThreshold;
459     MediaTime upperBoundTime = targetTime + positiveThreshold;
460
461     for (auto& trackBuffer : m_trackBufferMap.values()) {
462         // Find the sample which contains the target time time.
463         auto futureSyncSampleIterator = trackBuffer.samples.decodeOrder().findSyncSampleAfterPresentationTime(targetTime, positiveThreshold);
464         auto pastSyncSampleIterator = trackBuffer.samples.decodeOrder().findSyncSamplePriorToPresentationTime(targetTime, negativeThreshold);
465         auto upperBound = trackBuffer.samples.decodeOrder().end();
466         auto lowerBound = trackBuffer.samples.decodeOrder().rend();
467
468         if (futureSyncSampleIterator == upperBound && pastSyncSampleIterator == lowerBound)
469             continue;
470
471         MediaTime futureSeekTime = MediaTime::positiveInfiniteTime();
472         if (futureSyncSampleIterator != upperBound) {
473             RefPtr<MediaSample>& sample = futureSyncSampleIterator->second;
474             futureSeekTime = sample->presentationTime();
475         }
476
477         MediaTime pastSeekTime = MediaTime::negativeInfiniteTime();
478         if (pastSyncSampleIterator != lowerBound) {
479             RefPtr<MediaSample>& sample = pastSyncSampleIterator->second;
480             pastSeekTime = sample->presentationTime();
481         }
482
483         MediaTime trackSeekTime = abs(targetTime - futureSeekTime) < abs(targetTime - pastSeekTime) ? futureSeekTime : pastSeekTime;
484         if (abs(targetTime - trackSeekTime) > abs(targetTime - seekTime))
485             seekTime = trackSeekTime;
486     }
487
488     return seekTime;
489 }
490
491 bool SourceBuffer::hasPendingActivity() const
492 {
493     return m_source || m_asyncEventQueue.hasPendingEvents();
494 }
495
496 void SourceBuffer::stop()
497 {
498     m_appendBufferTimer.stop();
499     m_removeTimer.stop();
500 }
501
502 bool SourceBuffer::canSuspendForDocumentSuspension() const
503 {
504     return !hasPendingActivity();
505 }
506
507 const char* SourceBuffer::activeDOMObjectName() const
508 {
509     return "SourceBuffer";
510 }
511
512 bool SourceBuffer::isRemoved() const
513 {
514     return !m_source;
515 }
516
517 void SourceBuffer::scheduleEvent(const AtomicString& eventName)
518 {
519     RefPtr<Event> event = Event::create(eventName, false, false);
520     event->setTarget(this);
521
522     m_asyncEventQueue.enqueueEvent(event.release());
523 }
524
525 void SourceBuffer::appendBufferInternal(unsigned char* data, unsigned size, ExceptionCode& ec)
526 {
527     // Section 3.2 appendBuffer()
528     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#widl-SourceBuffer-appendBuffer-void-ArrayBufferView-data
529
530     // Step 1 is enforced by the caller.
531     // 2. Run the prepare append algorithm.
532     // Section 3.5.4 Prepare AppendAlgorithm
533
534     // 1. If the SourceBuffer has been removed from the sourceBuffers attribute of the parent media source
535     // then throw an INVALID_STATE_ERR exception and abort these steps.
536     // 2. If the updating attribute equals true, then throw an INVALID_STATE_ERR exception and abort these steps.
537     if (isRemoved() || m_updating) {
538         ec = INVALID_STATE_ERR;
539         return;
540     }
541
542     // 3. If the readyState attribute of the parent media source is in the "ended" state then run the following steps:
543     // 3.1. Set the readyState attribute of the parent media source to "open"
544     // 3.2. Queue a task to fire a simple event named sourceopen at the parent media source .
545     m_source->openIfInEndedState();
546
547     // 4. Run the coded frame eviction algorithm.
548     evictCodedFrames(size);
549
550     // FIXME: enable this code when MSE libraries have been updated to support it.
551 #if 0
552     // 5. If the buffer full flag equals true, then throw a QUOTA_EXCEEDED_ERR exception and abort these step.
553     if (m_bufferFull) {
554         LOG(MediaSource, "SourceBuffer::appendBufferInternal(%p) -  buffer full, failing with QUOTA_EXCEEDED_ERR error", this);
555         ec = QUOTA_EXCEEDED_ERR;
556         return;
557     }
558 #endif
559
560     // NOTE: Return to 3.2 appendBuffer()
561     // 3. Add data to the end of the input buffer.
562     m_pendingAppendData.append(data, size);
563
564     // 4. Set the updating attribute to true.
565     m_updating = true;
566
567     // 5. Queue a task to fire a simple event named updatestart at this SourceBuffer object.
568     scheduleEvent(eventNames().updatestartEvent);
569
570     // 6. Asynchronously run the buffer append algorithm.
571     m_appendBufferTimer.startOneShot(0);
572
573     reportExtraMemoryAllocated();
574 }
575
576 void SourceBuffer::appendBufferTimerFired()
577 {
578     if (isRemoved())
579         return;
580
581     ASSERT(m_updating);
582
583     // Section 3.5.5 Buffer Append Algorithm
584     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#sourcebuffer-buffer-append
585
586     // 1. Run the segment parser loop algorithm.
587     size_t appendSize = m_pendingAppendData.size();
588     if (!appendSize) {
589         // Resize buffer for 0 byte appends so we always have a valid pointer.
590         // We need to convey all appends, even 0 byte ones to |m_private| so
591         // that it can clear its end of stream state if necessary.
592         m_pendingAppendData.resize(1);
593     }
594
595     // Section 3.5.1 Segment Parser Loop
596     // https://dvcs.w3.org/hg/html-media/raw-file/tip/media-source/media-source.html#sourcebuffer-segment-parser-loop
597     // When the segment parser loop algorithm is invoked, run the following steps:
598
599     // 1. Loop Top: If the input buffer is empty, then jump to the need more data step below.
600     if (!m_pendingAppendData.size()) {
601         sourceBufferPrivateAppendComplete(&m_private.get(), AppendSucceeded);
602         return;
603     }
604
605     m_private->append(m_pendingAppendData.data(), appendSize);
606     m_pendingAppendData.clear();
607 }
608
609 void SourceBuffer::sourceBufferPrivateAppendComplete(SourceBufferPrivate*, AppendResult result)
610 {
611     if (isRemoved())
612         return;
613
614     // Section 3.5.5 Buffer Append Algorithm, ctd.
615     // https://dvcs.w3.org/hg/html-media/raw-file/default/media-source/media-source.html#sourcebuffer-buffer-append
616
617     // 2. If the input buffer contains bytes that violate the SourceBuffer byte stream format specification,
618     // then run the append error algorithm with the decode error parameter set to true and abort this algorithm.
619     if (result == ParsingFailed) {
620         LOG(MediaSource, "SourceBuffer::sourceBufferPrivateAppendComplete(%p) - result = ParsingFailed", this);
621         appendError(true);
622         return;
623     }
624
625     // NOTE: Steps 3 - 6 enforced by sourceBufferPrivateDidReceiveInitializationSegment() and
626     // sourceBufferPrivateDidReceiveSample below.
627
628     // 7. Need more data: Return control to the calling algorithm.
629
630     // NOTE: return to Section 3.5.5
631     // 2.If the segment parser loop algorithm in the previous step was aborted, then abort this algorithm.
632     if (result != AppendSucceeded)
633         return;
634
635     // 3. Set the updating attribute to false.
636     m_updating = false;
637
638     // 4. Queue a task to fire a simple event named update at this SourceBuffer object.
639     scheduleEvent(eventNames().updateEvent);
640
641     // 5. Queue a task to fire a simple event named updateend at this SourceBuffer object.
642     scheduleEvent(eventNames().updateendEvent);
643
644     if (m_source)
645         m_source->monitorSourceBuffers();
646
647     MediaTime currentMediaTime = m_source->currentTime();
648     for (auto& trackBufferPair : m_trackBufferMap) {
649         TrackBuffer& trackBuffer = trackBufferPair.value;
650         const AtomicString& trackID = trackBufferPair.key;
651
652         if (trackBuffer.needsReenqueueing) {
653             LOG(MediaSource, "SourceBuffer::sourceBufferPrivateAppendComplete(%p) - reenqueuing at time (%s)", this, toString(currentMediaTime).utf8().data());
654             reenqueueMediaForTime(trackBuffer, trackID, currentMediaTime);
655         } else
656             provideMediaData(trackBuffer, trackID);
657     }
658
659     reportExtraMemoryAllocated();
660     if (extraMemoryCost() > this->maximumBufferSize())
661         m_bufferFull = true;
662
663     LOG(Media, "SourceBuffer::sourceBufferPrivateAppendComplete(%p) - buffered = %s", this, toString(m_buffered->ranges()).utf8().data());
664 }
665
666 void SourceBuffer::sourceBufferPrivateDidReceiveRenderingError(SourceBufferPrivate*, int error)
667 {
668 #if LOG_DISABLED
669     UNUSED_PARAM(error);
670 #endif
671
672     LOG(MediaSource, "SourceBuffer::sourceBufferPrivateDidReceiveRenderingError(%p) - result = %i", this, error);
673
674     if (!isRemoved())
675         m_source->streamEndedWithError(decodeError(), IgnorableExceptionCode());
676 }
677
678 static bool decodeTimeComparator(const PresentationOrderSampleMap::MapType::value_type& a, const PresentationOrderSampleMap::MapType::value_type& b)
679 {
680     return a.second->decodeTime() < b.second->decodeTime();
681 }
682
683 static PassRefPtr<TimeRanges> removeSamplesFromTrackBuffer(const DecodeOrderSampleMap::MapType& samples, SourceBuffer::TrackBuffer& trackBuffer, const SourceBuffer* buffer, const char* logPrefix)
684 {
685 #if !LOG_DISABLED
686     double earliestSample = std::numeric_limits<double>::infinity();
687     double latestSample = 0;
688     size_t bytesRemoved = 0;
689 #else
690     UNUSED_PARAM(logPrefix);
691     UNUSED_PARAM(buffer);
692 #endif
693
694     RefPtr<TimeRanges> erasedRanges = TimeRanges::create();
695     MediaTime microsecond(1, 1000000);
696     for (auto sampleIt : samples) {
697         const DecodeOrderSampleMap::KeyType& decodeKey = sampleIt.first;
698 #if !LOG_DISABLED
699         size_t startBufferSize = trackBuffer.samples.sizeInBytes();
700 #endif
701
702         RefPtr<MediaSample>& sample = sampleIt.second;
703         LOG(MediaSource, "SourceBuffer::%s(%p) - removing sample(%s)", logPrefix, buffer, toString(*sampleIt.second).utf8().data());
704
705         // Remove the erased samples from the TrackBuffer sample map.
706         trackBuffer.samples.removeSample(sample.get());
707
708         // Also remove the erased samples from the TrackBuffer decodeQueue.
709         trackBuffer.decodeQueue.erase(decodeKey);
710
711         double startTime = sample->presentationTime().toDouble();
712         double endTime = startTime + (sample->duration() + microsecond).toDouble();
713         erasedRanges->add(startTime, endTime);
714
715 #if !LOG_DISABLED
716         bytesRemoved += startBufferSize - trackBuffer.samples.sizeInBytes();
717         if (startTime < earliestSample)
718             earliestSample = startTime;
719         if (endTime > latestSample)
720             latestSample = endTime;
721 #endif
722     }
723
724 #if !LOG_DISABLED
725     if (bytesRemoved)
726         LOG(MediaSource, "SourceBuffer::%s(%p) removed %zu bytes, start(%lf), end(%lf)", logPrefix, buffer, bytesRemoved, earliestSample, latestSample);
727 #endif
728
729     return erasedRanges.release();
730 }
731
732 void SourceBuffer::removeCodedFrames(const MediaTime& start, const MediaTime& end)
733 {
734     LOG(MediaSource, "SourceBuffer::removeCodedFrames(%p) - start(%s), end(%s)", this, toString(start).utf8().data(), toString(end).utf8().data());
735
736     // 3.5.9 Coded Frame Removal Algorithm
737     // https://dvcs.w3.org/hg/html-media/raw-file/tip/media-source/media-source.html#sourcebuffer-coded-frame-removal
738
739     // 1. Let start be the starting presentation timestamp for the removal range.
740     MediaTime durationMediaTime = m_source->duration();
741     MediaTime currentMediaTime = m_source->currentTime();
742
743     // 2. Let end be the end presentation timestamp for the removal range.
744     // 3. For each track buffer in this source buffer, run the following steps:
745     for (auto& iter : m_trackBufferMap) {
746         TrackBuffer& trackBuffer = iter.value;
747
748         // 3.1. Let remove end timestamp be the current value of duration
749         // 3.2 If this track buffer has a random access point timestamp that is greater than or equal to end, then update
750         // remove end timestamp to that random access point timestamp.
751         // NOTE: findSyncSampleAfterPresentationTime will return the next sync sample on or after the presentation time
752         // or decodeOrder().end() if no sync sample exists after that presentation time.
753         DecodeOrderSampleMap::iterator removeDecodeEnd = trackBuffer.samples.decodeOrder().findSyncSampleAfterPresentationTime(end);
754         PresentationOrderSampleMap::iterator removePresentationEnd;
755         if (removeDecodeEnd == trackBuffer.samples.decodeOrder().end())
756             removePresentationEnd = trackBuffer.samples.presentationOrder().end();
757         else
758             removePresentationEnd = trackBuffer.samples.presentationOrder().findSampleWithPresentationTime(removeDecodeEnd->second->presentationTime());
759
760         PresentationOrderSampleMap::iterator removePresentationStart = trackBuffer.samples.presentationOrder().findSampleOnOrAfterPresentationTime(start);
761         if (removePresentationStart == removePresentationEnd)
762             continue;
763
764         // 3.3 Remove all media data, from this track buffer, that contain starting timestamps greater than or equal to
765         // start and less than the remove end timestamp.
766         // NOTE: frames must be removed in decode order, so that all dependant frames between the frame to be removed
767         // and the next sync sample frame are removed. But we must start from the first sample in decode order, not
768         // presentation order.
769         PresentationOrderSampleMap::iterator minDecodeTimeIter = std::min_element(removePresentationStart, removePresentationEnd, decodeTimeComparator);
770         DecodeOrderSampleMap::KeyType decodeKey(minDecodeTimeIter->second->decodeTime(), minDecodeTimeIter->second->presentationTime());
771         DecodeOrderSampleMap::iterator removeDecodeStart = trackBuffer.samples.decodeOrder().findSampleWithDecodeKey(decodeKey);
772
773         DecodeOrderSampleMap::MapType erasedSamples(removeDecodeStart, removeDecodeEnd);
774         RefPtr<TimeRanges> erasedRanges = removeSamplesFromTrackBuffer(erasedSamples, trackBuffer, this, "removeCodedFrames");
775
776         // Only force the TrackBuffer to re-enqueue if the removed ranges overlap with enqueued and possibly
777         // not yet displayed samples.
778         if (currentMediaTime < trackBuffer.lastEnqueuedPresentationTime) {
779             PlatformTimeRanges possiblyEnqueuedRanges(currentMediaTime, trackBuffer.lastEnqueuedPresentationTime);
780             possiblyEnqueuedRanges.intersectWith(erasedRanges->ranges());
781             if (possiblyEnqueuedRanges.length())
782                 trackBuffer.needsReenqueueing = true;
783         }
784
785         erasedRanges->invert();
786         m_buffered->intersectWith(*erasedRanges);
787         setBufferedDirty(true);
788
789         // 3.4 If this object is in activeSourceBuffers, the current playback position is greater than or equal to start
790         // and less than the remove end timestamp, and HTMLMediaElement.readyState is greater than HAVE_METADATA, then set
791         // the HTMLMediaElement.readyState attribute to HAVE_METADATA and stall playback.
792         if (m_active && currentMediaTime >= start && currentMediaTime < end && m_private->readyState() > MediaPlayer::HaveMetadata)
793             m_private->setReadyState(MediaPlayer::HaveMetadata);
794     }
795
796     // 4. If buffer full flag equals true and this object is ready to accept more bytes, then set the buffer full flag to false.
797     // No-op
798
799     LOG(Media, "SourceBuffer::removeCodedFrames(%p) - buffered = %s", this, toString(m_buffered->ranges()).utf8().data());
800 }
801
802 void SourceBuffer::removeTimerFired()
803 {
804     ASSERT(m_updating);
805     ASSERT(m_pendingRemoveStart.isValid());
806     ASSERT(m_pendingRemoveStart < m_pendingRemoveEnd);
807
808     // Section 3.5.7 Range Removal
809     // http://w3c.github.io/media-source/#sourcebuffer-range-removal
810
811     // 6. Run the coded frame removal algorithm with start and end as the start and end of the removal range.
812     removeCodedFrames(m_pendingRemoveStart, m_pendingRemoveEnd);
813
814     // 7. Set the updating attribute to false.
815     m_updating = false;
816     m_pendingRemoveStart = MediaTime::invalidTime();
817     m_pendingRemoveEnd = MediaTime::invalidTime();
818
819     // 8. Queue a task to fire a simple event named update at this SourceBuffer object.
820     scheduleEvent(eventNames().updateEvent);
821
822     // 9. Queue a task to fire a simple event named updateend at this SourceBuffer object.
823     scheduleEvent(eventNames().updateendEvent);
824 }
825
826 void SourceBuffer::evictCodedFrames(size_t newDataSize)
827 {
828     // 3.5.13 Coded Frame Eviction Algorithm
829     // http://www.w3.org/TR/media-source/#sourcebuffer-coded-frame-eviction
830
831     if (isRemoved())
832         return;
833
834     // This algorithm is run to free up space in this source buffer when new data is appended.
835     // 1. Let new data equal the data that is about to be appended to this SourceBuffer.
836     // 2. If the buffer full flag equals false, then abort these steps.
837     if (!m_bufferFull)
838         return;
839
840     size_t maximumBufferSize = this->maximumBufferSize();
841
842     // 3. Let removal ranges equal a list of presentation time ranges that can be evicted from
843     // the presentation to make room for the new data.
844
845     // NOTE: begin by removing data from the beginning of the buffered ranges, 30 seconds at
846     // a time, up to 30 seconds before currentTime.
847     MediaTime thirtySeconds = MediaTime(30, 1);
848     MediaTime currentTime = m_source->currentTime();
849     MediaTime maximumRangeEnd = currentTime - thirtySeconds;
850
851 #if !LOG_DISABLED
852     LOG(MediaSource, "SourceBuffer::evictCodedFrames(%p) - currentTime = %lf, require %zu bytes, maximum buffer size is %zu", this, m_source->currentTime().toDouble(), extraMemoryCost() + newDataSize, maximumBufferSize);
853     size_t initialBufferedSize = extraMemoryCost();
854 #endif
855
856     MediaTime rangeStart = MediaTime::zeroTime();
857     MediaTime rangeEnd = rangeStart + thirtySeconds;
858     while (rangeStart < maximumRangeEnd) {
859         // 4. For each range in removal ranges, run the coded frame removal algorithm with start and
860         // end equal to the removal range start and end timestamp respectively.
861         removeCodedFrames(rangeStart, std::min(rangeEnd, maximumRangeEnd));
862         if (extraMemoryCost() + newDataSize < maximumBufferSize) {
863             m_bufferFull = false;
864             break;
865         }
866
867         rangeStart += thirtySeconds;
868         rangeEnd += thirtySeconds;
869     }
870
871     if (!m_bufferFull) {
872         LOG(MediaSource, "SourceBuffer::evictCodedFrames(%p) - evicted %zu bytes", this, initialBufferedSize - extraMemoryCost());
873         return;
874     }
875
876     // If there still isn't enough free space and there buffers in time ranges after the current range (ie. there is a gap after
877     // the current buffered range), delete 30 seconds at a time from duration back to the current time range or 30 seconds after
878     // currenTime whichever we hit first.
879     auto buffered = m_buffered->ranges();
880     size_t currentTimeRange = buffered.find(currentTime);
881     if (currentTimeRange == notFound || currentTimeRange == buffered.length() - 1) {
882         LOG(MediaSource, "SourceBuffer::evictCodedFrames(%p) - evicted %zu bytes but FAILED to free enough", this, initialBufferedSize - extraMemoryCost());
883         return;
884     }
885
886     MediaTime minimumRangeStart = currentTime + thirtySeconds;
887
888     rangeEnd = m_source->duration();
889     rangeStart = rangeEnd - thirtySeconds;
890     while (rangeStart > minimumRangeStart) {
891
892         // Do not evict data from the time range that contains currentTime.
893         size_t startTimeRange = buffered.find(rangeStart);
894         if (startTimeRange == currentTimeRange) {
895             size_t endTimeRange = buffered.find(rangeEnd);
896             if (endTimeRange == currentTimeRange)
897                 break;
898
899             rangeEnd = buffered.start(endTimeRange);
900         }
901
902         // 4. For each range in removal ranges, run the coded frame removal algorithm with start and
903         // end equal to the removal range start and end timestamp respectively.
904         removeCodedFrames(std::max(minimumRangeStart, rangeStart), rangeEnd);
905         if (extraMemoryCost() + newDataSize < maximumBufferSize) {
906             m_bufferFull = false;
907             break;
908         }
909
910         rangeStart -= thirtySeconds;
911         rangeEnd -= thirtySeconds;
912     }
913
914     LOG(MediaSource, "SourceBuffer::evictCodedFrames(%p) - evicted %zu bytes%s", this, initialBufferedSize - extraMemoryCost(), m_bufferFull ? "" : " but FAILED to free enough");
915 }
916
917 size_t SourceBuffer::maximumBufferSize() const
918 {
919     if (isRemoved())
920         return 0;
921
922     HTMLMediaElement* element = m_source->mediaElement();
923     if (!element)
924         return 0;
925
926     return element->maximumSourceBufferSize(*this);
927 }
928
929 const AtomicString& SourceBuffer::decodeError()
930 {
931     static NeverDestroyed<AtomicString> decode("decode", AtomicString::ConstructFromLiteral);
932     return decode;
933 }
934
935 const AtomicString& SourceBuffer::networkError()
936 {
937     static NeverDestroyed<AtomicString> network("network", AtomicString::ConstructFromLiteral);
938     return network;
939 }
940
941 VideoTrackList* SourceBuffer::videoTracks()
942 {
943     if (!m_source || !m_source->mediaElement())
944         return nullptr;
945
946     if (!m_videoTracks)
947         m_videoTracks = VideoTrackList::create(m_source->mediaElement(), ActiveDOMObject::scriptExecutionContext());
948
949     return m_videoTracks.get();
950 }
951
952 AudioTrackList* SourceBuffer::audioTracks()
953 {
954     if (!m_source || !m_source->mediaElement())
955         return nullptr;
956
957     if (!m_audioTracks)
958         m_audioTracks = AudioTrackList::create(m_source->mediaElement(), ActiveDOMObject::scriptExecutionContext());
959
960     return m_audioTracks.get();
961 }
962
963 TextTrackList* SourceBuffer::textTracks()
964 {
965     if (!m_source || !m_source->mediaElement())
966         return nullptr;
967
968     if (!m_textTracks)
969         m_textTracks = TextTrackList::create(m_source->mediaElement(), ActiveDOMObject::scriptExecutionContext());
970
971     return m_textTracks.get();
972 }
973
974 void SourceBuffer::setActive(bool active)
975 {
976     if (m_active == active)
977         return;
978
979     m_active = active;
980     m_private->setActive(active);
981     if (!isRemoved())
982         m_source->sourceBufferDidChangeAcitveState(this, active);
983 }
984
985 void SourceBuffer::sourceBufferPrivateDidEndStream(SourceBufferPrivate*, const WTF::AtomicString& error)
986 {
987     LOG(MediaSource, "SourceBuffer::sourceBufferPrivateDidEndStream(%p) - result = %s", this, String(error).utf8().data());
988
989     if (!isRemoved())
990         m_source->streamEndedWithError(error, IgnorableExceptionCode());
991 }
992
993 void SourceBuffer::sourceBufferPrivateDidReceiveInitializationSegment(SourceBufferPrivate*, const InitializationSegment& segment)
994 {
995     if (isRemoved())
996         return;
997
998     LOG(MediaSource, "SourceBuffer::sourceBufferPrivateDidReceiveInitializationSegment(%p)", this);
999
1000     // 3.5.8 Initialization Segment Received (ctd)
1001     // https://rawgit.com/w3c/media-source/c3ad59c7a370d04430969ba73d18dc9bcde57a33/index.html#sourcebuffer-init-segment-received [Editor's Draft 09 January 2015]
1002
1003     // 1. Update the duration attribute if it currently equals NaN:
1004     if (m_source->duration().isInvalid()) {
1005         // ↳ If the initialization segment contains a duration:
1006         //   Run the duration change algorithm with new duration set to the duration in the initialization segment.
1007         // ↳ Otherwise:
1008         //   Run the duration change algorithm with new duration set to positive Infinity.
1009         MediaTime newDuration = segment.duration.isValid() ? segment.duration : MediaTime::positiveInfiniteTime();
1010         m_source->setDurationInternal(newDuration);
1011     }
1012
1013     // 2. If the initialization segment has no audio, video, or text tracks, then run the append error algorithm
1014     // with the decode error parameter set to true and abort these steps.
1015     if (segment.audioTracks.isEmpty() && segment.videoTracks.isEmpty() && segment.textTracks.isEmpty()) {
1016         appendError(true);
1017         return;
1018     }
1019
1020     // 3. If the first initialization segment flag is true, then run the following steps:
1021     if (m_receivedFirstInitializationSegment) {
1022
1023         // 3.1. Verify the following properties. If any of the checks fail then run the append error algorithm
1024         // with the decode error parameter set to true and abort these steps.
1025         if (!validateInitializationSegment(segment)) {
1026             appendError(true);
1027             return;
1028         }
1029         // 3.2 Add the appropriate track descriptions from this initialization segment to each of the track buffers.
1030         ASSERT(segment.audioTracks.size() == audioTracks()->length());
1031         for (auto& audioTrackInfo : segment.audioTracks) {
1032             if (audioTracks()->length() == 1) {
1033                 audioTracks()->item(0)->setPrivate(audioTrackInfo.track);
1034                 break;
1035             }
1036
1037             auto audioTrack = audioTracks()->getTrackById(audioTrackInfo.track->id());
1038             ASSERT(audioTrack);
1039             audioTrack->setPrivate(audioTrackInfo.track);
1040         }
1041
1042         ASSERT(segment.videoTracks.size() == videoTracks()->length());
1043         for (auto& videoTrackInfo : segment.videoTracks) {
1044             if (videoTracks()->length() == 1) {
1045                 videoTracks()->item(0)->setPrivate(videoTrackInfo.track);
1046                 break;
1047             }
1048
1049             auto videoTrack = videoTracks()->getTrackById(videoTrackInfo.track->id());
1050             ASSERT(videoTrack);
1051             videoTrack->setPrivate(videoTrackInfo.track);
1052         }
1053
1054         ASSERT(segment.textTracks.size() == textTracks()->length());
1055         for (auto& textTrackInfo : segment.textTracks) {
1056             if (textTracks()->length() == 1) {
1057                 downcast<InbandTextTrack>(*textTracks()->item(0)).setPrivate(textTrackInfo.track);
1058                 break;
1059             }
1060
1061             auto textTrack = textTracks()->getTrackById(textTrackInfo.track->id());
1062             ASSERT(textTrack);
1063             downcast<InbandTextTrack>(*textTrack).setPrivate(textTrackInfo.track);
1064         }
1065
1066         // 3.3 Set the need random access point flag on all track buffers to true.
1067         for (auto& trackBuffer : m_trackBufferMap.values())
1068             trackBuffer.needRandomAccessFlag = true;
1069     }
1070
1071     // 4. Let active track flag equal false.
1072     bool activeTrackFlag = false;
1073
1074     // 5. If the first initialization segment flag is false, then run the following steps:
1075     if (!m_receivedFirstInitializationSegment) {
1076         // 5.1 If the initialization segment contains tracks with codecs the user agent does not support,
1077         // then run the append error algorithm with the decode error parameter set to true and abort these steps.
1078         // NOTE: This check is the responsibility of the SourceBufferPrivate.
1079
1080         // 5.2 For each audio track in the initialization segment, run following steps:
1081         for (auto& audioTrackInfo : segment.audioTracks) {
1082             AudioTrackPrivate* audioTrackPrivate = audioTrackInfo.track.get();
1083
1084             // FIXME: Implement steps 5.2.1-5.2.8.1 as per Editor's Draft 09 January 2015, and reorder this
1085             // 5.2.1 Let new audio track be a new AudioTrack object.
1086             // 5.2.2 Generate a unique ID and assign it to the id property on new video track.
1087             RefPtr<AudioTrack> newAudioTrack = AudioTrack::create(this, audioTrackPrivate);
1088             newAudioTrack->setSourceBuffer(this);
1089
1090             // 5.2.3 If audioTracks.length equals 0, then run the following steps:
1091             if (!audioTracks()->length()) {
1092                 // 5.2.3.1 Set the enabled property on new audio track to true.
1093                 newAudioTrack->setEnabled(true);
1094
1095                 // 5.2.3.2 Set active track flag to true.
1096                 activeTrackFlag = true;
1097             }
1098
1099             // 5.2.4 Add new audio track to the audioTracks attribute on this SourceBuffer object.
1100             // 5.2.5 Queue a task to fire a trusted event named addtrack, that does not bubble and is
1101             // not cancelable, and that uses the TrackEvent interface, at the AudioTrackList object
1102             // referenced by the audioTracks attribute on this SourceBuffer object.
1103             audioTracks()->append(newAudioTrack);
1104
1105             // 5.2.6 Add new audio track to the audioTracks attribute on the HTMLMediaElement.
1106             // 5.2.7 Queue a task to fire a trusted event named addtrack, that does not bubble and is
1107             // not cancelable, and that uses the TrackEvent interface, at the AudioTrackList object
1108             // referenced by the audioTracks attribute on the HTMLMediaElement.
1109             m_source->mediaElement()->audioTracks()->append(newAudioTrack);
1110
1111             // 5.2.8 Create a new track buffer to store coded frames for this track.
1112             ASSERT(!m_trackBufferMap.contains(newAudioTrack->id()));
1113             TrackBuffer& trackBuffer = m_trackBufferMap.add(newAudioTrack->id(), TrackBuffer()).iterator->value;
1114
1115             // 5.2.9 Add the track description for this track to the track buffer.
1116             trackBuffer.description = audioTrackInfo.description;
1117
1118             m_audioCodecs.append(trackBuffer.description->codec());
1119         }
1120
1121         // 5.3 For each video track in the initialization segment, run following steps:
1122         for (auto& videoTrackInfo : segment.videoTracks) {
1123             VideoTrackPrivate* videoTrackPrivate = videoTrackInfo.track.get();
1124
1125             // FIXME: Implement steps 5.3.1-5.3.8.1 as per Editor's Draft 09 January 2015, and reorder this
1126             // 5.3.1 Let new video track be a new VideoTrack object.
1127             // 5.3.2 Generate a unique ID and assign it to the id property on new video track.
1128             RefPtr<VideoTrack> newVideoTrack = VideoTrack::create(this, videoTrackPrivate);
1129             newVideoTrack->setSourceBuffer(this);
1130
1131             // 5.3.3 If videoTracks.length equals 0, then run the following steps:
1132             if (!videoTracks()->length()) {
1133                 // 5.3.3.1 Set the selected property on new video track to true.
1134                 newVideoTrack->setSelected(true);
1135
1136                 // 5.3.3.2 Set active track flag to true.
1137                 activeTrackFlag = true;
1138             }
1139
1140             // 5.3.4 Add new video track to the videoTracks attribute on this SourceBuffer object.
1141             // 5.3.5 Queue a task to fire a trusted event named addtrack, that does not bubble and is
1142             // not cancelable, and that uses the TrackEvent interface, at the VideoTrackList object
1143             // referenced by the videoTracks attribute on this SourceBuffer object.
1144             videoTracks()->append(newVideoTrack);
1145
1146             // 5.3.6 Add new video track to the videoTracks attribute on the HTMLMediaElement.
1147             // 5.3.7 Queue a task to fire a trusted event named addtrack, that does not bubble and is
1148             // not cancelable, and that uses the TrackEvent interface, at the VideoTrackList object
1149             // referenced by the videoTracks attribute on the HTMLMediaElement.
1150             m_source->mediaElement()->videoTracks()->append(newVideoTrack);
1151
1152             // 5.3.8 Create a new track buffer to store coded frames for this track.
1153             ASSERT(!m_trackBufferMap.contains(newVideoTrack->id()));
1154             TrackBuffer& trackBuffer = m_trackBufferMap.add(newVideoTrack->id(), TrackBuffer()).iterator->value;
1155
1156             // 5.3.9 Add the track description for this track to the track buffer.
1157             trackBuffer.description = videoTrackInfo.description;
1158
1159             m_videoCodecs.append(trackBuffer.description->codec());
1160         }
1161
1162         // 5.4 For each text track in the initialization segment, run following steps:
1163         for (auto& textTrackInfo : segment.textTracks) {
1164             InbandTextTrackPrivate* textTrackPrivate = textTrackInfo.track.get();
1165
1166             // FIXME: Implement steps 5.4.1-5.4.8.1 as per Editor's Draft 09 January 2015, and reorder this
1167             // 5.4.1 Let new text track be a new TextTrack object with its properties populated with the
1168             // appropriate information from the initialization segment.
1169             RefPtr<InbandTextTrack> newTextTrack = InbandTextTrack::create(scriptExecutionContext(), this, textTrackPrivate);
1170
1171             // 5.4.2 If the mode property on new text track equals "showing" or "hidden", then set active
1172             // track flag to true.
1173             if (textTrackPrivate->mode() != InbandTextTrackPrivate::Disabled)
1174                 activeTrackFlag = true;
1175
1176             // 5.4.3 Add new text track to the textTracks attribute on this SourceBuffer object.
1177             // 5.4.4 Queue a task to fire a trusted event named addtrack, that does not bubble and is
1178             // not cancelable, and that uses the TrackEvent interface, at textTracks attribute on this
1179             // SourceBuffer object.
1180             textTracks()->append(newTextTrack);
1181
1182             // 5.4.5 Add new text track to the textTracks attribute on the HTMLMediaElement.
1183             // 5.4.6 Queue a task to fire a trusted event named addtrack, that does not bubble and is
1184             // not cancelable, and that uses the TrackEvent interface, at the TextTrackList object
1185             // referenced by the textTracks attribute on the HTMLMediaElement.
1186             m_source->mediaElement()->textTracks()->append(newTextTrack);
1187
1188             // 5.4.7 Create a new track buffer to store coded frames for this track.
1189             ASSERT(!m_trackBufferMap.contains(textTrackPrivate->id()));
1190             TrackBuffer& trackBuffer = m_trackBufferMap.add(textTrackPrivate->id(), TrackBuffer()).iterator->value;
1191
1192             // 5.4.8 Add the track description for this track to the track buffer.
1193             trackBuffer.description = textTrackInfo.description;
1194
1195             m_textCodecs.append(trackBuffer.description->codec());
1196         }
1197
1198         // 5.5 If active track flag equals true, then run the following steps:
1199         if (activeTrackFlag) {
1200             // 5.5.1 Add this SourceBuffer to activeSourceBuffers.
1201             // 5.5.2 Queue a task to fire a simple event named addsourcebuffer at activeSourceBuffers
1202             setActive(true);
1203         }
1204
1205         // 5.6 Set first initialization segment flag to true.
1206         m_receivedFirstInitializationSegment = true;
1207     }
1208
1209     // 6. If the HTMLMediaElement.readyState attribute is HAVE_NOTHING, then run the following steps:
1210     if (m_private->readyState() == MediaPlayer::HaveNothing) {
1211         // 6.1 If one or more objects in sourceBuffers have first initialization segment flag set to false, then abort these steps.
1212         for (auto& sourceBuffer : *m_source->sourceBuffers()) {
1213             if (!sourceBuffer->m_receivedFirstInitializationSegment)
1214                 return;
1215         }
1216
1217         // 6.2 Set the HTMLMediaElement.readyState attribute to HAVE_METADATA.
1218         // 6.3 Queue a task to fire a simple event named loadedmetadata at the media element.
1219         m_private->setReadyState(MediaPlayer::HaveMetadata);
1220     }
1221
1222     // 7. If the active track flag equals true and the HTMLMediaElement.readyState
1223     // attribute is greater than HAVE_CURRENT_DATA, then set the HTMLMediaElement.readyState
1224     // attribute to HAVE_METADATA.
1225     if (activeTrackFlag && m_private->readyState() > MediaPlayer::HaveCurrentData)
1226         m_private->setReadyState(MediaPlayer::HaveMetadata);
1227 }
1228
1229 bool SourceBuffer::validateInitializationSegment(const InitializationSegment& segment)
1230 {
1231     // FIXME: ordering of all 3.5.X (X>=7) functions needs to be updated to post-[24 July 2014 Editor's Draft] version
1232     // 3.5.8 Initialization Segment Received (ctd)
1233     // https://rawgit.com/w3c/media-source/c3ad59c7a370d04430969ba73d18dc9bcde57a33/index.html#sourcebuffer-init-segment-received [Editor's Draft 09 January 2015]
1234
1235     // Note: those are checks from step 3.1
1236     //   * The number of audio, video, and text tracks match what was in the first initialization segment.
1237     if (segment.audioTracks.size() != audioTracks()->length()
1238         || segment.videoTracks.size() != videoTracks()->length()
1239         || segment.textTracks.size() != textTracks()->length())
1240         return false;
1241
1242     //   * The codecs for each track, match what was specified in the first initialization segment.
1243     for (auto& audioTrackInfo : segment.audioTracks) {
1244         if (!m_audioCodecs.contains(audioTrackInfo.description->codec()))
1245             return false;
1246     }
1247
1248     for (auto& videoTrackInfo : segment.videoTracks) {
1249         if (!m_videoCodecs.contains(videoTrackInfo.description->codec()))
1250             return false;
1251     }
1252
1253     for (auto& textTrackInfo : segment.textTracks) {
1254         if (!m_textCodecs.contains(textTrackInfo.description->codec()))
1255             return false;
1256     }
1257
1258     //   * If more than one track for a single type are present (ie 2 audio tracks), then the Track
1259     //   IDs match the ones in the first initialization segment.
1260     if (segment.audioTracks.size() >= 2) {
1261         for (auto& audioTrackInfo : segment.audioTracks) {
1262             if (!m_trackBufferMap.contains(audioTrackInfo.track->id()))
1263                 return false;
1264         }
1265     }
1266
1267     if (segment.videoTracks.size() >= 2) {
1268         for (auto& videoTrackInfo : segment.videoTracks) {
1269             if (!m_trackBufferMap.contains(videoTrackInfo.track->id()))
1270                 return false;
1271         }
1272     }
1273
1274     if (segment.textTracks.size() >= 2) {
1275         for (auto& textTrackInfo : segment.videoTracks) {
1276             if (!m_trackBufferMap.contains(textTrackInfo.track->id()))
1277                 return false;
1278         }
1279     }
1280
1281     return true;
1282 }
1283
1284 class SampleLessThanComparator {
1285 public:
1286     bool operator()(std::pair<MediaTime, RefPtr<MediaSample>> value1, std::pair<MediaTime, RefPtr<MediaSample>> value2)
1287     {
1288         return value1.first < value2.first;
1289     }
1290
1291     bool operator()(MediaTime value1, std::pair<MediaTime, RefPtr<MediaSample>> value2)
1292     {
1293         return value1 < value2.first;
1294     }
1295
1296     bool operator()(std::pair<MediaTime, RefPtr<MediaSample>> value1, MediaTime value2)
1297     {
1298         return value1.first < value2;
1299     }
1300 };
1301
1302 void SourceBuffer::appendError(bool decodeErrorParam)
1303 {
1304     // 3.5.3 Append Error Algorithm
1305     // https://rawgit.com/w3c/media-source/c3ad59c7a370d04430969ba73d18dc9bcde57a33/index.html#sourcebuffer-append-error [Editor's Draft 09 January 2015]
1306
1307     ASSERT(m_updating);
1308     // 1. Run the reset parser state algorithm.
1309     resetParserState();
1310
1311     // 2. Set the updating attribute to false.
1312     m_updating = false;
1313
1314     // 3. Queue a task to fire a simple event named error at this SourceBuffer object.
1315     scheduleEvent(eventNames().errorEvent);
1316
1317     // 4. Queue a task to fire a simple event named updateend at this SourceBuffer object.
1318     scheduleEvent(eventNames().updateendEvent);
1319
1320     // 5. If decode error is true, then run the end of stream algorithm with the error parameter set to "decode".
1321     if (decodeErrorParam)
1322         m_source->streamEndedWithError(decodeError(), IgnorableExceptionCode());
1323 }
1324
1325 void SourceBuffer::sourceBufferPrivateDidReceiveSample(SourceBufferPrivate*, PassRefPtr<MediaSample> prpSample)
1326 {
1327     if (isRemoved())
1328         return;
1329
1330     // 3.5.1 Segment Parser Loop
1331     // 6.1 If the first initialization segment received flag is false, then run the append error algorithm
1332     //     with the decode error parameter set to true and abort this algorithm.
1333     // Note: current design makes SourceBuffer somehow ignorant of append state - it's more a thing
1334     //  of SourceBufferPrivate. That's why this check can't really be done in appendInternal.
1335     //  unless we force some kind of design with state machine switching.
1336     if (!m_receivedFirstInitializationSegment) {
1337         appendError(true);
1338         return;
1339     }
1340
1341     RefPtr<MediaSample> sample = prpSample;
1342
1343     // 3.5.8 Coded Frame Processing
1344     // http://www.w3.org/TR/media-source/#sourcebuffer-coded-frame-processing
1345
1346     // When complete coded frames have been parsed by the segment parser loop then the following steps
1347     // are run:
1348     // 1. For each coded frame in the media segment run the following steps:
1349     // 1.1. Loop Top
1350     do {
1351         MediaTime presentationTimestamp;
1352         MediaTime decodeTimestamp;
1353
1354         if (m_shouldGenerateTimestamps) {
1355             // ↳ If generate timestamps flag equals true:
1356             // 1. Let presentation timestamp equal 0.
1357             presentationTimestamp = MediaTime::zeroTime();
1358
1359             // 2. Let decode timestamp equal 0.
1360             decodeTimestamp = MediaTime::zeroTime();
1361         } else {
1362             // ↳ Otherwise:
1363             // 1. Let presentation timestamp be a double precision floating point representation of
1364             // the coded frame's presentation timestamp in seconds.
1365             presentationTimestamp = sample->presentationTime();
1366
1367             // 2. Let decode timestamp be a double precision floating point representation of the coded frame's
1368             // decode timestamp in seconds.
1369             decodeTimestamp = sample->decodeTime();
1370         }
1371
1372         // 1.2 Let frame duration be a double precision floating point representation of the coded frame's
1373         // duration in seconds.
1374         MediaTime frameDuration = sample->duration();
1375
1376         // 1.3 If mode equals "sequence" and group start timestamp is set, then run the following steps:
1377         if (m_mode == sequenceKeyword() && m_groupStartTimestamp.isValid()) {
1378             // 1.3.1 Set timestampOffset equal to group start timestamp - presentation timestamp.
1379             m_timestampOffset = m_groupStartTimestamp;
1380
1381             // 1.3.2 Set group end timestamp equal to group start timestamp.
1382             m_groupEndTimestamp = m_groupStartTimestamp;
1383
1384             // 1.3.3 Set the need random access point flag on all track buffers to true.
1385             for (auto& trackBuffer : m_trackBufferMap.values())
1386                 trackBuffer.needRandomAccessFlag = true;
1387
1388             // 1.3.4 Unset group start timestamp.
1389             m_groupStartTimestamp = MediaTime::invalidTime();
1390         }
1391
1392         // 1.4 If timestampOffset is not 0, then run the following steps:
1393         if (m_timestampOffset) {
1394             // 1.4.1 Add timestampOffset to the presentation timestamp.
1395             presentationTimestamp += m_timestampOffset;
1396
1397             // 1.4.2 Add timestampOffset to the decode timestamp.
1398             decodeTimestamp += m_timestampOffset;
1399         }
1400
1401         // 1.5 Let track buffer equal the track buffer that the coded frame will be added to.
1402         AtomicString trackID = sample->trackID();
1403         auto it = m_trackBufferMap.find(trackID);
1404         if (it == m_trackBufferMap.end())
1405             it = m_trackBufferMap.add(trackID, TrackBuffer()).iterator;
1406         TrackBuffer& trackBuffer = it->value;
1407
1408         // 1.6 ↳ If last decode timestamp for track buffer is set and decode timestamp is less than last
1409         // decode timestamp:
1410         // OR
1411         // ↳ If last decode timestamp for track buffer is set and the difference between decode timestamp and
1412         // last decode timestamp is greater than 2 times last frame duration:
1413         if (trackBuffer.lastDecodeTimestamp.isValid() && (decodeTimestamp < trackBuffer.lastDecodeTimestamp
1414             || abs(decodeTimestamp - trackBuffer.lastDecodeTimestamp) > (trackBuffer.lastFrameDuration * 2))) {
1415
1416             // 1.6.1:
1417             if (m_mode == segmentsKeyword()) {
1418                 // ↳ If mode equals "segments":
1419                 // Set group end timestamp to presentation timestamp.
1420                 m_groupEndTimestamp = presentationTimestamp;
1421             } else if (m_mode == sequenceKeyword()) {
1422                 // ↳ If mode equals "sequence":
1423                 // Set group start timestamp equal to the group end timestamp.
1424                 m_groupStartTimestamp = m_groupEndTimestamp;
1425             }
1426
1427             for (auto& trackBuffer : m_trackBufferMap.values()) {
1428                 // 1.6.2 Unset the last decode timestamp on all track buffers.
1429                 trackBuffer.lastDecodeTimestamp = MediaTime::invalidTime();
1430                 // 1.6.3 Unset the last frame duration on all track buffers.
1431                 trackBuffer.lastFrameDuration = MediaTime::invalidTime();
1432                 // 1.6.4 Unset the highest presentation timestamp on all track buffers.
1433                 trackBuffer.highestPresentationTimestamp = MediaTime::invalidTime();
1434                 // 1.6.5 Set the need random access point flag on all track buffers to true.
1435                 trackBuffer.needRandomAccessFlag = true;
1436             }
1437
1438             // 1.6.6 Jump to the Loop Top step above to restart processing of the current coded frame.
1439             continue;
1440         }
1441
1442         if (m_mode == sequenceKeyword()) {
1443             // Use the generated timestamps instead of the sample's timestamps.
1444             sample->setTimestamps(presentationTimestamp, decodeTimestamp);
1445         } else if (m_timestampOffset) {
1446             // Reflect the timestamp offset into the sample.
1447             sample->offsetTimestampsBy(m_timestampOffset);
1448         }
1449
1450         // 1.7 Let frame end timestamp equal the sum of presentation timestamp and frame duration.
1451         MediaTime frameEndTimestamp = presentationTimestamp + frameDuration;
1452
1453         // 1.8 If presentation timestamp is less than appendWindowStart, then set the need random access
1454         // point flag to true, drop the coded frame, and jump to the top of the loop to start processing
1455         // the next coded frame.
1456         // 1.9 If frame end timestamp is greater than appendWindowEnd, then set the need random access
1457         // point flag to true, drop the coded frame, and jump to the top of the loop to start processing
1458         // the next coded frame.
1459         if (presentationTimestamp < m_appendWindowStart || frameEndTimestamp > m_appendWindowEnd) {
1460             trackBuffer.needRandomAccessFlag = true;
1461             didDropSample();
1462             return;
1463         }
1464
1465
1466         // 1.10 If the decode timestamp is less than the presentation start time, then run the end of stream
1467         // algorithm with the error parameter set to "decode", and abort these steps.
1468         // NOTE: Until <https://www.w3.org/Bugs/Public/show_bug.cgi?id=27487> is resolved, we will only check
1469         // the presentation timestamp.
1470         MediaTime presentationStartTime = MediaTime::zeroTime();
1471         if (presentationTimestamp < presentationStartTime) {
1472             LOG(MediaSource, "SourceBuffer::sourceBufferPrivateDidReceiveSample(%p) - failing because presentationTimestamp < presentationStartTime", this);
1473             m_source->streamEndedWithError(decodeError(), IgnorableExceptionCode());
1474             return;
1475         }
1476
1477         // 1.11 If the need random access point flag on track buffer equals true, then run the following steps:
1478         if (trackBuffer.needRandomAccessFlag) {
1479             // 1.11.1 If the coded frame is not a random access point, then drop the coded frame and jump
1480             // to the top of the loop to start processing the next coded frame.
1481             if (!sample->isSync()) {
1482                 didDropSample();
1483                 return;
1484             }
1485
1486             // 1.11.2 Set the need random access point flag on track buffer to false.
1487             trackBuffer.needRandomAccessFlag = false;
1488         }
1489
1490         // 1.12 Let spliced audio frame be an unset variable for holding audio splice information
1491         // 1.13 Let spliced timed text frame be an unset variable for holding timed text splice information
1492         // FIXME: Add support for sample splicing.
1493
1494         SampleMap erasedSamples;
1495         MediaTime microsecond(1, 1000000);
1496
1497         // 1.14 If last decode timestamp for track buffer is unset and presentation timestamp falls
1498         // falls within the presentation interval of a coded frame in track buffer, then run the
1499         // following steps:
1500         if (trackBuffer.lastDecodeTimestamp.isInvalid()) {
1501             auto iter = trackBuffer.samples.presentationOrder().findSampleContainingPresentationTime(presentationTimestamp);
1502             if (iter != trackBuffer.samples.presentationOrder().end()) {
1503                 // 1.14.1 Let overlapped frame be the coded frame in track buffer that matches the condition above.
1504                 RefPtr<MediaSample> overlappedFrame = iter->second;
1505
1506                 // 1.14.2 If track buffer contains audio coded frames:
1507                 // Run the audio splice frame algorithm and if a splice frame is returned, assign it to
1508                 // spliced audio frame.
1509                 // FIXME: Add support for sample splicing.
1510
1511                 // If track buffer contains video coded frames:
1512                 if (trackBuffer.description->isVideo()) {
1513                     // 1.14.2.1 Let overlapped frame presentation timestamp equal the presentation timestamp
1514                     // of overlapped frame.
1515                     MediaTime overlappedFramePresentationTimestamp = overlappedFrame->presentationTime();
1516
1517                     // 1.14.2.2 Let remove window timestamp equal overlapped frame presentation timestamp
1518                     // plus 1 microsecond.
1519                     MediaTime removeWindowTimestamp = overlappedFramePresentationTimestamp + microsecond;
1520
1521                     // 1.14.2.3 If the presentation timestamp is less than the remove window timestamp,
1522                     // then remove overlapped frame and any coded frames that depend on it from track buffer.
1523                     if (presentationTimestamp < removeWindowTimestamp)
1524                         erasedSamples.addSample(iter->second);
1525                 }
1526
1527                 // If track buffer contains timed text coded frames:
1528                 // Run the text splice frame algorithm and if a splice frame is returned, assign it to spliced timed text frame.
1529                 // FIXME: Add support for sample splicing.
1530             }
1531         }
1532
1533         // 1.15 Remove existing coded frames in track buffer:
1534         // If highest presentation timestamp for track buffer is not set:
1535         if (trackBuffer.highestPresentationTimestamp.isInvalid()) {
1536             // Remove all coded frames from track buffer that have a presentation timestamp greater than or
1537             // equal to presentation timestamp and less than frame end timestamp.
1538             auto iter_pair = trackBuffer.samples.presentationOrder().findSamplesBetweenPresentationTimes(presentationTimestamp, frameEndTimestamp);
1539             if (iter_pair.first != trackBuffer.samples.presentationOrder().end())
1540                 erasedSamples.addRange(iter_pair.first, iter_pair.second);
1541         }
1542
1543         // If highest presentation timestamp for track buffer is set and less than or equal to presentation timestamp
1544         if (trackBuffer.highestPresentationTimestamp.isValid() && trackBuffer.highestPresentationTimestamp <= presentationTimestamp) {
1545             // Remove all coded frames from track buffer that have a presentation timestamp greater than highest
1546             // presentation timestamp and less than or equal to frame end timestamp.
1547             do {
1548                 // NOTE: Searching from the end of the trackBuffer will be vastly more efficient if the search range is
1549                 // near the end of the buffered range. Use a linear-backwards search if the search range is within one
1550                 // frame duration of the end:
1551                 if (!m_buffered)
1552                     break;
1553
1554                 unsigned bufferedLength = m_buffered->ranges().length();
1555                 if (!bufferedLength)
1556                     break;
1557
1558                 MediaTime highestBufferedTime = m_buffered->ranges().maximumBufferedTime();
1559
1560                 PresentationOrderSampleMap::iterator_range range;
1561                 if (highestBufferedTime - trackBuffer.highestPresentationTimestamp < trackBuffer.lastFrameDuration)
1562                     range = trackBuffer.samples.presentationOrder().findSamplesWithinPresentationRangeFromEnd(trackBuffer.highestPresentationTimestamp, frameEndTimestamp);
1563                 else
1564                     range = trackBuffer.samples.presentationOrder().findSamplesWithinPresentationRange(trackBuffer.highestPresentationTimestamp, frameEndTimestamp);
1565
1566                 if (range.first != trackBuffer.samples.presentationOrder().end())
1567                     erasedSamples.addRange(range.first, range.second);
1568             } while(false);
1569         }
1570
1571         // 1.16 Remove decoding dependencies of the coded frames removed in the previous step:
1572         DecodeOrderSampleMap::MapType dependentSamples;
1573         if (!erasedSamples.empty()) {
1574             // If detailed information about decoding dependencies is available:
1575             // FIXME: Add support for detailed dependency information
1576
1577             // Otherwise: Remove all coded frames between the coded frames removed in the previous step
1578             // and the next random access point after those removed frames.
1579             auto firstDecodeIter = trackBuffer.samples.decodeOrder().findSampleWithDecodeKey(erasedSamples.decodeOrder().begin()->first);
1580             auto lastDecodeIter = trackBuffer.samples.decodeOrder().findSampleWithDecodeKey(erasedSamples.decodeOrder().rbegin()->first);
1581             auto nextSyncIter = trackBuffer.samples.decodeOrder().findSyncSampleAfterDecodeIterator(lastDecodeIter);
1582             dependentSamples.insert(firstDecodeIter, nextSyncIter);
1583
1584             RefPtr<TimeRanges> erasedRanges = removeSamplesFromTrackBuffer(dependentSamples, trackBuffer, this, "sourceBufferPrivateDidReceiveSample");
1585
1586             // Only force the TrackBuffer to re-enqueue if the removed ranges overlap with enqueued and possibly
1587             // not yet displayed samples.
1588             MediaTime currentMediaTime = m_source->currentTime();
1589             if (currentMediaTime < trackBuffer.lastEnqueuedPresentationTime) {
1590                 PlatformTimeRanges possiblyEnqueuedRanges(currentMediaTime, trackBuffer.lastEnqueuedPresentationTime);
1591                 possiblyEnqueuedRanges.intersectWith(erasedRanges->ranges());
1592                 if (possiblyEnqueuedRanges.length())
1593                     trackBuffer.needsReenqueueing = true;
1594             }
1595
1596             erasedRanges->invert();
1597             m_buffered->intersectWith(*erasedRanges);
1598             setBufferedDirty(true);
1599         }
1600
1601         // 1.17 If spliced audio frame is set:
1602         // Add spliced audio frame to the track buffer.
1603         // If spliced timed text frame is set:
1604         // Add spliced timed text frame to the track buffer.
1605         // FIXME: Add support for sample splicing.
1606
1607         // Otherwise:
1608         // Add the coded frame with the presentation timestamp, decode timestamp, and frame duration to the track buffer.
1609         trackBuffer.samples.addSample(sample);
1610
1611         if (trackBuffer.lastEnqueuedDecodeEndTime.isInvalid() || decodeTimestamp >= trackBuffer.lastEnqueuedDecodeEndTime) {
1612             DecodeOrderSampleMap::KeyType decodeKey(decodeTimestamp, presentationTimestamp);
1613             trackBuffer.decodeQueue.insert(DecodeOrderSampleMap::MapType::value_type(decodeKey, sample));
1614         }
1615
1616         // 1.18 Set last decode timestamp for track buffer to decode timestamp.
1617         trackBuffer.lastDecodeTimestamp = decodeTimestamp;
1618
1619         // 1.19 Set last frame duration for track buffer to frame duration.
1620         trackBuffer.lastFrameDuration = frameDuration;
1621
1622         // 1.20 If highest presentation timestamp for track buffer is unset or frame end timestamp is greater
1623         // than highest presentation timestamp, then set highest presentation timestamp for track buffer
1624         // to frame end timestamp.
1625         if (trackBuffer.highestPresentationTimestamp.isInvalid() || frameEndTimestamp > trackBuffer.highestPresentationTimestamp)
1626             trackBuffer.highestPresentationTimestamp = frameEndTimestamp;
1627
1628         // 1.21 If frame end timestamp is greater than group end timestamp, then set group end timestamp equal
1629         // to frame end timestamp.
1630         if (m_groupEndTimestamp.isInvalid() || frameEndTimestamp > m_groupEndTimestamp)
1631             m_groupEndTimestamp = frameEndTimestamp;
1632
1633         // 1.22 If generate timestamps flag equals true, then set timestampOffset equal to frame end timestamp.
1634         if (m_shouldGenerateTimestamps)
1635             m_timestampOffset = frameEndTimestamp;
1636
1637         m_buffered->add(presentationTimestamp.toDouble(), (presentationTimestamp + frameDuration + microsecond).toDouble());
1638         m_bufferedSinceLastMonitor += frameDuration.toDouble();
1639         setBufferedDirty(true);
1640
1641         break;
1642     } while (1);
1643
1644     // Steps 2-4 will be handled by MediaSource::monitorSourceBuffers()
1645
1646     // 5. If the media segment contains data beyond the current duration, then run the duration change algorithm with new
1647     // duration set to the maximum of the current duration and the group end timestamp.
1648     if (m_groupEndTimestamp > m_source->duration())
1649         m_source->setDurationInternal(m_groupEndTimestamp);
1650 }
1651
1652 bool SourceBuffer::hasAudio() const
1653 {
1654     return m_audioTracks && m_audioTracks->length();
1655 }
1656
1657 bool SourceBuffer::hasVideo() const
1658 {
1659     return m_videoTracks && m_videoTracks->length();
1660 }
1661
1662 bool SourceBuffer::sourceBufferPrivateHasAudio(const SourceBufferPrivate*) const
1663 {
1664     return hasAudio();
1665 }
1666
1667 bool SourceBuffer::sourceBufferPrivateHasVideo(const SourceBufferPrivate*) const
1668 {
1669     return hasVideo();
1670 }
1671
1672 void SourceBuffer::videoTrackSelectedChanged(VideoTrack* track)
1673 {
1674     // 2.4.5 Changes to selected/enabled track state
1675     // If the selected video track changes, then run the following steps:
1676     // 1. If the SourceBuffer associated with the previously selected video track is not associated with
1677     // any other enabled tracks, run the following steps:
1678     if (track->selected()
1679         && (!m_videoTracks || !m_videoTracks->isAnyTrackEnabled())
1680         && (!m_audioTracks || !m_audioTracks->isAnyTrackEnabled())
1681         && (!m_textTracks || !m_textTracks->isAnyTrackEnabled())) {
1682         // 1.1 Remove the SourceBuffer from activeSourceBuffers.
1683         // 1.2 Queue a task to fire a simple event named removesourcebuffer at activeSourceBuffers
1684         setActive(false);
1685     } else if (!track->selected()) {
1686         // 2. If the SourceBuffer associated with the newly selected video track is not already in activeSourceBuffers,
1687         // run the following steps:
1688         // 2.1 Add the SourceBuffer to activeSourceBuffers.
1689         // 2.2 Queue a task to fire a simple event named addsourcebuffer at activeSourceBuffers
1690         setActive(true);
1691     }
1692
1693     if (!isRemoved())
1694         m_source->mediaElement()->videoTrackSelectedChanged(track);
1695 }
1696
1697 void SourceBuffer::audioTrackEnabledChanged(AudioTrack* track)
1698 {
1699     // 2.4.5 Changes to selected/enabled track state
1700     // If an audio track becomes disabled and the SourceBuffer associated with this track is not
1701     // associated with any other enabled or selected track, then run the following steps:
1702     if (track->enabled()
1703         && (!m_videoTracks || !m_videoTracks->isAnyTrackEnabled())
1704         && (!m_audioTracks || !m_audioTracks->isAnyTrackEnabled())
1705         && (!m_textTracks || !m_textTracks->isAnyTrackEnabled())) {
1706         // 1. Remove the SourceBuffer associated with the audio track from activeSourceBuffers
1707         // 2. Queue a task to fire a simple event named removesourcebuffer at activeSourceBuffers
1708         setActive(false);
1709     } else if (!track->enabled()) {
1710         // If an audio track becomes enabled and the SourceBuffer associated with this track is
1711         // not already in activeSourceBuffers, then run the following steps:
1712         // 1. Add the SourceBuffer associated with the audio track to activeSourceBuffers
1713         // 2. Queue a task to fire a simple event named addsourcebuffer at activeSourceBuffers
1714         setActive(true);
1715     }
1716
1717     if (!isRemoved())
1718         m_source->mediaElement()->audioTrackEnabledChanged(track);
1719 }
1720
1721 void SourceBuffer::textTrackModeChanged(TextTrack* track)
1722 {
1723     // 2.4.5 Changes to selected/enabled track state
1724     // If a text track mode becomes "disabled" and the SourceBuffer associated with this track is not
1725     // associated with any other enabled or selected track, then run the following steps:
1726     if (track->mode() == TextTrack::disabledKeyword()
1727         && (!m_videoTracks || !m_videoTracks->isAnyTrackEnabled())
1728         && (!m_audioTracks || !m_audioTracks->isAnyTrackEnabled())
1729         && (!m_textTracks || !m_textTracks->isAnyTrackEnabled())) {
1730         // 1. Remove the SourceBuffer associated with the audio track from activeSourceBuffers
1731         // 2. Queue a task to fire a simple event named removesourcebuffer at activeSourceBuffers
1732         setActive(false);
1733     } else {
1734         // If a text track mode becomes "showing" or "hidden" and the SourceBuffer associated with this
1735         // track is not already in activeSourceBuffers, then run the following steps:
1736         // 1. Add the SourceBuffer associated with the text track to activeSourceBuffers
1737         // 2. Queue a task to fire a simple event named addsourcebuffer at activeSourceBuffers
1738         setActive(true);
1739     }
1740
1741     if (!isRemoved())
1742         m_source->mediaElement()->textTrackModeChanged(track);
1743 }
1744
1745 void SourceBuffer::textTrackAddCue(TextTrack* track, WTF::PassRefPtr<TextTrackCue> cue)
1746 {
1747     if (!isRemoved())
1748         m_source->mediaElement()->textTrackAddCue(track, cue);
1749 }
1750
1751 void SourceBuffer::textTrackAddCues(TextTrack* track, TextTrackCueList const* cueList)
1752 {
1753     if (!isRemoved())
1754         m_source->mediaElement()->textTrackAddCues(track, cueList);
1755 }
1756
1757 void SourceBuffer::textTrackRemoveCue(TextTrack* track, WTF::PassRefPtr<TextTrackCue> cue)
1758 {
1759     if (!isRemoved())
1760         m_source->mediaElement()->textTrackRemoveCue(track, cue);
1761 }
1762
1763 void SourceBuffer::textTrackRemoveCues(TextTrack* track, TextTrackCueList const* cueList)
1764 {
1765     if (!isRemoved())
1766         m_source->mediaElement()->textTrackRemoveCues(track, cueList);
1767 }
1768
1769 void SourceBuffer::textTrackKindChanged(TextTrack* track)
1770 {
1771     if (!isRemoved())
1772         m_source->mediaElement()->textTrackKindChanged(track);
1773 }
1774
1775 void SourceBuffer::sourceBufferPrivateDidBecomeReadyForMoreSamples(SourceBufferPrivate*, AtomicString trackID)
1776 {
1777     LOG(MediaSource, "SourceBuffer::sourceBufferPrivateDidBecomeReadyForMoreSamples(%p)", this);
1778     auto it = m_trackBufferMap.find(trackID);
1779     if (it == m_trackBufferMap.end())
1780         return;
1781
1782     TrackBuffer& trackBuffer = it->value;
1783     if (!trackBuffer.needsReenqueueing && !m_source->isSeeking())
1784         provideMediaData(trackBuffer, trackID);
1785 }
1786
1787 void SourceBuffer::provideMediaData(TrackBuffer& trackBuffer, AtomicString trackID)
1788 {
1789 #if !LOG_DISABLED
1790     unsigned enqueuedSamples = 0;
1791 #endif
1792
1793     while (!trackBuffer.decodeQueue.empty()) {
1794         if (!m_private->isReadyForMoreSamples(trackID)) {
1795             m_private->notifyClientWhenReadyForMoreSamples(trackID);
1796             break;
1797         }
1798
1799         // FIXME(rdar://problem/20635969): Remove this re-entrancy protection when the aforementioned radar is resolved; protecting
1800         // against re-entrancy introduces a small inefficency when removing appended samples from the decode queue one at a time
1801         // rather than when all samples have been enqueued.
1802         RefPtr<MediaSample> sample = trackBuffer.decodeQueue.begin()->second;
1803         trackBuffer.decodeQueue.erase(trackBuffer.decodeQueue.begin());
1804
1805         // Do not enqueue samples spanning a significant unbuffered gap.
1806         // NOTE: one second is somewhat arbitrary. MediaSource::monitorSourceBuffers() is run
1807         // on the playbackTimer, which is effectively every 350ms. Allowing > 350ms gap between
1808         // enqueued samples allows for situations where we overrun the end of a buffered range
1809         // but don't notice for 350s of playback time, and the client can enqueue data for the
1810         // new current time without triggering this early return.
1811         // FIXME(135867): Make this gap detection logic less arbitrary.
1812         MediaTime oneSecond(1, 1);
1813         if (trackBuffer.lastEnqueuedDecodeEndTime.isValid() && sample->decodeTime() - trackBuffer.lastEnqueuedDecodeEndTime > oneSecond)
1814             break;
1815
1816         trackBuffer.lastEnqueuedPresentationTime = sample->presentationTime();
1817         trackBuffer.lastEnqueuedDecodeEndTime = sample->decodeTime() + sample->duration();
1818         m_private->enqueueSample(sample.release(), trackID);
1819 #if !LOG_DISABLED
1820         ++enqueuedSamples;
1821 #endif
1822     }
1823
1824     LOG(MediaSource, "SourceBuffer::provideMediaData(%p) - Enqueued %u samples", this, enqueuedSamples);
1825 }
1826
1827 void SourceBuffer::reenqueueMediaForTime(TrackBuffer& trackBuffer, AtomicString trackID, const MediaTime& time)
1828 {
1829     // Find the sample which contains the current presentation time.
1830     auto currentSamplePTSIterator = trackBuffer.samples.presentationOrder().findSampleContainingPresentationTime(time);
1831
1832     if (currentSamplePTSIterator == trackBuffer.samples.presentationOrder().end()) {
1833         trackBuffer.decodeQueue.clear();
1834         m_private->flushAndEnqueueNonDisplayingSamples(Vector<RefPtr<MediaSample>>(), trackID);
1835         return;
1836     }
1837
1838     // Seach backward for the previous sync sample.
1839     DecodeOrderSampleMap::KeyType decodeKey(currentSamplePTSIterator->second->decodeTime(), currentSamplePTSIterator->second->presentationTime());
1840     auto currentSampleDTSIterator = trackBuffer.samples.decodeOrder().findSampleWithDecodeKey(decodeKey);
1841     ASSERT(currentSampleDTSIterator != trackBuffer.samples.decodeOrder().end());
1842
1843     auto reverseCurrentSampleIter = --DecodeOrderSampleMap::reverse_iterator(currentSampleDTSIterator);
1844     auto reverseLastSyncSampleIter = trackBuffer.samples.decodeOrder().findSyncSamplePriorToDecodeIterator(reverseCurrentSampleIter);
1845     if (reverseLastSyncSampleIter == trackBuffer.samples.decodeOrder().rend()) {
1846         trackBuffer.decodeQueue.clear();
1847         m_private->flushAndEnqueueNonDisplayingSamples(Vector<RefPtr<MediaSample>>(), trackID);
1848         return;
1849     }
1850
1851     Vector<RefPtr<MediaSample>> nonDisplayingSamples;
1852     for (auto iter = reverseLastSyncSampleIter; iter != reverseCurrentSampleIter; --iter)
1853         nonDisplayingSamples.append(iter->second);
1854
1855     m_private->flushAndEnqueueNonDisplayingSamples(nonDisplayingSamples, trackID);
1856
1857     if (!nonDisplayingSamples.isEmpty()) {
1858         trackBuffer.lastEnqueuedPresentationTime = nonDisplayingSamples.last()->presentationTime();
1859         trackBuffer.lastEnqueuedDecodeEndTime = nonDisplayingSamples.last()->decodeTime();
1860     } else {
1861         trackBuffer.lastEnqueuedPresentationTime = MediaTime::invalidTime();
1862         trackBuffer.lastEnqueuedDecodeEndTime = MediaTime::invalidTime();
1863     }
1864
1865     // Fill the decode queue with the remaining samples.
1866     trackBuffer.decodeQueue.clear();
1867     for (auto iter = currentSampleDTSIterator; iter != trackBuffer.samples.decodeOrder().end(); ++iter)
1868         trackBuffer.decodeQueue.insert(*iter);
1869     provideMediaData(trackBuffer, trackID);
1870
1871     trackBuffer.needsReenqueueing = false;
1872 }
1873
1874
1875 void SourceBuffer::didDropSample()
1876 {
1877     if (!isRemoved())
1878         m_source->mediaElement()->incrementDroppedFrameCount();
1879 }
1880
1881 void SourceBuffer::monitorBufferingRate()
1882 {
1883     if (!m_bufferedSinceLastMonitor)
1884         return;
1885
1886     double now = monotonicallyIncreasingTime();
1887     double interval = now - m_timeOfBufferingMonitor;
1888     double rateSinceLastMonitor = m_bufferedSinceLastMonitor / interval;
1889
1890     m_timeOfBufferingMonitor = now;
1891     m_bufferedSinceLastMonitor = 0;
1892
1893     m_averageBufferRate = m_averageBufferRate * (1 - ExponentialMovingAverageCoefficient) + rateSinceLastMonitor * ExponentialMovingAverageCoefficient;
1894
1895     LOG(MediaSource, "SourceBuffer::monitorBufferingRate(%p) - m_avegareBufferRate: %lf", this, m_averageBufferRate);
1896 }
1897
1898 std::unique_ptr<PlatformTimeRanges> SourceBuffer::bufferedAccountingForEndOfStream() const
1899 {
1900     // FIXME: Revisit this method once the spec bug <https://www.w3.org/Bugs/Public/show_bug.cgi?id=26436> is resolved.
1901     auto virtualRanges = std::make_unique<PlatformTimeRanges>(m_buffered->ranges());
1902     if (m_source->isEnded()) {
1903         MediaTime start = virtualRanges->maximumBufferedTime();
1904         MediaTime end = m_source->duration();
1905         if (start <= end)
1906             virtualRanges->add(start, end);
1907     }
1908     return virtualRanges;
1909 }
1910
1911 bool SourceBuffer::hasCurrentTime() const
1912 {
1913     if (isRemoved() || !m_buffered->length())
1914         return false;
1915
1916     MediaTime currentTime = m_source->currentTime();
1917     MediaTime duration = m_source->duration();
1918     if (currentTime >= duration)
1919         return true;
1920
1921     std::unique_ptr<PlatformTimeRanges> ranges = bufferedAccountingForEndOfStream();
1922     return abs(ranges->nearest(currentTime) - currentTime) <= currentTimeFudgeFactor();
1923 }
1924
1925 bool SourceBuffer::hasFutureTime() const
1926 {
1927     if (isRemoved())
1928         return false;
1929
1930     std::unique_ptr<PlatformTimeRanges> ranges = bufferedAccountingForEndOfStream();
1931     if (!ranges->length())
1932         return false;
1933
1934     MediaTime currentTime = m_source->currentTime();
1935     MediaTime duration = m_source->duration();
1936     if (currentTime >= duration)
1937         return true;
1938
1939     MediaTime nearest = ranges->nearest(currentTime);
1940     if (abs(nearest - currentTime) > currentTimeFudgeFactor())
1941         return false;
1942
1943     size_t found = ranges->find(nearest);
1944     if (found == notFound)
1945         return false;
1946
1947     MediaTime localEnd = ranges->end(found);
1948     if (localEnd == duration)
1949         return true;
1950
1951     return localEnd - currentTime > currentTimeFudgeFactor();
1952 }
1953
1954 bool SourceBuffer::canPlayThrough()
1955 {
1956     if (isRemoved())
1957         return false;
1958
1959     monitorBufferingRate();
1960
1961     // Assuming no fluctuations in the buffering rate, loading 1 second per second or greater
1962     // means indefinite playback. This could be improved by taking jitter into account.
1963     if (m_averageBufferRate > 1)
1964         return true;
1965
1966     // Add up all the time yet to be buffered.
1967     MediaTime currentTime = m_source->currentTime();
1968     MediaTime duration = m_source->duration();
1969
1970     std::unique_ptr<PlatformTimeRanges> unbufferedRanges = bufferedAccountingForEndOfStream();
1971     unbufferedRanges->invert();
1972     unbufferedRanges->intersectWith(PlatformTimeRanges(currentTime, std::max(currentTime, duration)));
1973     MediaTime unbufferedTime = unbufferedRanges->totalDuration();
1974     if (!unbufferedTime.isValid())
1975         return true;
1976
1977     MediaTime timeRemaining = duration - currentTime;
1978     return unbufferedTime.toDouble() / m_averageBufferRate < timeRemaining.toDouble();
1979 }
1980
1981 size_t SourceBuffer::extraMemoryCost() const
1982 {
1983     size_t extraMemoryCost = m_pendingAppendData.capacity();
1984     for (auto& trackBuffer : m_trackBufferMap.values())
1985         extraMemoryCost += trackBuffer.samples.sizeInBytes();
1986
1987     return extraMemoryCost;
1988 }
1989
1990 void SourceBuffer::reportExtraMemoryAllocated()
1991 {
1992     size_t extraMemoryCost = this->extraMemoryCost();
1993     if (extraMemoryCost <= m_reportedExtraMemoryCost)
1994         return;
1995
1996     size_t extraMemoryCostDelta = extraMemoryCost - m_reportedExtraMemoryCost;
1997     m_reportedExtraMemoryCost = extraMemoryCost;
1998
1999     JSC::JSLockHolder lock(scriptExecutionContext()->vm());
2000     // FIXME: Adopt reportExtraMemoryVisited, and switch to reportExtraMemoryAllocated.
2001     // https://bugs.webkit.org/show_bug.cgi?id=142595
2002     scriptExecutionContext()->vm().heap.deprecatedReportExtraMemory(extraMemoryCostDelta);
2003 }
2004
2005 Vector<String> SourceBuffer::bufferedSamplesForTrackID(const AtomicString& trackID)
2006 {
2007     auto it = m_trackBufferMap.find(trackID);
2008     if (it == m_trackBufferMap.end())
2009         return Vector<String>();
2010
2011     TrackBuffer& trackBuffer = it->value;
2012     Vector<String> sampleDescriptions;
2013     for (auto& pair : trackBuffer.samples.decodeOrder())
2014         sampleDescriptions.append(toString(*pair.second));
2015
2016     return sampleDescriptions;
2017 }
2018
2019 Document& SourceBuffer::document() const
2020 {
2021     ASSERT(scriptExecutionContext());
2022     return downcast<Document>(*scriptExecutionContext());
2023 }
2024
2025 void SourceBuffer::setMode(const AtomicString& newMode, ExceptionCode& ec)
2026 {
2027     // 3.1 Attributes - mode
2028     // http://www.w3.org/TR/media-source/#widl-SourceBuffer-mode
2029
2030     // On setting, run the following steps:
2031
2032     // 1. Let new mode equal the new value being assigned to this attribute.
2033     // 2. If generate timestamps flag equals true and new mode equals "segments", then throw an INVALID_ACCESS_ERR exception and abort these steps.
2034     if (m_shouldGenerateTimestamps && newMode == segmentsKeyword()) {
2035         ec = INVALID_ACCESS_ERR;
2036         return;
2037     }
2038
2039     // 3. If this object has been removed from the sourceBuffers attribute of the parent media source, then throw an INVALID_STATE_ERR exception and abort these steps.
2040     // 4. If the updating attribute equals true, then throw an INVALID_STATE_ERR exception and abort these steps.
2041     if (isRemoved() || m_updating) {
2042         ec = INVALID_STATE_ERR;
2043         return;
2044     }
2045
2046     // 5. If the readyState attribute of the parent media source is in the "ended" state then run the following steps:
2047     if (m_source->readyState() == MediaSource::endedKeyword()) {
2048         // 5.1. Set the readyState attribute of the parent media source to "open"
2049         // 5.2. Queue a task to fire a simple event named sourceopen at the parent media source.
2050         m_source->openIfInEndedState();
2051     }
2052
2053     // 6. If the append state equals PARSING_MEDIA_SEGMENT, then throw an INVALID_STATE_ERR and abort these steps.
2054     if (m_appendState == ParsingMediaSegment) {
2055         ec = INVALID_STATE_ERR;
2056         return;
2057     }
2058
2059     // 7. If the new mode equals "sequence", then set the group start timestamp to the group end timestamp.
2060     if (newMode == sequenceKeyword())
2061         m_groupStartTimestamp = m_groupEndTimestamp;
2062
2063     // 8. Update the attribute to new mode.
2064     m_mode = newMode;
2065 }
2066
2067 } // namespace WebCore
2068
2069 #endif