[MSE] Removing samples when presentation order does not match decode order can cause...
[WebKit.git] / Source / WebCore / Modules / mediasource / SampleMap.cpp
1 /*
2  * Copyright (C) 2013 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "SampleMap.h"
28
29 #if ENABLE(MEDIA_SOURCE)
30
31 #include "MediaSample.h"
32
33 namespace WebCore {
34
35 template <typename M>
36 class SampleIsLessThanMediaTimeComparator {
37 public:
38     typedef typename M::value_type value_type;
39     bool operator()(const value_type& value, const MediaTime& time)
40     {
41         MediaTime presentationEndTime = value.second->presentationTime() + value.second->duration();
42         return presentationEndTime <= time;
43     }
44     bool operator()(const MediaTime& time, const value_type& value)
45     {
46         MediaTime presentationStartTime = value.second->presentationTime();
47         return time < presentationStartTime;
48     }
49 };
50
51 template <typename M>
52 class SampleIsGreaterThanMediaTimeComparator {
53 public:
54     typedef typename M::value_type value_type;
55     bool operator()(const value_type& value, const MediaTime& time)
56     {
57         MediaTime presentationStartTime = value.second->presentationTime();
58         return presentationStartTime > time;
59     }
60     bool operator()(const MediaTime& time, const value_type& value)
61     {
62         MediaTime presentationEndTime = value.second->presentationTime() + value.second->duration();
63         return time >= presentationEndTime;
64     }
65 };
66
67 class SampleIsRandomAccess {
68 public:
69     bool operator()(DecodeOrderSampleMap::MapType::value_type& value)
70     {
71         return value.second->flags() == MediaSample::IsSync;
72     }
73 };
74
75 // SamplePresentationTimeIsInsideRangeComparator matches (range.first, range.second]
76 struct SamplePresentationTimeIsInsideRangeComparator {
77     bool operator()(std::pair<MediaTime, MediaTime> range, const std::pair<MediaTime, RefPtr<MediaSample>>& value)
78     {
79         return range.second < value.first;
80     }
81     bool operator()(const std::pair<MediaTime, RefPtr<MediaSample>>& value, std::pair<MediaTime, MediaTime> range)
82     {
83         return value.first <= range.first;
84     }
85 };
86
87 // SamplePresentationTimeIsWithinRangeComparator matches [range.first, range.second)
88 struct SamplePresentationTimeIsWithinRangeComparator {
89     bool operator()(std::pair<MediaTime, MediaTime> range, const std::pair<MediaTime, RefPtr<MediaSample>>& value)
90     {
91         return range.second <= value.first;
92     }
93     bool operator()(const std::pair<MediaTime, RefPtr<MediaSample>>& value, std::pair<MediaTime, MediaTime> range)
94     {
95         return value.first < range.first;
96     }
97 };
98
99 bool SampleMap::empty() const
100 {
101     return presentationOrder().m_samples.empty();
102 }
103
104 void SampleMap::clear()
105 {
106     presentationOrder().m_samples.clear();
107     decodeOrder().m_samples.clear();
108     m_totalSize = 0;
109 }
110
111 void SampleMap::addSample(MediaSample& sample)
112 {
113     MediaTime presentationTime = sample.presentationTime();
114
115     presentationOrder().m_samples.insert(PresentationOrderSampleMap::MapType::value_type(presentationTime, &sample));
116
117     auto decodeKey = DecodeOrderSampleMap::KeyType(sample.decodeTime(), presentationTime);
118     decodeOrder().m_samples.insert(DecodeOrderSampleMap::MapType::value_type(decodeKey, &sample));
119
120     m_totalSize += sample.sizeInBytes();
121 }
122
123 void SampleMap::removeSample(MediaSample* sample)
124 {
125     ASSERT(sample);
126     MediaTime presentationTime = sample->presentationTime();
127
128     m_totalSize -= sample->sizeInBytes();
129
130     auto decodeKey = DecodeOrderSampleMap::KeyType(sample->decodeTime(), presentationTime);
131     presentationOrder().m_samples.erase(presentationTime);
132     decodeOrder().m_samples.erase(decodeKey);
133 }
134
135 PresentationOrderSampleMap::iterator PresentationOrderSampleMap::findSampleWithPresentationTime(const MediaTime& time)
136 {
137     auto range = m_samples.equal_range(time);
138     if (range.first == range.second)
139         return end();
140     return range.first;
141 }
142
143 PresentationOrderSampleMap::iterator PresentationOrderSampleMap::findSampleContainingPresentationTime(const MediaTime& time)
144 {
145     // upper_bound will return the first sample whose presentation start time is greater than the search time.
146     // If this is the first sample, that means no sample in the map contains the requested time.
147     auto iter = m_samples.upper_bound(time);
148     if (iter == begin())
149         return end();
150
151     // Look at the previous sample; does it contain the requested time?
152     --iter;
153     MediaSample& sample = *iter->second;
154     if (sample.presentationTime() + sample.duration() > time)
155         return iter;
156     return end();
157 }
158
159 PresentationOrderSampleMap::iterator PresentationOrderSampleMap::findSampleContainingOrAfterPresentationTime(const MediaTime& time)
160 {
161     if (m_samples.empty())
162         return end();
163
164     // upper_bound will return the first sample whose presentation start time is greater than the search time.
165     // If this is the first sample, that means no sample in the map contains the requested time.
166     auto iter = m_samples.upper_bound(time);
167     if (iter == begin())
168         return iter;
169
170     // Look at the previous sample; does it contain the requested time?
171     --iter;
172     MediaSample& sample = *iter->second;
173     if (sample.presentationTime() + sample.duration() > time)
174         return iter;
175     return ++iter;
176 }
177
178 PresentationOrderSampleMap::iterator PresentationOrderSampleMap::findSampleStartingOnOrAfterPresentationTime(const MediaTime& time)
179 {
180     return m_samples.lower_bound(time);
181 }
182
183 PresentationOrderSampleMap::iterator PresentationOrderSampleMap::findSampleStartingAfterPresentationTime(const MediaTime& time)
184 {
185     return m_samples.upper_bound(time);
186 }
187
188 DecodeOrderSampleMap::iterator DecodeOrderSampleMap::findSampleWithDecodeKey(const KeyType& key)
189 {
190     return m_samples.find(key);
191 }
192
193 PresentationOrderSampleMap::reverse_iterator PresentationOrderSampleMap::reverseFindSampleContainingPresentationTime(const MediaTime& time)
194 {
195     auto range = std::equal_range(rbegin(), rend(), time, SampleIsGreaterThanMediaTimeComparator<MapType>());
196     if (range.first == range.second)
197         return rend();
198     return range.first;
199 }
200
201 PresentationOrderSampleMap::reverse_iterator PresentationOrderSampleMap::reverseFindSampleBeforePresentationTime(const MediaTime& time)
202 {
203     if (m_samples.empty())
204         return rend();
205
206     // upper_bound will return the first sample whose presentation start time is greater than the search time.
207     auto found = m_samples.upper_bound(time);
208
209     // If no sample was found with a time greater than the search time, return the last sample.
210     if (found == end())
211         return rbegin();
212
213     // If the first sample has a time grater than the search time, no samples will have a presentation time before the search time.
214     if (found == begin())
215         return rend();
216
217     // Otherwise, return the sample immediately previous to the one found.
218     return --reverse_iterator(--found);
219 }
220
221 DecodeOrderSampleMap::reverse_iterator DecodeOrderSampleMap::reverseFindSampleWithDecodeKey(const KeyType& key)
222 {
223     DecodeOrderSampleMap::iterator found = findSampleWithDecodeKey(key);
224     if (found == end())
225         return rend();
226     return --reverse_iterator(found);
227 }
228
229 DecodeOrderSampleMap::reverse_iterator DecodeOrderSampleMap::findSyncSamplePriorToPresentationTime(const MediaTime& time, const MediaTime& threshold)
230 {
231     PresentationOrderSampleMap::reverse_iterator reverseCurrentSamplePTS = m_presentationOrder.reverseFindSampleBeforePresentationTime(time);
232     if (reverseCurrentSamplePTS == m_presentationOrder.rend())
233         return rend();
234
235     const RefPtr<MediaSample>& sample = reverseCurrentSamplePTS->second;
236     reverse_iterator reverseCurrentSampleDTS = reverseFindSampleWithDecodeKey(KeyType(sample->decodeTime(), sample->presentationTime()));
237
238     reverse_iterator foundSample = findSyncSamplePriorToDecodeIterator(reverseCurrentSampleDTS);
239     if (foundSample == rend())
240         return rend();
241     if (foundSample->second->presentationTime() < time - threshold)
242         return rend();
243     return foundSample;
244 }
245
246 DecodeOrderSampleMap::reverse_iterator DecodeOrderSampleMap::findSyncSamplePriorToDecodeIterator(reverse_iterator iterator)
247 {
248     return std::find_if(iterator, rend(), SampleIsRandomAccess());
249 }
250
251 DecodeOrderSampleMap::iterator DecodeOrderSampleMap::findSyncSampleAfterPresentationTime(const MediaTime& time, const MediaTime& threshold)
252 {
253     PresentationOrderSampleMap::iterator currentSamplePTS = m_presentationOrder.findSampleStartingOnOrAfterPresentationTime(time);
254     if (currentSamplePTS == m_presentationOrder.end())
255         return end();
256
257     const RefPtr<MediaSample>& sample = currentSamplePTS->second;
258     iterator currentSampleDTS = findSampleWithDecodeKey(KeyType(sample->decodeTime(), sample->presentationTime()));
259     
260     MediaTime upperBound = time + threshold;
261     iterator foundSample = std::find_if(currentSampleDTS, end(), SampleIsRandomAccess());
262     if (foundSample == end())
263         return end();
264     if (foundSample->second->presentationTime() > upperBound)
265         return end();
266     return foundSample;
267 }
268
269 DecodeOrderSampleMap::iterator DecodeOrderSampleMap::findSyncSampleAfterDecodeIterator(iterator currentSampleDTS)
270 {
271     if (currentSampleDTS == end())
272         return end();
273     return std::find_if(++currentSampleDTS, end(), SampleIsRandomAccess());
274 }
275
276 PresentationOrderSampleMap::iterator_range PresentationOrderSampleMap::findSamplesBetweenPresentationTimes(const MediaTime& beginTime, const MediaTime& endTime)
277 {
278     // startTime is inclusive, so use lower_bound to include samples wich start exactly at startTime.
279     // endTime is not inclusive, so use lower_bound to exclude samples which start exactly at endTime.
280     auto lower_bound = m_samples.lower_bound(beginTime);
281     auto upper_bound = m_samples.lower_bound(endTime);
282     if (lower_bound == upper_bound)
283         return { end(), end() };
284     return { lower_bound, upper_bound };
285 }
286
287 PresentationOrderSampleMap::iterator_range PresentationOrderSampleMap::findSamplesWithinPresentationRange(const MediaTime& beginTime, const MediaTime& endTime)
288 {
289     // startTime is not inclusive, so use upper_bound to exclude samples which start exactly at startTime.
290     // endTime is inclusive, so use upper_bound to include samples which start exactly at endTime.
291     auto lower_bound = m_samples.upper_bound(beginTime);
292     auto upper_bound = m_samples.upper_bound(endTime);
293     if (lower_bound == upper_bound)
294         return { end(), end() };
295     return { lower_bound, upper_bound };
296 }
297
298 PresentationOrderSampleMap::iterator_range PresentationOrderSampleMap::findSamplesWithinPresentationRangeFromEnd(const MediaTime& beginTime, const MediaTime& endTime)
299 {
300     reverse_iterator rangeEnd = std::find_if(rbegin(), rend(), [&beginTime](auto& value) {
301         return value.second->presentationTime() <= beginTime;
302     });
303
304     reverse_iterator rangeStart = std::find_if(rbegin(), rangeEnd, [&endTime](auto& value) {
305         return value.second->presentationTime() <= endTime;
306     });
307
308     return iterator_range(rangeEnd.base(), rangeStart.base());
309 }
310
311 DecodeOrderSampleMap::reverse_iterator_range DecodeOrderSampleMap::findDependentSamples(MediaSample* sample)
312 {
313     ASSERT(sample);
314     reverse_iterator currentDecodeIter = reverseFindSampleWithDecodeKey(KeyType(sample->decodeTime(), sample->presentationTime()));
315     reverse_iterator nextSyncSample = findSyncSamplePriorToDecodeIterator(currentDecodeIter);
316     return reverse_iterator_range(currentDecodeIter, nextSyncSample);
317 }
318
319 }
320
321 #endif