0d9a2b633a7839e7f311d1e4a741d057b0e198d9
[WebKit-https.git] / Source / WebCore / html / track / TextTrack.cpp
1 /*
2  * Copyright (C) 2011, 2013 Google Inc.  All rights reserved.
3  * Copyright (C) 2011-2014 Apple Inc.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions are
7  * met:
8  *
9  *     * Redistributions of source code must retain the above copyright
10  * notice, this list of conditions and the following disclaimer.
11  *     * Redistributions in binary form must reproduce the above
12  * copyright notice, this list of conditions and the following disclaimer
13  * in the documentation and/or other materials provided with the
14  * distribution.
15  *     * Neither the name of Google Inc. nor the names of its
16  * contributors may be used to endorse or promote products derived from
17  * this software without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #include "config.h"
33
34 #if ENABLE(VIDEO_TRACK)
35
36 #include "TextTrack.h"
37
38 #include "Event.h"
39 #include "HTMLMediaElement.h"
40 #include "SourceBuffer.h"
41 #include "TextTrackCueList.h"
42 #include "TextTrackList.h"
43 #include "VTTRegion.h"
44 #include "VTTRegionList.h"
45
46 namespace WebCore {
47
48 static const int invalidTrackIndex = -1;
49
50 const AtomicString& TextTrack::subtitlesKeyword()
51 {
52     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, subtitles, ("subtitles", AtomicString::ConstructFromLiteral));
53     return subtitles;
54 }
55
56 const AtomicString& TextTrack::captionsKeyword()
57 {
58     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, captions, ("captions", AtomicString::ConstructFromLiteral));
59     return captions;
60 }
61
62 const AtomicString& TextTrack::descriptionsKeyword()
63 {
64     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, descriptions, ("descriptions", AtomicString::ConstructFromLiteral));
65     return descriptions;
66 }
67
68 const AtomicString& TextTrack::chaptersKeyword()
69 {
70     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, chapters, ("chapters", AtomicString::ConstructFromLiteral));
71     return chapters;
72 }
73
74 const AtomicString& TextTrack::metadataKeyword()
75 {
76     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, metadata, ("metadata", AtomicString::ConstructFromLiteral));
77     return metadata;
78 }
79     
80 const AtomicString& TextTrack::forcedKeyword()
81 {
82     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, forced, ("forced", AtomicString::ConstructFromLiteral));
83     return forced;
84 }
85
86 const AtomicString& TextTrack::disabledKeyword()
87 {
88     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, open, ("disabled", AtomicString::ConstructFromLiteral));
89     return open;
90 }
91
92 const AtomicString& TextTrack::hiddenKeyword()
93 {
94     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, closed, ("hidden", AtomicString::ConstructFromLiteral));
95     return closed;
96 }
97
98 const AtomicString& TextTrack::showingKeyword()
99 {
100     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, ended, ("showing", AtomicString::ConstructFromLiteral));
101     return ended;
102 }
103
104 TextTrack* TextTrack::captionMenuOffItem()
105 {
106     static TextTrack& off = TextTrack::create(0, 0, "off menu item", "", "", "").leakRef();
107     return &off;
108 }
109
110 TextTrack* TextTrack::captionMenuAutomaticItem()
111 {
112     static TextTrack& automatic = TextTrack::create(0, 0, "automatic menu item", "", "", "").leakRef();
113     return &automatic;
114 }
115
116 TextTrack::TextTrack(ScriptExecutionContext* context, TextTrackClient* client, const AtomicString& kind, const AtomicString& id, const AtomicString& label, const AtomicString& language, TextTrackType type)
117     : TrackBase(TrackBase::TextTrack, id, label, language)
118     , m_cues(0)
119     , m_regions(0)
120     , m_scriptExecutionContext(context)
121     , m_mode(disabledKeyword().string())
122     , m_client(client)
123     , m_trackType(type)
124     , m_readinessState(NotLoaded)
125     , m_trackIndex(invalidTrackIndex)
126     , m_renderedTrackIndex(invalidTrackIndex)
127     , m_hasBeenConfigured(false)
128 {
129     setKindInternal(kind);
130 }
131
132 TextTrack::~TextTrack()
133 {
134     if (m_cues) {
135         if (m_client)
136             m_client->textTrackRemoveCues(this, m_cues.get());
137
138         for (size_t i = 0; i < m_cues->length(); ++i)
139             m_cues->item(i)->setTrack(0);
140         if (m_regions) {
141             for (size_t i = 0; i < m_regions->length(); ++i)
142                 m_regions->item(i)->setTrack(0);
143         }
144     }
145     clearClient();
146 }
147
148 bool TextTrack::isValidKind(const AtomicString& value) const
149 {
150     return TextTrack::isValidKindKeyword(value);
151 }
152
153 bool TextTrack::enabled() const
154 {
155     return m_mode != disabledKeyword();
156 }
157
158 bool TextTrack::isValidKindKeyword(const AtomicString& value)
159 {
160     if (value == subtitlesKeyword())
161         return true;
162     if (value == captionsKeyword())
163         return true;
164     if (value == descriptionsKeyword())
165         return true;
166     if (value == chaptersKeyword())
167         return true;
168     if (value == metadataKeyword())
169         return true;
170     if (value == forcedKeyword())
171         return true;
172
173     return false;
174 }
175
176 void TextTrack::setKind(const AtomicString& newKind)
177 {
178     String oldKind = kind();
179
180 #if ENABLE(MEDIA_SOURCE)
181     // 10.1 kind, on setting:
182     // 1. If the value being assigned to this attribute does not match one of the text track kinds,
183     // then abort these steps.
184     if (!isValidKindKeyword(newKind))
185         return;
186
187     // 2. Update this attribute to the new value.
188     setKindInternal(newKind);
189
190     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
191     // event named change at sourceBuffer.textTracks.
192     if (m_sourceBuffer)
193         m_sourceBuffer->textTracks()->scheduleChangeEvent();
194
195     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
196     // the textTracks attribute on the HTMLMediaElement.
197     if (mediaElement())
198         mediaElement()->textTracks()->scheduleChangeEvent();
199 #else
200     TrackBase::setKind(newKind);
201 #endif
202
203     if (m_client && oldKind != kind())
204         m_client->textTrackKindChanged(this);
205 }
206
207 void TextTrack::setMode(const AtomicString& mode)
208 {
209     ASSERT(mode == disabledKeyword() || mode == hiddenKeyword() || mode == showingKeyword());
210
211     // On setting, if the new value isn't equal to what the attribute would currently
212     // return, the new value must be processed as follows ...
213     if (m_mode == mode)
214         return;
215
216     // If mode changes to disabled, remove this track's cues from the client
217     // because they will no longer be accessible from the cues() function.
218     if (mode == disabledKeyword() && m_client && m_cues)
219         m_client->textTrackRemoveCues(this, m_cues.get());
220          
221     if (mode != showingKeyword() && m_cues) {
222         for (size_t i = 0; i < m_cues->length(); ++i) {
223             TextTrackCue* cue = m_cues->item(i);
224             if (cue->isRenderable())
225                 toVTTCue(cue)->removeDisplayTree();
226         }
227     }
228
229     m_mode = mode;
230
231     if (m_client)
232         m_client->textTrackModeChanged(this);
233 }
234
235 TextTrackCueList* TextTrack::cues()
236 {
237     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
238     // then the cues attribute must return a live TextTrackCueList object ...
239     // Otherwise, it must return null. When an object is returned, the
240     // same object must be returned each time.
241     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-cues
242     if (m_mode != disabledKeyword())
243         return ensureTextTrackCueList();
244     return nullptr;
245 }
246
247 void TextTrack::removeAllCues()
248 {
249     if (!m_cues)
250         return;
251
252     if (m_client)
253         m_client->textTrackRemoveCues(this, m_cues.get());
254     
255     for (size_t i = 0; i < m_cues->length(); ++i)
256         m_cues->item(i)->setTrack(nullptr);
257     
258     m_cues = nullptr;
259 }
260
261 TextTrackCueList* TextTrack::activeCues() const
262 {
263     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
264     // then the activeCues attribute must return a live TextTrackCueList object ...
265     // ... whose active flag was set when the script started, in text track cue
266     // order. Otherwise, it must return null. When an object is returned, the
267     // same object must be returned each time.
268     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-activecues
269     if (m_cues && m_mode != disabledKeyword())
270         return m_cues->activeCues();
271     return nullptr;
272 }
273
274 void TextTrack::addCue(PassRefPtr<TextTrackCue> prpCue, ExceptionCode& ec)
275 {
276     if (!prpCue)
277         return;
278
279     RefPtr<TextTrackCue> cue = prpCue;
280
281     // 4.7.10.12.6 Text tracks exposing in-band metadata
282     // The UA will use DataCue to expose only text track cue objects that belong to a text track that has a text
283     // track kind of metadata.
284     // If a DataCue is added to a TextTrack via the addCue() method but the text track does not have its text
285     // track kind set to metadata, throw a InvalidNodeTypeError exception and don't add the cue to the TextTrackList
286     // of the TextTrack.
287     if (cue->cueType() == TextTrackCue::Data && kind() != metadataKeyword()) {
288         ec = INVALID_NODE_TYPE_ERR;
289         return;
290     }
291
292     // TODO(93143): Add spec-compliant behavior for negative time values.
293     if (!cue->startMediaTime().isValid() || !cue->endMediaTime().isValid() || cue->startMediaTime() < MediaTime::zeroTime() || cue->endMediaTime() < MediaTime::zeroTime())
294         return;
295
296     // 4.8.10.12.5 Text track API
297
298     // The addCue(cue) method of TextTrack objects, when invoked, must run the following steps:
299
300     // 1. If the given cue is in a text track list of cues, then remove cue from that text track
301     // list of cues.
302     TextTrack* cueTrack = cue->track();
303     if (cueTrack && cueTrack != this)
304         cueTrack->removeCue(cue.get(), ASSERT_NO_EXCEPTION);
305
306     // 2. Add cue to the method's TextTrack object's text track's text track list of cues.
307     cue->setTrack(this);
308     ensureTextTrackCueList()->add(cue);
309     
310     if (m_client)
311         m_client->textTrackAddCue(this, cue.get());
312 }
313
314 void TextTrack::removeCue(TextTrackCue* cue, ExceptionCode& ec)
315 {
316     if (!cue)
317         return;
318
319     // 4.8.10.12.5 Text track API
320
321     // The removeCue(cue) method of TextTrack objects, when invoked, must run the following steps:
322
323     // 1. If the given cue is not currently listed in the method's TextTrack 
324     // object's text track's text track list of cues, then throw a NotFoundError exception.
325     if (cue->track() != this) {
326         ec = NOT_FOUND_ERR;
327         return;
328     }
329
330     // 2. Remove cue from the method's TextTrack object's text track's text track list of cues.
331     if (!m_cues || !m_cues->remove(cue)) {
332         ec = INVALID_STATE_ERR;
333         return;
334     }
335
336     cue->setTrack(0);
337     if (m_client)
338         m_client->textTrackRemoveCue(this, cue);
339 }
340
341 VTTRegionList* TextTrack::ensureVTTRegionList()
342 {
343     if (!m_regions)
344         m_regions = VTTRegionList::create();
345
346     return m_regions.get();
347 }
348
349 VTTRegionList* TextTrack::regions()
350 {
351     // If the text track mode of the text track that the TextTrack object
352     // represents is not the text track disabled mode, then the regions
353     // attribute must return a live VTTRegionList object that represents
354     // the text track list of regions of the text track. Otherwise, it must
355     // return null. When an object is returned, the same object must be returned
356     // each time.
357     if (m_mode != disabledKeyword())
358         return ensureVTTRegionList();
359
360     return 0;
361 }
362
363 void TextTrack::addRegion(PassRefPtr<VTTRegion> prpRegion)
364 {
365     if (!prpRegion)
366         return;
367
368     RefPtr<VTTRegion> region = prpRegion;
369     VTTRegionList* regionList = ensureVTTRegionList();
370
371     // 1. If the given region is in a text track list of regions, then remove
372     // region from that text track list of regions.
373     TextTrack* regionTrack = region->track();
374     if (regionTrack && regionTrack != this)
375         regionTrack->removeRegion(region.get(), ASSERT_NO_EXCEPTION);
376
377     // 2. If the method's TextTrack object's text track list of regions contains
378     // a region with the same identifier as region replace the values of that
379     // region's width, height, anchor point, viewport anchor point and scroll
380     // attributes with those of region.
381     VTTRegion* existingRegion = regionList->getRegionById(region->id());
382     if (existingRegion) {
383         existingRegion->updateParametersFromRegion(region.get());
384         return;
385     }
386
387     // Otherwise: add region to the method's TextTrack object's text track
388     // list of regions.
389     region->setTrack(this);
390     regionList->add(region);
391 }
392
393 void TextTrack::removeRegion(VTTRegion* region, ExceptionCode &ec)
394 {
395     if (!region)
396         return;
397
398     // 1. If the given region is not currently listed in the method's TextTrack
399     // object's text track list of regions, then throw a NotFoundError exception.
400     if (region->track() != this) {
401         ec = NOT_FOUND_ERR;
402         return;
403     }
404
405     if (!m_regions || !m_regions->remove(region)) {
406         ec = INVALID_STATE_ERR;
407         return;
408     }
409
410     region->setTrack(0);
411 }
412
413 void TextTrack::cueWillChange(TextTrackCue* cue)
414 {
415     if (!m_client)
416         return;
417
418     // The cue may need to be repositioned in the media element's interval tree, may need to
419     // be re-rendered, etc, so remove it before the modification...
420     m_client->textTrackRemoveCue(this, cue);
421 }
422
423 void TextTrack::cueDidChange(TextTrackCue* cue)
424 {
425     if (!m_client)
426         return;
427
428     // Make sure the TextTrackCueList order is up-to-date.
429     ensureTextTrackCueList()->updateCueIndex(cue);
430
431     // ... and add it back again.
432     m_client->textTrackAddCue(this, cue);
433 }
434
435 int TextTrack::trackIndex()
436 {
437     ASSERT(m_mediaElement);
438
439     if (m_trackIndex == invalidTrackIndex)
440         m_trackIndex = m_mediaElement->textTracks()->getTrackIndex(this);
441
442     return m_trackIndex;
443 }
444
445 void TextTrack::invalidateTrackIndex()
446 {
447     m_trackIndex = invalidTrackIndex;
448     m_renderedTrackIndex = invalidTrackIndex;
449 }
450
451 bool TextTrack::isRendered()
452 {
453     if (kind() != captionsKeyword() && kind() != subtitlesKeyword() && kind() != forcedKeyword())
454         return false;
455
456     if (m_mode != showingKeyword())
457         return false;
458
459     return true;
460 }
461
462 TextTrackCueList* TextTrack::ensureTextTrackCueList()
463 {
464     if (!m_cues)
465         m_cues = TextTrackCueList::create();
466
467     return m_cues.get();
468 }
469
470 int TextTrack::trackIndexRelativeToRenderedTracks()
471 {
472     ASSERT(m_mediaElement);
473     
474     if (m_renderedTrackIndex == invalidTrackIndex)
475         m_renderedTrackIndex = m_mediaElement->textTracks()->getTrackIndexRelativeToRenderedTracks(this);
476     
477     return m_renderedTrackIndex;
478 }
479
480 bool TextTrack::hasCue(TextTrackCue* cue, TextTrackCue::CueMatchRules match)
481 {
482     if (cue->startMediaTime() < MediaTime::zeroTime() || cue->endMediaTime() < MediaTime::zeroTime())
483         return false;
484     
485     if (!m_cues || !m_cues->length())
486         return false;
487     
488     size_t searchStart = 0;
489     size_t searchEnd = m_cues->length();
490     
491     while (1) {
492         ASSERT(searchStart <= m_cues->length());
493         ASSERT(searchEnd <= m_cues->length());
494         
495         TextTrackCue* existingCue;
496         
497         // Cues in the TextTrackCueList are maintained in start time order.
498         if (searchStart == searchEnd) {
499             if (!searchStart)
500                 return false;
501
502             // If there is more than one cue with the same start time, back up to first one so we
503             // consider all of them.
504             while (searchStart >= 2 && cue->hasEquivalentStartTime(*m_cues->item(searchStart - 2)))
505                 --searchStart;
506             
507             bool firstCompare = true;
508             while (1) {
509                 if (!firstCompare)
510                     ++searchStart;
511                 firstCompare = false;
512                 if (searchStart > m_cues->length())
513                     return false;
514
515                 existingCue = m_cues->item(searchStart - 1);
516                 if (!existingCue)
517                     return false;
518
519                 if (cue->startMediaTime() > (existingCue->startMediaTime() + startTimeVariance()))
520                     return false;
521
522                 if (existingCue->isEqual(*cue, match))
523                     return true;
524             }
525         }
526         
527         size_t index = (searchStart + searchEnd) / 2;
528         existingCue = m_cues->item(index);
529         if ((cue->startMediaTime() + startTimeVariance()) < existingCue->startMediaTime() || (match != TextTrackCue::IgnoreDuration && cue->hasEquivalentStartTime(*existingCue) && cue->endMediaTime() > existingCue->endMediaTime()))
530             searchEnd = index;
531         else
532             searchStart = index + 1;
533     }
534     
535     ASSERT_NOT_REACHED();
536     return false;
537 }
538
539 bool TextTrack::isMainProgramContent() const
540 {
541     // "Main program" content is intrinsic to the presentation of the media file, regardless of locale. Content such as
542     // directors commentary is not "main program" because it is not essential for the presentation. HTML5 doesn't have
543     // a way to express this in a machine-reable form, it is typically done with the track label, so we assume that caption
544     // tracks are main content and all other track types are not.
545     return kind() == captionsKeyword();
546 }
547
548 #if ENABLE(MEDIA_SOURCE)
549 void TextTrack::setLanguage(const AtomicString& language)
550 {
551     // 11.1 language, on setting:
552     // 1. If the value being assigned to this attribute is not an empty string or a BCP 47 language
553     // tag[BCP47], then abort these steps.
554     // FIXME(123926): Validate the BCP47-ness of langague.
555
556     // 2. Update this attribute to the new value.
557     TrackBase::setLanguage(language);
558
559     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
560     // event named change at sourceBuffer.textTracks.
561     if (m_sourceBuffer)
562         m_sourceBuffer->textTracks()->scheduleChangeEvent();
563
564     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
565     // the textTracks attribute on the HTMLMediaElement.
566     if (mediaElement())
567         mediaElement()->textTracks()->scheduleChangeEvent();
568 }
569 #endif
570
571 } // namespace WebCore
572
573 #endif