f3fa4a50b1609429b2a03c61278931990998122c
[WebKit-https.git] / Source / WebCore / html / track / TextTrack.cpp
1 /*
2  * Copyright (C) 2011 Google Inc.  All rights reserved.
3  * Copyright (C) 2011-2014 Apple Inc.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions are
7  * met:
8  *
9  *     * Redistributions of source code must retain the above copyright
10  * notice, this list of conditions and the following disclaimer.
11  *     * Redistributions in binary form must reproduce the above
12  * copyright notice, this list of conditions and the following disclaimer
13  * in the documentation and/or other materials provided with the
14  * distribution.
15  *     * Neither the name of Google Inc. nor the names of its
16  * contributors may be used to endorse or promote products derived from
17  * this software without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #include "config.h"
33
34 #if ENABLE(VIDEO_TRACK)
35
36 #include "TextTrack.h"
37
38 #include "Event.h"
39 #include "HTMLMediaElement.h"
40 #include "SourceBuffer.h"
41 #include "TextTrackCueList.h"
42 #include "TextTrackList.h"
43 #include "TextTrackRegionList.h"
44
45 namespace WebCore {
46
47 static const int invalidTrackIndex = -1;
48
49 const AtomicString& TextTrack::subtitlesKeyword()
50 {
51     DEFINE_STATIC_LOCAL(const AtomicString, subtitles, ("subtitles", AtomicString::ConstructFromLiteral));
52     return subtitles;
53 }
54
55 const AtomicString& TextTrack::captionsKeyword()
56 {
57     DEFINE_STATIC_LOCAL(const AtomicString, captions, ("captions", AtomicString::ConstructFromLiteral));
58     return captions;
59 }
60
61 const AtomicString& TextTrack::descriptionsKeyword()
62 {
63     DEFINE_STATIC_LOCAL(const AtomicString, descriptions, ("descriptions", AtomicString::ConstructFromLiteral));
64     return descriptions;
65 }
66
67 const AtomicString& TextTrack::chaptersKeyword()
68 {
69     DEFINE_STATIC_LOCAL(const AtomicString, chapters, ("chapters", AtomicString::ConstructFromLiteral));
70     return chapters;
71 }
72
73 const AtomicString& TextTrack::metadataKeyword()
74 {
75     DEFINE_STATIC_LOCAL(const AtomicString, metadata, ("metadata", AtomicString::ConstructFromLiteral));
76     return metadata;
77 }
78     
79 const AtomicString& TextTrack::forcedKeyword()
80 {
81     DEFINE_STATIC_LOCAL(const AtomicString, forced, ("forced", AtomicString::ConstructFromLiteral));
82     return forced;
83 }
84
85 const AtomicString& TextTrack::disabledKeyword()
86 {
87     DEFINE_STATIC_LOCAL(const AtomicString, open, ("disabled", AtomicString::ConstructFromLiteral));
88     return open;
89 }
90
91 const AtomicString& TextTrack::hiddenKeyword()
92 {
93     DEFINE_STATIC_LOCAL(const AtomicString, closed, ("hidden", AtomicString::ConstructFromLiteral));
94     return closed;
95 }
96
97 const AtomicString& TextTrack::showingKeyword()
98 {
99     DEFINE_STATIC_LOCAL(const AtomicString, ended, ("showing", AtomicString::ConstructFromLiteral));
100     return ended;
101 }
102
103 TextTrack* TextTrack::captionMenuOffItem()
104 {
105     static TextTrack* off = TextTrack::create(0, 0, "off menu item", "", "", "").leakRef();
106     return off;
107 }
108
109 TextTrack* TextTrack::captionMenuAutomaticItem()
110 {
111     static TextTrack* automatic = TextTrack::create(0, 0, "automatic menu item", "", "", "").leakRef();
112     return automatic;
113 }
114
115 TextTrack::TextTrack(ScriptExecutionContext* context, TextTrackClient* client, const AtomicString& kind, const AtomicString& id, const AtomicString& label, const AtomicString& language, TextTrackType type)
116     : TrackBase(TrackBase::TextTrack, id, label, language)
117     , m_cues(0)
118     , m_scriptExecutionContext(context)
119 #if ENABLE(WEBVTT_REGIONS)
120     , m_regions(0)
121 #endif
122     , m_mode(disabledKeyword().string())
123     , m_client(client)
124     , m_trackType(type)
125     , m_readinessState(NotLoaded)
126     , m_trackIndex(invalidTrackIndex)
127     , m_renderedTrackIndex(invalidTrackIndex)
128     , m_hasBeenConfigured(false)
129 {
130     setKindInternal(kind);
131 }
132
133 TextTrack::~TextTrack()
134 {
135     if (m_cues) {
136         if (m_client)
137             m_client->textTrackRemoveCues(this, m_cues.get());
138
139         for (size_t i = 0; i < m_cues->length(); ++i)
140             m_cues->item(i)->setTrack(0);
141 #if ENABLE(WEBVTT_REGIONS)
142         for (size_t i = 0; i < m_regions->length(); ++i)
143             m_regions->item(i)->setTrack(0);
144 #endif
145     }
146     clearClient();
147 }
148
149 bool TextTrack::isValidKind(const AtomicString& value) const
150 {
151     return TextTrack::isValidKindKeyword(value);
152 }
153
154 bool TextTrack::enabled() const
155 {
156     return m_mode != disabledKeyword();
157 }
158
159 bool TextTrack::isValidKindKeyword(const AtomicString& value)
160 {
161     if (value == subtitlesKeyword())
162         return true;
163     if (value == captionsKeyword())
164         return true;
165     if (value == descriptionsKeyword())
166         return true;
167     if (value == chaptersKeyword())
168         return true;
169     if (value == metadataKeyword())
170         return true;
171     if (value == forcedKeyword())
172         return true;
173
174     return false;
175 }
176
177 void TextTrack::setKind(const AtomicString& newKind)
178 {
179     String oldKind = kind();
180
181 #if ENABLE(MEDIA_SOURCE)
182     // 10.1 kind, on setting:
183     // 1. If the value being assigned to this attribute does not match one of the text track kinds,
184     // then abort these steps.
185     if (!isValidKindKeyword(newKind))
186         return;
187
188     // 2. Update this attribute to the new value.
189     setKindInternal(newKind);
190
191     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
192     // event named change at sourceBuffer.textTracks.
193     if (m_sourceBuffer)
194         m_sourceBuffer->textTracks()->scheduleChangeEvent();
195
196     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
197     // the textTracks attribute on the HTMLMediaElement.
198     if (mediaElement())
199         mediaElement()->textTracks()->scheduleChangeEvent();
200 #else
201     TrackBase::setKind(newKind);
202 #endif
203
204     if (m_client && oldKind != kind())
205         m_client->textTrackKindChanged(this);
206 }
207
208 void TextTrack::setMode(const AtomicString& mode)
209 {
210     // On setting, if the new value isn't equal to what the attribute would currently
211     // return, the new value must be processed as follows ...
212     if (mode != disabledKeyword() && mode != hiddenKeyword() && mode != showingKeyword())
213         return;
214
215     if (m_mode == mode)
216         return;
217
218     // If mode changes to disabled, remove this track's cues from the client
219     // because they will no longer be accessible from the cues() function.
220     if (mode == disabledKeyword() && m_client && m_cues)
221         m_client->textTrackRemoveCues(this, m_cues.get());
222          
223     if (mode != showingKeyword() && m_cues) {
224         for (size_t i = 0; i < m_cues->length(); ++i) {
225             TextTrackCue* cue = m_cues->item(i);
226             if (cue->isRenderable())
227                 toVTTCue(cue)->removeDisplayTree();
228         }
229     }
230
231     m_mode = mode;
232
233     if (m_client)
234         m_client->textTrackModeChanged(this);
235 }
236
237 TextTrackCueList* TextTrack::cues()
238 {
239     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
240     // then the cues attribute must return a live TextTrackCueList object ...
241     // Otherwise, it must return null. When an object is returned, the
242     // same object must be returned each time.
243     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-cues
244     if (m_mode != disabledKeyword())
245         return ensureTextTrackCueList();
246     return 0;
247 }
248
249 void TextTrack::removeAllCues()
250 {
251     if (!m_cues)
252         return;
253
254     if (m_client)
255         m_client->textTrackRemoveCues(this, m_cues.get());
256     
257     for (size_t i = 0; i < m_cues->length(); ++i)
258         m_cues->item(i)->setTrack(0);
259     
260     m_cues = 0;
261 }
262
263 TextTrackCueList* TextTrack::activeCues() const
264 {
265     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
266     // then the activeCues attribute must return a live TextTrackCueList object ...
267     // ... whose active flag was set when the script started, in text track cue
268     // order. Otherwise, it must return null. When an object is returned, the
269     // same object must be returned each time.
270     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-activecues
271     if (m_cues && m_mode != disabledKeyword())
272         return m_cues->activeCues();
273     return 0;
274 }
275
276 void TextTrack::addCue(PassRefPtr<TextTrackCue> prpCue, ExceptionCode& ec)
277 {
278     if (!prpCue)
279         return;
280
281     RefPtr<TextTrackCue> cue = prpCue;
282
283     // 4.7.10.12.6 Text tracks exposing in-band metadata
284     // The UA will use DataCue to expose only text track cue objects that belong to a text track that has a text
285     // track kind of metadata.
286     // If a DataCue is added to a TextTrack via the addCue() method but the text track does not have its text
287     // track kind set to metadata, throw a InvalidNodeTypeError exception and don't add the cue to the TextTrackList
288     // of the TextTrack.
289     if (cue->cueType() == TextTrackCue::Data && kind() != metadataKeyword()) {
290         ec = INVALID_NODE_TYPE_ERR;
291         return;
292     }
293
294     // TODO(93143): Add spec-compliant behavior for negative time values.
295     if (std::isnan(cue->startTime()) || std::isnan(cue->endTime()) || cue->startTime() < 0 || cue->endTime() < 0)
296         return;
297
298     // 4.8.10.12.5 Text track API
299
300     // The addCue(cue) method of TextTrack objects, when invoked, must run the following steps:
301
302     // 1. If the given cue is in a text track list of cues, then remove cue from that text track
303     // list of cues.
304     TextTrack* cueTrack = cue->track();
305     if (cueTrack && cueTrack != this)
306         cueTrack->removeCue(cue.get(), ASSERT_NO_EXCEPTION);
307
308     // 2. Add cue to the method's TextTrack object's text track's text track list of cues.
309     cue->setTrack(this);
310     ensureTextTrackCueList()->add(cue);
311     
312     if (m_client)
313         m_client->textTrackAddCue(this, cue.get());
314 }
315
316 void TextTrack::removeCue(TextTrackCue* cue, ExceptionCode& ec)
317 {
318     if (!cue)
319         return;
320
321     // 4.8.10.12.5 Text track API
322
323     // The removeCue(cue) method of TextTrack objects, when invoked, must run the following steps:
324
325     // 1. If the given cue is not currently listed in the method's TextTrack 
326     // object's text track's text track list of cues, then throw a NotFoundError exception.
327     if (cue->track() != this) {
328         ec = NOT_FOUND_ERR;
329         return;
330     }
331
332     // 2. Remove cue from the method's TextTrack object's text track's text track list of cues.
333     if (!m_cues || !m_cues->remove(cue)) {
334         ec = INVALID_STATE_ERR;
335         return;
336     }
337
338     cue->setTrack(0);
339     if (m_client)
340         m_client->textTrackRemoveCue(this, cue);
341 }
342
343 #if ENABLE(VIDEO_TRACK) && ENABLE(WEBVTT_REGIONS)
344 TextTrackRegionList* TextTrack::regionList()
345 {
346     return ensureTextTrackRegionList();
347 }
348
349 TextTrackRegionList* TextTrack::ensureTextTrackRegionList()
350 {
351     if (!m_regions)
352         m_regions = TextTrackRegionList::create();
353
354     return m_regions.get();
355 }
356
357 TextTrackRegionList* TextTrack::regions()
358 {
359     // If the text track mode of the text track that the TextTrack object
360     // represents is not the text track disabled mode, then the regions
361     // attribute must return a live TextTrackRegionList object that represents
362     // the text track list of regions of the text track. Otherwise, it must
363     // return null. When an object is returned, the same object must be returned
364     // each time.
365     if (m_mode != disabledKeyword())
366         return ensureTextTrackRegionList();
367
368     return 0;
369 }
370
371 void TextTrack::addRegion(PassRefPtr<TextTrackRegion> prpRegion)
372 {
373     if (!prpRegion)
374         return;
375
376     RefPtr<TextTrackRegion> region = prpRegion;
377     TextTrackRegionList* regionList = ensureTextTrackRegionList();
378
379     // 1. If the given region is in a text track list of regions, then remove
380     // region from that text track list of regions.
381     TextTrack* regionTrack = region->track();
382     if (regionTrack && regionTrack != this)
383         regionTrack->removeRegion(region.get(), ASSERT_NO_EXCEPTION);
384
385     // 2. If the method's TextTrack object's text track list of regions contains
386     // a region with the same identifier as region replace the values of that
387     // region's width, height, anchor point, viewport anchor point and scroll
388     // attributes with those of region.
389     TextTrackRegion* existingRegion = regionList->getRegionById(region->id());
390     if (existingRegion) {
391         existingRegion->updateParametersFromRegion(region.get());
392         return;
393     }
394
395     // Otherwise: add region to the method's TextTrack object's text track
396     // list of regions.
397     region->setTrack(this);
398     regionList->add(region);
399 }
400
401 void TextTrack::removeRegion(TextTrackRegion* region, ExceptionCode &ec)
402 {
403     if (!region)
404         return;
405
406     // 1. If the given region is not currently listed in the method's TextTrack
407     // object's text track list of regions, then throw a NotFoundError exception.
408     if (region->track() != this) {
409         ec = NOT_FOUND_ERR;
410         return;
411     }
412
413     if (!m_regions || !m_regions->remove(region)) {
414         ec = INVALID_STATE_ERR;
415         return;
416     }
417
418     region->setTrack(0);
419 }
420 #endif
421
422 void TextTrack::cueWillChange(TextTrackCue* cue)
423 {
424     if (!m_client)
425         return;
426
427     // The cue may need to be repositioned in the media element's interval tree, may need to
428     // be re-rendered, etc, so remove it before the modification...
429     m_client->textTrackRemoveCue(this, cue);
430 }
431
432 void TextTrack::cueDidChange(TextTrackCue* cue)
433 {
434     if (!m_client)
435         return;
436
437     // Make sure the TextTrackCueList order is up-to-date.
438     ensureTextTrackCueList()->updateCueIndex(cue);
439
440     // ... and add it back again.
441     m_client->textTrackAddCue(this, cue);
442 }
443
444 int TextTrack::trackIndex()
445 {
446     ASSERT(m_mediaElement);
447
448     if (m_trackIndex == invalidTrackIndex)
449         m_trackIndex = m_mediaElement->textTracks()->getTrackIndex(this);
450
451     return m_trackIndex;
452 }
453
454 void TextTrack::invalidateTrackIndex()
455 {
456     m_trackIndex = invalidTrackIndex;
457     m_renderedTrackIndex = invalidTrackIndex;
458 }
459
460 bool TextTrack::isRendered()
461 {
462     if (kind() != captionsKeyword() && kind() != subtitlesKeyword() && kind() != forcedKeyword())
463         return false;
464
465     if (m_mode != showingKeyword())
466         return false;
467
468     return true;
469 }
470
471 TextTrackCueList* TextTrack::ensureTextTrackCueList()
472 {
473     if (!m_cues)
474         m_cues = TextTrackCueList::create();
475
476     return m_cues.get();
477 }
478
479 int TextTrack::trackIndexRelativeToRenderedTracks()
480 {
481     ASSERT(m_mediaElement);
482     
483     if (m_renderedTrackIndex == invalidTrackIndex)
484         m_renderedTrackIndex = m_mediaElement->textTracks()->getTrackIndexRelativeToRenderedTracks(this);
485     
486     return m_renderedTrackIndex;
487 }
488
489 bool TextTrack::hasCue(VTTCue* cue, VTTCue::CueMatchRules match)
490 {
491     if (cue->startTime() < 0 || cue->endTime() < 0)
492         return false;
493     
494     if (!m_cues || !m_cues->length())
495         return false;
496     
497     size_t searchStart = 0;
498     size_t searchEnd = m_cues->length();
499     
500     while (1) {
501         ASSERT(searchStart <= m_cues->length());
502         ASSERT(searchEnd <= m_cues->length());
503         
504         TextTrackCue* existingCue;
505         
506         // Cues in the TextTrackCueList are maintained in start time order.
507         if (searchStart == searchEnd) {
508             if (!searchStart)
509                 return false;
510
511             // If there is more than one cue with the same start time, back up to first one so we
512             // consider all of them.
513             while (searchStart >= 2 && cue->startTime() == m_cues->item(searchStart - 2)->startTime())
514                 --searchStart;
515             
516             bool firstCompare = true;
517             while (1) {
518                 if (!firstCompare)
519                     ++searchStart;
520                 firstCompare = false;
521                 if (searchStart > m_cues->length())
522                     return false;
523
524                 existingCue = m_cues->item(searchStart - 1);
525                 if (!cue->isRenderable())
526                     continue;
527
528                 if (!existingCue || cue->startTime() > existingCue->startTime())
529                     return false;
530
531                 if (!toVTTCue(existingCue)->isEqual(*cue, match))
532                     continue;
533                 
534                 return true;
535             }
536         }
537         
538         size_t index = (searchStart + searchEnd) / 2;
539         existingCue = m_cues->item(index);
540         if (cue->startTime() < existingCue->startTime() || (match != VTTCue::IgnoreDuration && cue->startTime() == existingCue->startTime() && cue->endTime() > existingCue->endTime()))
541             searchEnd = index;
542         else
543             searchStart = index + 1;
544     }
545     
546     ASSERT_NOT_REACHED();
547     return false;
548 }
549
550 #if USE(PLATFORM_TEXT_TRACK_MENU)
551 PassRefPtr<PlatformTextTrack> TextTrack::platformTextTrack()
552 {
553     if (m_platformTextTrack)
554         return m_platformTextTrack;
555
556     PlatformTextTrack::TrackKind platformKind = PlatformTextTrack::Caption;
557     if (kind() == subtitlesKeyword())
558         platformKind = PlatformTextTrack::Subtitle;
559     else if (kind() == captionsKeyword())
560         platformKind = PlatformTextTrack::Caption;
561     else if (kind() == descriptionsKeyword())
562         platformKind = PlatformTextTrack::Description;
563     else if (kind() == chaptersKeyword())
564         platformKind = PlatformTextTrack::Chapter;
565     else if (kind() == metadataKeyword())
566         platformKind = PlatformTextTrack::MetaData;
567     else if (kind() == forcedKeyword())
568         platformKind = PlatformTextTrack::Forced;
569
570     PlatformTextTrack::TrackType type = PlatformTextTrack::OutOfBand;
571     if (m_trackType == TrackElement)
572         type = PlatformTextTrack::OutOfBand;
573     else if (m_trackType == AddTrack)
574         type = PlatformTextTrack::Script;
575     else if (m_trackType == InBand)
576         type = PlatformTextTrack::InBand;
577
578     PlatformTextTrack::TrackMode platformMode = PlatformTextTrack::Disabled;
579     if (TextTrack::hiddenKeyword() == mode())
580         platformMode = PlatformTextTrack::Hidden;
581     else if (TextTrack::disabledKeyword() == mode())
582         platformMode = PlatformTextTrack::Disabled;
583     else if (TextTrack::showingKeyword() == mode())
584         platformMode = PlatformTextTrack::Showing;
585
586     m_platformTextTrack = PlatformTextTrack::create(this, label(), language(), platformMode, platformKind, type, uniqueId());
587
588     return m_platformTextTrack;
589 }
590 #endif
591
592 bool TextTrack::isMainProgramContent() const
593 {
594     // "Main program" content is intrinsic to the presentation of the media file, regardless of locale. Content such as
595     // directors commentary is not "main program" because it is not essential for the presentation. HTML5 doesn't have
596     // a way to express this in a machine-reable form, it is typically done with the track label, so we assume that caption
597     // tracks are main content and all other track types are not.
598     return kind() == captionsKeyword();
599 }
600
601 #if ENABLE(MEDIA_SOURCE)
602 void TextTrack::setLanguage(const AtomicString& language)
603 {
604     // 11.1 language, on setting:
605     // 1. If the value being assigned to this attribute is not an empty string or a BCP 47 language
606     // tag[BCP47], then abort these steps.
607     // FIXME(123926): Validate the BCP47-ness of langague.
608
609     // 2. Update this attribute to the new value.
610     TrackBase::setLanguage(language);
611
612     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
613     // event named change at sourceBuffer.textTracks.
614     if (m_sourceBuffer)
615         m_sourceBuffer->textTracks()->scheduleChangeEvent();
616
617     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
618     // the textTracks attribute on the HTMLMediaElement.
619     if (mediaElement())
620         mediaElement()->textTracks()->scheduleChangeEvent();
621 }
622 #endif
623
624 } // namespace WebCore
625
626 #endif