TextTrackRegion Not Implemented
[WebKit-https.git] / Source / WebCore / html / track / TextTrack.cpp
1 /*
2  * Copyright (C) 2011, 2013 Google Inc.  All rights reserved.
3  * Copyright (C) 2011-2014 Apple Inc.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions are
7  * met:
8  *
9  *     * Redistributions of source code must retain the above copyright
10  * notice, this list of conditions and the following disclaimer.
11  *     * Redistributions in binary form must reproduce the above
12  * copyright notice, this list of conditions and the following disclaimer
13  * in the documentation and/or other materials provided with the
14  * distribution.
15  *     * Neither the name of Google Inc. nor the names of its
16  * contributors may be used to endorse or promote products derived from
17  * this software without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #include "config.h"
33
34 #if ENABLE(VIDEO_TRACK)
35
36 #include "TextTrack.h"
37
38 #include "Event.h"
39 #include "HTMLMediaElement.h"
40 #include "SourceBuffer.h"
41 #include "TextTrackCueList.h"
42 #include "TextTrackList.h"
43 #include "TextTrackRegionList.h"
44
45 namespace WebCore {
46
47 static const int invalidTrackIndex = -1;
48
49 const AtomicString& TextTrack::subtitlesKeyword()
50 {
51     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, subtitles, ("subtitles", AtomicString::ConstructFromLiteral));
52     return subtitles;
53 }
54
55 const AtomicString& TextTrack::captionsKeyword()
56 {
57     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, captions, ("captions", AtomicString::ConstructFromLiteral));
58     return captions;
59 }
60
61 const AtomicString& TextTrack::descriptionsKeyword()
62 {
63     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, descriptions, ("descriptions", AtomicString::ConstructFromLiteral));
64     return descriptions;
65 }
66
67 const AtomicString& TextTrack::chaptersKeyword()
68 {
69     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, chapters, ("chapters", AtomicString::ConstructFromLiteral));
70     return chapters;
71 }
72
73 const AtomicString& TextTrack::metadataKeyword()
74 {
75     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, metadata, ("metadata", AtomicString::ConstructFromLiteral));
76     return metadata;
77 }
78     
79 const AtomicString& TextTrack::forcedKeyword()
80 {
81     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, forced, ("forced", AtomicString::ConstructFromLiteral));
82     return forced;
83 }
84
85 const AtomicString& TextTrack::disabledKeyword()
86 {
87     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, open, ("disabled", AtomicString::ConstructFromLiteral));
88     return open;
89 }
90
91 const AtomicString& TextTrack::hiddenKeyword()
92 {
93     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, closed, ("hidden", AtomicString::ConstructFromLiteral));
94     return closed;
95 }
96
97 const AtomicString& TextTrack::showingKeyword()
98 {
99     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, ended, ("showing", AtomicString::ConstructFromLiteral));
100     return ended;
101 }
102
103 TextTrack* TextTrack::captionMenuOffItem()
104 {
105     static TextTrack* off = TextTrack::create(0, 0, "off menu item", "", "", "").leakRef();
106     return off;
107 }
108
109 TextTrack* TextTrack::captionMenuAutomaticItem()
110 {
111     static TextTrack* automatic = TextTrack::create(0, 0, "automatic menu item", "", "", "").leakRef();
112     return automatic;
113 }
114
115 TextTrack::TextTrack(ScriptExecutionContext* context, TextTrackClient* client, const AtomicString& kind, const AtomicString& id, const AtomicString& label, const AtomicString& language, TextTrackType type)
116     : TrackBase(TrackBase::TextTrack, id, label, language)
117     , m_cues(0)
118 #if ENABLE(WEBVTT_REGIONS)
119     , m_regions(0)
120 #endif
121     , m_scriptExecutionContext(context)
122     , m_mode(disabledKeyword().string())
123     , m_client(client)
124     , m_trackType(type)
125     , m_readinessState(NotLoaded)
126     , m_trackIndex(invalidTrackIndex)
127     , m_renderedTrackIndex(invalidTrackIndex)
128     , m_hasBeenConfigured(false)
129 {
130     setKindInternal(kind);
131 }
132
133 TextTrack::~TextTrack()
134 {
135     if (m_cues) {
136         if (m_client)
137             m_client->textTrackRemoveCues(this, m_cues.get());
138
139         for (size_t i = 0; i < m_cues->length(); ++i)
140             m_cues->item(i)->setTrack(0);
141 #if ENABLE(WEBVTT_REGIONS)
142         if (m_regions) {
143             for (size_t i = 0; i < m_regions->length(); ++i)
144                 m_regions->item(i)->setTrack(0);
145         }
146 #endif
147     }
148     clearClient();
149 }
150
151 bool TextTrack::isValidKind(const AtomicString& value) const
152 {
153     return TextTrack::isValidKindKeyword(value);
154 }
155
156 bool TextTrack::enabled() const
157 {
158     return m_mode != disabledKeyword();
159 }
160
161 bool TextTrack::isValidKindKeyword(const AtomicString& value)
162 {
163     if (value == subtitlesKeyword())
164         return true;
165     if (value == captionsKeyword())
166         return true;
167     if (value == descriptionsKeyword())
168         return true;
169     if (value == chaptersKeyword())
170         return true;
171     if (value == metadataKeyword())
172         return true;
173     if (value == forcedKeyword())
174         return true;
175
176     return false;
177 }
178
179 void TextTrack::setKind(const AtomicString& newKind)
180 {
181     String oldKind = kind();
182
183 #if ENABLE(MEDIA_SOURCE)
184     // 10.1 kind, on setting:
185     // 1. If the value being assigned to this attribute does not match one of the text track kinds,
186     // then abort these steps.
187     if (!isValidKindKeyword(newKind))
188         return;
189
190     // 2. Update this attribute to the new value.
191     setKindInternal(newKind);
192
193     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
194     // event named change at sourceBuffer.textTracks.
195     if (m_sourceBuffer)
196         m_sourceBuffer->textTracks()->scheduleChangeEvent();
197
198     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
199     // the textTracks attribute on the HTMLMediaElement.
200     if (mediaElement())
201         mediaElement()->textTracks()->scheduleChangeEvent();
202 #else
203     TrackBase::setKind(newKind);
204 #endif
205
206     if (m_client && oldKind != kind())
207         m_client->textTrackKindChanged(this);
208 }
209
210 void TextTrack::setMode(const AtomicString& mode)
211 {
212     // On setting, if the new value isn't equal to what the attribute would currently
213     // return, the new value must be processed as follows ...
214     if (mode != disabledKeyword() && mode != hiddenKeyword() && mode != showingKeyword())
215         return;
216
217     if (m_mode == mode)
218         return;
219
220     // If mode changes to disabled, remove this track's cues from the client
221     // because they will no longer be accessible from the cues() function.
222     if (mode == disabledKeyword() && m_client && m_cues)
223         m_client->textTrackRemoveCues(this, m_cues.get());
224          
225     if (mode != showingKeyword() && m_cues) {
226         for (size_t i = 0; i < m_cues->length(); ++i) {
227             TextTrackCue* cue = m_cues->item(i);
228             if (cue->isRenderable())
229                 toVTTCue(cue)->removeDisplayTree();
230         }
231     }
232
233     m_mode = mode;
234
235     if (m_client)
236         m_client->textTrackModeChanged(this);
237 }
238
239 TextTrackCueList* TextTrack::cues()
240 {
241     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
242     // then the cues attribute must return a live TextTrackCueList object ...
243     // Otherwise, it must return null. When an object is returned, the
244     // same object must be returned each time.
245     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-cues
246     if (m_mode != disabledKeyword())
247         return ensureTextTrackCueList();
248     return 0;
249 }
250
251 void TextTrack::removeAllCues()
252 {
253     if (!m_cues)
254         return;
255
256     if (m_client)
257         m_client->textTrackRemoveCues(this, m_cues.get());
258     
259     for (size_t i = 0; i < m_cues->length(); ++i)
260         m_cues->item(i)->setTrack(0);
261     
262     m_cues = 0;
263 }
264
265 TextTrackCueList* TextTrack::activeCues() const
266 {
267     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
268     // then the activeCues attribute must return a live TextTrackCueList object ...
269     // ... whose active flag was set when the script started, in text track cue
270     // order. Otherwise, it must return null. When an object is returned, the
271     // same object must be returned each time.
272     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-activecues
273     if (m_cues && m_mode != disabledKeyword())
274         return m_cues->activeCues();
275     return 0;
276 }
277
278 void TextTrack::addCue(PassRefPtr<TextTrackCue> prpCue, ExceptionCode& ec)
279 {
280     if (!prpCue)
281         return;
282
283     RefPtr<TextTrackCue> cue = prpCue;
284
285     // 4.7.10.12.6 Text tracks exposing in-band metadata
286     // The UA will use DataCue to expose only text track cue objects that belong to a text track that has a text
287     // track kind of metadata.
288     // If a DataCue is added to a TextTrack via the addCue() method but the text track does not have its text
289     // track kind set to metadata, throw a InvalidNodeTypeError exception and don't add the cue to the TextTrackList
290     // of the TextTrack.
291     if (cue->cueType() == TextTrackCue::Data && kind() != metadataKeyword()) {
292         ec = INVALID_NODE_TYPE_ERR;
293         return;
294     }
295
296     // TODO(93143): Add spec-compliant behavior for negative time values.
297     if (std::isnan(cue->startTime()) || std::isnan(cue->endTime()) || cue->startTime() < 0 || cue->endTime() < 0)
298         return;
299
300     // 4.8.10.12.5 Text track API
301
302     // The addCue(cue) method of TextTrack objects, when invoked, must run the following steps:
303
304     // 1. If the given cue is in a text track list of cues, then remove cue from that text track
305     // list of cues.
306     TextTrack* cueTrack = cue->track();
307     if (cueTrack && cueTrack != this)
308         cueTrack->removeCue(cue.get(), ASSERT_NO_EXCEPTION);
309
310     // 2. Add cue to the method's TextTrack object's text track's text track list of cues.
311     cue->setTrack(this);
312     ensureTextTrackCueList()->add(cue);
313     
314     if (m_client)
315         m_client->textTrackAddCue(this, cue.get());
316 }
317
318 void TextTrack::removeCue(TextTrackCue* cue, ExceptionCode& ec)
319 {
320     if (!cue)
321         return;
322
323     // 4.8.10.12.5 Text track API
324
325     // The removeCue(cue) method of TextTrack objects, when invoked, must run the following steps:
326
327     // 1. If the given cue is not currently listed in the method's TextTrack 
328     // object's text track's text track list of cues, then throw a NotFoundError exception.
329     if (cue->track() != this) {
330         ec = NOT_FOUND_ERR;
331         return;
332     }
333
334     // 2. Remove cue from the method's TextTrack object's text track's text track list of cues.
335     if (!m_cues || !m_cues->remove(cue)) {
336         ec = INVALID_STATE_ERR;
337         return;
338     }
339
340     cue->setTrack(0);
341     if (m_client)
342         m_client->textTrackRemoveCue(this, cue);
343 }
344
345 #if ENABLE(VIDEO_TRACK) && ENABLE(WEBVTT_REGIONS)
346 TextTrackRegionList* TextTrack::ensureTextTrackRegionList()
347 {
348     if (!m_regions)
349         m_regions = TextTrackRegionList::create();
350
351     return m_regions.get();
352 }
353
354 TextTrackRegionList* TextTrack::regions()
355 {
356     // If the text track mode of the text track that the TextTrack object
357     // represents is not the text track disabled mode, then the regions
358     // attribute must return a live TextTrackRegionList object that represents
359     // the text track list of regions of the text track. Otherwise, it must
360     // return null. When an object is returned, the same object must be returned
361     // each time.
362     if (m_mode != disabledKeyword())
363         return ensureTextTrackRegionList();
364
365     return 0;
366 }
367
368 void TextTrack::addRegion(PassRefPtr<TextTrackRegion> prpRegion)
369 {
370     if (!prpRegion)
371         return;
372
373     RefPtr<TextTrackRegion> region = prpRegion;
374     TextTrackRegionList* regionList = ensureTextTrackRegionList();
375
376     // 1. If the given region is in a text track list of regions, then remove
377     // region from that text track list of regions.
378     TextTrack* regionTrack = region->track();
379     if (regionTrack && regionTrack != this)
380         regionTrack->removeRegion(region.get(), ASSERT_NO_EXCEPTION);
381
382     // 2. If the method's TextTrack object's text track list of regions contains
383     // a region with the same identifier as region replace the values of that
384     // region's width, height, anchor point, viewport anchor point and scroll
385     // attributes with those of region.
386     TextTrackRegion* existingRegion = regionList->getRegionById(region->id());
387     if (existingRegion) {
388         existingRegion->updateParametersFromRegion(region.get());
389         return;
390     }
391
392     // Otherwise: add region to the method's TextTrack object's text track
393     // list of regions.
394     region->setTrack(this);
395     regionList->add(region);
396 }
397
398 void TextTrack::removeRegion(TextTrackRegion* region, ExceptionCode &ec)
399 {
400     if (!region)
401         return;
402
403     // 1. If the given region is not currently listed in the method's TextTrack
404     // object's text track list of regions, then throw a NotFoundError exception.
405     if (region->track() != this) {
406         ec = NOT_FOUND_ERR;
407         return;
408     }
409
410     if (!m_regions || !m_regions->remove(region)) {
411         ec = INVALID_STATE_ERR;
412         return;
413     }
414
415     region->setTrack(0);
416 }
417 #endif
418
419 void TextTrack::cueWillChange(TextTrackCue* cue)
420 {
421     if (!m_client)
422         return;
423
424     // The cue may need to be repositioned in the media element's interval tree, may need to
425     // be re-rendered, etc, so remove it before the modification...
426     m_client->textTrackRemoveCue(this, cue);
427 }
428
429 void TextTrack::cueDidChange(TextTrackCue* cue)
430 {
431     if (!m_client)
432         return;
433
434     // Make sure the TextTrackCueList order is up-to-date.
435     ensureTextTrackCueList()->updateCueIndex(cue);
436
437     // ... and add it back again.
438     m_client->textTrackAddCue(this, cue);
439 }
440
441 int TextTrack::trackIndex()
442 {
443     ASSERT(m_mediaElement);
444
445     if (m_trackIndex == invalidTrackIndex)
446         m_trackIndex = m_mediaElement->textTracks()->getTrackIndex(this);
447
448     return m_trackIndex;
449 }
450
451 void TextTrack::invalidateTrackIndex()
452 {
453     m_trackIndex = invalidTrackIndex;
454     m_renderedTrackIndex = invalidTrackIndex;
455 }
456
457 bool TextTrack::isRendered()
458 {
459     if (kind() != captionsKeyword() && kind() != subtitlesKeyword() && kind() != forcedKeyword())
460         return false;
461
462     if (m_mode != showingKeyword())
463         return false;
464
465     return true;
466 }
467
468 TextTrackCueList* TextTrack::ensureTextTrackCueList()
469 {
470     if (!m_cues)
471         m_cues = TextTrackCueList::create();
472
473     return m_cues.get();
474 }
475
476 int TextTrack::trackIndexRelativeToRenderedTracks()
477 {
478     ASSERT(m_mediaElement);
479     
480     if (m_renderedTrackIndex == invalidTrackIndex)
481         m_renderedTrackIndex = m_mediaElement->textTracks()->getTrackIndexRelativeToRenderedTracks(this);
482     
483     return m_renderedTrackIndex;
484 }
485
486 bool TextTrack::hasCue(VTTCue* cue, VTTCue::CueMatchRules match)
487 {
488     if (cue->startTime() < 0 || cue->endTime() < 0)
489         return false;
490     
491     if (!m_cues || !m_cues->length())
492         return false;
493     
494     size_t searchStart = 0;
495     size_t searchEnd = m_cues->length();
496     
497     while (1) {
498         ASSERT(searchStart <= m_cues->length());
499         ASSERT(searchEnd <= m_cues->length());
500         
501         TextTrackCue* existingCue;
502         
503         // Cues in the TextTrackCueList are maintained in start time order.
504         if (searchStart == searchEnd) {
505             if (!searchStart)
506                 return false;
507
508             // If there is more than one cue with the same start time, back up to first one so we
509             // consider all of them.
510             while (searchStart >= 2 && cue->startTime() == m_cues->item(searchStart - 2)->startTime())
511                 --searchStart;
512             
513             bool firstCompare = true;
514             while (1) {
515                 if (!firstCompare)
516                     ++searchStart;
517                 firstCompare = false;
518                 if (searchStart > m_cues->length())
519                     return false;
520
521                 existingCue = m_cues->item(searchStart - 1);
522                 if (!cue->isRenderable())
523                     continue;
524
525                 if (!existingCue || cue->startTime() > existingCue->startTime())
526                     return false;
527
528                 if (!toVTTCue(existingCue)->isEqual(*cue, match))
529                     continue;
530                 
531                 return true;
532             }
533         }
534         
535         size_t index = (searchStart + searchEnd) / 2;
536         existingCue = m_cues->item(index);
537         if (cue->startTime() < existingCue->startTime() || (match != VTTCue::IgnoreDuration && cue->startTime() == existingCue->startTime() && cue->endTime() > existingCue->endTime()))
538             searchEnd = index;
539         else
540             searchStart = index + 1;
541     }
542     
543     ASSERT_NOT_REACHED();
544     return false;
545 }
546
547 #if USE(PLATFORM_TEXT_TRACK_MENU)
548 PassRefPtr<PlatformTextTrack> TextTrack::platformTextTrack()
549 {
550     if (m_platformTextTrack)
551         return m_platformTextTrack;
552
553     PlatformTextTrack::TrackKind platformKind = PlatformTextTrack::Caption;
554     if (kind() == subtitlesKeyword())
555         platformKind = PlatformTextTrack::Subtitle;
556     else if (kind() == captionsKeyword())
557         platformKind = PlatformTextTrack::Caption;
558     else if (kind() == descriptionsKeyword())
559         platformKind = PlatformTextTrack::Description;
560     else if (kind() == chaptersKeyword())
561         platformKind = PlatformTextTrack::Chapter;
562     else if (kind() == metadataKeyword())
563         platformKind = PlatformTextTrack::MetaData;
564     else if (kind() == forcedKeyword())
565         platformKind = PlatformTextTrack::Forced;
566
567     PlatformTextTrack::TrackType type = PlatformTextTrack::OutOfBand;
568     if (m_trackType == TrackElement)
569         type = PlatformTextTrack::OutOfBand;
570     else if (m_trackType == AddTrack)
571         type = PlatformTextTrack::Script;
572     else if (m_trackType == InBand)
573         type = PlatformTextTrack::InBand;
574
575     PlatformTextTrack::TrackMode platformMode = PlatformTextTrack::Disabled;
576     if (TextTrack::hiddenKeyword() == mode())
577         platformMode = PlatformTextTrack::Hidden;
578     else if (TextTrack::disabledKeyword() == mode())
579         platformMode = PlatformTextTrack::Disabled;
580     else if (TextTrack::showingKeyword() == mode())
581         platformMode = PlatformTextTrack::Showing;
582
583     m_platformTextTrack = PlatformTextTrack::create(this, label(), language(), platformMode, platformKind, type, uniqueId());
584
585     return m_platformTextTrack;
586 }
587 #endif
588
589 bool TextTrack::isMainProgramContent() const
590 {
591     // "Main program" content is intrinsic to the presentation of the media file, regardless of locale. Content such as
592     // directors commentary is not "main program" because it is not essential for the presentation. HTML5 doesn't have
593     // a way to express this in a machine-reable form, it is typically done with the track label, so we assume that caption
594     // tracks are main content and all other track types are not.
595     return kind() == captionsKeyword();
596 }
597
598 #if ENABLE(MEDIA_SOURCE)
599 void TextTrack::setLanguage(const AtomicString& language)
600 {
601     // 11.1 language, on setting:
602     // 1. If the value being assigned to this attribute is not an empty string or a BCP 47 language
603     // tag[BCP47], then abort these steps.
604     // FIXME(123926): Validate the BCP47-ness of langague.
605
606     // 2. Update this attribute to the new value.
607     TrackBase::setLanguage(language);
608
609     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
610     // event named change at sourceBuffer.textTracks.
611     if (m_sourceBuffer)
612         m_sourceBuffer->textTracks()->scheduleChangeEvent();
613
614     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
615     // the textTracks attribute on the HTMLMediaElement.
616     if (mediaElement())
617         mediaElement()->textTracks()->scheduleChangeEvent();
618 }
619 #endif
620
621 } // namespace WebCore
622
623 #endif