[Mac] implement WebKitDataCue
[WebKit-https.git] / Source / WebCore / html / track / TextTrack.cpp
1 /*
2  * Copyright (C) 2011, 2013 Google Inc.  All rights reserved.
3  * Copyright (C) 2011-2014 Apple Inc.  All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions are
7  * met:
8  *
9  *     * Redistributions of source code must retain the above copyright
10  * notice, this list of conditions and the following disclaimer.
11  *     * Redistributions in binary form must reproduce the above
12  * copyright notice, this list of conditions and the following disclaimer
13  * in the documentation and/or other materials provided with the
14  * distribution.
15  *     * Neither the name of Google Inc. nor the names of its
16  * contributors may be used to endorse or promote products derived from
17  * this software without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #include "config.h"
33
34 #if ENABLE(VIDEO_TRACK)
35
36 #include "TextTrack.h"
37
38 #include "Event.h"
39 #include "HTMLMediaElement.h"
40 #include "SourceBuffer.h"
41 #include "TextTrackCueList.h"
42 #include "TextTrackList.h"
43 #include "VTTRegion.h"
44 #include "VTTRegionList.h"
45
46 namespace WebCore {
47
48 static const int invalidTrackIndex = -1;
49
50 const AtomicString& TextTrack::subtitlesKeyword()
51 {
52     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, subtitles, ("subtitles", AtomicString::ConstructFromLiteral));
53     return subtitles;
54 }
55
56 const AtomicString& TextTrack::captionsKeyword()
57 {
58     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, captions, ("captions", AtomicString::ConstructFromLiteral));
59     return captions;
60 }
61
62 const AtomicString& TextTrack::descriptionsKeyword()
63 {
64     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, descriptions, ("descriptions", AtomicString::ConstructFromLiteral));
65     return descriptions;
66 }
67
68 const AtomicString& TextTrack::chaptersKeyword()
69 {
70     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, chapters, ("chapters", AtomicString::ConstructFromLiteral));
71     return chapters;
72 }
73
74 const AtomicString& TextTrack::metadataKeyword()
75 {
76     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, metadata, ("metadata", AtomicString::ConstructFromLiteral));
77     return metadata;
78 }
79     
80 const AtomicString& TextTrack::forcedKeyword()
81 {
82     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, forced, ("forced", AtomicString::ConstructFromLiteral));
83     return forced;
84 }
85
86 const AtomicString& TextTrack::disabledKeyword()
87 {
88     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, open, ("disabled", AtomicString::ConstructFromLiteral));
89     return open;
90 }
91
92 const AtomicString& TextTrack::hiddenKeyword()
93 {
94     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, closed, ("hidden", AtomicString::ConstructFromLiteral));
95     return closed;
96 }
97
98 const AtomicString& TextTrack::showingKeyword()
99 {
100     DEPRECATED_DEFINE_STATIC_LOCAL(const AtomicString, ended, ("showing", AtomicString::ConstructFromLiteral));
101     return ended;
102 }
103
104 TextTrack* TextTrack::captionMenuOffItem()
105 {
106     static TextTrack* off = TextTrack::create(0, 0, "off menu item", "", "", "").leakRef();
107     return off;
108 }
109
110 TextTrack* TextTrack::captionMenuAutomaticItem()
111 {
112     static TextTrack* automatic = TextTrack::create(0, 0, "automatic menu item", "", "", "").leakRef();
113     return automatic;
114 }
115
116 TextTrack::TextTrack(ScriptExecutionContext* context, TextTrackClient* client, const AtomicString& kind, const AtomicString& id, const AtomicString& label, const AtomicString& language, TextTrackType type)
117     : TrackBase(TrackBase::TextTrack, id, label, language)
118     , m_cues(0)
119 #if ENABLE(WEBVTT_REGIONS)
120     , m_regions(0)
121 #endif
122     , m_scriptExecutionContext(context)
123     , m_mode(disabledKeyword().string())
124     , m_client(client)
125     , m_trackType(type)
126     , m_readinessState(NotLoaded)
127     , m_trackIndex(invalidTrackIndex)
128     , m_renderedTrackIndex(invalidTrackIndex)
129     , m_hasBeenConfigured(false)
130 {
131     setKindInternal(kind);
132 }
133
134 TextTrack::~TextTrack()
135 {
136     if (m_cues) {
137         if (m_client)
138             m_client->textTrackRemoveCues(this, m_cues.get());
139
140         for (size_t i = 0; i < m_cues->length(); ++i)
141             m_cues->item(i)->setTrack(0);
142 #if ENABLE(WEBVTT_REGIONS)
143         if (m_regions) {
144             for (size_t i = 0; i < m_regions->length(); ++i)
145                 m_regions->item(i)->setTrack(0);
146         }
147 #endif
148     }
149     clearClient();
150 }
151
152 bool TextTrack::isValidKind(const AtomicString& value) const
153 {
154     return TextTrack::isValidKindKeyword(value);
155 }
156
157 bool TextTrack::enabled() const
158 {
159     return m_mode != disabledKeyword();
160 }
161
162 bool TextTrack::isValidKindKeyword(const AtomicString& value)
163 {
164     if (value == subtitlesKeyword())
165         return true;
166     if (value == captionsKeyword())
167         return true;
168     if (value == descriptionsKeyword())
169         return true;
170     if (value == chaptersKeyword())
171         return true;
172     if (value == metadataKeyword())
173         return true;
174     if (value == forcedKeyword())
175         return true;
176
177     return false;
178 }
179
180 void TextTrack::setKind(const AtomicString& newKind)
181 {
182     String oldKind = kind();
183
184 #if ENABLE(MEDIA_SOURCE)
185     // 10.1 kind, on setting:
186     // 1. If the value being assigned to this attribute does not match one of the text track kinds,
187     // then abort these steps.
188     if (!isValidKindKeyword(newKind))
189         return;
190
191     // 2. Update this attribute to the new value.
192     setKindInternal(newKind);
193
194     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
195     // event named change at sourceBuffer.textTracks.
196     if (m_sourceBuffer)
197         m_sourceBuffer->textTracks()->scheduleChangeEvent();
198
199     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
200     // the textTracks attribute on the HTMLMediaElement.
201     if (mediaElement())
202         mediaElement()->textTracks()->scheduleChangeEvent();
203 #else
204     TrackBase::setKind(newKind);
205 #endif
206
207     if (m_client && oldKind != kind())
208         m_client->textTrackKindChanged(this);
209 }
210
211 void TextTrack::setMode(const AtomicString& mode)
212 {
213     ASSERT(mode == disabledKeyword() || mode == hiddenKeyword() || mode == showingKeyword());
214
215     // On setting, if the new value isn't equal to what the attribute would currently
216     // return, the new value must be processed as follows ...
217     if (m_mode == mode)
218         return;
219
220     // If mode changes to disabled, remove this track's cues from the client
221     // because they will no longer be accessible from the cues() function.
222     if (mode == disabledKeyword() && m_client && m_cues)
223         m_client->textTrackRemoveCues(this, m_cues.get());
224          
225     if (mode != showingKeyword() && m_cues) {
226         for (size_t i = 0; i < m_cues->length(); ++i) {
227             TextTrackCue* cue = m_cues->item(i);
228             if (cue->isRenderable())
229                 toVTTCue(cue)->removeDisplayTree();
230         }
231     }
232
233     m_mode = mode;
234
235     if (m_client)
236         m_client->textTrackModeChanged(this);
237 }
238
239 TextTrackCueList* TextTrack::cues()
240 {
241     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
242     // then the cues attribute must return a live TextTrackCueList object ...
243     // Otherwise, it must return null. When an object is returned, the
244     // same object must be returned each time.
245     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-cues
246     if (m_mode != disabledKeyword())
247         return ensureTextTrackCueList();
248     return 0;
249 }
250
251 void TextTrack::removeAllCues()
252 {
253     if (!m_cues)
254         return;
255
256     if (m_client)
257         m_client->textTrackRemoveCues(this, m_cues.get());
258     
259     for (size_t i = 0; i < m_cues->length(); ++i)
260         m_cues->item(i)->setTrack(0);
261     
262     m_cues = 0;
263 }
264
265 TextTrackCueList* TextTrack::activeCues() const
266 {
267     // 4.8.10.12.5 If the text track mode ... is not the text track disabled mode,
268     // then the activeCues attribute must return a live TextTrackCueList object ...
269     // ... whose active flag was set when the script started, in text track cue
270     // order. Otherwise, it must return null. When an object is returned, the
271     // same object must be returned each time.
272     // http://www.whatwg.org/specs/web-apps/current-work/#dom-texttrack-activecues
273     if (m_cues && m_mode != disabledKeyword())
274         return m_cues->activeCues();
275     return 0;
276 }
277
278 void TextTrack::addCue(PassRefPtr<TextTrackCue> prpCue, ExceptionCode& ec)
279 {
280     if (!prpCue)
281         return;
282
283     RefPtr<TextTrackCue> cue = prpCue;
284
285     // 4.7.10.12.6 Text tracks exposing in-band metadata
286     // The UA will use DataCue to expose only text track cue objects that belong to a text track that has a text
287     // track kind of metadata.
288     // If a DataCue is added to a TextTrack via the addCue() method but the text track does not have its text
289     // track kind set to metadata, throw a InvalidNodeTypeError exception and don't add the cue to the TextTrackList
290     // of the TextTrack.
291     if (cue->cueType() == TextTrackCue::Data && kind() != metadataKeyword()) {
292         ec = INVALID_NODE_TYPE_ERR;
293         return;
294     }
295
296     // TODO(93143): Add spec-compliant behavior for negative time values.
297     if (std::isnan(cue->startTime()) || std::isnan(cue->endTime()) || cue->startTime() < 0 || cue->endTime() < 0)
298         return;
299
300     // 4.8.10.12.5 Text track API
301
302     // The addCue(cue) method of TextTrack objects, when invoked, must run the following steps:
303
304     // 1. If the given cue is in a text track list of cues, then remove cue from that text track
305     // list of cues.
306     TextTrack* cueTrack = cue->track();
307     if (cueTrack && cueTrack != this)
308         cueTrack->removeCue(cue.get(), ASSERT_NO_EXCEPTION);
309
310     // 2. Add cue to the method's TextTrack object's text track's text track list of cues.
311     cue->setTrack(this);
312     ensureTextTrackCueList()->add(cue);
313     
314     if (m_client)
315         m_client->textTrackAddCue(this, cue.get());
316 }
317
318 void TextTrack::removeCue(TextTrackCue* cue, ExceptionCode& ec)
319 {
320     if (!cue)
321         return;
322
323     // 4.8.10.12.5 Text track API
324
325     // The removeCue(cue) method of TextTrack objects, when invoked, must run the following steps:
326
327     // 1. If the given cue is not currently listed in the method's TextTrack 
328     // object's text track's text track list of cues, then throw a NotFoundError exception.
329     if (cue->track() != this) {
330         ec = NOT_FOUND_ERR;
331         return;
332     }
333
334     // 2. Remove cue from the method's TextTrack object's text track's text track list of cues.
335     if (!m_cues || !m_cues->remove(cue)) {
336         ec = INVALID_STATE_ERR;
337         return;
338     }
339
340     cue->setTrack(0);
341     if (m_client)
342         m_client->textTrackRemoveCue(this, cue);
343 }
344
345 #if ENABLE(VIDEO_TRACK) && ENABLE(WEBVTT_REGIONS)
346 VTTRegionList* TextTrack::ensureVTTRegionList()
347 {
348     if (!m_regions)
349         m_regions = VTTRegionList::create();
350
351     return m_regions.get();
352 }
353
354 VTTRegionList* TextTrack::regions()
355 {
356     // If the text track mode of the text track that the TextTrack object
357     // represents is not the text track disabled mode, then the regions
358     // attribute must return a live VTTRegionList object that represents
359     // the text track list of regions of the text track. Otherwise, it must
360     // return null. When an object is returned, the same object must be returned
361     // each time.
362     if (m_mode != disabledKeyword())
363         return ensureVTTRegionList();
364
365     return 0;
366 }
367
368 void TextTrack::addRegion(PassRefPtr<VTTRegion> prpRegion)
369 {
370     if (!prpRegion)
371         return;
372
373     RefPtr<VTTRegion> region = prpRegion;
374     VTTRegionList* regionList = ensureVTTRegionList();
375
376     // 1. If the given region is in a text track list of regions, then remove
377     // region from that text track list of regions.
378     TextTrack* regionTrack = region->track();
379     if (regionTrack && regionTrack != this)
380         regionTrack->removeRegion(region.get(), ASSERT_NO_EXCEPTION);
381
382     // 2. If the method's TextTrack object's text track list of regions contains
383     // a region with the same identifier as region replace the values of that
384     // region's width, height, anchor point, viewport anchor point and scroll
385     // attributes with those of region.
386     VTTRegion* existingRegion = regionList->getRegionById(region->id());
387     if (existingRegion) {
388         existingRegion->updateParametersFromRegion(region.get());
389         return;
390     }
391
392     // Otherwise: add region to the method's TextTrack object's text track
393     // list of regions.
394     region->setTrack(this);
395     regionList->add(region);
396 }
397
398 void TextTrack::removeRegion(VTTRegion* region, ExceptionCode &ec)
399 {
400     if (!region)
401         return;
402
403     // 1. If the given region is not currently listed in the method's TextTrack
404     // object's text track list of regions, then throw a NotFoundError exception.
405     if (region->track() != this) {
406         ec = NOT_FOUND_ERR;
407         return;
408     }
409
410     if (!m_regions || !m_regions->remove(region)) {
411         ec = INVALID_STATE_ERR;
412         return;
413     }
414
415     region->setTrack(0);
416 }
417 #endif
418
419 void TextTrack::cueWillChange(TextTrackCue* cue)
420 {
421     if (!m_client)
422         return;
423
424     // The cue may need to be repositioned in the media element's interval tree, may need to
425     // be re-rendered, etc, so remove it before the modification...
426     m_client->textTrackRemoveCue(this, cue);
427 }
428
429 void TextTrack::cueDidChange(TextTrackCue* cue)
430 {
431     if (!m_client)
432         return;
433
434     // Make sure the TextTrackCueList order is up-to-date.
435     ensureTextTrackCueList()->updateCueIndex(cue);
436
437     // ... and add it back again.
438     m_client->textTrackAddCue(this, cue);
439 }
440
441 int TextTrack::trackIndex()
442 {
443     ASSERT(m_mediaElement);
444
445     if (m_trackIndex == invalidTrackIndex)
446         m_trackIndex = m_mediaElement->textTracks()->getTrackIndex(this);
447
448     return m_trackIndex;
449 }
450
451 void TextTrack::invalidateTrackIndex()
452 {
453     m_trackIndex = invalidTrackIndex;
454     m_renderedTrackIndex = invalidTrackIndex;
455 }
456
457 bool TextTrack::isRendered()
458 {
459     if (kind() != captionsKeyword() && kind() != subtitlesKeyword() && kind() != forcedKeyword())
460         return false;
461
462     if (m_mode != showingKeyword())
463         return false;
464
465     return true;
466 }
467
468 TextTrackCueList* TextTrack::ensureTextTrackCueList()
469 {
470     if (!m_cues)
471         m_cues = TextTrackCueList::create();
472
473     return m_cues.get();
474 }
475
476 int TextTrack::trackIndexRelativeToRenderedTracks()
477 {
478     ASSERT(m_mediaElement);
479     
480     if (m_renderedTrackIndex == invalidTrackIndex)
481         m_renderedTrackIndex = m_mediaElement->textTracks()->getTrackIndexRelativeToRenderedTracks(this);
482     
483     return m_renderedTrackIndex;
484 }
485
486 bool TextTrack::hasCue(TextTrackCue* cue, TextTrackCue::CueMatchRules match)
487 {
488     if (cue->startTime() < 0 || cue->endTime() < 0)
489         return false;
490     
491     if (!m_cues || !m_cues->length())
492         return false;
493     
494     size_t searchStart = 0;
495     size_t searchEnd = m_cues->length();
496     
497     while (1) {
498         ASSERT(searchStart <= m_cues->length());
499         ASSERT(searchEnd <= m_cues->length());
500         
501         TextTrackCue* existingCue;
502         
503         // Cues in the TextTrackCueList are maintained in start time order.
504         if (searchStart == searchEnd) {
505             if (!searchStart)
506                 return false;
507
508             // If there is more than one cue with the same start time, back up to first one so we
509             // consider all of them.
510             while (searchStart >= 2 && cue->startTime() == m_cues->item(searchStart - 2)->startTime())
511                 --searchStart;
512             
513             bool firstCompare = true;
514             while (1) {
515                 if (!firstCompare)
516                     ++searchStart;
517                 firstCompare = false;
518                 if (searchStart > m_cues->length())
519                     return false;
520
521                 existingCue = m_cues->item(searchStart - 1);
522                 if (!existingCue || cue->startTime() > existingCue->startTime())
523                     return false;
524
525                 if (!existingCue->isEqual(*cue, match))
526                     continue;
527                 
528                 return true;
529             }
530         }
531         
532         size_t index = (searchStart + searchEnd) / 2;
533         existingCue = m_cues->item(index);
534         if (cue->startTime() < existingCue->startTime() || (match != TextTrackCue::IgnoreDuration && cue->startTime() == existingCue->startTime() && cue->endTime() > existingCue->endTime()))
535             searchEnd = index;
536         else
537             searchStart = index + 1;
538     }
539     
540     ASSERT_NOT_REACHED();
541     return false;
542 }
543
544 #if USE(PLATFORM_TEXT_TRACK_MENU)
545 PassRefPtr<PlatformTextTrack> TextTrack::platformTextTrack()
546 {
547     if (m_platformTextTrack)
548         return m_platformTextTrack;
549
550     PlatformTextTrack::TrackKind platformKind = PlatformTextTrack::Caption;
551     if (kind() == subtitlesKeyword())
552         platformKind = PlatformTextTrack::Subtitle;
553     else if (kind() == captionsKeyword())
554         platformKind = PlatformTextTrack::Caption;
555     else if (kind() == descriptionsKeyword())
556         platformKind = PlatformTextTrack::Description;
557     else if (kind() == chaptersKeyword())
558         platformKind = PlatformTextTrack::Chapter;
559     else if (kind() == metadataKeyword())
560         platformKind = PlatformTextTrack::MetaData;
561     else if (kind() == forcedKeyword())
562         platformKind = PlatformTextTrack::Forced;
563
564     PlatformTextTrack::TrackType type = PlatformTextTrack::OutOfBand;
565     if (m_trackType == TrackElement)
566         type = PlatformTextTrack::OutOfBand;
567     else if (m_trackType == AddTrack)
568         type = PlatformTextTrack::Script;
569     else if (m_trackType == InBand)
570         type = PlatformTextTrack::InBand;
571
572     PlatformTextTrack::TrackMode platformMode = PlatformTextTrack::Disabled;
573     if (TextTrack::hiddenKeyword() == mode())
574         platformMode = PlatformTextTrack::Hidden;
575     else if (TextTrack::disabledKeyword() == mode())
576         platformMode = PlatformTextTrack::Disabled;
577     else if (TextTrack::showingKeyword() == mode())
578         platformMode = PlatformTextTrack::Showing;
579
580     m_platformTextTrack = PlatformTextTrack::create(this, label(), language(), platformMode, platformKind, type, uniqueId());
581
582     return m_platformTextTrack;
583 }
584 #endif
585
586 bool TextTrack::isMainProgramContent() const
587 {
588     // "Main program" content is intrinsic to the presentation of the media file, regardless of locale. Content such as
589     // directors commentary is not "main program" because it is not essential for the presentation. HTML5 doesn't have
590     // a way to express this in a machine-reable form, it is typically done with the track label, so we assume that caption
591     // tracks are main content and all other track types are not.
592     return kind() == captionsKeyword();
593 }
594
595 #if ENABLE(MEDIA_SOURCE)
596 void TextTrack::setLanguage(const AtomicString& language)
597 {
598     // 11.1 language, on setting:
599     // 1. If the value being assigned to this attribute is not an empty string or a BCP 47 language
600     // tag[BCP47], then abort these steps.
601     // FIXME(123926): Validate the BCP47-ness of langague.
602
603     // 2. Update this attribute to the new value.
604     TrackBase::setLanguage(language);
605
606     // 3. If the sourceBuffer attribute on this track is not null, then queue a task to fire a simple
607     // event named change at sourceBuffer.textTracks.
608     if (m_sourceBuffer)
609         m_sourceBuffer->textTracks()->scheduleChangeEvent();
610
611     // 4. Queue a task to fire a simple event named change at the TextTrackList object referenced by
612     // the textTracks attribute on the HTMLMediaElement.
613     if (mediaElement())
614         mediaElement()->textTracks()->scheduleChangeEvent();
615 }
616 #endif
617
618 } // namespace WebCore
619
620 #endif