[Mac] Audio tracks tagged as 'describes-video' are not automatically selected when...
[WebKit-https.git] / Source / WebCore / platform / graphics / avfoundation / MediaSelectionGroupAVFObjC.mm
1 /*
2  * Copyright (C) 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #import "config.h"
27 #import "MediaSelectionGroupAVFObjC.h"
28
29 #if ENABLE(VIDEO_TRACK)
30
31 #import "Language.h"
32 #import "SoftLinking.h"
33 #import <AVFoundation/AVAsset.h>
34 #import <AVFoundation/AVMediaSelectionGroup.h>
35 #import <AVFoundation/AVPlayerItem.h>
36 #import <objc/runtime.h>
37 #import <wtf/HashMap.h>
38 #import <wtf/HashSet.h>
39 #import <wtf/text/WTFString.h>
40
41 SOFT_LINK_FRAMEWORK_OPTIONAL(AVFoundation)
42
43 SOFT_LINK_CLASS(AVFoundation, AVMediaSelectionGroup)
44 SOFT_LINK_CLASS(AVFoundation, AVMediaSelectionOption)
45
46 #if HAVE(MEDIA_ACCESSIBILITY_FRAMEWORK)
47 #include <MediaAccessibility/MediaAccessibility.h>
48 #include "MediaAccessibilitySoftLink.h"
49 #endif
50
51 namespace WebCore {
52
53 PassRefPtr<MediaSelectionOptionAVFObjC> MediaSelectionOptionAVFObjC::create(MediaSelectionGroupAVFObjC& group, AVMediaSelectionOption *option)
54 {
55     return adoptRef(new MediaSelectionOptionAVFObjC(group, option));
56 }
57
58 MediaSelectionOptionAVFObjC::MediaSelectionOptionAVFObjC(MediaSelectionGroupAVFObjC& group, AVMediaSelectionOption *option)
59     : m_group(&group)
60     , m_mediaSelectionOption(option)
61 {
62 }
63
64 void MediaSelectionOptionAVFObjC::setSelected(bool selected)
65 {
66     if (!m_group)
67         return;
68
69     if (selected == this->selected())
70         return;
71
72     m_group->setSelectedOption(selected ? this : nullptr);
73 }
74
75 bool MediaSelectionOptionAVFObjC::selected() const
76 {
77     if (!m_group)
78         return false;
79     return this == m_group->selectedOption();
80 }
81
82 int MediaSelectionOptionAVFObjC::index() const
83 {
84     if (!m_group)
85         return 0;
86
87     return [[m_group->avMediaSelectionGroup() options] indexOfObject:m_mediaSelectionOption.get()];
88 }
89
90 PassRefPtr<MediaSelectionGroupAVFObjC> MediaSelectionGroupAVFObjC::create(AVPlayerItem *item, AVMediaSelectionGroup *group, const Vector<String>& characteristics)
91 {
92     return adoptRef(new MediaSelectionGroupAVFObjC(item, group, characteristics));
93 }
94
95 MediaSelectionGroupAVFObjC::MediaSelectionGroupAVFObjC(AVPlayerItem *item, AVMediaSelectionGroup *group, const Vector<String>& characteristics)
96     : m_playerItem(item)
97     , m_mediaSelectionGroup(group)
98     , m_selectionTimer(*this, &MediaSelectionGroupAVFObjC::selectionTimerFired)
99 {
100     updateOptions(characteristics);
101 }
102
103 MediaSelectionGroupAVFObjC::~MediaSelectionGroupAVFObjC()
104 {
105     for (auto& option : m_options.values())
106         option->clearGroup();
107 }
108
109 void MediaSelectionGroupAVFObjC::updateOptions(const Vector<String>& characteristics)
110 {
111     RetainPtr<NSSet> newAVOptions = adoptNS([[NSSet alloc] initWithArray:[getAVMediaSelectionGroupClass() playableMediaSelectionOptionsFromArray:[m_mediaSelectionGroup options]]]);
112     RetainPtr<NSMutableSet> oldAVOptions = adoptNS([[NSMutableSet alloc] initWithCapacity:m_options.size()]);
113     for (auto& avOption : m_options.keys())
114         [oldAVOptions addObject:avOption];
115
116     RetainPtr<NSMutableSet> addedAVOptions = adoptNS([newAVOptions mutableCopy]);
117     [addedAVOptions minusSet:oldAVOptions.get()];
118
119     RetainPtr<NSMutableSet> removedAVOptions = adoptNS([oldAVOptions mutableCopy]);
120     [removedAVOptions minusSet:newAVOptions.get()];
121
122     for (AVMediaSelectionOption* removedAVOption in removedAVOptions.get()) {
123         if (m_selectedOption && removedAVOption == m_selectedOption->avMediaSelectionOption())
124             m_selectedOption = nullptr;
125
126         m_options.remove(removedAVOption);
127     }
128
129     AVMediaSelectionOption* selectedOption = [m_playerItem selectedMediaOptionInMediaSelectionGroup:m_mediaSelectionGroup.get()];
130
131     for (AVMediaSelectionOption* addedAVOption in addedAVOptions.get()) {
132         RefPtr<MediaSelectionOptionAVFObjC> addedOption = MediaSelectionOptionAVFObjC::create(*this, addedAVOption);
133         if (addedAVOption == selectedOption)
134             m_selectedOption = addedOption.get();
135         m_options.set(addedAVOption, addedOption.release());
136     }
137
138     if (!m_shouldSelectOptionAutomatically)
139         return;
140
141     RetainPtr<NSMutableArray> nsLanguages = adoptNS([[NSMutableArray alloc] initWithCapacity:userPreferredLanguages().size()]);
142     for (auto& language : userPreferredLanguages())
143         [nsLanguages addObject:(NSString*)language];
144     NSArray* filteredOptions = [getAVMediaSelectionGroupClass() mediaSelectionOptionsFromArray:[m_mediaSelectionGroup options] filteredAndSortedAccordingToPreferredLanguages:nsLanguages.get()];
145
146     if (![filteredOptions count] && characteristics.isEmpty())
147         return;
148
149     // If no options match our language selection, search for matching characteristics across all the group's options
150     if (![filteredOptions count])
151         filteredOptions = [m_mediaSelectionGroup options];
152
153     RetainPtr<NSMutableArray> nsCharacteristics = adoptNS([[NSMutableArray alloc] initWithCapacity:characteristics.size()]);
154     for (auto& characteristic : characteristics)
155         [nsCharacteristics addObject:(NSString *)characteristic];
156
157     NSArray* optionsWithCharacteristics = [getAVMediaSelectionGroupClass() mediaSelectionOptionsFromArray:filteredOptions withMediaCharacteristics:nsCharacteristics.get()];
158     if (optionsWithCharacteristics && [optionsWithCharacteristics count])
159         filteredOptions = optionsWithCharacteristics;
160
161     if (![filteredOptions count])
162         return;
163
164     AVMediaSelectionOption* preferredOption = [filteredOptions objectAtIndex:0];
165     if (m_selectedOption && m_selectedOption->avMediaSelectionOption() == preferredOption)
166         return;
167
168     ASSERT(m_options.contains(preferredOption));
169     m_selectedOption = m_options.get(preferredOption);
170     m_selectionTimer.startOneShot(0);
171 }
172
173 void MediaSelectionGroupAVFObjC::setSelectedOption(MediaSelectionOptionAVFObjC* option)
174 {
175     if (m_selectedOption == option)
176         return;
177
178     m_shouldSelectOptionAutomatically = false;
179     m_selectedOption = option;
180     if (m_selectionTimer.isActive())
181         m_selectionTimer.stop();
182     m_selectionTimer.startOneShot(0);
183 }
184
185 void MediaSelectionGroupAVFObjC::selectionTimerFired()
186 {
187     [m_playerItem selectMediaOption:(m_selectedOption ? m_selectedOption->avMediaSelectionOption() : nil) inMediaSelectionGroup:m_mediaSelectionGroup.get()];
188 }
189
190 }
191
192 #endif