Include 'video/*' in image request Accept header if browser supports video media...
[WebKit-https.git] / Source / WebCore / platform / graphics / avfoundation / objc / ImageDecoderAVFObjC.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #if HAVE(AVSAMPLEBUFFERGENERATOR)
29
30 #include "ImageDecoder.h"
31 #include <map>
32 #include <wtf/Lock.h>
33 #include <wtf/Vector.h>
34 #include <wtf/text/WTFString.h>
35
36 OBJC_CLASS AVAssetTrack;
37 OBJC_CLASS AVSampleBufferGenerator;
38 OBJC_CLASS AVSampleCursor;
39 OBJC_CLASS AVURLAsset;
40 OBJC_CLASS WebCoreSharedBufferResourceLoaderDelegate;
41 typedef struct opaqueCMSampleBuffer* CMSampleBufferRef;
42 typedef struct OpaqueVTImageRotationSession* VTImageRotationSessionRef;
43 typedef struct __CVPixelBufferPool* CVPixelBufferPoolRef;
44
45 namespace WTF {
46 class MediaTime;
47 }
48
49 namespace WebCore {
50
51 class ContentType;
52 class PixelBufferConformerCV;
53 class WebCoreDecompressionSession;
54
55 class ImageDecoderAVFObjC : public ImageDecoder {
56 public:
57     static RefPtr<ImageDecoderAVFObjC> create(SharedBuffer&, const String& mimeType, AlphaOption, GammaAndColorProfileOption);
58     virtual ~ImageDecoderAVFObjC();
59
60     static bool supportsMediaType(MediaType);
61     static bool supportsContentType(const ContentType&);
62
63     size_t bytesDecodedToDetermineProperties() const override { return 0; }
64     static bool canDecodeType(const String& mimeType);
65
66     const String& mimeType() const { return m_mimeType; }
67
68     EncodedDataStatus encodedDataStatus() const final;
69     IntSize size() const final;
70     size_t frameCount() const final;
71     RepetitionCount repetitionCount() const final;
72     String uti() const final;
73     String filenameExtension() const final;
74     std::optional<IntPoint> hotSpot() const final { return std::nullopt; }
75
76     IntSize frameSizeAtIndex(size_t, SubsamplingLevel = SubsamplingLevel::Default) const final;
77     bool frameIsCompleteAtIndex(size_t) const final;
78     ImageOrientation frameOrientationAtIndex(size_t) const final;
79
80     Seconds frameDurationAtIndex(size_t) const final;
81     bool frameHasAlphaAtIndex(size_t) const final;
82     bool frameAllowSubsamplingAtIndex(size_t) const final;
83     unsigned frameBytesAtIndex(size_t, SubsamplingLevel = SubsamplingLevel::Default) const final;
84
85     NativeImagePtr createFrameImageAtIndex(size_t, SubsamplingLevel = SubsamplingLevel::Default, const DecodingOptions& = DecodingMode::Synchronous) final;
86
87     void setExpectedContentSize(long long) final;
88     void setData(SharedBuffer&, bool allDataReceived) final;
89     bool isAllDataReceived() const final { return m_isAllDataReceived; }
90     void clearFrameBufferCache(size_t) final;
91
92     struct RotationProperties {
93         bool flipX { false };
94         bool flipY { false };
95         unsigned angle { 0 };
96
97         bool isIdentity() const { return !flipX && !flipY && !angle; }
98     };
99
100 private:
101     ImageDecoderAVFObjC(SharedBuffer&, const String& mimeType, AlphaOption, GammaAndColorProfileOption);
102
103     AVAssetTrack *firstEnabledTrack();
104     void readSampleMetadata();
105     void readTrackMetadata();
106     bool storeSampleBuffer(CMSampleBufferRef);
107     void advanceCursor();
108     void setTrack(AVAssetTrack *);
109
110     String m_mimeType;
111     String m_uti;
112     RetainPtr<AVURLAsset> m_asset;
113     RetainPtr<AVAssetTrack> m_track;
114     RetainPtr<AVSampleCursor> m_cursor;
115     RetainPtr<AVSampleBufferGenerator> m_generator;
116     RetainPtr<WebCoreSharedBufferResourceLoaderDelegate> m_loader;
117     RetainPtr<VTImageRotationSessionRef> m_rotationSession;
118     RetainPtr<CVPixelBufferPoolRef> m_rotationPool;
119     Ref<WebCoreDecompressionSession> m_decompressionSession;
120
121     struct SampleData;
122     std::map<WTF::MediaTime, size_t> m_presentationTimeToIndex;
123     Vector<SampleData> m_sampleData;
124     Lock m_sampleGeneratorLock;
125     bool m_isAllDataReceived { false };
126     std::optional<IntSize> m_size;
127     std::optional<RotationProperties> m_rotation;
128 };
129
130 }
131 #endif