Add media stream release logging
[WebKit-https.git] / Source / WebCore / platform / mediastream / RealtimeVideoSource.h
1 /*
2  * Copyright (C) 2018-2019 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #if ENABLE(MEDIA_STREAM)
29
30 #include "FontCascade.h"
31 #include "ImageBuffer.h"
32 #include "MediaSample.h"
33 #include "RealtimeMediaSource.h"
34 #include "VideoPreset.h"
35 #include <wtf/Lock.h>
36 #include <wtf/RunLoop.h>
37
38 namespace WebCore {
39
40 class ImageTransferSessionVT;
41
42 class RealtimeVideoSource : public RealtimeMediaSource {
43 public:
44     virtual ~RealtimeVideoSource();
45
46 protected:
47     RealtimeVideoSource(String&& name, String&& id, String&& hashSalt);
48
49     void prepareToProduceData();
50     bool supportsSizeAndFrameRate(Optional<int> width, Optional<int> height, Optional<double>) override;
51     void setSizeAndFrameRate(Optional<int> width, Optional<int> height, Optional<double>) override;
52
53     virtual void generatePresets() = 0;
54     virtual bool prefersPreset(VideoPreset&) { return true; }
55     virtual void setSizeAndFrameRateWithPreset(IntSize, double, RefPtr<VideoPreset>) { };
56     virtual bool canResizeVideoFrames() const { return false; }
57     bool shouldUsePreset(VideoPreset& current, VideoPreset& candidate);
58
59     void setSupportedPresets(const Vector<Ref<VideoPreset>>&);
60     void setSupportedPresets(Vector<VideoPresetData>&&);
61     const Vector<Ref<VideoPreset>>& presets();
62
63     bool frameRateRangeIncludesRate(const FrameRateRange&, double);
64
65     void updateCapabilities(RealtimeMediaSourceCapabilities&);
66
67     void setDefaultSize(const IntSize& size) { m_defaultSize = size; }
68
69     double observedFrameRate() const { return m_observedFrameRate; }
70
71     void dispatchMediaSampleToObservers(MediaSample&);
72     const Vector<IntSize>& standardVideoSizes();
73
74 private:
75     struct CaptureSizeAndFrameRate {
76         RefPtr<VideoPreset> encodingPreset;
77         IntSize requestedSize;
78         double requestedFrameRate { 0 };
79     };
80     bool supportsCaptureSize(Optional<int>, Optional<int>, const Function<bool(const IntSize&)>&&);
81     Optional<CaptureSizeAndFrameRate> bestSupportedSizeAndFrameRate(Optional<int> width, Optional<int> height, Optional<double>);
82     bool presetSupportsFrameRate(RefPtr<VideoPreset>, double);
83
84 #if !RELEASE_LOG_DISABLED
85     const char* logClassName() const override { return "RealtimeVideoSource"; }
86 #endif
87
88     Vector<Ref<VideoPreset>> m_presets;
89     Deque<double> m_observedFrameTimeStamps;
90     double m_observedFrameRate { 0 };
91     IntSize m_defaultSize;
92 #if PLATFORM(COCOA)
93     std::unique_ptr<ImageTransferSessionVT> m_imageTransferSession;
94 #endif
95 };
96
97 struct SizeAndFrameRate {
98     Optional<int> width;
99     Optional<int> height;
100     Optional<double> frameRate;
101
102     String toJSONString() const;
103     Ref<JSON::Object> toJSONObject() const;
104 };
105
106 } // namespace WebCore
107
108 namespace WTF {
109 template<typename Type> struct LogArgument;
110 template <>
111 struct LogArgument<WebCore::SizeAndFrameRate> {
112     static String toString(const WebCore::SizeAndFrameRate& size)
113     {
114         return size.toJSONString();
115     }
116 };
117 }; // namespace WTF
118
119 #endif // ENABLE(MEDIA_STREAM)
120