Source/WebCore/platform/graphics/avfoundation/MediaPlayerPrivateAVFoundation.h

   1 /*
   2  * Copyright (C) 2011-2014 Apple Inc. All rights reserved.
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1. Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2. Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
  14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
  17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  24  */
  25
  26 #ifndef MediaPlayerPrivateAVFoundation_h
  27 #define MediaPlayerPrivateAVFoundation_h
  28
  29 #if ENABLE(VIDEO) && USE(AVFOUNDATION)
  30
  31 #include "FloatSize.h"
  32 #include "InbandTextTrackPrivateAVF.h"
  33 #include "MediaPlayerPrivate.h"
  34 #include "Timer.h"
  35 #include <functional>
  36 #include <wtf/Functional.h>
  37 #include <wtf/RetainPtr.h>
  38 #include <wtf/WeakPtr.h>
  39
  40 namespace WebCore {
  41
  42 class InbandMetadataTextTrackPrivateAVF;
  43 class InbandTextTrackPrivateAVF;
  44 class GenericCueData;
  45
  46 class MediaPlayerPrivateAVFoundation : public MediaPlayerPrivateInterface, public AVFInbandTrackParent
  47 {
  48 public:
  49
  50     virtual void repaint();
  51     virtual void metadataLoaded();
  52     virtual void playabilityKnown();
  53     virtual void rateChanged();
  54     virtual void loadedTimeRangesChanged();
  55     virtual void seekableTimeRangesChanged();
  56     virtual void timeChanged(double);
  57     virtual void seekCompleted(bool);
  58     virtual void didEnd();
  59     virtual void contentsNeedsDisplay() { }
  60     virtual void configureInbandTracks();
  61     virtual void setCurrentTextTrack(InbandTextTrackPrivateAVF*) { }
  62     virtual InbandTextTrackPrivateAVF* currentTextTrack() const = 0;
  63 #if ENABLE(IOS_AIRPLAY)
  64     void playbackTargetIsWirelessChanged();
  65 #endif
  66
  67     class Notification {
  68     public:
  69 #define FOR_EACH_MEDIAPLAYERPRIVATEAVFOUNDATION_NOTIFICATION_TYPE(macro) \
  70     macro(None) \
  71     macro(ItemDidPlayToEndTime) \
  72     macro(ItemTracksChanged) \
  73     macro(ItemStatusChanged) \
  74     macro(ItemSeekableTimeRangesChanged) \
  75     macro(ItemLoadedTimeRangesChanged) \
  76     macro(ItemPresentationSizeChanged) \
  77     macro(ItemIsPlaybackLikelyToKeepUpChanged) \
  78     macro(ItemIsPlaybackBufferEmptyChanged) \
  79     macro(ItemIsPlaybackBufferFullChanged) \
  80     macro(AssetMetadataLoaded) \
  81     macro(AssetPlayabilityKnown) \
  82     macro(PlayerRateChanged) \
  83     macro(PlayerTimeChanged) \
  84     macro(SeekCompleted) \
  85     macro(DurationChanged) \
  86     macro(ContentsNeedsDisplay) \
  87     macro(InbandTracksNeedConfiguration) \
  88     macro(TargetIsWirelessChanged) \
  89
  90         enum Type {
  91 #define DEFINE_TYPE_ENUM(type) type,
  92             FOR_EACH_MEDIAPLAYERPRIVATEAVFOUNDATION_NOTIFICATION_TYPE(DEFINE_TYPE_ENUM)
  93 #undef DEFINE_TYPE_ENUM
  94             FunctionType,
  95         };
  96
  97         Notification()
  98             : m_type(None)
  99             , m_time(0)
 100             , m_finished(false)
 101         {
 102         }
 103
 104         Notification(Type type, double time)
 105             : m_type(type)
 106             , m_time(time)
 107             , m_finished(false)
 108         {
 109         }
 110
 111         Notification(Type type, bool finished)
 112             : m_type(type)
 113             , m_time(0)
 114             , m_finished(finished)
 115         {
 116         }
 117
 118         Notification(std::function<void ()> function)
 119             : m_type(FunctionType)
 120             , m_time(0)
 121             , m_finished(false)
 122             , m_function(function)
 123         {
 124         }
 125
 126         Type type() { return m_type; }
 127         bool isValid() { return m_type != None; }
 128         double time() { return m_time; }
 129         bool finished() { return m_finished; }
 130         std::function<void ()>& function() { return m_function; }
 131
 132     private:
 133         Type m_type;
 134         double m_time;
 135         bool m_finished;
 136         std::function<void ()> m_function;
 137     };
 138
 139     void scheduleMainThreadNotification(Notification);
 140     void scheduleMainThreadNotification(Notification::Type, double time = 0);
 141     void scheduleMainThreadNotification(Notification::Type, bool completed);
 142     void dispatchNotification();
 143     void clearMainThreadPendingFlag();
 144
 145 protected:
 146     MediaPlayerPrivateAVFoundation(MediaPlayer*);
 147     virtual ~MediaPlayerPrivateAVFoundation();
 148
 149     WeakPtr<MediaPlayerPrivateAVFoundation> createWeakPtr() { return m_weakPtrFactory.createWeakPtr(); }
 150
 151     // MediaPlayerPrivatePrivateInterface overrides.
 152     virtual void load(const String& url) override;
 153 #if ENABLE(MEDIA_SOURCE)
 154     virtual void load(const String&, MediaSourcePrivateClient*);
 155 #endif
 156     virtual void cancelLoad() = 0;
 157
 158     virtual void prepareToPlay() override;
 159     virtual PlatformMedia platformMedia() const = 0;
 160
 161     virtual void play() override;
 162     virtual void pause() override;
 163
 164     virtual IntSize naturalSize() const override;
 165     virtual bool hasVideo() const override { return m_cachedHasVideo; }
 166     virtual bool hasAudio() const override { return m_cachedHasAudio; }
 167     virtual void setVisible(bool) override;
 168     virtual float duration() const override;
 169     virtual float currentTime() const = 0;
 170     virtual void seek(float) override;
 171     virtual void seekWithTolerance(double, double, double) override;
 172     virtual bool seeking() const override;
 173     virtual void setRate(float) override;
 174     virtual bool paused() const override;
 175     virtual void setVolume(float) = 0;
 176     virtual bool hasClosedCaptions() const override { return m_cachedHasCaptions; }
 177     virtual void setClosedCaptionsVisible(bool) = 0;
 178     virtual MediaPlayer::NetworkState networkState() const override { return m_networkState; }
 179     virtual MediaPlayer::ReadyState readyState() const override { return m_readyState; }
 180     virtual double maxTimeSeekableDouble() const override;
 181     virtual double minTimeSeekable() const override;
 182     virtual std::unique_ptr<PlatformTimeRanges> buffered() const override;
 183     virtual bool didLoadingProgress() const override;
 184     virtual void setSize(const IntSize&) override;
 185     virtual void paint(GraphicsContext*, const IntRect&) = 0;
 186     virtual void paintCurrentFrameInContext(GraphicsContext*, const IntRect&) = 0;
 187     virtual void setPreload(MediaPlayer::Preload) override;
 188     virtual PlatformLayer* platformLayer() const { return 0; }
 189     virtual bool supportsAcceleratedRendering() const = 0;
 190     virtual void acceleratedRenderingStateChanged() override;
 191     virtual bool shouldMaintainAspectRatio() const override { return m_shouldMaintainAspectRatio; }
 192     virtual void setShouldMaintainAspectRatio(bool) override;
 193
 194     virtual MediaPlayer::MovieLoadType movieLoadType() const;
 195     virtual void prepareForRendering();
 196     virtual float mediaTimeForTimeValue(float) const = 0;
 197
 198     virtual bool supportsFullscreen() const;
 199     virtual bool supportsScanning() const { return true; }
 200     unsigned long long fileSize() const { return totalBytes(); }
 201
 202     // Required interfaces for concrete derived classes.
 203     virtual void createAVAssetForURL(const String&) = 0;
 204     virtual void createAVPlayer() = 0;
 205     virtual void createAVPlayerItem() = 0;
 206
 207     enum ItemStatus {
 208         MediaPlayerAVPlayerItemStatusDoesNotExist,
 209         MediaPlayerAVPlayerItemStatusUnknown,
 210         MediaPlayerAVPlayerItemStatusFailed,
 211         MediaPlayerAVPlayerItemStatusReadyToPlay,
 212         MediaPlayerAVPlayerItemStatusPlaybackBufferEmpty,
 213         MediaPlayerAVPlayerItemStatusPlaybackBufferFull,
 214         MediaPlayerAVPlayerItemStatusPlaybackLikelyToKeepUp,
 215     };
 216     virtual ItemStatus playerItemStatus() const = 0;
 217
 218     enum AssetStatus {
 219         MediaPlayerAVAssetStatusDoesNotExist,
 220         MediaPlayerAVAssetStatusUnknown,
 221         MediaPlayerAVAssetStatusLoading,
 222         MediaPlayerAVAssetStatusFailed,
 223         MediaPlayerAVAssetStatusCancelled,
 224         MediaPlayerAVAssetStatusLoaded,
 225         MediaPlayerAVAssetStatusPlayable,
 226     };
 227     virtual AssetStatus assetStatus() const = 0;
 228
 229     virtual void platformSetVisible(bool) = 0;
 230     virtual void platformPlay() = 0;
 231     virtual void platformPause() = 0;
 232     virtual void checkPlayability() = 0;
 233     virtual void updateRate() = 0;
 234     virtual float rate() const = 0;
 235     virtual void seekToTime(double time, double negativeTolerance, double positiveTolerance) = 0;
 236     virtual unsigned long long totalBytes() const = 0;
 237     virtual std::unique_ptr<PlatformTimeRanges> platformBufferedTimeRanges() const = 0;
 238     virtual double platformMaxTimeSeekable() const = 0;
 239     virtual double platformMinTimeSeekable() const = 0;
 240     virtual float platformMaxTimeLoaded() const = 0;
 241     virtual float platformDuration() const = 0;
 242
 243     virtual void beginLoadingMetadata() = 0;
 244     virtual void tracksChanged() = 0;
 245     virtual void sizeChanged() = 0;
 246
 247     virtual void createContextVideoRenderer() = 0;
 248     virtual void destroyContextVideoRenderer() = 0;
 249
 250     virtual void createVideoLayer() = 0;
 251     virtual void destroyVideoLayer() = 0;
 252
 253     virtual bool hasAvailableVideoFrame() const = 0;
 254
 255     virtual bool hasContextRenderer() const = 0;
 256     virtual bool hasLayerRenderer() const = 0;
 257
 258     virtual void updateVideoLayerGravity() = 0;
 259
 260 protected:
 261     void updateStates();
 262
 263     void setHasVideo(bool);
 264     void setHasAudio(bool);
 265     void setHasClosedCaptions(bool);
 266     void characteristicsChanged();
 267     void setDelayCharacteristicsChangedNotification(bool);
 268     void setDelayCallbacks(bool) const;
 269     void setIgnoreLoadStateChanges(bool delay) { m_ignoreLoadStateChanges = delay; }
 270     void setNaturalSize(IntSize);
 271     bool isLiveStream() const { return std::isinf(duration()); }
 272
 273     enum MediaRenderingMode { MediaRenderingNone, MediaRenderingToContext, MediaRenderingToLayer };
 274     MediaRenderingMode currentRenderingMode() const;
 275     MediaRenderingMode preferredRenderingMode() const;
 276
 277     bool metaDataAvailable() const { return m_readyState >= MediaPlayer::HaveMetadata; }
 278     float requestedRate() const { return m_requestedRate; }
 279     float maxTimeLoaded() const;
 280     bool isReadyForVideoSetup() const;
 281     virtual void setUpVideoRendering();
 282     virtual void tearDownVideoRendering();
 283     bool hasSetUpVideoRendering() const;
 284
 285     static void mainThreadCallback(void*);
 286
 287     void invalidateCachedDuration();
 288
 289     const String& assetURL() const { return m_assetURL; }
 290
 291     MediaPlayer* player() { return m_player; }
 292
 293     virtual String engineDescription() const { return "AVFoundation"; }
 294
 295     virtual size_t extraMemoryCost() const override;
 296
 297     virtual void trackModeChanged() override;
 298 #if ENABLE(AVF_CAPTIONS)
 299     virtual void notifyTrackModeChanged() { }
 300     virtual void synchronizeTextTrackState() { }
 301 #endif
 302     void processNewAndRemovedTextTracks(const Vector<RefPtr<InbandTextTrackPrivateAVF>>&);
 303     void clearTextTracks();
 304     Vector<RefPtr<InbandTextTrackPrivateAVF>> m_textTracks;
 305
 306 private:
 307     MediaPlayer* m_player;
 308
 309     WeakPtrFactory<MediaPlayerPrivateAVFoundation> m_weakPtrFactory;
 310
 311     std::function<void()> m_pendingSeek;
 312
 313     Vector<Notification> m_queuedNotifications;
 314     mutable Mutex m_queueMutex;
 315
 316     mutable std::unique_ptr<PlatformTimeRanges> m_cachedLoadedTimeRanges;
 317
 318     MediaPlayer::NetworkState m_networkState;
 319     MediaPlayer::ReadyState m_readyState;
 320
 321     String m_assetURL;
 322     MediaPlayer::Preload m_preload;
 323
 324     IntSize m_cachedNaturalSize;
 325     mutable float m_cachedMaxTimeLoaded;
 326     mutable double m_cachedMaxTimeSeekable;
 327     mutable double m_cachedMinTimeSeekable;
 328     mutable float m_cachedDuration;
 329     float m_reportedDuration;
 330     mutable float m_maxTimeLoadedAtLastDidLoadingProgress;
 331     float m_requestedRate;
 332     mutable int m_delayCallbacks;
 333     int m_delayCharacteristicsChangedNotification;
 334     bool m_mainThreadCallPending;
 335     bool m_assetIsPlayable;
 336     bool m_visible;
 337     bool m_loadingMetadata;
 338     bool m_isAllowedToRender;
 339     bool m_cachedHasAudio;
 340     bool m_cachedHasVideo;
 341     bool m_cachedHasCaptions;
 342     bool m_ignoreLoadStateChanges;
 343     bool m_haveReportedFirstVideoFrame;
 344     bool m_playWhenFramesAvailable;
 345     bool m_inbandTrackConfigurationPending;
 346     bool m_characteristicsChanged;
 347     bool m_shouldMaintainAspectRatio;
 348     bool m_seeking;
 349 };
 350
 351 } // namespace WebCore
 352
 353 #endif // ENABLE(VIDEO) && USE(AVFOUNDATION)
 354
 355 #endif // MediaPlayerPrivateAVFoundation_h