Source/WebCore/platform/audio/gstreamer/AudioDestinationGStreamer.cpp

   1 /*
   2  *  Copyright (C) 2011, 2012 Igalia S.L
   3  *  Copyright (C) 2014 Sebastian Dröge <sebastian@centricular.com>
   4  *
   5  *  This library is free software; you can redistribute it and/or
   6  *  modify it under the terms of the GNU Lesser General Public
   7  *  License as published by the Free Software Foundation; either
   8  *  version 2 of the License, or (at your option) any later version.
   9  *
  10  *  This library is distributed in the hope that it will be useful,
  11  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  *  Lesser General Public License for more details.
  14  *
  15  *  You should have received a copy of the GNU Lesser General Public
  16  *  License along with this library; if not, write to the Free Software
  17  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
  18  */
  19
  20 #include "config.h"
  21
  22 #if ENABLE(WEB_AUDIO)
  23
  24 #include "AudioDestinationGStreamer.h"
  25
  26 #include "AudioChannel.h"
  27 #include "AudioSourceProvider.h"
  28 #include "GRefPtrGStreamer.h"
  29 #include "Logging.h"
  30 #include "WebKitWebAudioSourceGStreamer.h"
  31 #include <gst/gst.h>
  32 #include <wtf/gobject/GUniquePtr.h>
  33
  34 namespace WebCore {
  35
  36 // Size of the AudioBus for playback. The webkitwebaudiosrc element
  37 // needs to handle this number of frames per cycle as well.
  38 const unsigned framesToPull = 128;
  39
  40 gboolean messageCallback(GstBus*, GstMessage* message, AudioDestinationGStreamer* destination)
  41 {
  42     return destination->handleMessage(message);
  43 }
  44
  45 std::unique_ptr<AudioDestination> AudioDestination::create(AudioIOCallback& callback, const String&, unsigned numberOfInputChannels, unsigned numberOfOutputChannels, float sampleRate)
  46 {
  47     // FIXME: make use of inputDeviceId as appropriate.
  48
  49     // FIXME: Add support for local/live audio input.
  50     if (numberOfInputChannels)
  51         LOG(Media, "AudioDestination::create(%u, %u, %f) - unhandled input channels", numberOfInputChannels, numberOfOutputChannels, sampleRate);
  52
  53     // FIXME: Add support for multi-channel (> stereo) output.
  54     if (numberOfOutputChannels != 2)
  55         LOG(Media, "AudioDestination::create(%u, %u, %f) - unhandled output channels", numberOfInputChannels, numberOfOutputChannels, sampleRate);
  56
  57     return std::make_unique<AudioDestinationGStreamer>(callback, sampleRate);
  58 }
  59
  60 float AudioDestination::hardwareSampleRate()
  61 {
  62     return 44100;
  63 }
  64
  65 unsigned long AudioDestination::maxChannelCount()
  66 {
  67     // FIXME: query the default audio hardware device to return the actual number
  68     // of channels of the device. Also see corresponding FIXME in create().
  69     return 0;
  70 }
  71
  72 AudioDestinationGStreamer::AudioDestinationGStreamer(AudioIOCallback& callback, float sampleRate)
  73     : m_callback(callback)
  74     , m_renderBus(AudioBus::create(2, framesToPull, false))
  75     , m_sampleRate(sampleRate)
  76     , m_isPlaying(false)
  77 {
  78     m_pipeline = gst_pipeline_new("play");
  79     GRefPtr<GstBus> bus = adoptGRef(gst_pipeline_get_bus(GST_PIPELINE(m_pipeline)));
  80     ASSERT(bus);
  81     gst_bus_add_signal_watch(bus.get());
  82     g_signal_connect(bus.get(), "message", G_CALLBACK(messageCallback), this);
  83
  84     GstElement* webkitAudioSrc = reinterpret_cast<GstElement*>(g_object_new(WEBKIT_TYPE_WEB_AUDIO_SRC,
  85                                                                             "rate", sampleRate,
  86                                                                             "bus", m_renderBus.get(),
  87                                                                             "provider", &m_callback,
  88                                                                             "frames", framesToPull, NULL));
  89
  90     GRefPtr<GstPad> srcPad = adoptGRef(gst_element_get_static_pad(webkitAudioSrc, "src"));
  91
  92     GRefPtr<GstElement> audioSink = gst_element_factory_make("autoaudiosink", 0);
  93     m_audioSinkAvailable = audioSink;
  94     if (!audioSink) {
  95         LOG_ERROR("Failed to create GStreamer autoaudiosink element");
  96         return;
  97     }
  98
  99     // Autoaudiosink does the real sink detection in the GST_STATE_NULL->READY transition
 100     // so it's best to roll it to READY as soon as possible to ensure the underlying platform
 101     // audiosink was loaded correctly.
 102     GstStateChangeReturn stateChangeReturn = gst_element_set_state(audioSink.get(), GST_STATE_READY);
 103     if (stateChangeReturn == GST_STATE_CHANGE_FAILURE) {
 104         LOG_ERROR("Failed to change autoaudiosink element state");
 105         gst_element_set_state(audioSink.get(), GST_STATE_NULL);
 106         m_audioSinkAvailable = false;
 107         return;
 108     }
 109
 110     GstElement* audioConvert = gst_element_factory_make("audioconvert", 0);
 111     GstElement* audioResample = gst_element_factory_make("audioresample", 0);
 112     gst_bin_add_many(GST_BIN(m_pipeline), webkitAudioSrc, audioConvert, audioResample, audioSink.get(), NULL);
 113
 114     // Link wavparse's src pad to audioconvert sink pad.
 115     GRefPtr<GstPad> sinkPad = adoptGRef(gst_element_get_static_pad(audioConvert, "sink"));
 116     gst_pad_link_full(srcPad.get(), sinkPad.get(), GST_PAD_LINK_CHECK_NOTHING);
 117
 118     // Link audioconvert to audiosink and roll states.
 119     gst_element_link_pads_full(audioConvert, "src", audioResample, "sink", GST_PAD_LINK_CHECK_NOTHING);
 120     gst_element_link_pads_full(audioResample, "src", audioSink.get(), "sink", GST_PAD_LINK_CHECK_NOTHING);
 121 }
 122
 123 AudioDestinationGStreamer::~AudioDestinationGStreamer()
 124 {
 125     GRefPtr<GstBus> bus = adoptGRef(gst_pipeline_get_bus(GST_PIPELINE(m_pipeline)));
 126     ASSERT(bus);
 127     g_signal_handlers_disconnect_by_func(bus.get(), reinterpret_cast<gpointer>(messageCallback), this);
 128     gst_bus_remove_signal_watch(bus.get());
 129
 130     gst_element_set_state(m_pipeline, GST_STATE_NULL);
 131     gst_object_unref(m_pipeline);
 132 }
 133
 134 gboolean AudioDestinationGStreamer::handleMessage(GstMessage* message)
 135 {
 136     GUniqueOutPtr<GError> error;
 137     GUniqueOutPtr<gchar> debug;
 138
 139     switch (GST_MESSAGE_TYPE(message)) {
 140     case GST_MESSAGE_WARNING:
 141         gst_message_parse_warning(message, &error.outPtr(), &debug.outPtr());
 142         g_warning("Warning: %d, %s. Debug output: %s", error->code,  error->message, debug.get());
 143         break;
 144     case GST_MESSAGE_ERROR:
 145         gst_message_parse_error(message, &error.outPtr(), &debug.outPtr());
 146         g_warning("Error: %d, %s. Debug output: %s", error->code,  error->message, debug.get());
 147         gst_element_set_state(m_pipeline, GST_STATE_NULL);
 148         m_isPlaying = false;
 149         break;
 150     default:
 151         break;
 152     }
 153     return TRUE;
 154 }
 155
 156 void AudioDestinationGStreamer::start()
 157 {
 158     ASSERT(m_audioSinkAvailable);
 159     if (!m_audioSinkAvailable)
 160         return;
 161
 162     if (gst_element_set_state(m_pipeline, GST_STATE_PLAYING) == GST_STATE_CHANGE_FAILURE) {
 163         g_warning("Error: Failed to set pipeline to playing");
 164         m_isPlaying = false;
 165         return;
 166     }
 167
 168     m_isPlaying = true;
 169 }
 170
 171 void AudioDestinationGStreamer::stop()
 172 {
 173     ASSERT(m_audioSinkAvailable);
 174     if (!m_audioSinkAvailable)
 175         return;
 176
 177     gst_element_set_state(m_pipeline, GST_STATE_PAUSED);
 178     m_isPlaying = false;
 179 }
 180
 181 } // namespace WebCore
 182
 183 #endif // ENABLE(WEB_AUDIO)