Stop using single-include headers that are only available since GStreamer >= 1.2.
[WebKit-https.git] / Source / WebCore / platform / audio / gstreamer / AudioDestinationGStreamer.cpp
1 /*
2  *  Copyright (C) 2011, 2012 Igalia S.L
3  *  Copyright (C) 2014 Sebastian Dröge <sebastian@centricular.com>
4  *
5  *  This library is free software; you can redistribute it and/or
6  *  modify it under the terms of the GNU Lesser General Public
7  *  License as published by the Free Software Foundation; either
8  *  version 2 of the License, or (at your option) any later version.
9  *
10  *  This library is distributed in the hope that it will be useful,
11  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  *  Lesser General Public License for more details.
14  *
15  *  You should have received a copy of the GNU Lesser General Public
16  *  License along with this library; if not, write to the Free Software
17  *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
18  */
19
20 #include "config.h"
21
22 #if ENABLE(WEB_AUDIO)
23
24 #include "AudioDestinationGStreamer.h"
25
26 #include "AudioChannel.h"
27 #include "AudioSourceProvider.h"
28 #include "GRefPtrGStreamer.h"
29 #include "Logging.h"
30 #include "WebKitWebAudioSourceGStreamer.h"
31 #include <gst/gst.h>
32 #include <wtf/gobject/GUniquePtr.h>
33
34 namespace WebCore {
35
36 // Size of the AudioBus for playback. The webkitwebaudiosrc element
37 // needs to handle this number of frames per cycle as well.
38 const unsigned framesToPull = 128;
39
40 gboolean messageCallback(GstBus*, GstMessage* message, AudioDestinationGStreamer* destination)
41 {
42     return destination->handleMessage(message);
43 }
44
45 std::unique_ptr<AudioDestination> AudioDestination::create(AudioIOCallback& callback, const String&, unsigned numberOfInputChannels, unsigned numberOfOutputChannels, float sampleRate)
46 {
47     // FIXME: make use of inputDeviceId as appropriate.
48
49     // FIXME: Add support for local/live audio input.
50     if (numberOfInputChannels)
51         LOG(Media, "AudioDestination::create(%u, %u, %f) - unhandled input channels", numberOfInputChannels, numberOfOutputChannels, sampleRate);
52
53     // FIXME: Add support for multi-channel (> stereo) output.
54     if (numberOfOutputChannels != 2)
55         LOG(Media, "AudioDestination::create(%u, %u, %f) - unhandled output channels", numberOfInputChannels, numberOfOutputChannels, sampleRate);
56
57     return std::make_unique<AudioDestinationGStreamer>(callback, sampleRate);
58 }
59
60 float AudioDestination::hardwareSampleRate()
61 {
62     return 44100;
63 }
64
65 unsigned long AudioDestination::maxChannelCount()
66 {
67     // FIXME: query the default audio hardware device to return the actual number
68     // of channels of the device. Also see corresponding FIXME in create().
69     return 0;
70 }
71
72 AudioDestinationGStreamer::AudioDestinationGStreamer(AudioIOCallback& callback, float sampleRate)
73     : m_callback(callback)
74     , m_renderBus(AudioBus::create(2, framesToPull, false))
75     , m_sampleRate(sampleRate)
76     , m_isPlaying(false)
77 {
78     m_pipeline = gst_pipeline_new("play");
79     GRefPtr<GstBus> bus = adoptGRef(gst_pipeline_get_bus(GST_PIPELINE(m_pipeline)));
80     ASSERT(bus);
81     gst_bus_add_signal_watch(bus.get());
82     g_signal_connect(bus.get(), "message", G_CALLBACK(messageCallback), this);
83
84     GstElement* webkitAudioSrc = reinterpret_cast<GstElement*>(g_object_new(WEBKIT_TYPE_WEB_AUDIO_SRC,
85                                                                             "rate", sampleRate,
86                                                                             "bus", m_renderBus.get(),
87                                                                             "provider", &m_callback,
88                                                                             "frames", framesToPull, NULL));
89
90     GRefPtr<GstPad> srcPad = adoptGRef(gst_element_get_static_pad(webkitAudioSrc, "src"));
91
92     GRefPtr<GstElement> audioSink = gst_element_factory_make("autoaudiosink", 0);
93     m_audioSinkAvailable = audioSink;
94     if (!audioSink) {
95         LOG_ERROR("Failed to create GStreamer autoaudiosink element");
96         return;
97     }
98
99     // Autoaudiosink does the real sink detection in the GST_STATE_NULL->READY transition
100     // so it's best to roll it to READY as soon as possible to ensure the underlying platform
101     // audiosink was loaded correctly.
102     GstStateChangeReturn stateChangeReturn = gst_element_set_state(audioSink.get(), GST_STATE_READY);
103     if (stateChangeReturn == GST_STATE_CHANGE_FAILURE) {
104         LOG_ERROR("Failed to change autoaudiosink element state");
105         gst_element_set_state(audioSink.get(), GST_STATE_NULL);
106         m_audioSinkAvailable = false;
107         return;
108     }
109
110     GstElement* audioConvert = gst_element_factory_make("audioconvert", 0);
111     GstElement* audioResample = gst_element_factory_make("audioresample", 0);
112     gst_bin_add_many(GST_BIN(m_pipeline), webkitAudioSrc, audioConvert, audioResample, audioSink.get(), NULL);
113
114     // Link wavparse's src pad to audioconvert sink pad.
115     GRefPtr<GstPad> sinkPad = adoptGRef(gst_element_get_static_pad(audioConvert, "sink"));
116     gst_pad_link_full(srcPad.get(), sinkPad.get(), GST_PAD_LINK_CHECK_NOTHING);
117
118     // Link audioconvert to audiosink and roll states.
119     gst_element_link_pads_full(audioConvert, "src", audioResample, "sink", GST_PAD_LINK_CHECK_NOTHING);
120     gst_element_link_pads_full(audioResample, "src", audioSink.get(), "sink", GST_PAD_LINK_CHECK_NOTHING);
121 }
122
123 AudioDestinationGStreamer::~AudioDestinationGStreamer()
124 {
125     GRefPtr<GstBus> bus = adoptGRef(gst_pipeline_get_bus(GST_PIPELINE(m_pipeline)));
126     ASSERT(bus);
127     g_signal_handlers_disconnect_by_func(bus.get(), reinterpret_cast<gpointer>(messageCallback), this);
128     gst_bus_remove_signal_watch(bus.get());
129
130     gst_element_set_state(m_pipeline, GST_STATE_NULL);
131     gst_object_unref(m_pipeline);
132 }
133
134 gboolean AudioDestinationGStreamer::handleMessage(GstMessage* message)
135 {
136     GUniqueOutPtr<GError> error;
137     GUniqueOutPtr<gchar> debug;
138
139     switch (GST_MESSAGE_TYPE(message)) {
140     case GST_MESSAGE_WARNING:
141         gst_message_parse_warning(message, &error.outPtr(), &debug.outPtr());
142         g_warning("Warning: %d, %s. Debug output: %s", error->code,  error->message, debug.get());
143         break;
144     case GST_MESSAGE_ERROR:
145         gst_message_parse_error(message, &error.outPtr(), &debug.outPtr());
146         g_warning("Error: %d, %s. Debug output: %s", error->code,  error->message, debug.get());
147         gst_element_set_state(m_pipeline, GST_STATE_NULL);
148         m_isPlaying = false;
149         break;
150     default:
151         break;
152     }
153     return TRUE;
154 }
155
156 void AudioDestinationGStreamer::start()
157 {
158     ASSERT(m_audioSinkAvailable);
159     if (!m_audioSinkAvailable)
160         return;
161
162     if (gst_element_set_state(m_pipeline, GST_STATE_PLAYING) == GST_STATE_CHANGE_FAILURE) {
163         g_warning("Error: Failed to set pipeline to playing");
164         m_isPlaying = false;
165         return;
166     }
167
168     m_isPlaying = true;
169 }
170
171 void AudioDestinationGStreamer::stop()
172 {
173     ASSERT(m_audioSinkAvailable);
174     if (!m_audioSinkAvailable)
175         return;
176
177     gst_element_set_state(m_pipeline, GST_STATE_PAUSED);
178     m_isPlaying = false;
179 }
180
181 } // namespace WebCore
182
183 #endif // ENABLE(WEB_AUDIO)