282f299e02bc972a23f02b96ab42a1d93eaa6477
[WebKit.git] / WebCore / webaudio / RealtimeAnalyser.cpp
1 /*
2  * Copyright (C) 2010, Google Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1.  Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2.  Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
15  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
16  * DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR ANY
17  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
18  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
19  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
20  * ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
21  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
22  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
23  */
24
25 #include "config.h"
26
27 #if ENABLE(WEB_AUDIO)
28
29 #include "RealtimeAnalyser.h"
30
31 #include "AudioBus.h"
32 #include "AudioUtilities.h"
33 #include "FFTFrame.h"
34
35 #if ENABLE(3D_CANVAS)
36 #include "Float32Array.h"
37 #include "Uint8Array.h"
38 #endif
39
40 #include <algorithm>
41 #include <limits.h>
42 #include <wtf/Complex.h>
43 #include <wtf/Threading.h>
44
45 using namespace std;
46
47 namespace WebCore {
48
49 const double RealtimeAnalyser::DefaultSmoothingTimeConstant  = 0.8;
50 const double RealtimeAnalyser::DefaultMinDecibels = -100.0;
51 const double RealtimeAnalyser::DefaultMaxDecibels = -30.0;
52
53 const unsigned RealtimeAnalyser::DefaultFFTSize = 2048;
54 const unsigned RealtimeAnalyser::MaxFFTSize = 2048;
55 const unsigned RealtimeAnalyser::InputBufferSize = RealtimeAnalyser::MaxFFTSize * 2;
56
57 RealtimeAnalyser::RealtimeAnalyser()
58     : m_inputBuffer(InputBufferSize)
59     , m_writeIndex(0)
60     , m_fftSize(DefaultFFTSize)
61     , m_magnitudeBuffer(DefaultFFTSize / 2)
62     , m_smoothingTimeConstant(DefaultSmoothingTimeConstant)
63     , m_minDecibels(DefaultMinDecibels)
64     , m_maxDecibels(DefaultMaxDecibels)
65 {
66     m_analysisFrame = adoptPtr(new FFTFrame(DefaultFFTSize));
67 }
68
69 RealtimeAnalyser::~RealtimeAnalyser()
70 {
71 }
72
73 void RealtimeAnalyser::reset()
74 {
75     m_writeIndex = 0;
76     m_inputBuffer.zero();
77     m_magnitudeBuffer.zero();
78 }
79
80 void RealtimeAnalyser::setFftSize(size_t size)
81 {
82     ASSERT(isMainThread());
83
84     // Only allow powers of two.
85     unsigned log2size = static_cast<unsigned>(log2(size));
86     bool isPOT(1UL << log2size == size);
87     
88     if (!isPOT || size > MaxFFTSize) {
89         // FIXME: It would be good to also set an exception.
90         return;
91     }
92
93     if (m_fftSize != size) {
94         m_analysisFrame = adoptPtr(new FFTFrame(m_fftSize));
95         m_magnitudeBuffer.resize(size);
96         m_fftSize = size;
97     }
98 }
99
100 void RealtimeAnalyser::writeInput(AudioBus* bus, size_t framesToProcess)
101 {
102     bool isBusGood = bus && bus->numberOfChannels() > 0 && bus->channel(0)->length() >= framesToProcess;
103     ASSERT(isBusGood);
104     if (!isBusGood)
105         return;
106         
107     // FIXME : allow to work with non-FFTSize divisible chunking
108     bool isDestinationGood = m_writeIndex < m_inputBuffer.size() && m_writeIndex + framesToProcess <= m_inputBuffer.size();
109     ASSERT(isDestinationGood);
110     if (!isDestinationGood)
111         return;    
112     
113     // Perform real-time analysis
114     // FIXME : for now just use left channel (must mix if stereo source)
115     float* source = bus->channel(0)->data();
116
117     // The source has already been sanity checked with isBusGood above.
118     
119     memcpy(m_inputBuffer.data() + m_writeIndex, source, sizeof(float) * framesToProcess);
120
121     m_writeIndex += framesToProcess;
122     if (m_writeIndex >= InputBufferSize)
123         m_writeIndex = 0;
124 }
125
126 namespace {
127
128 void applyWindow(float* p, size_t n)
129 {
130     ASSERT(isMainThread());
131     
132     // Blackman window
133     double alpha = 0.16;
134     double a0 = 0.5 * (1.0 - alpha);
135     double a1 = 0.5;
136     double a2 = 0.5 * alpha;
137     
138     for (unsigned i = 0; i < n; ++i) {
139         double x = static_cast<double>(i) / static_cast<double>(n);
140         double window = a0 - a1 * cos(2.0 * M_PI * x) + a2 * cos(4.0 * M_PI * x);
141         p[i] *= float(window);
142     }
143 }
144
145 } // namespace
146
147 void RealtimeAnalyser::doFFTAnalysis()
148 {    
149     ASSERT(isMainThread());
150
151     // Unroll the input buffer into a temporary buffer, where we'll apply an analysis window followed by an FFT.
152     size_t fftSize = this->fftSize();
153     
154     AudioFloatArray temporaryBuffer(fftSize);
155     float* inputBuffer = m_inputBuffer.data();
156     float* tempP = temporaryBuffer.data();
157
158     // Take the previous fftSize values from the input buffer and copy into the temporary buffer.
159     // FIXME : optimize with memcpy().
160     unsigned writeIndex = m_writeIndex;
161     for (unsigned i = 0; i < fftSize; ++i)
162         tempP[i] = inputBuffer[(i + writeIndex - fftSize + InputBufferSize) % InputBufferSize];
163     
164     // Window the input samples.
165     applyWindow(tempP, fftSize);
166     
167     // Do the analysis.
168     m_analysisFrame->doFFT(tempP);
169
170     size_t n = DefaultFFTSize / 2;
171
172     float* realP = m_analysisFrame->realData();
173     float* imagP = m_analysisFrame->imagData();
174
175     // Blow away the packed nyquist component.
176     imagP[0] = 0.0f;
177     
178     // Normalize so than an input sine wave at 0dBfs registers as 0dBfs (undo FFT scaling factor).
179     const double MagnitudeScale = 1.0 / DefaultFFTSize;
180
181     // A value of 0 does no averaging with the previous result.  Larger values produce slower, but smoother changes.
182     double k = m_smoothingTimeConstant;
183     k = max(0.0, k);
184     k = min(1.0, k);    
185     
186     // Convert the analysis data from complex to magnitude and average with the previous result.
187     float* destination = magnitudeBuffer().data();
188     for (unsigned i = 0; i < n; ++i) {
189         Complex c(realP[i], imagP[i]);
190         double scalarMagnitude = abs(c) * MagnitudeScale;        
191         destination[i] = float(k * destination[i] + (1.0 - k) * scalarMagnitude);
192     }
193 }
194
195 #if ENABLE(3D_CANVAS)
196
197 void RealtimeAnalyser::getFloatFrequencyData(Float32Array* destinationArray)
198 {
199     ASSERT(isMainThread());
200
201     if (!destinationArray)
202         return;
203         
204     doFFTAnalysis();
205     
206     // Convert from linear magnitude to floating-point decibels.
207     const double MinDecibels = m_minDecibels;
208     unsigned sourceLength = magnitudeBuffer().size();
209     size_t len = min(sourceLength, destinationArray->length());
210     if (len > 0) {
211         const float* source = magnitudeBuffer().data();
212         float* destination = destinationArray->data();
213         
214         for (unsigned i = 0; i < len; ++i) {
215             float linearValue = source[i];
216             double dbMag = !linearValue ? MinDecibels : AudioUtilities::linearToDecibels(linearValue);
217             destination[i] = float(dbMag);
218         }
219     }
220 }
221
222 void RealtimeAnalyser::getByteFrequencyData(Uint8Array* destinationArray)
223 {
224     ASSERT(isMainThread());
225
226     if (!destinationArray)
227         return;
228         
229     doFFTAnalysis();
230     
231     // Convert from linear magnitude to unsigned-byte decibels.
232     unsigned sourceLength = magnitudeBuffer().size();
233     size_t len = min(sourceLength, destinationArray->length());
234     if (len > 0) {
235         const double RangeScaleFactor = m_maxDecibels == m_minDecibels ? 1.0 : 1.0 / (m_maxDecibels - m_minDecibels);
236
237         const float* source = magnitudeBuffer().data();
238         unsigned char* destination = destinationArray->data();        
239         
240         for (unsigned i = 0; i < len; ++i) {
241             float linearValue = source[i];
242             double dbMag = !linearValue ? m_minDecibels : AudioUtilities::linearToDecibels(linearValue);
243             
244             // The range m_minDecibels to m_maxDecibels will be scaled to byte values from 0 to UCHAR_MAX.
245             double scaledValue = UCHAR_MAX * (dbMag - m_minDecibels) * RangeScaleFactor;
246
247             // Clip to valid range.
248             if (scaledValue < 0.0)
249                 scaledValue = 0.0;
250             if (scaledValue > UCHAR_MAX)
251                 scaledValue = UCHAR_MAX;
252             
253             destination[i] = static_cast<unsigned char>(scaledValue);
254         }
255     }
256 }
257
258 void RealtimeAnalyser::getByteTimeDomainData(Uint8Array* destinationArray)
259 {
260     ASSERT(isMainThread());
261
262     if (!destinationArray)
263         return;
264         
265     unsigned fftSize = this->fftSize();
266     size_t len = min(fftSize, destinationArray->length());
267     if (len > 0) {
268         bool isInputBufferGood = m_inputBuffer.size() == InputBufferSize && m_inputBuffer.size() > fftSize;
269         ASSERT(isInputBufferGood);
270         if (!isInputBufferGood)
271             return;
272
273         float* inputBuffer = m_inputBuffer.data();        
274         unsigned char* destination = destinationArray->data();
275         
276         unsigned writeIndex = m_writeIndex;
277
278         for (unsigned i = 0; i < len; ++i) {
279             // Buffer access is protected due to modulo operation.
280             float value = inputBuffer[(i + writeIndex - fftSize + InputBufferSize) % InputBufferSize];
281
282             // Scale from nominal -1.0 -> +1.0 to unsigned byte.
283             double scaledValue = 128.0 * (value + 1.0);
284
285             // Clip to valid range.
286             if (scaledValue < 0.0)
287                 scaledValue = 0.0;
288             if (scaledValue > UCHAR_MAX)
289                 scaledValue = UCHAR_MAX;
290             
291             destination[i] = static_cast<unsigned char>(scaledValue);
292         }
293     }
294 }
295
296 #endif // 3D_CANVAS
297
298 } // namespace WebCore
299
300 #endif // ENABLE(WEB_AUDIO)