592487f5c18043abc9363450fb7a80a373f4b455
[WebKit-https.git] / WebCore / platform / graphics / BitmapImage.cpp
1 /*
2  * Copyright (C) 2006 Samuel Weinig (sam.weinig@gmail.com)
3  * Copyright (C) 2004, 2005, 2006, 2008 Apple Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
15  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
25  */
26
27 #include "config.h"
28 #include "BitmapImage.h"
29
30 #include "FloatRect.h"
31 #include "ImageObserver.h"
32 #include "IntRect.h"
33 #include "PlatformString.h"
34 #include "SystemTime.h"
35 #include "Timer.h"
36 #include <wtf/Vector.h>
37 #include "MIMETypeRegistry.h"
38
39 namespace WebCore {
40
41 // Animated images >5MB are considered large enough that we'll only hang on to
42 // one frame at a time.
43 const unsigned cLargeAnimationCutoff = 5242880;
44
45 // When an animated image is more than five minutes out of date, don't try to
46 // resync on repaint, so we don't waste CPU cycles on an edge case the user
47 // doesn't care about.
48 const double cAnimationResyncCutoff = 5 * 60;
49
50 BitmapImage::BitmapImage(ImageObserver* observer)
51     : Image(observer)
52     , m_currentFrame(0)
53     , m_frames(0)
54     , m_frameTimer(0)
55     , m_repetitionCount(cAnimationNone)
56     , m_repetitionCountStatus(Unknown)
57     , m_repetitionsComplete(0)
58     , m_desiredFrameStartTime(0)
59     , m_isSolidColor(false)
60     , m_animationFinished(false)
61     , m_allDataReceived(false)
62     , m_haveSize(false)
63     , m_sizeAvailable(false)
64     , m_hasUniformFrameSize(true)
65     , m_decodedSize(0)
66     , m_haveFrameCount(false)
67     , m_frameCount(0)
68 {
69     initPlatformData();
70 }
71
72 BitmapImage::~BitmapImage()
73 {
74     invalidatePlatformData();
75     stopAnimation();
76 }
77
78 void BitmapImage::destroyDecodedData(bool incremental, bool preserveNearbyFrames)
79 {
80     // Destroy the cached images and release them.
81     if (m_frames.size()) {
82         int sizeChange = 0;
83         int frameSize = m_size.width() * m_size.height() * 4;
84         const size_t nextFrame = (preserveNearbyFrames && frameCount()) ? ((m_currentFrame + 1) % frameCount()) : 0;
85         for (unsigned i = incremental ? m_frames.size() - 1 : 0; i < m_frames.size(); i++) {
86             if (m_frames[i].m_frame && (!preserveNearbyFrames || (i != m_currentFrame && i != nextFrame))) {
87                 sizeChange -= frameSize;
88                 m_frames[i].clear();
89             }
90         }
91
92         // We just always invalidate our platform data, even in the incremental case.
93         // This could be better, but it's not a big deal.
94         m_isSolidColor = false;
95         invalidatePlatformData();
96         
97         if (sizeChange) {
98             m_decodedSize += sizeChange;
99             if (imageObserver())
100                 imageObserver()->decodedSizeChanged(this, sizeChange);
101         }
102         
103         if (!incremental) {
104             // Reset the image source, since Image I/O has an underlying cache that it uses
105             // while animating that it seems to never clear.
106             m_source.clear();
107             m_source.setData(m_data.get(), m_allDataReceived);
108         }
109     }
110 }
111
112 void BitmapImage::cacheFrame(size_t index)
113 {
114     size_t numFrames = frameCount();
115     ASSERT(m_decodedSize == 0 || numFrames > 1);
116     
117     if (m_frames.size() < numFrames)
118         m_frames.grow(numFrames);
119
120     m_frames[index].m_frame = m_source.createFrameAtIndex(index);
121     if (numFrames == 1 && m_frames[index].m_frame)
122         checkForSolidColor();
123
124     m_frames[index].m_haveMetadata = true;
125     m_frames[index].m_isComplete = m_source.frameIsCompleteAtIndex(index);
126     if (repetitionCount(false) != cAnimationNone)
127         m_frames[index].m_duration = m_source.frameDurationAtIndex(index);
128     m_frames[index].m_hasAlpha = m_source.frameHasAlphaAtIndex(index);
129
130     int sizeChange;
131     if (index) {
132         IntSize frameSize = m_source.frameSizeAtIndex(index);
133         if (frameSize != m_size)
134             m_hasUniformFrameSize = false;
135         sizeChange = m_frames[index].m_frame ? frameSize.width() * frameSize.height() * 4 : 0;
136     } else
137         sizeChange = m_frames[index].m_frame ? m_size.width() * m_size.height() * 4 : 0;
138
139     if (sizeChange) {
140         m_decodedSize += sizeChange;
141         if (imageObserver())
142             imageObserver()->decodedSizeChanged(this, sizeChange);
143     }
144 }
145
146 IntSize BitmapImage::size() const
147 {
148     if (m_sizeAvailable && !m_haveSize) {
149         m_size = m_source.size();
150         m_haveSize = true;
151     }
152     return m_size;
153 }
154
155 IntSize BitmapImage::currentFrameSize() const
156 {
157     if (!m_currentFrame || m_hasUniformFrameSize)
158         return size();
159     return m_source.frameSizeAtIndex(m_currentFrame);
160 }
161
162 bool BitmapImage::dataChanged(bool allDataReceived)
163 {
164     destroyDecodedData(true);
165     
166     // Feed all the data we've seen so far to the image decoder.
167     m_allDataReceived = allDataReceived;
168     m_source.setData(m_data.get(), allDataReceived);
169     
170     // Clear the frame count.
171     m_haveFrameCount = false;
172
173     m_hasUniformFrameSize = true;
174
175     // Image properties will not be available until the first frame of the file
176     // reaches kCGImageStatusIncomplete.
177     return isSizeAvailable();
178 }
179
180 size_t BitmapImage::frameCount()
181 {
182     if (!m_haveFrameCount) {
183         m_haveFrameCount = true;
184         m_frameCount = m_source.frameCount();
185     }
186     return m_frameCount;
187 }
188
189 bool BitmapImage::isSizeAvailable()
190 {
191     if (m_sizeAvailable)
192         return true;
193
194     m_sizeAvailable = m_source.isSizeAvailable();
195
196     return m_sizeAvailable;
197 }
198
199 NativeImagePtr BitmapImage::frameAtIndex(size_t index)
200 {
201     if (index >= frameCount())
202         return 0;
203
204     if (index >= m_frames.size() || !m_frames[index].m_frame)
205         cacheFrame(index);
206
207     return m_frames[index].m_frame;
208 }
209
210 bool BitmapImage::frameIsCompleteAtIndex(size_t index)
211 {
212     if (index >= frameCount())
213         return true;
214
215     if (index >= m_frames.size() || !m_frames[index].m_haveMetadata)
216         cacheFrame(index);
217
218     return m_frames[index].m_isComplete;
219 }
220
221 float BitmapImage::frameDurationAtIndex(size_t index)
222 {
223     if (index >= frameCount())
224         return 0;
225
226     if (index >= m_frames.size() || !m_frames[index].m_haveMetadata)
227         cacheFrame(index);
228
229     return m_frames[index].m_duration;
230 }
231
232 bool BitmapImage::frameHasAlphaAtIndex(size_t index)
233 {
234     if (index >= frameCount())
235         return true;
236
237     if (index >= m_frames.size() || !m_frames[index].m_haveMetadata)
238         cacheFrame(index);
239
240     return m_frames[index].m_hasAlpha;
241 }
242
243 int BitmapImage::repetitionCount(bool imageKnownToBeComplete)
244 {
245     if ((m_repetitionCountStatus == Unknown) || ((m_repetitionCountStatus == Uncertain) && imageKnownToBeComplete)) {
246         // Snag the repetition count.  If |imageKnownToBeComplete| is false, the
247         // repetition count may not be accurate yet for GIFs; in this case the
248         // decoder will default to cAnimationLoopOnce, and we'll try and read
249         // the count again once the whole image is decoded.
250         m_repetitionCount = m_source.repetitionCount();
251         m_repetitionCountStatus = (imageKnownToBeComplete || m_repetitionCount == cAnimationNone) ? Certain : Uncertain;
252     }
253     return m_repetitionCount;
254 }
255
256 bool BitmapImage::shouldAnimate()
257 {
258     return (repetitionCount(false) != cAnimationNone && !m_animationFinished && imageObserver());
259 }
260
261 void BitmapImage::startAnimation(bool catchUpIfNecessary)
262 {
263     if (m_frameTimer || !shouldAnimate() || frameCount() <= 1)
264         return;
265
266     // Determine time for next frame to start.  By ignoring paint and timer lag
267     // in this calculation, we make the animation appear to run at its desired
268     // rate regardless of how fast it's being repainted.
269     const double currentDuration = frameDurationAtIndex(m_currentFrame);
270     const double time = currentTime();
271     if (m_desiredFrameStartTime == 0) {
272         m_desiredFrameStartTime = time + currentDuration;
273     } else {
274         m_desiredFrameStartTime += currentDuration;
275         // If we're too far behind, the user probably doesn't care about
276         // resyncing and we could burn a lot of time looping through frames
277         // below.  Just reset the timings.
278         if ((time - m_desiredFrameStartTime) > cAnimationResyncCutoff)
279             m_desiredFrameStartTime = time + currentDuration;
280     }
281
282     // Don't advance the animation to an incomplete frame.
283     size_t nextFrame = (m_currentFrame + 1) % frameCount();
284     if (!frameIsCompleteAtIndex(nextFrame))
285         return;
286
287     // Don't advance past the last frame if we haven't decoded the whole image
288     // yet and our repetition count is potentially unset.  The repetition count
289     // in a GIF can potentially come after all the rest of the image data, so
290     // wait on it.
291     if (!m_allDataReceived && repetitionCount(false) == cAnimationLoopOnce && m_currentFrame >= (frameCount() - 1))
292         return;
293
294     // The image may load more slowly than it's supposed to animate, so that by
295     // the time we reach the end of the first repetition, we're well behind.
296     // Clamp the desired frame start time in this case, so that we don't skip
297     // frames (or whole iterations) trying to "catch up".  This is a tradeoff:
298     // It guarantees users see the whole animation the second time through and
299     // don't miss any repetitions, and is closer to what other browsers do; on
300     // the other hand, it makes animations "less accurate" for pages that try to
301     // sync an image and some other resource (e.g. audio), especially if users
302     // switch tabs (and thus stop drawing the animation, which will pause it)
303     // during that initial loop, then switch back later.
304     if (nextFrame == 0 && m_repetitionsComplete == 0 && m_desiredFrameStartTime < time)
305       m_desiredFrameStartTime = time;
306
307     if (!catchUpIfNecessary || time < m_desiredFrameStartTime) {
308         // Haven't yet reached time for next frame to start; delay until then.
309         m_frameTimer = new Timer<BitmapImage>(this, &BitmapImage::advanceAnimation);
310         m_frameTimer->startOneShot(std::max(m_desiredFrameStartTime - time, 0.));
311     } else {
312         // We've already reached or passed the time for the next frame to start.
313         // See if we've also passed the time for frames after that to start, in
314         // case we need to skip some frames entirely.  Remember not to advance
315         // to an incomplete frame.
316         for (size_t frameAfterNext = (nextFrame + 1) % frameCount(); frameIsCompleteAtIndex(frameAfterNext); frameAfterNext = (nextFrame + 1) % frameCount()) {
317             // Should we skip the next frame?
318             double frameAfterNextStartTime = m_desiredFrameStartTime + frameDurationAtIndex(nextFrame);
319             if (time < frameAfterNextStartTime)
320                 break;
321
322             // Yes; skip over it without notifying our observers.
323             if (!internalAdvanceAnimation(true))
324                 return;
325             m_desiredFrameStartTime = frameAfterNextStartTime;
326             nextFrame = frameAfterNext;
327         }
328
329         // Draw the next frame immediately.  Note that m_desiredFrameStartTime
330         // may be in the past, meaning the next time through this function we'll
331         // kick off the next advancement sooner than this frame's duration would
332         // suggest.
333         if (internalAdvanceAnimation(false)) {
334             // The image region has been marked dirty, but once we return to our
335             // caller, draw() will clear it, and nothing will cause the
336             // animation to advance again.  We need to start the timer for the
337             // next frame running, or the animation can hang.  (Compare this
338             // with when advanceAnimation() is called, and the region is dirtied
339             // while draw() is not in the callstack, meaning draw() gets called
340             // to update the region and thus startAnimation() is reached again.)
341             // NOTE: For large images with slow or heavily-loaded systems,
342             // throwing away data as we go (see destroyDecodedData()) means we
343             // can spend so much time re-decoding data above that by the time we
344             // reach here we're behind again.  If we let startAnimation() run
345             // the catch-up code again, we can get long delays without painting
346             // as we race the timer, or even infinite recursion.  In this
347             // situation the best we can do is to simply change frames as fast
348             // as possible, so force startAnimation() to set a zero-delay timer
349             // and bail out if we're not caught up.
350             startAnimation(false);
351         }
352     }
353 }
354
355 void BitmapImage::stopAnimation()
356 {
357     // This timer is used to animate all occurrences of this image.  Don't invalidate
358     // the timer unless all renderers have stopped drawing.
359     delete m_frameTimer;
360     m_frameTimer = 0;
361 }
362
363 void BitmapImage::resetAnimation()
364 {
365     stopAnimation();
366     m_currentFrame = 0;
367     m_repetitionsComplete = 0;
368     m_desiredFrameStartTime = 0;
369     m_animationFinished = false;
370     int frameSize = m_size.width() * m_size.height() * 4;
371     
372     // For extremely large animations, when the animation is reset, we just throw everything away.
373     if (frameCount() * frameSize > cLargeAnimationCutoff)
374         destroyDecodedData();
375 }
376
377 void BitmapImage::advanceAnimation(Timer<BitmapImage>* timer)
378 {
379     internalAdvanceAnimation(false);
380     // At this point the image region has been marked dirty, and if it's
381     // onscreen, we'll soon make a call to draw(), which will call
382     // startAnimation() again to keep the animation moving.
383 }
384
385 bool BitmapImage::internalAdvanceAnimation(bool skippingFrames)
386 {
387     // Stop the animation.
388     stopAnimation();
389     
390     // See if anyone is still paying attention to this animation.  If not, we don't
391     // advance and will remain suspended at the current frame until the animation is resumed.
392     if (!skippingFrames && imageObserver()->shouldPauseAnimation(this))
393         return false;
394
395     m_currentFrame++;
396     if (m_currentFrame >= frameCount()) {
397         ++m_repetitionsComplete;
398         // Get the repetition count again.  If we weren't able to get a
399         // repetition count before, we should have decoded the whole image by
400         // now, so it should now be available.
401         if (repetitionCount(true) && m_repetitionsComplete >= m_repetitionCount) {
402             m_animationFinished = true;
403             m_desiredFrameStartTime = 0;
404             m_currentFrame--;
405             if (skippingFrames) {
406                 // Uh oh.  We tried to skip past the end of the animation.  We'd
407                 // better draw this last frame.
408                 notifyObserverAndTrimDecodedData();
409             }
410             return false;
411         }
412         m_currentFrame = 0;
413     }
414
415     if (!skippingFrames)
416         notifyObserverAndTrimDecodedData();
417
418     return true;
419 }
420
421 void BitmapImage::notifyObserverAndTrimDecodedData()
422 {
423     // Notify our observer that the animation has advanced.
424     imageObserver()->animationAdvanced(this);
425
426     // For large animated images, go ahead and throw away frames as we go to
427     // save footprint.
428     int frameSize = m_size.width() * m_size.height() * 4;
429     if (frameCount() * frameSize > cLargeAnimationCutoff) {
430         // Destroy all of our frames and just redecode every time.  We save the
431         // current frame since we'll need it in draw() anyway.
432         destroyDecodedData(false, true);
433     }
434 }
435
436 }