def072ee0d7bf2efa66b688bcf6ab1ae9830deb7
[WebKit-https.git] / Source / WebCore / platform / graphics / BitmapImage.cpp
1 /*
2  * Copyright (C) 2006 Samuel Weinig (sam.weinig@gmail.com)
3  * Copyright (C) 2004, 2005, 2006, 2008 Apple Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
15  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
25  */
26
27 #include "config.h"
28 #include "BitmapImage.h"
29
30 #include "FloatRect.h"
31 #include "ImageObserver.h"
32 #include "IntRect.h"
33 #include "MIMETypeRegistry.h"
34 #include "PlatformMemoryInstrumentation.h"
35 #include "Timer.h"
36 #include <wtf/CurrentTime.h>
37 #include <wtf/MemoryInstrumentationVector.h>
38 #include <wtf/Vector.h>
39 #include <wtf/text/WTFString.h>
40
41 namespace WebCore {
42
43 BitmapImage::BitmapImage(ImageObserver* observer)
44     : Image(observer)
45     , m_currentFrame(0)
46     , m_frames(0)
47     , m_frameTimer(0)
48     , m_repetitionCount(cAnimationNone)
49     , m_repetitionCountStatus(Unknown)
50     , m_repetitionsComplete(0)
51     , m_desiredFrameStartTime(0)
52     , m_decodedSize(0)
53     , m_decodedPropertiesSize(0)
54     , m_frameCount(0)
55     , m_isSolidColor(false)
56     , m_checkedForSolidColor(false)
57     , m_animationFinished(false)
58     , m_allDataReceived(false)
59     , m_haveSize(false)
60     , m_sizeAvailable(false)
61     , m_hasUniformFrameSize(true)
62     , m_haveFrameCount(false)
63 {
64 }
65
66 BitmapImage::~BitmapImage()
67 {
68     invalidatePlatformData();
69     stopAnimation();
70 }
71
72 bool BitmapImage::isBitmapImage() const
73 {
74     return true;
75 }
76
77 bool BitmapImage::hasSingleSecurityOrigin() const
78 {
79     return true;
80 }
81
82
83 void BitmapImage::destroyDecodedData(bool destroyAll)
84 {
85     unsigned frameBytesCleared = 0;
86     const size_t clearBeforeFrame = destroyAll ? m_frames.size() : m_currentFrame;
87     for (size_t i = 0; i < clearBeforeFrame; ++i) {
88         // The underlying frame isn't actually changing (we're just trying to
89         // save the memory for the framebuffer data), so we don't need to clear
90         // the metadata.
91         unsigned frameBytes = m_frames[i].m_frameBytes;
92         if (m_frames[i].clear(false))
93             frameBytesCleared += frameBytes;
94     }
95
96     destroyMetadataAndNotify(frameBytesCleared);
97
98     m_source.clear(destroyAll, clearBeforeFrame, data(), m_allDataReceived);
99     return;
100 }
101
102 void BitmapImage::destroyDecodedDataIfNecessary(bool destroyAll)
103 {
104     // Animated images >5MB are considered large enough that we'll only hang on
105     // to one frame at a time.
106     static const unsigned cLargeAnimationCutoff = 5242880;
107     unsigned allFrameBytes = 0;
108     for (size_t i = 0; i < m_frames.size(); ++i)
109         allFrameBytes += m_frames[i].m_frameBytes;
110
111     if (allFrameBytes > cLargeAnimationCutoff)
112         destroyDecodedData(destroyAll);
113 }
114
115 void BitmapImage::destroyMetadataAndNotify(unsigned frameBytesCleared)
116 {
117     m_isSolidColor = false;
118     m_checkedForSolidColor = false;
119     invalidatePlatformData();
120
121     ASSERT(m_decodedSize >= frameBytesCleared);
122     m_decodedSize -= frameBytesCleared;
123     if (frameBytesCleared > 0) {
124         frameBytesCleared += m_decodedPropertiesSize;
125         m_decodedPropertiesSize = 0;
126     }
127     if (frameBytesCleared && imageObserver())
128         imageObserver()->decodedSizeChanged(this, -safeCast<int>(frameBytesCleared));
129 }
130
131 void BitmapImage::cacheFrame(size_t index)
132 {
133     size_t numFrames = frameCount();
134     ASSERT(m_decodedSize == 0 || numFrames > 1);
135     
136     if (m_frames.size() < numFrames)
137         m_frames.grow(numFrames);
138
139     m_frames[index].m_frame = m_source.createFrameAtIndex(index);
140     if (numFrames == 1 && m_frames[index].m_frame)
141         checkForSolidColor();
142
143     m_frames[index].m_orientation = m_source.orientationAtIndex(index);
144     m_frames[index].m_haveMetadata = true;
145     m_frames[index].m_isComplete = m_source.frameIsCompleteAtIndex(index);
146     if (repetitionCount(false) != cAnimationNone)
147         m_frames[index].m_duration = m_source.frameDurationAtIndex(index);
148     m_frames[index].m_hasAlpha = m_source.frameHasAlphaAtIndex(index);
149     m_frames[index].m_frameBytes = m_source.frameBytesAtIndex(index);
150
151     const IntSize frameSize(index ? m_source.frameSizeAtIndex(index) : m_size);
152     if (frameSize != m_size)
153         m_hasUniformFrameSize = false;
154     if (m_frames[index].m_frame) {
155         int deltaBytes = safeCast<int>(m_frames[index].m_frameBytes);
156         m_decodedSize += deltaBytes;
157         // The fully-decoded frame will subsume the partially decoded data used
158         // to determine image properties.
159         deltaBytes -= m_decodedPropertiesSize;
160         m_decodedPropertiesSize = 0;
161         if (imageObserver())
162             imageObserver()->decodedSizeChanged(this, deltaBytes);
163     }
164 }
165
166 void BitmapImage::didDecodeProperties() const
167 {
168     if (m_decodedSize)
169         return;
170     size_t updatedSize = m_source.bytesDecodedToDetermineProperties();
171     if (m_decodedPropertiesSize == updatedSize)
172         return;
173     int deltaBytes = updatedSize - m_decodedPropertiesSize;
174 #if !ASSERT_DISABLED
175     bool overflow = updatedSize > m_decodedPropertiesSize && deltaBytes < 0;
176     bool underflow = updatedSize < m_decodedPropertiesSize && deltaBytes > 0;
177     ASSERT(!overflow && !underflow);
178 #endif
179     m_decodedPropertiesSize = updatedSize;
180     if (imageObserver())
181         imageObserver()->decodedSizeChanged(this, deltaBytes);
182 }
183
184 void BitmapImage::updateSize() const
185 {
186     if (!m_sizeAvailable || m_haveSize)
187         return;
188
189     m_size = m_source.size();
190     m_sizeRespectingOrientation = m_source.size(RespectImageOrientation);
191     m_haveSize = true;
192     didDecodeProperties();
193 }
194
195 IntSize BitmapImage::size() const
196 {
197     updateSize();
198     return m_size;
199 }
200
201 IntSize BitmapImage::sizeRespectingOrientation() const
202 {
203     updateSize();
204     return m_sizeRespectingOrientation;
205 }
206
207 IntSize BitmapImage::currentFrameSize() const
208 {
209     if (!m_currentFrame || m_hasUniformFrameSize)
210         return size();
211     IntSize frameSize = m_source.frameSizeAtIndex(m_currentFrame);
212     didDecodeProperties();
213     return frameSize;
214 }
215
216 bool BitmapImage::getHotSpot(IntPoint& hotSpot) const
217 {
218     bool result = m_source.getHotSpot(hotSpot);
219     didDecodeProperties();
220     return result;
221 }
222
223 bool BitmapImage::dataChanged(bool allDataReceived)
224 {
225     // Clear all partially-decoded frames. For most image formats, there is only
226     // one frame, but at least GIF and ICO can have more. With GIFs, the frames
227     // come in order and we ask to decode them in order, waiting to request a
228     // subsequent frame until the prior one is complete. Given that we clear
229     // incomplete frames here, this means there is at most one incomplete frame
230     // (even if we use destroyDecodedData() -- since it doesn't reset the
231     // metadata), and it is after all the complete frames.
232     //
233     // With ICOs, on the other hand, we may ask for arbitrary frames at
234     // different times (e.g. because we're displaying a higher-resolution image
235     // in the content area and using a lower-resolution one for the favicon),
236     // and the frames aren't even guaranteed to appear in the file in the same
237     // order as in the directory, so an arbitrary number of the frames might be
238     // incomplete (if we ask for frames for which we've not yet reached the
239     // start of the frame data), and any or none of them might be the particular
240     // frame affected by appending new data here. Thus we have to clear all the
241     // incomplete frames to be safe.
242     unsigned frameBytesCleared = 0;
243     for (size_t i = 0; i < m_frames.size(); ++i) {
244         // NOTE: Don't call frameIsCompleteAtIndex() here, that will try to
245         // decode any uncached (i.e. never-decoded or
246         // cleared-on-a-previous-pass) frames!
247         unsigned frameBytes = m_frames[i].m_frameBytes;
248         if (m_frames[i].m_haveMetadata && !m_frames[i].m_isComplete)
249             frameBytesCleared += (m_frames[i].clear(true) ? frameBytes : 0);
250     }
251     destroyMetadataAndNotify(frameBytesCleared);
252     
253     // Feed all the data we've seen so far to the image decoder.
254     m_allDataReceived = allDataReceived;
255     m_source.setData(data(), allDataReceived);
256     
257     m_haveFrameCount = false;
258     m_hasUniformFrameSize = true;
259     return isSizeAvailable();
260 }
261
262 String BitmapImage::filenameExtension() const
263 {
264     return m_source.filenameExtension();
265 }
266
267 size_t BitmapImage::frameCount()
268 {
269     if (!m_haveFrameCount) {
270         m_frameCount = m_source.frameCount();
271         // If decoder is not initialized yet, m_source.frameCount() returns 0.
272         if (m_frameCount) {
273             didDecodeProperties();
274             m_haveFrameCount = true;
275         }
276     }
277     return m_frameCount;
278 }
279
280 bool BitmapImage::isSizeAvailable()
281 {
282     if (m_sizeAvailable)
283         return true;
284
285     m_sizeAvailable = m_source.isSizeAvailable();
286     didDecodeProperties();
287
288     return m_sizeAvailable;
289 }
290
291 bool BitmapImage::ensureFrameIsCached(size_t index)
292 {
293     if (index >= frameCount())
294         return false;
295
296     if (index >= m_frames.size() || !m_frames[index].m_frame)
297         cacheFrame(index);
298     return true;
299 }
300
301 NativeImagePtr BitmapImage::frameAtIndex(size_t index)
302 {
303     if (!ensureFrameIsCached(index))
304         return 0;
305     return m_frames[index].m_frame;
306 }
307
308 bool BitmapImage::frameIsCompleteAtIndex(size_t index)
309 {
310     if (!ensureFrameIsCached(index))
311         return false;
312     return m_frames[index].m_isComplete;
313 }
314
315 float BitmapImage::frameDurationAtIndex(size_t index)
316 {
317     if (!ensureFrameIsCached(index))
318         return 0;
319     return m_frames[index].m_duration;
320 }
321
322 NativeImagePtr BitmapImage::nativeImageForCurrentFrame()
323 {
324     return frameAtIndex(currentFrame());
325 }
326
327 bool BitmapImage::frameHasAlphaAtIndex(size_t index)
328 {
329     if (m_frames.size() <= index)
330         return true;
331
332     if (m_frames[index].m_haveMetadata)
333         return m_frames[index].m_hasAlpha;
334
335     return m_source.frameHasAlphaAtIndex(index);
336 }
337
338 bool BitmapImage::currentFrameHasAlpha()
339 {
340     return frameHasAlphaAtIndex(currentFrame());
341 }
342
343 ImageOrientation BitmapImage::currentFrameOrientation()
344 {
345     return frameOrientationAtIndex(currentFrame());
346 }
347
348 ImageOrientation BitmapImage::frameOrientationAtIndex(size_t index)
349 {
350     if (m_frames.size() <= index)
351         return DefaultImageOrientation;
352
353     if (m_frames[index].m_haveMetadata)
354         return m_frames[index].m_orientation;
355
356     return m_source.orientationAtIndex(index);
357 }
358
359 #if !ASSERT_DISABLED
360 bool BitmapImage::notSolidColor()
361 {
362     return size().width() != 1 || size().height() != 1 || frameCount() > 1;
363 }
364 #endif
365
366
367
368 int BitmapImage::repetitionCount(bool imageKnownToBeComplete)
369 {
370     if ((m_repetitionCountStatus == Unknown) || ((m_repetitionCountStatus == Uncertain) && imageKnownToBeComplete)) {
371         // Snag the repetition count.  If |imageKnownToBeComplete| is false, the
372         // repetition count may not be accurate yet for GIFs; in this case the
373         // decoder will default to cAnimationLoopOnce, and we'll try and read
374         // the count again once the whole image is decoded.
375         m_repetitionCount = m_source.repetitionCount();
376         didDecodeProperties();
377         m_repetitionCountStatus = (imageKnownToBeComplete || m_repetitionCount == cAnimationNone) ? Certain : Uncertain;
378     }
379     return m_repetitionCount;
380 }
381
382 bool BitmapImage::shouldAnimate()
383 {
384     return (repetitionCount(false) != cAnimationNone && !m_animationFinished && imageObserver());
385 }
386
387 void BitmapImage::startAnimation(bool catchUpIfNecessary)
388 {
389     if (m_frameTimer || !shouldAnimate() || frameCount() <= 1)
390         return;
391
392     // If we aren't already animating, set now as the animation start time.
393     const double time = monotonicallyIncreasingTime();
394     if (!m_desiredFrameStartTime)
395         m_desiredFrameStartTime = time;
396
397     // Don't advance the animation to an incomplete frame.
398     size_t nextFrame = (m_currentFrame + 1) % frameCount();
399     if (!m_allDataReceived && !frameIsCompleteAtIndex(nextFrame))
400         return;
401
402     // Don't advance past the last frame if we haven't decoded the whole image
403     // yet and our repetition count is potentially unset.  The repetition count
404     // in a GIF can potentially come after all the rest of the image data, so
405     // wait on it.
406     if (!m_allDataReceived && repetitionCount(false) == cAnimationLoopOnce && m_currentFrame >= (frameCount() - 1))
407         return;
408
409     // Determine time for next frame to start.  By ignoring paint and timer lag
410     // in this calculation, we make the animation appear to run at its desired
411     // rate regardless of how fast it's being repainted.
412     const double currentDuration = frameDurationAtIndex(m_currentFrame);
413     m_desiredFrameStartTime += currentDuration;
414
415     // When an animated image is more than five minutes out of date, the
416     // user probably doesn't care about resyncing and we could burn a lot of
417     // time looping through frames below.  Just reset the timings.
418     const double cAnimationResyncCutoff = 5 * 60;
419     if ((time - m_desiredFrameStartTime) > cAnimationResyncCutoff)
420         m_desiredFrameStartTime = time + currentDuration;
421
422     // The image may load more slowly than it's supposed to animate, so that by
423     // the time we reach the end of the first repetition, we're well behind.
424     // Clamp the desired frame start time in this case, so that we don't skip
425     // frames (or whole iterations) trying to "catch up".  This is a tradeoff:
426     // It guarantees users see the whole animation the second time through and
427     // don't miss any repetitions, and is closer to what other browsers do; on
428     // the other hand, it makes animations "less accurate" for pages that try to
429     // sync an image and some other resource (e.g. audio), especially if users
430     // switch tabs (and thus stop drawing the animation, which will pause it)
431     // during that initial loop, then switch back later.
432     if (nextFrame == 0 && m_repetitionsComplete == 0 && m_desiredFrameStartTime < time)
433         m_desiredFrameStartTime = time;
434
435     if (!catchUpIfNecessary || time < m_desiredFrameStartTime) {
436         // Haven't yet reached time for next frame to start; delay until then.
437         m_frameTimer = new Timer<BitmapImage>(this, &BitmapImage::advanceAnimation);
438         m_frameTimer->startOneShot(std::max(m_desiredFrameStartTime - time, 0.));
439     } else {
440         // We've already reached or passed the time for the next frame to start.
441         // See if we've also passed the time for frames after that to start, in
442         // case we need to skip some frames entirely.  Remember not to advance
443         // to an incomplete frame.
444         for (size_t frameAfterNext = (nextFrame + 1) % frameCount(); frameIsCompleteAtIndex(frameAfterNext); frameAfterNext = (nextFrame + 1) % frameCount()) {
445             // Should we skip the next frame?
446             double frameAfterNextStartTime = m_desiredFrameStartTime + frameDurationAtIndex(nextFrame);
447             if (time < frameAfterNextStartTime)
448                 break;
449
450             // Yes; skip over it without notifying our observers.
451             if (!internalAdvanceAnimation(true))
452                 return;
453             m_desiredFrameStartTime = frameAfterNextStartTime;
454             nextFrame = frameAfterNext;
455         }
456
457         // Draw the next frame immediately.  Note that m_desiredFrameStartTime
458         // may be in the past, meaning the next time through this function we'll
459         // kick off the next advancement sooner than this frame's duration would
460         // suggest.
461         if (internalAdvanceAnimation(false)) {
462             // The image region has been marked dirty, but once we return to our
463             // caller, draw() will clear it, and nothing will cause the
464             // animation to advance again.  We need to start the timer for the
465             // next frame running, or the animation can hang.  (Compare this
466             // with when advanceAnimation() is called, and the region is dirtied
467             // while draw() is not in the callstack, meaning draw() gets called
468             // to update the region and thus startAnimation() is reached again.)
469             // NOTE: For large images with slow or heavily-loaded systems,
470             // throwing away data as we go (see destroyDecodedData()) means we
471             // can spend so much time re-decoding data above that by the time we
472             // reach here we're behind again.  If we let startAnimation() run
473             // the catch-up code again, we can get long delays without painting
474             // as we race the timer, or even infinite recursion.  In this
475             // situation the best we can do is to simply change frames as fast
476             // as possible, so force startAnimation() to set a zero-delay timer
477             // and bail out if we're not caught up.
478             startAnimation(false);
479         }
480     }
481 }
482
483 void BitmapImage::stopAnimation()
484 {
485     // This timer is used to animate all occurrences of this image.  Don't invalidate
486     // the timer unless all renderers have stopped drawing.
487     delete m_frameTimer;
488     m_frameTimer = 0;
489 }
490
491 void BitmapImage::resetAnimation()
492 {
493     stopAnimation();
494     m_currentFrame = 0;
495     m_repetitionsComplete = 0;
496     m_desiredFrameStartTime = 0;
497     m_animationFinished = false;
498     
499     // For extremely large animations, when the animation is reset, we just throw everything away.
500     destroyDecodedDataIfNecessary(true);
501 }
502
503 unsigned BitmapImage::decodedSize() const
504 {
505     return m_decodedSize;
506 }
507
508
509
510 void BitmapImage::advanceAnimation(Timer<BitmapImage>*)
511 {
512     internalAdvanceAnimation(false);
513     // At this point the image region has been marked dirty, and if it's
514     // onscreen, we'll soon make a call to draw(), which will call
515     // startAnimation() again to keep the animation moving.
516 }
517
518 bool BitmapImage::internalAdvanceAnimation(bool skippingFrames)
519 {
520     // Stop the animation.
521     stopAnimation();
522     
523     // See if anyone is still paying attention to this animation.  If not, we don't
524     // advance and will remain suspended at the current frame until the animation is resumed.
525     if (!skippingFrames && imageObserver()->shouldPauseAnimation(this))
526         return false;
527
528     ++m_currentFrame;
529     bool advancedAnimation = true;
530     bool destroyAll = false;
531     if (m_currentFrame >= frameCount()) {
532         ++m_repetitionsComplete;
533
534         // Get the repetition count again.  If we weren't able to get a
535         // repetition count before, we should have decoded the whole image by
536         // now, so it should now be available.
537         // Note that we don't need to special-case cAnimationLoopOnce here
538         // because it is 0 (see comments on its declaration in ImageSource.h).
539         if (repetitionCount(true) != cAnimationLoopInfinite && m_repetitionsComplete > m_repetitionCount) {
540             m_animationFinished = true;
541             m_desiredFrameStartTime = 0;
542             --m_currentFrame;
543             advancedAnimation = false;
544         } else {
545             m_currentFrame = 0;
546             destroyAll = true;
547         }
548     }
549     destroyDecodedDataIfNecessary(destroyAll);
550
551     // We need to draw this frame if we advanced to it while not skipping, or if
552     // while trying to skip frames we hit the last frame and thus had to stop.
553     if (skippingFrames != advancedAnimation)
554         imageObserver()->animationAdvanced(this);
555     return advancedAnimation;
556 }
557
558 bool BitmapImage::mayFillWithSolidColor()
559 {
560     if (!m_checkedForSolidColor && frameCount() > 0) {
561         checkForSolidColor();
562         // WINCE PORT: checkForSolidColor() doesn't set m_checkedForSolidColor until
563         // it gets enough information to make final decision.
564 #if !OS(WINCE)
565         ASSERT(m_checkedForSolidColor);
566 #endif
567     }
568     return m_isSolidColor && !m_currentFrame;
569 }
570
571 Color BitmapImage::solidColor() const
572 {
573     return m_solidColor;
574 }
575
576 void BitmapImage::reportMemoryUsage(MemoryObjectInfo* memoryObjectInfo) const
577 {
578     MemoryClassInfo info(memoryObjectInfo, this, PlatformMemoryTypes::Image);
579     Image::reportMemoryUsage(memoryObjectInfo);
580     info.addMember(m_source);
581     info.addMember(m_frameTimer);
582     info.addMember(m_frames);
583 }
584
585 void FrameData::reportMemoryUsage(MemoryObjectInfo* memoryObjectInfo) const
586 {
587     MemoryClassInfo info(memoryObjectInfo, this, PlatformMemoryTypes::Image);
588 #if OS(WINCE) && !PLATFORM(QT)
589     info.addRawBuffer(m_frame.get(), m_frameBytes);
590 #elif USE(SKIA)
591     info.addMember(m_frame);
592 #else
593     info.addRawBuffer(m_frame, m_frameBytes);
594 #endif
595 }
596
597 }