2ea8dcfc21546685f455affd61aa557a0ef6ef48
[WebKit-https.git] / Source / WebCore / platform / graphics / cg / IOSurfacePool.cpp
1 /*
2  * Copyright (C) 2013, 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "IOSurfacePool.h"
28
29 #if USE(IOSURFACE)
30
31 #include "GraphicsContextCG.h"
32 #include "IOSurface.h"
33 #include <CoreGraphics/CoreGraphics.h>
34 #include <chrono>
35 #include <wtf/NeverDestroyed.h>
36
37 const std::chrono::milliseconds collectionInterval = 500_ms;
38 const std::chrono::seconds surfaceAgeBeforeMarkingPurgeable = 2_s;
39 const size_t defaultMaximumBytesCached = 1024 * 1024 * 64;
40
41 // We'll never allow more than 1/2 of the cache to be filled with in-use surfaces, because
42 // they can't be immediately returned when requested (but will be freed up in the future).
43 const size_t maximumInUseBytes = defaultMaximumBytesCached / 2;
44
45 #define ENABLE_IOSURFACE_POOL_STATISTICS false
46 #if ENABLE_IOSURFACE_POOL_STATISTICS
47 #define DUMP_POOL_STATISTICS() do { showPoolStatistics(); } while (0);
48 #else
49 #define DUMP_POOL_STATISTICS() ((void)0)
50 #endif
51
52 namespace WebCore {
53
54 IOSurfacePool::IOSurfacePool()
55     : m_collectionTimer(*this, &IOSurfacePool::collectionTimerFired)
56     , m_bytesCached(0)
57     , m_inUseBytesCached(0)
58     , m_maximumBytesCached(defaultMaximumBytesCached)
59 {
60 }
61
62 IOSurfacePool& IOSurfacePool::sharedPool()
63 {
64     static NeverDestroyed<IOSurfacePool> pool;
65     return pool;
66 }
67
68 static bool surfaceMatchesParameters(IOSurface& surface, const IntSize& requestedSize, ColorSpace colorSpace)
69 {
70     IntSize surfaceSize = surface.size();
71     if (colorSpace != surface.colorSpace())
72         return false;
73     if (surfaceSize != requestedSize)
74         return false;
75     return true;
76 }
77
78 void IOSurfacePool::willAddSurface(IOSurface* surface, bool inUse)
79 {
80     CachedSurfaceDetails& details = m_surfaceDetails.add(surface, CachedSurfaceDetails()).iterator->value;
81     details.resetLastUseTime();
82
83     surface->releaseGraphicsContext();
84
85     size_t surfaceBytes = surface->totalBytes();
86
87     evict(surfaceBytes);
88
89     m_bytesCached += surfaceBytes;
90     if (inUse)
91         m_inUseBytesCached += surfaceBytes;
92 }
93
94 void IOSurfacePool::didRemoveSurface(IOSurface* surface, bool inUse)
95 {
96     size_t surfaceBytes = surface->totalBytes();
97     m_bytesCached -= surfaceBytes;
98     if (inUse)
99         m_inUseBytesCached -= surfaceBytes;
100
101     m_surfaceDetails.remove(surface);
102 }
103
104 void IOSurfacePool::didUseSurfaceOfSize(IntSize size)
105 {
106     m_sizesInPruneOrder.remove(m_sizesInPruneOrder.reverseFind(size));
107     m_sizesInPruneOrder.append(size);
108 }
109
110 PassRefPtr<IOSurface> IOSurfacePool::takeSurface(IntSize size, ColorSpace colorSpace)
111 {
112     CachedSurfaceMap::iterator mapIter = m_cachedSurfaces.find(size);
113
114     if (mapIter == m_cachedSurfaces.end()) {
115         DUMP_POOL_STATISTICS();
116         return nullptr;
117     }
118
119     for (auto surfaceIter = mapIter->value.begin(); surfaceIter != mapIter->value.end(); ++surfaceIter) {
120         if (!surfaceMatchesParameters(*surfaceIter->get(), size, colorSpace))
121             continue;
122         
123         RefPtr<IOSurface> surface = surfaceIter->get();
124         mapIter->value.remove(surfaceIter);
125
126         didUseSurfaceOfSize(size);
127
128         if (mapIter->value.isEmpty()) {
129             m_cachedSurfaces.remove(mapIter);
130             m_sizesInPruneOrder.removeLast();
131         }
132
133         didRemoveSurface(surface.get(), false);
134
135         surface->setIsVolatile(false);
136
137         DUMP_POOL_STATISTICS();
138         return surface.release();
139     }
140
141     // Some of the in-use surfaces may no longer actually be in-use, but we haven't moved them over yet.
142     for (auto surfaceIter = m_inUseSurfaces.begin(); surfaceIter != m_inUseSurfaces.end(); ++surfaceIter) {
143         if (!surfaceMatchesParameters(*surfaceIter->get(), size, colorSpace))
144             continue;
145         if (surfaceIter->get()->isInUse())
146             continue;
147         
148         RefPtr<IOSurface> surface = surfaceIter->get();
149         m_inUseSurfaces.remove(surfaceIter);
150         didRemoveSurface(surface.get(), true);
151
152         surface->setIsVolatile(false);
153
154         DUMP_POOL_STATISTICS();
155         return surface.release();
156     }
157
158     DUMP_POOL_STATISTICS();
159     return nullptr;
160 }
161
162 void IOSurfacePool::addSurface(IOSurface* surface)
163 {
164     if (surface->totalBytes() > m_maximumBytesCached)
165         return;
166
167     // There's no reason to pool empty surfaces; we should never allocate them in the first place.
168     // This also covers isZero(), which would cause trouble when used as the key in m_cachedSurfaces.
169     if (surface->size().isEmpty())
170         return;
171
172     bool surfaceIsInUse = surface->isInUse();
173
174     willAddSurface(surface, surfaceIsInUse);
175
176     if (surfaceIsInUse) {
177         m_inUseSurfaces.prepend(surface);
178         scheduleCollectionTimer();
179         DUMP_POOL_STATISTICS();
180         return;
181     }
182
183     insertSurfaceIntoPool(surface);
184     DUMP_POOL_STATISTICS();
185 }
186
187 void IOSurfacePool::insertSurfaceIntoPool(IOSurface* surface)
188 {
189     auto insertedTuple = m_cachedSurfaces.add(surface->size(), CachedSurfaceQueue());
190     insertedTuple.iterator->value.prepend(surface);
191     if (!insertedTuple.isNewEntry)
192         m_sizesInPruneOrder.remove(m_sizesInPruneOrder.reverseFind(surface->size()));
193     m_sizesInPruneOrder.append(surface->size());
194
195     scheduleCollectionTimer();
196 }
197
198 void IOSurfacePool::setPoolSize(size_t poolSizeInBytes)
199 {
200     m_maximumBytesCached = poolSizeInBytes;
201     evict(0);
202 }
203
204 void IOSurfacePool::tryEvictInUseSurface()
205 {
206     if (m_inUseSurfaces.isEmpty())
207         return;
208
209     RefPtr<IOSurface> surface = m_inUseSurfaces.takeLast();
210     didRemoveSurface(surface.get(), true);
211 }
212
213 void IOSurfacePool::tryEvictOldestCachedSurface()
214 {
215     if (m_cachedSurfaces.isEmpty())
216         return;
217
218     if (m_sizesInPruneOrder.isEmpty())
219         return;
220
221     CachedSurfaceMap::iterator surfaceQueueIter = m_cachedSurfaces.find(m_sizesInPruneOrder.first());
222     ASSERT(!surfaceQueueIter->value.isEmpty());
223     RefPtr<IOSurface> surface = surfaceQueueIter->value.takeLast();
224     didRemoveSurface(surface.get(), false);
225
226     if (surfaceQueueIter->value.isEmpty()) {
227         m_cachedSurfaces.remove(surfaceQueueIter);
228         m_sizesInPruneOrder.remove(0);
229     }
230 }
231
232 void IOSurfacePool::evict(size_t additionalSize)
233 {
234     if (additionalSize >= m_maximumBytesCached) {
235         discardAllSurfaces();
236         return;
237     }
238
239     // FIXME: Perhaps purgeable surfaces should count less against the cap?
240     // We don't want to end up with a ton of empty (purged) surfaces, though, as that would defeat the purpose of the pool.
241     size_t targetSize = m_maximumBytesCached - additionalSize;
242
243     // Interleave eviction of old cached surfaces and more recent in-use surfaces.
244     // In-use surfaces are more recently used, but less useful in the pool, as they aren't
245     // immediately available when requested.
246     while (m_bytesCached > targetSize) {
247         tryEvictOldestCachedSurface();
248
249         if (m_inUseBytesCached > maximumInUseBytes || m_bytesCached > targetSize)
250             tryEvictInUseSurface();
251     }
252
253     while (m_inUseBytesCached > maximumInUseBytes || m_bytesCached > targetSize)
254         tryEvictInUseSurface();
255 }
256
257 void IOSurfacePool::collectInUseSurfaces()
258 {
259     CachedSurfaceQueue newInUseSurfaces;
260     for (CachedSurfaceQueue::iterator surfaceIter = m_inUseSurfaces.begin(); surfaceIter != m_inUseSurfaces.end(); ++surfaceIter) {
261         IOSurface* surface = surfaceIter->get();
262         if (surface->isInUse()) {
263             newInUseSurfaces.append(*surfaceIter);
264             continue;
265         }
266
267         m_inUseBytesCached -= surface->totalBytes();
268         insertSurfaceIntoPool(surface);
269     }
270
271     m_inUseSurfaces = newInUseSurfaces;
272 }
273
274 bool IOSurfacePool::markOlderSurfacesPurgeable()
275 {
276     bool markedAllSurfaces = true;
277     auto markTime = std::chrono::steady_clock::now();
278
279     for (auto& surfaceAndDetails : m_surfaceDetails) {
280         if (surfaceAndDetails.value.hasMarkedPurgeable)
281             continue;
282
283         if (markTime - surfaceAndDetails.value.lastUseTime < surfaceAgeBeforeMarkingPurgeable) {
284             markedAllSurfaces = false;
285             continue;
286         }
287
288         surfaceAndDetails.key->setIsVolatile(true);
289         surfaceAndDetails.value.hasMarkedPurgeable = true;
290     }
291
292     return markedAllSurfaces;
293 }
294
295 void IOSurfacePool::collectionTimerFired()
296 {
297     collectInUseSurfaces();
298     bool markedAllSurfaces = markOlderSurfacesPurgeable();
299
300     if (!m_inUseSurfaces.size() && markedAllSurfaces)
301         m_collectionTimer.stop();
302
303     platformGarbageCollectNow();
304     DUMP_POOL_STATISTICS();
305 }
306
307 void IOSurfacePool::scheduleCollectionTimer()
308 {
309     if (!m_collectionTimer.isActive())
310         m_collectionTimer.startRepeating(collectionInterval);
311 }
312
313 void IOSurfacePool::discardAllSurfaces()
314 {
315     m_bytesCached = 0;
316     m_inUseBytesCached = 0;
317     m_surfaceDetails.clear();
318     m_cachedSurfaces.clear();
319     m_inUseSurfaces.clear();
320     m_sizesInPruneOrder.clear();
321     m_collectionTimer.stop();
322     platformGarbageCollectNow();
323 }
324
325 void IOSurfacePool::showPoolStatistics()
326 {
327 #if ENABLE_IOSURFACE_POOL_STATISTICS
328     WTFLogAlways("IOSurfacePool Statistics\n");
329     unsigned totalSurfaces = 0;
330     size_t totalSize = 0;
331     size_t totalPurgeableSize = 0;
332
333     for (const auto& keyAndSurfaces : m_cachedSurfaces) {
334         ASSERT(!keyAndSurfaces.value.isEmpty());
335         size_t queueSize = 0;
336         size_t queuePurgeableSize = 0;
337         for (const auto& surface : keyAndSurfaces.value) {
338             size_t surfaceBytes = surface->totalBytes();
339
340             totalSurfaces++;
341             queueSize += surfaceBytes;
342
343             if (surface->isVolatile())
344                 queuePurgeableSize += surfaceBytes;
345         }
346
347         totalSize += queueSize;
348         totalPurgeableSize += queuePurgeableSize;
349
350         WTFLogAlways("   %d x %d: %zu surfaces for %zd KB (%zd KB purgeable)", keyAndSurfaces.key.width(), keyAndSurfaces.key.height(), keyAndSurfaces.value.size(), queueSize / 1024, queuePurgeableSize / 1024);
351     }
352
353     size_t inUseSize = 0;
354     for (const auto& surface : m_inUseSurfaces) {
355         totalSurfaces++;
356         inUseSize += surface->totalBytes();
357     }
358
359     totalSize += inUseSize;
360     WTFLogAlways("   IN USE: %zu surfaces for %zd KB", m_inUseSurfaces.size(), inUseSize / 1024);
361
362     // FIXME: Should move consistency checks elsewhere, and always perform them in debug builds.
363     ASSERT(m_bytesCached == totalSize);
364     ASSERT(m_bytesCached <= m_maximumBytesCached);
365
366     WTFLogAlways("   TOTAL: %d surfaces for %zd KB (%zd KB purgeable)\n", totalSurfaces, totalSize / 1024, totalPurgeableSize / 1024);
367 #endif
368 }
369
370 }
371 #endif // USE(IOSURFACE)