Make WebCore::IOSurface have single ownership instead of refcounting
[WebKit-https.git] / Source / WebCore / platform / graphics / cg / IOSurfacePool.cpp
1 /*
2  * Copyright (C) 2013, 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "IOSurfacePool.h"
28
29 #if USE(IOSURFACE)
30
31 #include "GraphicsContextCG.h"
32 #include "IOSurface.h"
33 #include <CoreGraphics/CoreGraphics.h>
34 #include <chrono>
35 #include <wtf/NeverDestroyed.h>
36
37 const std::chrono::milliseconds collectionInterval = 500_ms;
38 const std::chrono::seconds surfaceAgeBeforeMarkingPurgeable = 2_s;
39 const size_t defaultMaximumBytesCached = 1024 * 1024 * 64;
40
41 // We'll never allow more than 1/2 of the cache to be filled with in-use surfaces, because
42 // they can't be immediately returned when requested (but will be freed up in the future).
43 const size_t maximumInUseBytes = defaultMaximumBytesCached / 2;
44
45 #define ENABLE_IOSURFACE_POOL_STATISTICS false
46 #if ENABLE_IOSURFACE_POOL_STATISTICS
47 #define DUMP_POOL_STATISTICS() do { showPoolStatistics(); } while (0);
48 #else
49 #define DUMP_POOL_STATISTICS() ((void)0)
50 #endif
51
52 namespace WebCore {
53
54 IOSurfacePool::IOSurfacePool()
55     : m_collectionTimer(*this, &IOSurfacePool::collectionTimerFired)
56     , m_bytesCached(0)
57     , m_inUseBytesCached(0)
58     , m_maximumBytesCached(defaultMaximumBytesCached)
59 {
60 }
61
62 IOSurfacePool& IOSurfacePool::sharedPool()
63 {
64     static NeverDestroyed<IOSurfacePool> pool;
65     return pool;
66 }
67
68 static bool surfaceMatchesParameters(IOSurface& surface, const IntSize& requestedSize, ColorSpace colorSpace)
69 {
70     IntSize surfaceSize = surface.size();
71     if (colorSpace != surface.colorSpace())
72         return false;
73     if (surfaceSize != requestedSize)
74         return false;
75     return true;
76 }
77
78 void IOSurfacePool::willAddSurface(IOSurface& surface, bool inUse)
79 {
80     CachedSurfaceDetails& details = m_surfaceDetails.add(&surface, CachedSurfaceDetails()).iterator->value;
81     details.resetLastUseTime();
82
83     surface.releaseGraphicsContext();
84
85     size_t surfaceBytes = surface.totalBytes();
86
87     evict(surfaceBytes);
88
89     m_bytesCached += surfaceBytes;
90     if (inUse)
91         m_inUseBytesCached += surfaceBytes;
92 }
93
94 void IOSurfacePool::didRemoveSurface(IOSurface& surface, bool inUse)
95 {
96     size_t surfaceBytes = surface.totalBytes();
97     m_bytesCached -= surfaceBytes;
98     if (inUse)
99         m_inUseBytesCached -= surfaceBytes;
100
101     m_surfaceDetails.remove(&surface);
102 }
103
104 void IOSurfacePool::didUseSurfaceOfSize(IntSize size)
105 {
106     m_sizesInPruneOrder.remove(m_sizesInPruneOrder.reverseFind(size));
107     m_sizesInPruneOrder.append(size);
108 }
109
110 std::unique_ptr<IOSurface> IOSurfacePool::takeSurface(IntSize size, ColorSpace colorSpace)
111 {
112     CachedSurfaceMap::iterator mapIter = m_cachedSurfaces.find(size);
113
114     if (mapIter == m_cachedSurfaces.end()) {
115         DUMP_POOL_STATISTICS();
116         return nullptr;
117     }
118
119     for (auto surfaceIter = mapIter->value.begin(); surfaceIter != mapIter->value.end(); ++surfaceIter) {
120         if (!surfaceMatchesParameters(*surfaceIter->get(), size, colorSpace))
121             continue;
122
123         auto surface = WTF::move(*surfaceIter);
124         mapIter->value.remove(surfaceIter);
125
126         didUseSurfaceOfSize(size);
127
128         if (mapIter->value.isEmpty()) {
129             m_cachedSurfaces.remove(mapIter);
130             m_sizesInPruneOrder.removeLast();
131         }
132
133         didRemoveSurface(*surface, false);
134
135         surface->setIsVolatile(false);
136
137         DUMP_POOL_STATISTICS();
138         return surface;
139     }
140
141     // Some of the in-use surfaces may no longer actually be in-use, but we haven't moved them over yet.
142     for (auto surfaceIter = m_inUseSurfaces.begin(); surfaceIter != m_inUseSurfaces.end(); ++surfaceIter) {
143         if (!surfaceMatchesParameters(*surfaceIter->get(), size, colorSpace))
144             continue;
145         if (surfaceIter->get()->isInUse())
146             continue;
147         
148         auto surface = WTF::move(*surfaceIter);
149         m_inUseSurfaces.remove(surfaceIter);
150         didRemoveSurface(*surface, true);
151
152         surface->setIsVolatile(false);
153
154         DUMP_POOL_STATISTICS();
155         return surface;
156     }
157
158     DUMP_POOL_STATISTICS();
159     return nullptr;
160 }
161
162 void IOSurfacePool::addSurface(std::unique_ptr<IOSurface> surface)
163 {
164     if (surface->totalBytes() > m_maximumBytesCached)
165         return;
166
167     // There's no reason to pool empty surfaces; we should never allocate them in the first place.
168     // This also covers isZero(), which would cause trouble when used as the key in m_cachedSurfaces.
169     if (surface->size().isEmpty())
170         return;
171
172     bool surfaceIsInUse = surface->isInUse();
173
174     willAddSurface(*surface, surfaceIsInUse);
175
176     if (surfaceIsInUse) {
177         m_inUseSurfaces.prepend(WTF::move(surface));
178         scheduleCollectionTimer();
179         DUMP_POOL_STATISTICS();
180         return;
181     }
182
183     insertSurfaceIntoPool(WTF::move(surface));
184     DUMP_POOL_STATISTICS();
185 }
186
187 void IOSurfacePool::insertSurfaceIntoPool(std::unique_ptr<IOSurface> surface)
188 {
189     IntSize surfaceSize = surface->size();
190     auto insertedTuple = m_cachedSurfaces.add(surfaceSize, CachedSurfaceQueue());
191     insertedTuple.iterator->value.prepend(WTF::move(surface));
192     if (!insertedTuple.isNewEntry)
193         m_sizesInPruneOrder.remove(m_sizesInPruneOrder.reverseFind(surfaceSize));
194     m_sizesInPruneOrder.append(surfaceSize);
195
196     scheduleCollectionTimer();
197 }
198
199 void IOSurfacePool::setPoolSize(size_t poolSizeInBytes)
200 {
201     m_maximumBytesCached = poolSizeInBytes;
202     evict(0);
203 }
204
205 void IOSurfacePool::tryEvictInUseSurface()
206 {
207     if (m_inUseSurfaces.isEmpty())
208         return;
209
210     auto surface = m_inUseSurfaces.takeLast();
211     didRemoveSurface(*surface, true);
212 }
213
214 void IOSurfacePool::tryEvictOldestCachedSurface()
215 {
216     if (m_cachedSurfaces.isEmpty())
217         return;
218
219     if (m_sizesInPruneOrder.isEmpty())
220         return;
221
222     CachedSurfaceMap::iterator surfaceQueueIter = m_cachedSurfaces.find(m_sizesInPruneOrder.first());
223     ASSERT(!surfaceQueueIter->value.isEmpty());
224     auto surface = surfaceQueueIter->value.takeLast();
225     didRemoveSurface(*surface, false);
226
227     if (surfaceQueueIter->value.isEmpty()) {
228         m_cachedSurfaces.remove(surfaceQueueIter);
229         m_sizesInPruneOrder.remove(0);
230     }
231 }
232
233 void IOSurfacePool::evict(size_t additionalSize)
234 {
235     if (additionalSize >= m_maximumBytesCached) {
236         discardAllSurfaces();
237         return;
238     }
239
240     // FIXME: Perhaps purgeable surfaces should count less against the cap?
241     // We don't want to end up with a ton of empty (purged) surfaces, though, as that would defeat the purpose of the pool.
242     size_t targetSize = m_maximumBytesCached - additionalSize;
243
244     // Interleave eviction of old cached surfaces and more recent in-use surfaces.
245     // In-use surfaces are more recently used, but less useful in the pool, as they aren't
246     // immediately available when requested.
247     while (m_bytesCached > targetSize) {
248         tryEvictOldestCachedSurface();
249
250         if (m_inUseBytesCached > maximumInUseBytes || m_bytesCached > targetSize)
251             tryEvictInUseSurface();
252     }
253
254     while (m_inUseBytesCached > maximumInUseBytes || m_bytesCached > targetSize)
255         tryEvictInUseSurface();
256 }
257
258 void IOSurfacePool::collectInUseSurfaces()
259 {
260     CachedSurfaceQueue newInUseSurfaces;
261     for (CachedSurfaceQueue::iterator surfaceIter = m_inUseSurfaces.begin(); surfaceIter != m_inUseSurfaces.end(); ++surfaceIter) {
262         IOSurface* surface = surfaceIter->get();
263         if (surface->isInUse()) {
264             newInUseSurfaces.append(WTF::move(*surfaceIter));
265             continue;
266         }
267
268         m_inUseBytesCached -= surface->totalBytes();
269         insertSurfaceIntoPool(WTF::move(*surfaceIter));
270     }
271
272     m_inUseSurfaces = WTF::move(newInUseSurfaces);
273 }
274
275 bool IOSurfacePool::markOlderSurfacesPurgeable()
276 {
277     bool markedAllSurfaces = true;
278     auto markTime = std::chrono::steady_clock::now();
279
280     for (auto& surfaceAndDetails : m_surfaceDetails) {
281         if (surfaceAndDetails.value.hasMarkedPurgeable)
282             continue;
283
284         if (markTime - surfaceAndDetails.value.lastUseTime < surfaceAgeBeforeMarkingPurgeable) {
285             markedAllSurfaces = false;
286             continue;
287         }
288
289         surfaceAndDetails.key->setIsVolatile(true);
290         surfaceAndDetails.value.hasMarkedPurgeable = true;
291     }
292
293     return markedAllSurfaces;
294 }
295
296 void IOSurfacePool::collectionTimerFired()
297 {
298     collectInUseSurfaces();
299     bool markedAllSurfaces = markOlderSurfacesPurgeable();
300
301     if (!m_inUseSurfaces.size() && markedAllSurfaces)
302         m_collectionTimer.stop();
303
304     platformGarbageCollectNow();
305     DUMP_POOL_STATISTICS();
306 }
307
308 void IOSurfacePool::scheduleCollectionTimer()
309 {
310     if (!m_collectionTimer.isActive())
311         m_collectionTimer.startRepeating(collectionInterval);
312 }
313
314 void IOSurfacePool::discardAllSurfaces()
315 {
316     m_bytesCached = 0;
317     m_inUseBytesCached = 0;
318     m_surfaceDetails.clear();
319     m_cachedSurfaces.clear();
320     m_inUseSurfaces.clear();
321     m_sizesInPruneOrder.clear();
322     m_collectionTimer.stop();
323     platformGarbageCollectNow();
324 }
325
326 void IOSurfacePool::showPoolStatistics()
327 {
328 #if ENABLE_IOSURFACE_POOL_STATISTICS
329     WTFLogAlways("IOSurfacePool Statistics\n");
330     unsigned totalSurfaces = 0;
331     size_t totalSize = 0;
332     size_t totalPurgeableSize = 0;
333
334     for (const auto& keyAndSurfaces : m_cachedSurfaces) {
335         ASSERT(!keyAndSurfaces.value.isEmpty());
336         size_t queueSize = 0;
337         size_t queuePurgeableSize = 0;
338         for (const auto& surface : keyAndSurfaces.value) {
339             size_t surfaceBytes = surface->totalBytes();
340
341             totalSurfaces++;
342             queueSize += surfaceBytes;
343
344             if (surface->isVolatile())
345                 queuePurgeableSize += surfaceBytes;
346         }
347
348         totalSize += queueSize;
349         totalPurgeableSize += queuePurgeableSize;
350
351         WTFLogAlways("   %d x %d: %zu surfaces for %zd KB (%zd KB purgeable)", keyAndSurfaces.key.width(), keyAndSurfaces.key.height(), keyAndSurfaces.value.size(), queueSize / 1024, queuePurgeableSize / 1024);
352     }
353
354     size_t inUseSize = 0;
355     for (const auto& surface : m_inUseSurfaces) {
356         totalSurfaces++;
357         inUseSize += surface->totalBytes();
358     }
359
360     totalSize += inUseSize;
361     WTFLogAlways("   IN USE: %zu surfaces for %zd KB", m_inUseSurfaces.size(), inUseSize / 1024);
362
363     // FIXME: Should move consistency checks elsewhere, and always perform them in debug builds.
364     ASSERT(m_bytesCached == totalSize);
365     ASSERT(m_bytesCached <= m_maximumBytesCached);
366
367     WTFLogAlways("   TOTAL: %d surfaces for %zd KB (%zd KB purgeable)\n", totalSurfaces, totalSize / 1024, totalPurgeableSize / 1024);
368 #endif
369 }
370
371 }
372 #endif // USE(IOSURFACE)