9d767a88a62ce29982408297d1ff8f25b74de3ce
[WebKit-https.git] / Source / WebKit / Shared / CoordinatedGraphics / threadedcompositor / ThreadedCompositor.cpp
1 /*
2  * Copyright (C) 2014 Igalia S.L.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "ThreadedCompositor.h"
28
29 #if USE(COORDINATED_GRAPHICS_THREADED)
30
31 #include "CompositingRunLoop.h"
32 #include "ThreadedDisplayRefreshMonitor.h"
33 #include <WebCore/PlatformDisplay.h>
34 #include <WebCore/TransformationMatrix.h>
35 #include <wtf/SetForScope.h>
36
37 #if USE(LIBEPOXY)
38 #include <epoxy/gl.h>
39 #elif USE(OPENGL_ES)
40 #include <GLES2/gl2.h>
41 #else
42 #include <GL/gl.h>
43 #endif
44
45 namespace WebKit {
46 using namespace WebCore;
47
48 Ref<ThreadedCompositor> ThreadedCompositor::create(Client& client, WebPage& webPage, const IntSize& viewportSize, float scaleFactor, ShouldDoFrameSync doFrameSync, TextureMapper::PaintFlags paintFlags)
49 {
50     return adoptRef(*new ThreadedCompositor(client, webPage, viewportSize, scaleFactor, doFrameSync, paintFlags));
51 }
52
53 ThreadedCompositor::ThreadedCompositor(Client& client, WebPage& webPage, const IntSize& viewportSize, float scaleFactor, ShouldDoFrameSync doFrameSync, TextureMapper::PaintFlags paintFlags)
54     : m_client(client)
55     , m_doFrameSync(doFrameSync)
56     , m_paintFlags(paintFlags)
57     , m_compositingRunLoop(std::make_unique<CompositingRunLoop>([this] { renderLayerTree(); }))
58 #if USE(REQUEST_ANIMATION_FRAME_DISPLAY_MONITOR)
59     , m_displayRefreshMonitor(ThreadedDisplayRefreshMonitor::create(*this))
60 #endif
61 {
62     {
63         // Locking isn't really necessary here, but it's done for consistency.
64         LockHolder locker(m_attributes.lock);
65         m_attributes.viewportSize = viewportSize;
66         m_attributes.scaleFactor = scaleFactor;
67         m_attributes.needsResize = !viewportSize.isEmpty();
68     }
69
70     m_compositingRunLoop->performTaskSync([this, protectedThis = makeRef(*this)] {
71         m_scene = adoptRef(new CoordinatedGraphicsScene(this));
72         m_nativeSurfaceHandle = m_client.nativeSurfaceHandleForCompositing();
73
74         m_scene->setActive(!!m_nativeSurfaceHandle);
75         if (m_nativeSurfaceHandle)
76             createGLContext();
77     });
78 }
79
80 ThreadedCompositor::~ThreadedCompositor()
81 {
82 }
83
84 void ThreadedCompositor::createGLContext()
85 {
86     ASSERT(!RunLoop::isMain());
87
88     ASSERT(m_nativeSurfaceHandle);
89
90     m_context = GLContext::createContextForWindow(reinterpret_cast<GLNativeWindowType>(m_nativeSurfaceHandle), &PlatformDisplay::sharedDisplayForCompositing());
91     if (!m_context)
92         return;
93
94     if (!m_context->makeContextCurrent())
95         return;
96
97     if (m_doFrameSync == ShouldDoFrameSync::No)
98         m_context->swapInterval(0);
99 }
100
101 void ThreadedCompositor::invalidate()
102 {
103     m_scene->detach();
104     m_compositingRunLoop->stopUpdates();
105 #if USE(REQUEST_ANIMATION_FRAME_DISPLAY_MONITOR)
106     m_displayRefreshMonitor->invalidate();
107 #endif
108     m_compositingRunLoop->performTaskSync([this, protectedThis = makeRef(*this)] {
109         m_scene->purgeGLResources();
110         m_context = nullptr;
111         m_client.didDestroyGLContext();
112         m_scene = nullptr;
113     });
114     m_compositingRunLoop = nullptr;
115 }
116
117 void ThreadedCompositor::setNativeSurfaceHandleForCompositing(uint64_t handle)
118 {
119     m_compositingRunLoop->stopUpdates();
120     m_compositingRunLoop->performTaskSync([this, protectedThis = makeRef(*this), handle] {
121         // A new native handle can't be set without destroying the previous one first if any.
122         ASSERT(!!handle ^ !!m_nativeSurfaceHandle);
123         m_nativeSurfaceHandle = handle;
124
125         m_scene->setActive(!!m_nativeSurfaceHandle);
126         if (m_nativeSurfaceHandle)
127             createGLContext();
128         else
129             m_context = nullptr;
130     });
131 }
132
133 void ThreadedCompositor::setScaleFactor(float scale)
134 {
135     LockHolder locker(m_attributes.lock);
136     m_attributes.scaleFactor = scale;
137     m_compositingRunLoop->scheduleUpdate();
138 }
139
140 void ThreadedCompositor::setScrollPosition(const IntPoint& scrollPosition, float scale)
141 {
142     LockHolder locker(m_attributes.lock);
143     m_attributes.scrollPosition = scrollPosition;
144     m_attributes.scaleFactor = scale;
145     m_compositingRunLoop->scheduleUpdate();
146 }
147
148 void ThreadedCompositor::setViewportSize(const IntSize& viewportSize, float scale)
149 {
150     LockHolder locker(m_attributes.lock);
151     m_attributes.viewportSize = viewportSize;
152     m_attributes.scaleFactor = scale;
153     m_attributes.needsResize = true;
154     m_compositingRunLoop->scheduleUpdate();
155 }
156
157 void ThreadedCompositor::setDrawsBackground(bool drawsBackground)
158 {
159     LockHolder locker(m_attributes.lock);
160     m_attributes.drawsBackground = drawsBackground;
161     m_compositingRunLoop->scheduleUpdate();
162 }
163
164 void ThreadedCompositor::updateViewport()
165 {
166     m_compositingRunLoop->scheduleUpdate();
167 }
168
169 void ThreadedCompositor::forceRepaint()
170 {
171     // FIXME: Enable this for WPE once it's possible to do these forced updates
172     // in a way that doesn't starve out the underlying graphics buffers.
173 #if PLATFORM(GTK)
174     m_compositingRunLoop->performTaskSync([this, protectedThis = makeRef(*this)] {
175         SetForScope<bool> change(m_inForceRepaint, true);
176         renderLayerTree();
177     });
178 #endif
179 }
180
181 void ThreadedCompositor::renderLayerTree()
182 {
183     if (!m_scene || !m_scene->isActive())
184         return;
185
186     if (!m_context || !m_context->makeContextCurrent())
187         return;
188
189     m_client.willRenderFrame();
190
191     // Retrieve the scene attributes in a thread-safe manner.
192     WebCore::IntSize viewportSize;
193     WebCore::IntPoint scrollPosition;
194     float scaleFactor;
195     bool drawsBackground;
196     bool needsResize;
197     Vector<WebCore::CoordinatedGraphicsState> states;
198     Vector<uint32_t> atlasesToRemove;
199
200     {
201         LockHolder locker(m_attributes.lock);
202         viewportSize = m_attributes.viewportSize;
203         scrollPosition = m_attributes.scrollPosition;
204         scaleFactor = m_attributes.scaleFactor;
205         drawsBackground = m_attributes.drawsBackground;
206         needsResize = m_attributes.needsResize;
207
208         states = WTFMove(m_attributes.states);
209         atlasesToRemove = WTFMove(m_attributes.atlasesToRemove);
210
211         if (!states.isEmpty()) {
212             // Client has to be notified upon finishing this scene update.
213             m_attributes.clientRendersNextFrame = true;
214
215             // Coordinate scene update completion with the client in case of changed or updated platform layers.
216             // But do not change coordinateUpdateCompletionWithClient while in force repaint because that
217             // demands immediate scene update completion regardless of platform layers.
218             if (!m_inForceRepaint) {
219                 bool coordinateUpdate = false;
220                 for (auto& state : states)
221                     coordinateUpdate |= std::any_of(state.layersToUpdate.begin(), state.layersToUpdate.end(),
222                         [](auto& it) { return it.second.platformLayerChanged || it.second.platformLayerUpdated; });
223                 m_attributes.coordinateUpdateCompletionWithClient = coordinateUpdate;
224             }
225         }
226
227         // Reset the needsResize attribute to false.
228         m_attributes.needsResize = false;
229     }
230
231     if (needsResize)
232         glViewport(0, 0, viewportSize.width(), viewportSize.height());
233
234     TransformationMatrix viewportTransform;
235     viewportTransform.scale(scaleFactor);
236     viewportTransform.translate(-scrollPosition.x(), -scrollPosition.y());
237
238     if (!drawsBackground) {
239         glClearColor(0, 0, 0, 0);
240         glClear(GL_COLOR_BUFFER_BIT);
241     }
242
243     m_scene->applyStateChanges(states);
244     m_scene->releaseUpdateAtlases(atlasesToRemove);
245     m_scene->paintToCurrentGLContext(viewportTransform, 1, FloatRect { FloatPoint { }, viewportSize },
246         Color::transparent, !drawsBackground, scrollPosition, m_paintFlags);
247
248     m_context->swapBuffers();
249
250     if (m_scene->isActive())
251         m_client.didRenderFrame();
252 }
253
254 void ThreadedCompositor::sceneUpdateFinished()
255 {
256     // The composition has finished. Now we have to determine how to manage
257     // the scene update completion.
258
259     // The DisplayRefreshMonitor will be used to dispatch a callback on the client thread if:
260     //  - clientRendersNextFrame is true (i.e. client has to be notified about the finished update), or
261     //  - a DisplayRefreshMonitor callback was requested from the Web engine
262     bool shouldDispatchDisplayRefreshCallback { false };
263
264     // If coordinateUpdateCompletionWithClient is true, the scene update completion has to be
265     // delayed until the DisplayRefreshMonitor callback.
266     bool shouldCoordinateUpdateCompletionWithClient { false };
267
268     {
269         LockHolder locker(m_attributes.lock);
270         shouldDispatchDisplayRefreshCallback = m_attributes.clientRendersNextFrame
271             || m_displayRefreshMonitor->requiresDisplayRefreshCallback();
272         shouldCoordinateUpdateCompletionWithClient = m_attributes.coordinateUpdateCompletionWithClient;
273     }
274
275     LockHolder stateLocker(m_compositingRunLoop->stateLock());
276
277     // Schedule the DisplayRefreshMonitor callback, if necessary.
278     if (shouldDispatchDisplayRefreshCallback)
279         m_displayRefreshMonitor->dispatchDisplayRefreshCallback();
280
281     // Mark the scene update as completed if no coordination is required and if not in a forced repaint.
282     if (!shouldCoordinateUpdateCompletionWithClient && !m_inForceRepaint)
283         m_compositingRunLoop->updateCompleted(stateLocker);
284
285     // Independent of the scene update, the composition itself is now completed.
286     m_compositingRunLoop->compositionCompleted(stateLocker);
287 }
288
289 void ThreadedCompositor::updateSceneState(const CoordinatedGraphicsState& state)
290 {
291     LockHolder locker(m_attributes.lock);
292     m_attributes.states.append(state);
293     m_compositingRunLoop->scheduleUpdate();
294 }
295
296 void ThreadedCompositor::releaseUpdateAtlases(const Vector<uint32_t>& atlasesToRemove)
297 {
298     LockHolder locker(m_attributes.lock);
299     m_attributes.atlasesToRemove.appendVector(atlasesToRemove);
300     m_compositingRunLoop->scheduleUpdate();
301 }
302
303 #if USE(REQUEST_ANIMATION_FRAME_DISPLAY_MONITOR)
304 RefPtr<WebCore::DisplayRefreshMonitor> ThreadedCompositor::displayRefreshMonitor(PlatformDisplayID)
305 {
306     return m_displayRefreshMonitor.copyRef();
307 }
308
309 void ThreadedCompositor::requestDisplayRefreshMonitorUpdate()
310 {
311     // This is invoked by ThreadedDisplayRefreshMonitor when a fresh update is required.
312
313     LockHolder stateLocker(m_compositingRunLoop->stateLock());
314     {
315         // coordinateUpdateCompletionWithClient is set to true in order to delay the scene update
316         // completion until the DisplayRefreshMonitor is fired on the main thread after the composition
317         // is completed.
318         LockHolder locker(m_attributes.lock);
319         m_attributes.coordinateUpdateCompletionWithClient = true;
320     }
321     m_compositingRunLoop->scheduleUpdate(stateLocker);
322 }
323
324 void ThreadedCompositor::handleDisplayRefreshMonitorUpdate(bool hasBeenRescheduled)
325 {
326     // Retrieve the clientRendersNextFrame and coordinateUpdateCompletionWithClient.
327     bool clientRendersNextFrame { false };
328     bool coordinateUpdateCompletionWithClient { false };
329     {
330         LockHolder locker(m_attributes.lock);
331         clientRendersNextFrame = std::exchange(m_attributes.clientRendersNextFrame, false);
332         coordinateUpdateCompletionWithClient = std::exchange(m_attributes.coordinateUpdateCompletionWithClient, false);
333     }
334
335     // If clientRendersNextFrame is true, the client is finally notified about the scene update nearing
336     // completion. The client will use this opportunity to clean up resources as appropriate. It can also
337     // perform any layer flush that was requested during the composition, or by any DisplayRefreshMonitor
338     // notifications that have been handled at this point.
339     if (clientRendersNextFrame)
340         m_client.renderNextFrame();
341
342     LockHolder stateLocker(m_compositingRunLoop->stateLock());
343
344     // If required, mark the current scene update as completed. CompositingRunLoop will take care of
345     // scheduling a new update in case an update was marked as pending due to previous layer flushes
346     // or DisplayRefreshMonitor notifications.
347     if (coordinateUpdateCompletionWithClient)
348         m_compositingRunLoop->updateCompleted(stateLocker);
349
350     // If the DisplayRefreshMonitor was scheduled again, we immediately demand the update completion
351     // coordination (like we do in requestDisplayRefreshMonitorUpdate()) and request an update.
352     if (hasBeenRescheduled) {
353         {
354             LockHolder locker(m_attributes.lock);
355             m_attributes.coordinateUpdateCompletionWithClient = true;
356         }
357         m_compositingRunLoop->scheduleUpdate(stateLocker);
358     }
359 }
360 #endif
361
362 void ThreadedCompositor::frameComplete()
363 {
364     ASSERT(!RunLoop::isMain());
365     sceneUpdateFinished();
366 }
367
368 }
369 #endif // USE(COORDINATED_GRAPHICS_THREADED)