[WTF] Move currentCPUTime and sleep(Seconds) to CPUTime.h and Seconds.h respectively
[WebKit-https.git] / Source / WTF / wtf / linux / MemoryPressureHandlerLinux.cpp
1 /*
2  * Copyright (C) 2011, 2012 Apple Inc. All Rights Reserved.
3  * Copyright (C) 2014 Raspberry Pi Foundation. All Rights Reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
15  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
25  */
26
27 #include "config.h"
28 #include "MemoryPressureHandler.h"
29
30 #if OS(LINUX)
31
32 #include <errno.h>
33 #include <fcntl.h>
34 #include <malloc.h>
35 #include <sys/eventfd.h>
36 #include <sys/stat.h>
37 #include <sys/types.h>
38 #include <unistd.h>
39 #include <wtf/MainThread.h>
40 #include <wtf/MemoryFootprint.h>
41 #include <wtf/linux/CurrentProcessMemoryStatus.h>
42 #include <wtf/text/WTFString.h>
43
44 #if USE(GLIB)
45 #include <glib-unix.h>
46 #include <wtf/glib/RunLoopSourcePriority.h>
47 #endif
48
49 #define LOG_CHANNEL_PREFIX Log
50
51 namespace WTF {
52
53 // Disable memory event reception for a minimum of s_minimumHoldOffTime
54 // seconds after receiving an event. Don't let events fire any sooner than
55 // s_holdOffMultiplier times the last cleanup processing time. Effectively
56 // this is 1 / s_holdOffMultiplier percent of the time.
57 // If after releasing the memory we don't free at least s_minimumBytesFreedToUseMinimumHoldOffTime,
58 // we wait longer to try again (s_maximumHoldOffTime).
59 // These value seems reasonable and testing verifies that it throttles frequent
60 // low memory events, greatly reducing CPU usage.
61 static const Seconds s_minimumHoldOffTime { 5_s };
62 static const Seconds s_maximumHoldOffTime { 30_s };
63 static const size_t s_minimumBytesFreedToUseMinimumHoldOffTime = 1 * MB;
64 static const unsigned s_holdOffMultiplier = 20;
65
66 static const char* s_cgroupMemoryPressureLevel = "/sys/fs/cgroup/memory/memory.pressure_level";
67 static const char* s_cgroupEventControl = "/sys/fs/cgroup/memory/cgroup.event_control";
68
69 #if USE(GLIB)
70 typedef struct {
71     GSource source;
72     gpointer fdTag;
73     GIOCondition condition;
74 } EventFDSource;
75
76 static const unsigned eventFDSourceCondition = G_IO_IN | G_IO_HUP | G_IO_ERR | G_IO_NVAL;
77
78 static GSourceFuncs eventFDSourceFunctions = {
79     nullptr, // prepare
80     nullptr, // check
81     // dispatch
82     [](GSource* source, GSourceFunc callback, gpointer userData) -> gboolean
83     {
84         EventFDSource* eventFDSource = reinterpret_cast<EventFDSource*>(source);
85         unsigned events = g_source_query_unix_fd(source, eventFDSource->fdTag) & eventFDSourceCondition;
86         if (events & G_IO_HUP || events & G_IO_ERR || events & G_IO_NVAL)
87             return G_SOURCE_REMOVE;
88
89         gboolean returnValue = G_SOURCE_CONTINUE;
90         if (events & G_IO_IN)
91             returnValue = callback(userData);
92         g_source_set_ready_time(source, -1);
93         return returnValue;
94     },
95     nullptr, // finalize
96     nullptr, // closure_callback
97     nullptr, // closure_marshall
98 };
99 #endif
100
101 MemoryPressureHandler::EventFDPoller::EventFDPoller(int fd, WTF::Function<void ()>&& notifyHandler)
102     : m_fd(fd)
103     , m_notifyHandler(WTFMove(notifyHandler))
104 {
105 #if USE(GLIB)
106     m_source = adoptGRef(g_source_new(&eventFDSourceFunctions, sizeof(EventFDSource)));
107     g_source_set_priority(m_source.get(), RunLoopSourcePriority::MemoryPressureHandlerTimer);
108     g_source_set_name(m_source.get(), "WTF: MemoryPressureHandler");
109     if (!g_unix_set_fd_nonblocking(m_fd.value(), TRUE, nullptr)) {
110         LOG(MemoryPressure, "Failed to set eventfd nonblocking");
111         return;
112     }
113
114     EventFDSource* eventFDSource = reinterpret_cast<EventFDSource*>(m_source.get());
115     eventFDSource->fdTag = g_source_add_unix_fd(m_source.get(), m_fd.value(), static_cast<GIOCondition>(eventFDSourceCondition));
116     g_source_set_callback(m_source.get(), [](gpointer userData) -> gboolean {
117         static_cast<EventFDPoller*>(userData)->readAndNotify();
118         return G_SOURCE_REMOVE;
119     }, this, nullptr);
120     g_source_attach(m_source.get(), nullptr);
121 #else
122     m_thread = Thread::create("WTF: MemoryPressureHandler",
123         [this] {
124             readAndNotify();
125         });
126 #endif
127 }
128
129 MemoryPressureHandler::EventFDPoller::~EventFDPoller()
130 {
131     m_fd = std::nullopt;
132 #if USE(GLIB)
133     g_source_destroy(m_source.get());
134 #else
135     m_thread->detach();
136 #endif
137 }
138
139 static inline bool isFatalReadError(int error)
140 {
141 #if USE(GLIB)
142     // We don't really need to read the buffer contents, if the poller
143     // notified us, but read would block or is no longer available, is
144     // enough to trigger the memory pressure handler.
145     return error != EAGAIN && error != EWOULDBLOCK;
146 #else
147     return true;
148 #endif
149 }
150
151 void MemoryPressureHandler::EventFDPoller::readAndNotify() const
152 {
153     if (!m_fd) {
154         LOG(MemoryPressure, "Invalidate eventfd.");
155         return;
156     }
157
158     uint64_t buffer;
159     if (read(m_fd.value(), &buffer, sizeof(buffer)) == -1) {
160         if (isFatalReadError(errno)) {
161             LOG(MemoryPressure, "Failed to read eventfd.");
162             return;
163         }
164     }
165
166     m_notifyHandler();
167 }
168
169 inline void MemoryPressureHandler::logErrorAndCloseFDs(const char* log)
170 {
171     if (log)
172         LOG(MemoryPressure, "%s, error : %m", log);
173
174     if (m_eventFD) {
175         close(m_eventFD.value());
176         m_eventFD = std::nullopt;
177     }
178     if (m_pressureLevelFD) {
179         close(m_pressureLevelFD.value());
180         m_pressureLevelFD = std::nullopt;
181     }
182 }
183
184 bool MemoryPressureHandler::tryEnsureEventFD()
185 {
186     if (m_eventFD)
187         return true;
188
189     // Try to use cgroups instead.
190     int fd = eventfd(0, EFD_CLOEXEC);
191     if (fd == -1) {
192         LOG(MemoryPressure, "eventfd() failed: %m");
193         return false;
194     }
195     m_eventFD = fd;
196
197     fd = open(s_cgroupMemoryPressureLevel, O_CLOEXEC | O_RDONLY);
198     if (fd == -1) {
199         logErrorAndCloseFDs("Failed to open memory.pressure_level");
200         return false;
201     }
202     m_pressureLevelFD = fd;
203
204     fd = open(s_cgroupEventControl, O_CLOEXEC | O_WRONLY);
205     if (fd == -1) {
206         logErrorAndCloseFDs("Failed to open cgroup.event_control");
207         return false;
208     }
209
210     char line[128] = {0, };
211     if (snprintf(line, sizeof(line), "%d %d low", m_eventFD.value(), m_pressureLevelFD.value()) < 0
212         || write(fd, line, strlen(line) + 1) < 0) {
213         logErrorAndCloseFDs("Failed to write cgroup.event_control");
214         close(fd);
215         return false;
216     }
217     close(fd);
218
219     return true;
220 }
221
222 void MemoryPressureHandler::install()
223 {
224     if (m_installed || m_holdOffTimer.isActive())
225         return;
226
227     if (!tryEnsureEventFD())
228         return;
229
230     m_eventFDPoller = std::make_unique<EventFDPoller>(m_eventFD.value(), [this] {
231         // FIXME: Current memcg does not provide any way for users to know how serious the memory pressure is.
232         // So we assume all notifications from memcg are critical for now. If memcg had better inferfaces
233         // to get a detailed memory pressure level in the future, we should update here accordingly.
234         bool critical = true;
235         if (ReliefLogger::loggingEnabled())
236             LOG(MemoryPressure, "Got memory pressure notification (%s)", critical ? "critical" : "non-critical");
237
238         setUnderMemoryPressure(critical);
239         if (isMainThread())
240             respondToMemoryPressure(critical ? Critical::Yes : Critical::No);
241         else
242             RunLoop::main().dispatch([this, critical] { respondToMemoryPressure(critical ? Critical::Yes : Critical::No); });
243     });
244
245     if (ReliefLogger::loggingEnabled() && isUnderMemoryPressure())
246         LOG(MemoryPressure, "System is no longer under memory pressure.");
247
248     setUnderMemoryPressure(false);
249     m_installed = true;
250 }
251
252 void MemoryPressureHandler::uninstall()
253 {
254     if (!m_installed)
255         return;
256
257     m_holdOffTimer.stop();
258     m_eventFDPoller = nullptr;
259
260     if (m_pressureLevelFD) {
261         close(m_pressureLevelFD.value());
262         m_pressureLevelFD = std::nullopt;
263
264         // Only close the eventFD used for cgroups.
265         if (m_eventFD) {
266             close(m_eventFD.value());
267             m_eventFD = std::nullopt;
268         }
269     }
270
271     m_installed = false;
272 }
273
274 void MemoryPressureHandler::holdOffTimerFired()
275 {
276     install();
277 }
278
279 void MemoryPressureHandler::holdOff(Seconds seconds)
280 {
281     m_holdOffTimer.startOneShot(seconds);
282 }
283
284 static size_t processMemoryUsage()
285 {
286     ProcessMemoryStatus memoryStatus;
287     currentProcessMemoryStatus(memoryStatus);
288     return (memoryStatus.resident - memoryStatus.shared);
289 }
290
291 void MemoryPressureHandler::respondToMemoryPressure(Critical critical, Synchronous synchronous)
292 {
293     uninstall();
294
295     MonotonicTime startTime = MonotonicTime::now();
296     int64_t processMemory = processMemoryUsage();
297     releaseMemory(critical, synchronous);
298     int64_t bytesFreed = processMemory - processMemoryUsage();
299     Seconds holdOffTime = s_maximumHoldOffTime;
300     if (bytesFreed > 0 && static_cast<size_t>(bytesFreed) >= s_minimumBytesFreedToUseMinimumHoldOffTime)
301         holdOffTime = (MonotonicTime::now() - startTime) * s_holdOffMultiplier;
302     holdOff(std::max(holdOffTime, s_minimumHoldOffTime));
303 }
304
305 void MemoryPressureHandler::platformReleaseMemory(Critical)
306 {
307 #ifdef __GLIBC__
308     malloc_trim(0);
309 #endif
310 }
311
312 std::optional<MemoryPressureHandler::ReliefLogger::MemoryUsage> MemoryPressureHandler::ReliefLogger::platformMemoryUsage()
313 {
314     size_t physical = 0;
315     auto footprint = memoryFootprint();
316     if (footprint)
317         physical = footprint.value();
318     return MemoryUsage {processMemoryUsage(), physical};
319 }
320
321 void MemoryPressureHandler::setMemoryPressureMonitorHandle(int fd)
322 {
323     ASSERT(!m_eventFD);
324     m_eventFD = fd;
325 }
326
327 } // namespace WTF
328
329 #endif // OS(LINUX)