Concurrent GC should be able to run splay in debug mode and earley/raytrace in releas...
[WebKit-https.git] / Source / JavaScriptCore / heap / HeapInlines.h
1 /*
2  * Copyright (C) 2014-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #include "GCDeferralContext.h"
29 #include "Heap.h"
30 #include "HeapCellInlines.h"
31 #include "IndexingHeader.h"
32 #include "JSCallee.h"
33 #include "JSCell.h"
34 #include "Structure.h"
35 #include <type_traits>
36 #include <wtf/Assertions.h>
37 #include <wtf/MainThread.h>
38 #include <wtf/RandomNumber.h>
39
40 namespace JSC {
41
42 ALWAYS_INLINE Heap* Heap::heap(const HeapCell* cell)
43 {
44     return cell->heap();
45 }
46
47 inline Heap* Heap::heap(const JSValue v)
48 {
49     if (!v.isCell())
50         return 0;
51     return heap(v.asCell());
52 }
53
54 inline bool Heap::hasHeapAccess() const
55 {
56     return m_worldState.load() & hasAccessBit;
57 }
58
59 inline bool Heap::mutatorIsStopped() const
60 {
61     unsigned state = m_worldState.load();
62     bool shouldStop = state & shouldStopBit;
63     bool stopped = state & stoppedBit;
64     // I only got it right when I considered all four configurations of shouldStop/stopped:
65     // !shouldStop, !stopped: The GC has not requested that we stop and we aren't stopped, so we
66     //     should return false.
67     // !shouldStop, stopped: The mutator is still stopped but the GC is done and the GC has requested
68     //     that we resume, so we should return false.
69     // shouldStop, !stopped: The GC called stopTheWorld() but the mutator hasn't hit a safepoint yet.
70     //     The mutator should be able to do whatever it wants in this state, as if we were not
71     //     stopped. So return false.
72     // shouldStop, stopped: The GC requested stop the world and the mutator obliged. The world is
73     //     stopped, so return true.
74     return shouldStop & stopped;
75 }
76
77 inline bool Heap::collectorBelievesThatTheWorldIsStopped() const
78 {
79     return m_collectorBelievesThatTheWorldIsStopped;
80 }
81
82 ALWAYS_INLINE bool Heap::isMarked(const void* rawCell)
83 {
84     ASSERT(mayBeGCThread() != GCThreadType::Helper);
85     HeapCell* cell = bitwise_cast<HeapCell*>(rawCell);
86     if (cell->isLargeAllocation())
87         return cell->largeAllocation().isMarked();
88     MarkedBlock& block = cell->markedBlock();
89     return block.isMarked(
90         block.vm()->heap.objectSpace().markingVersion(), cell);
91 }
92
93 ALWAYS_INLINE bool Heap::isMarkedConcurrently(const void* rawCell)
94 {
95     HeapCell* cell = bitwise_cast<HeapCell*>(rawCell);
96     if (cell->isLargeAllocation())
97         return cell->largeAllocation().isMarked();
98     MarkedBlock& block = cell->markedBlock();
99     return block.isMarkedConcurrently(
100         block.vm()->heap.objectSpace().markingVersion(), cell);
101 }
102
103 ALWAYS_INLINE bool Heap::testAndSetMarked(HeapVersion markingVersion, const void* rawCell)
104 {
105     HeapCell* cell = bitwise_cast<HeapCell*>(rawCell);
106     if (cell->isLargeAllocation())
107         return cell->largeAllocation().testAndSetMarked();
108     MarkedBlock& block = cell->markedBlock();
109     block.aboutToMark(markingVersion);
110     return block.testAndSetMarked(cell);
111 }
112
113 ALWAYS_INLINE size_t Heap::cellSize(const void* rawCell)
114 {
115     return bitwise_cast<HeapCell*>(rawCell)->cellSize();
116 }
117
118 inline void Heap::writeBarrier(const JSCell* from, JSValue to)
119 {
120 #if ENABLE(WRITE_BARRIER_PROFILING)
121     WriteBarrierCounters::countWriteBarrier();
122 #endif
123     if (!to.isCell())
124         return;
125     writeBarrier(from, to.asCell());
126 }
127
128 inline void Heap::writeBarrier(const JSCell* from, JSCell* to)
129 {
130 #if ENABLE(WRITE_BARRIER_PROFILING)
131     WriteBarrierCounters::countWriteBarrier();
132 #endif
133     if (!from)
134         return;
135     if (!isWithinThreshold(from->cellState(), barrierThreshold()))
136         return;
137     if (LIKELY(!to || to->cellState() != CellState::NewWhite))
138         return;
139     writeBarrierSlowPath(from);
140 }
141
142 inline void Heap::writeBarrier(const JSCell* from)
143 {
144     ASSERT_GC_OBJECT_LOOKS_VALID(const_cast<JSCell*>(from));
145     if (!from)
146         return;
147     if (UNLIKELY(isWithinThreshold(from->cellState(), barrierThreshold())))
148         writeBarrierSlowPath(from);
149 }
150
151 inline void Heap::writeBarrierWithoutFence(const JSCell* from)
152 {
153     ASSERT_GC_OBJECT_LOOKS_VALID(const_cast<JSCell*>(from));
154     if (!from)
155         return;
156     if (UNLIKELY(isWithinThreshold(from->cellState(), blackThreshold)))
157         addToRememberedSet(from);
158 }
159
160 inline void Heap::mutatorFence()
161 {
162     if (isX86() || UNLIKELY(mutatorShouldBeFenced()))
163         WTF::storeStoreFence();
164 }
165
166 template<typename Functor> inline void Heap::forEachCodeBlock(const Functor& func)
167 {
168     forEachCodeBlockImpl(scopedLambdaRef<bool(CodeBlock*)>(func));
169 }
170
171 template<typename Functor> inline void Heap::forEachProtectedCell(const Functor& functor)
172 {
173     for (auto& pair : m_protectedValues)
174         functor(pair.key);
175     m_handleSet.forEachStrongHandle(functor, m_protectedValues);
176 }
177
178 inline void* Heap::allocateWithDestructor(size_t bytes)
179 {
180 #if ENABLE(ALLOCATION_LOGGING)
181     dataLogF("JSC GC allocating %lu bytes with normal destructor.\n", bytes);
182 #endif
183     ASSERT(isValidAllocation(bytes));
184     return m_objectSpace.allocateWithDestructor(bytes);
185 }
186
187 inline void* Heap::allocateWithoutDestructor(size_t bytes)
188 {
189 #if ENABLE(ALLOCATION_LOGGING)
190     dataLogF("JSC GC allocating %lu bytes without destructor.\n", bytes);
191 #endif
192     ASSERT(isValidAllocation(bytes));
193     return m_objectSpace.allocateWithoutDestructor(bytes);
194 }
195
196 inline void* Heap::allocateWithDestructor(GCDeferralContext* deferralContext, size_t bytes)
197 {
198     ASSERT(isValidAllocation(bytes));
199     return m_objectSpace.allocateWithDestructor(deferralContext, bytes);
200 }
201
202 inline void* Heap::allocateWithoutDestructor(GCDeferralContext* deferralContext, size_t bytes)
203 {
204     ASSERT(isValidAllocation(bytes));
205     return m_objectSpace.allocateWithoutDestructor(deferralContext, bytes);
206 }
207
208 template<typename ClassType>
209 inline void* Heap::allocateObjectOfType(size_t bytes)
210 {
211     // JSCell::classInfo() expects objects allocated with normal destructor to derive from JSDestructibleObject.
212     ASSERT((!ClassType::needsDestruction || (ClassType::StructureFlags & StructureIsImmortal) || std::is_convertible<ClassType, JSDestructibleObject>::value));
213
214     if (ClassType::needsDestruction)
215         return allocateWithDestructor(bytes);
216     return allocateWithoutDestructor(bytes);
217 }
218
219 template<typename ClassType>
220 inline void* Heap::allocateObjectOfType(GCDeferralContext* deferralContext, size_t bytes)
221 {
222     ASSERT((!ClassType::needsDestruction || (ClassType::StructureFlags & StructureIsImmortal) || std::is_convertible<ClassType, JSDestructibleObject>::value));
223
224     if (ClassType::needsDestruction)
225         return allocateWithDestructor(deferralContext, bytes);
226     return allocateWithoutDestructor(deferralContext, bytes);
227 }
228
229 template<typename ClassType>
230 inline MarkedSpace::Subspace& Heap::subspaceForObjectOfType()
231 {
232     // JSCell::classInfo() expects objects allocated with normal destructor to derive from JSDestructibleObject.
233     ASSERT((!ClassType::needsDestruction || (ClassType::StructureFlags & StructureIsImmortal) || std::is_convertible<ClassType, JSDestructibleObject>::value));
234     
235     if (ClassType::needsDestruction)
236         return subspaceForObjectDestructor();
237     return subspaceForObjectWithoutDestructor();
238 }
239
240 template<typename ClassType>
241 inline MarkedAllocator* Heap::allocatorForObjectOfType(size_t bytes)
242 {
243     // JSCell::classInfo() expects objects allocated with normal destructor to derive from JSDestructibleObject.
244     ASSERT((!ClassType::needsDestruction || (ClassType::StructureFlags & StructureIsImmortal) || std::is_convertible<ClassType, JSDestructibleObject>::value));
245
246     MarkedAllocator* result;
247     if (ClassType::needsDestruction)
248         result = allocatorForObjectWithDestructor(bytes);
249     else
250         result = allocatorForObjectWithoutDestructor(bytes);
251     
252     ASSERT(result || !ClassType::info()->isSubClassOf(JSCallee::info()));
253     return result;
254 }
255
256 inline void* Heap::allocateAuxiliary(JSCell* intendedOwner, size_t bytes)
257 {
258     void* result = m_objectSpace.allocateAuxiliary(bytes);
259 #if ENABLE(ALLOCATION_LOGGING)
260     dataLogF("JSC GC allocating %lu bytes of auxiliary for %p: %p.\n", bytes, intendedOwner, result);
261 #else
262     UNUSED_PARAM(intendedOwner);
263 #endif
264     return result;
265 }
266
267 inline void* Heap::tryAllocateAuxiliary(JSCell* intendedOwner, size_t bytes)
268 {
269     void* result = m_objectSpace.tryAllocateAuxiliary(bytes);
270 #if ENABLE(ALLOCATION_LOGGING)
271     dataLogF("JSC GC allocating %lu bytes of auxiliary for %p: %p.\n", bytes, intendedOwner, result);
272 #else
273     UNUSED_PARAM(intendedOwner);
274 #endif
275     return result;
276 }
277
278 inline void* Heap::tryAllocateAuxiliary(GCDeferralContext* deferralContext, JSCell* intendedOwner, size_t bytes)
279 {
280     void* result = m_objectSpace.tryAllocateAuxiliary(deferralContext, bytes);
281 #if ENABLE(ALLOCATION_LOGGING)
282     dataLogF("JSC GC allocating %lu bytes of auxiliary for %p: %p.\n", bytes, intendedOwner, result);
283 #else
284     UNUSED_PARAM(intendedOwner);
285 #endif
286     return result;
287 }
288
289 inline void* Heap::tryReallocateAuxiliary(JSCell* intendedOwner, void* oldBase, size_t oldSize, size_t newSize)
290 {
291     void* newBase = tryAllocateAuxiliary(intendedOwner, newSize);
292     if (!newBase)
293         return nullptr;
294     memcpy(newBase, oldBase, oldSize);
295     return newBase;
296 }
297
298 inline void Heap::ascribeOwner(JSCell* intendedOwner, void* storage)
299 {
300 #if ENABLE(ALLOCATION_LOGGING)
301     dataLogF("JSC GC ascribing %p as owner of storage %p.\n", intendedOwner, storage);
302 #else
303     UNUSED_PARAM(intendedOwner);
304     UNUSED_PARAM(storage);
305 #endif
306 }
307
308 #if USE(FOUNDATION)
309 template <typename T>
310 inline void Heap::releaseSoon(RetainPtr<T>&& object)
311 {
312     m_delayedReleaseObjects.append(WTFMove(object));
313 }
314 #endif
315
316 inline void Heap::incrementDeferralDepth()
317 {
318     RELEASE_ASSERT(m_deferralDepth < 100); // Sanity check to make sure this doesn't get ridiculous.
319     m_deferralDepth++;
320 }
321
322 inline void Heap::decrementDeferralDepth()
323 {
324     RELEASE_ASSERT(m_deferralDepth >= 1);
325     m_deferralDepth--;
326 }
327
328 inline HashSet<MarkedArgumentBuffer*>& Heap::markListSet()
329 {
330     if (!m_markListSet)
331         m_markListSet = std::make_unique<HashSet<MarkedArgumentBuffer*>>();
332     return *m_markListSet;
333 }
334
335 inline void Heap::reportExtraMemoryAllocated(size_t size)
336 {
337     if (size > minExtraMemory) 
338         reportExtraMemoryAllocatedSlowCase(size);
339 }
340
341 inline void Heap::deprecatedReportExtraMemory(size_t size)
342 {
343     if (size > minExtraMemory) 
344         deprecatedReportExtraMemorySlowCase(size);
345 }
346
347 inline void Heap::acquireAccess()
348 {
349     if (m_worldState.compareExchangeWeak(0, hasAccessBit))
350         return;
351     acquireAccessSlow();
352 }
353
354 inline bool Heap::hasAccess() const
355 {
356     return m_worldState.loadRelaxed() & hasAccessBit;
357 }
358
359 inline void Heap::releaseAccess()
360 {
361     if (m_worldState.compareExchangeWeak(hasAccessBit, 0))
362         return;
363     releaseAccessSlow();
364 }
365
366 inline void Heap::stopIfNecessary()
367 {
368     if (m_worldState.loadRelaxed() == hasAccessBit)
369         return;
370     stopIfNecessarySlow();
371 }
372
373 } // namespace JSC