5a6f0596451d82d1a2f1340165878e644393ae6e
[WebKit-https.git] / Source / JavaScriptCore / heap / HeapInlines.h
1 /*
2  * Copyright (C) 2014-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #include "GCDeferralContext.h"
29 #include "Heap.h"
30 #include "HeapCellInlines.h"
31 #include "IndexingHeader.h"
32 #include "JSCallee.h"
33 #include "JSCell.h"
34 #include "Structure.h"
35 #include <type_traits>
36 #include <wtf/Assertions.h>
37 #include <wtf/MainThread.h>
38 #include <wtf/RandomNumber.h>
39
40 namespace JSC {
41
42 ALWAYS_INLINE VM* Heap::vm() const
43 {
44     return bitwise_cast<VM*>(bitwise_cast<uintptr_t>(this) - OBJECT_OFFSETOF(VM, heap));
45 }
46
47 ALWAYS_INLINE Heap* Heap::heap(const HeapCell* cell)
48 {
49     if (!cell)
50         return nullptr;
51     return cell->heap();
52 }
53
54 inline Heap* Heap::heap(const JSValue v)
55 {
56     if (!v.isCell())
57         return nullptr;
58     return heap(v.asCell());
59 }
60
61 inline bool Heap::hasHeapAccess() const
62 {
63     return m_worldState.load() & hasAccessBit;
64 }
65
66 inline bool Heap::collectorBelievesThatTheWorldIsStopped() const
67 {
68     return m_collectorBelievesThatTheWorldIsStopped;
69 }
70
71 ALWAYS_INLINE bool Heap::isMarked(const void* rawCell)
72 {
73     ASSERT(mayBeGCThread() != GCThreadType::Helper);
74     HeapCell* cell = bitwise_cast<HeapCell*>(rawCell);
75     if (cell->isLargeAllocation())
76         return cell->largeAllocation().isMarked();
77     MarkedBlock& block = cell->markedBlock();
78     return block.isMarked(
79         block.vm()->heap.objectSpace().markingVersion(), cell);
80 }
81
82 ALWAYS_INLINE bool Heap::isMarkedConcurrently(const void* rawCell)
83 {
84     HeapCell* cell = bitwise_cast<HeapCell*>(rawCell);
85     if (cell->isLargeAllocation())
86         return cell->largeAllocation().isMarked();
87     MarkedBlock& block = cell->markedBlock();
88     return block.isMarkedConcurrently(
89         block.vm()->heap.objectSpace().markingVersion(), cell);
90 }
91
92 ALWAYS_INLINE bool Heap::testAndSetMarked(HeapVersion markingVersion, const void* rawCell)
93 {
94     HeapCell* cell = bitwise_cast<HeapCell*>(rawCell);
95     if (cell->isLargeAllocation())
96         return cell->largeAllocation().testAndSetMarked();
97     MarkedBlock& block = cell->markedBlock();
98     Dependency dependency = block.aboutToMark(markingVersion);
99     return block.testAndSetMarked(cell, dependency);
100 }
101
102 ALWAYS_INLINE size_t Heap::cellSize(const void* rawCell)
103 {
104     return bitwise_cast<HeapCell*>(rawCell)->cellSize();
105 }
106
107 inline void Heap::writeBarrier(const JSCell* from, JSValue to)
108 {
109 #if ENABLE(WRITE_BARRIER_PROFILING)
110     WriteBarrierCounters::countWriteBarrier();
111 #endif
112     if (!to.isCell())
113         return;
114     writeBarrier(from, to.asCell());
115 }
116
117 inline void Heap::writeBarrier(const JSCell* from, JSCell* to)
118 {
119 #if ENABLE(WRITE_BARRIER_PROFILING)
120     WriteBarrierCounters::countWriteBarrier();
121 #endif
122     if (!from)
123         return;
124     if (!isWithinThreshold(from->cellState(), barrierThreshold()))
125         return;
126     if (LIKELY(!to))
127         return;
128     writeBarrierSlowPath(from);
129 }
130
131 inline void Heap::writeBarrier(const JSCell* from)
132 {
133     ASSERT_GC_OBJECT_LOOKS_VALID(const_cast<JSCell*>(from));
134     if (!from)
135         return;
136     if (UNLIKELY(isWithinThreshold(from->cellState(), barrierThreshold())))
137         writeBarrierSlowPath(from);
138 }
139
140 inline void Heap::writeBarrierWithoutFence(const JSCell* from)
141 {
142     ASSERT_GC_OBJECT_LOOKS_VALID(const_cast<JSCell*>(from));
143     if (!from)
144         return;
145     if (UNLIKELY(isWithinThreshold(from->cellState(), blackThreshold)))
146         addToRememberedSet(from);
147 }
148
149 inline void Heap::mutatorFence()
150 {
151     if (isX86() || UNLIKELY(mutatorShouldBeFenced()))
152         WTF::storeStoreFence();
153 }
154
155 template<typename Functor> inline void Heap::forEachCodeBlock(const Functor& func)
156 {
157     forEachCodeBlockImpl(scopedLambdaRef<bool(CodeBlock*)>(func));
158 }
159
160 template<typename Functor> inline void Heap::forEachCodeBlockIgnoringJITPlans(const AbstractLocker& codeBlockSetLocker, const Functor& func)
161 {
162     forEachCodeBlockIgnoringJITPlansImpl(codeBlockSetLocker, scopedLambdaRef<bool(CodeBlock*)>(func));
163 }
164
165 template<typename Functor> inline void Heap::forEachProtectedCell(const Functor& functor)
166 {
167     for (auto& pair : m_protectedValues)
168         functor(pair.key);
169     m_handleSet.forEachStrongHandle(functor, m_protectedValues);
170 }
171
172 #if USE(FOUNDATION)
173 template <typename T>
174 inline void Heap::releaseSoon(RetainPtr<T>&& object)
175 {
176     m_delayedReleaseObjects.append(WTFMove(object));
177 }
178 #endif
179
180 inline void Heap::incrementDeferralDepth()
181 {
182     ASSERT(!mayBeGCThread() || m_collectorBelievesThatTheWorldIsStopped);
183     m_deferralDepth++;
184 }
185
186 inline void Heap::decrementDeferralDepth()
187 {
188     ASSERT(!mayBeGCThread() || m_collectorBelievesThatTheWorldIsStopped);
189     m_deferralDepth--;
190 }
191
192 inline void Heap::decrementDeferralDepthAndGCIfNeeded()
193 {
194     ASSERT(!mayBeGCThread() || m_collectorBelievesThatTheWorldIsStopped);
195     m_deferralDepth--;
196     
197     if (UNLIKELY(m_didDeferGCWork)) {
198         decrementDeferralDepthAndGCIfNeededSlow();
199         
200         // Here are the possible relationships between m_deferralDepth and m_didDeferGCWork.
201         // Note that prior to the call to decrementDeferralDepthAndGCIfNeededSlow,
202         // m_didDeferGCWork had to have been true. Now it can be either false or true. There is
203         // nothing we can reliably assert.
204         //
205         // Possible arrangements of m_didDeferGCWork and !!m_deferralDepth:
206         //
207         // Both false: We popped out of all DeferGCs and we did whatever work was deferred.
208         //
209         // Only m_didDeferGCWork is true: We stopped for GC and the GC did DeferGC. This is
210         // possible because of how we handle the baseline JIT's worklist. It's also perfectly
211         // safe because it only protects reportExtraMemory. We can just ignore this.
212         //
213         // Only !!m_deferralDepth is true: m_didDeferGCWork had been set spuriously. It is only
214         // cleared by decrementDeferralDepthAndGCIfNeededSlow(). So, if we had deferred work but
215         // then decrementDeferralDepth()'d, then we might have the bit set even if we GC'd since
216         // then.
217         //
218         // Both true: We're in a recursive ~DeferGC. We wanted to do something about the
219         // deferred work, but were unable to.
220     }
221 }
222
223 inline HashSet<MarkedArgumentBuffer*>& Heap::markListSet()
224 {
225     if (!m_markListSet)
226         m_markListSet = std::make_unique<HashSet<MarkedArgumentBuffer*>>();
227     return *m_markListSet;
228 }
229
230 inline void Heap::reportExtraMemoryAllocated(size_t size)
231 {
232     if (size > minExtraMemory) 
233         reportExtraMemoryAllocatedSlowCase(size);
234 }
235
236 inline void Heap::deprecatedReportExtraMemory(size_t size)
237 {
238     if (size > minExtraMemory) 
239         deprecatedReportExtraMemorySlowCase(size);
240 }
241
242 inline void Heap::acquireAccess()
243 {
244     if (m_worldState.compareExchangeWeak(0, hasAccessBit))
245         return;
246     acquireAccessSlow();
247 }
248
249 inline bool Heap::hasAccess() const
250 {
251     return m_worldState.loadRelaxed() & hasAccessBit;
252 }
253
254 inline void Heap::releaseAccess()
255 {
256     if (m_worldState.compareExchangeWeak(hasAccessBit, 0))
257         return;
258     releaseAccessSlow();
259 }
260
261 inline bool Heap::mayNeedToStop()
262 {
263     return m_worldState.loadRelaxed() != hasAccessBit;
264 }
265
266 inline void Heap::stopIfNecessary()
267 {
268     if (mayNeedToStop())
269         stopIfNecessarySlow();
270 }
271
272 } // namespace JSC