bmalloc IsoHeap needs to allow a thread to deallocate some size for the first time
[WebKit-https.git] / Source / bmalloc / bmalloc / IsoTLSInlines.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "IsoHeapImpl.h"
29 #include "IsoTLS.h"
30
31 namespace bmalloc {
32
33 template<typename Type>
34 void* IsoTLS::allocate(api::IsoHeap<Type>& handle, bool abortOnFailure)
35 {
36     return allocateImpl<typename api::IsoHeap<Type>::Config>(handle, abortOnFailure);
37 }
38
39 template<typename Type>
40 void IsoTLS::deallocate(api::IsoHeap<Type>& handle, void* p)
41 {
42     if (!p)
43         return;
44     deallocateImpl<typename api::IsoHeap<Type>::Config>(handle, p);
45 }
46
47 template<typename Type>
48 void IsoTLS::scavenge(api::IsoHeap<Type>& handle)
49 {
50     IsoTLS* tls = get();
51     if (!tls)
52         return;
53     if (!handle.isInitialized())
54         return;
55     unsigned offset = handle.allocatorOffset();
56     if (offset < tls->m_extent)
57         reinterpret_cast<IsoAllocator<typename api::IsoHeap<Type>::Config>*>(tls->m_data + offset)->scavenge();
58     offset = handle.deallocatorOffset();
59     if (offset < tls->m_extent)
60         reinterpret_cast<IsoDeallocator<typename api::IsoHeap<Type>::Config>*>(tls->m_data + offset)->scavenge();
61     handle.impl().scavengeNow();
62 }
63
64 template<typename Config, typename Type>
65 void* IsoTLS::allocateImpl(api::IsoHeap<Type>& handle, bool abortOnFailure)
66 {
67     unsigned offset = handle.allocatorOffset();
68     IsoTLS* tls = get();
69     if (!tls || offset >= tls->m_extent)
70         return allocateSlow<Config>(handle, abortOnFailure);
71     return tls->allocateFast<Config>(offset, abortOnFailure);
72 }
73
74 template<typename Config>
75 void* IsoTLS::allocateFast(unsigned offset, bool abortOnFailure)
76 {
77     return reinterpret_cast<IsoAllocator<Config>*>(m_data + offset)->allocate(abortOnFailure);
78 }
79
80 template<typename Config, typename Type>
81 BNO_INLINE void* IsoTLS::allocateSlow(api::IsoHeap<Type>& handle, bool abortOnFailure)
82 {
83     auto debugMallocResult = debugMalloc(Config::objectSize);
84     if (debugMallocResult.usingDebugHeap)
85         return debugMallocResult.ptr;
86     
87     IsoTLS* tls = ensureHeapAndEntries(handle);
88     
89     return tls->allocateFast<Config>(handle.allocatorOffset(), abortOnFailure);
90 }
91
92 template<typename Config, typename Type>
93 void IsoTLS::deallocateImpl(api::IsoHeap<Type>& handle, void* p)
94 {
95     unsigned offset = handle.deallocatorOffset();
96     IsoTLS* tls = get();
97     // Note that this bounds check would be here even if we didn't have to support DebugHeap,
98     // since we don't want unpredictable behavior if offset or m_extent ever got corrupted.
99     if (!tls || offset >= tls->m_extent)
100         deallocateSlow<Config>(handle, p);
101     else
102         tls->deallocateFast<Config>(offset, p);
103 }
104
105 template<typename Config>
106 void IsoTLS::deallocateFast(unsigned offset, void* p)
107 {
108     reinterpret_cast<IsoDeallocator<Config>*>(m_data + offset)->deallocate(p);
109 }
110
111 template<typename Config, typename Type>
112 BNO_INLINE void IsoTLS::deallocateSlow(api::IsoHeap<Type>& handle, void* p)
113 {
114     if (debugFree(p))
115         return;
116     
117     RELEASE_BASSERT(handle.isInitialized());
118     
119     IsoTLS* tls = ensureEntries(std::max(handle.allocatorOffset(), handle.deallocatorOffset()));
120     
121     tls->deallocateFast<Config>(handle.deallocatorOffset(), p);
122 }
123
124 inline IsoTLS* IsoTLS::get()
125 {
126 #if HAVE_PTHREAD_MACHDEP_H
127     return static_cast<IsoTLS*>(_pthread_getspecific_direct(tlsKey));
128 #else
129     if (!s_didInitialize)
130         return nullptr;
131     return static_cast<IsoTLS*>(pthread_getspecific(s_tlsKey));
132 #endif
133 }
134
135 inline void IsoTLS::set(IsoTLS* tls)
136 {
137 #if HAVE_PTHREAD_MACHDEP_H
138     _pthread_setspecific_direct(tlsKey, tls);
139 #else
140     pthread_setspecific(s_tlsKey, tls);
141 #endif
142 }
143
144 template<typename Type>
145 void IsoTLS::ensureHeap(api::IsoHeap<Type>& handle)
146 {
147     if (!handle.isInitialized()) {
148         std::lock_guard<StaticMutex> locker(handle.m_initializationLock);
149         if (!handle.isInitialized()) {
150             auto* heap = new IsoHeapImpl<typename api::IsoHeap<Type>::Config>();
151             std::atomic_thread_fence(std::memory_order_seq_cst);
152             handle.setAllocatorOffset(heap->allocatorOffset());
153             handle.setDeallocatorOffset(heap->deallocatorOffset());
154             handle.m_impl = heap;
155         }
156     }
157 }
158
159 template<typename Type>
160 BNO_INLINE IsoTLS* IsoTLS::ensureHeapAndEntries(api::IsoHeap<Type>& handle)
161 {
162     RELEASE_BASSERT(
163         !get()
164         || handle.allocatorOffset() >= get()->m_extent
165         || handle.deallocatorOffset() >= get()->m_extent);
166     ensureHeap(handle);
167     return ensureEntries(std::max(handle.allocatorOffset(), handle.deallocatorOffset()));
168 }
169
170 } // namespace bmalloc
171