Isolated Heaps caused an increase in reported leaks on the bots
[WebKit-https.git] / Source / bmalloc / bmalloc / IsoTLSInlines.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "IsoHeapImpl.h"
29 #include "IsoTLS.h"
30
31 namespace bmalloc {
32
33 template<typename Type>
34 void* IsoTLS::allocate(api::IsoHeap<Type>& handle, bool abortOnFailure)
35 {
36     return allocateImpl<typename api::IsoHeap<Type>::Config>(handle, abortOnFailure);
37 }
38
39 template<typename Type>
40 void IsoTLS::deallocate(api::IsoHeap<Type>& handle, void* p)
41 {
42     if (!p)
43         return;
44     deallocateImpl<typename api::IsoHeap<Type>::Config>(handle, p);
45 }
46
47 template<typename Type>
48 void IsoTLS::scavenge(api::IsoHeap<Type>& handle)
49 {
50     IsoTLS* tls = get();
51     if (!tls)
52         return;
53     if (!handle.isInitialized())
54         return;
55     unsigned offset = handle.allocatorOffset();
56     if (offset < tls->m_extent)
57         reinterpret_cast<IsoAllocator<typename api::IsoHeap<Type>::Config>*>(tls->m_data + offset)->scavenge();
58     offset = handle.deallocatorOffset();
59     if (offset < tls->m_extent)
60         reinterpret_cast<IsoDeallocator<typename api::IsoHeap<Type>::Config>*>(tls->m_data + offset)->scavenge();
61     handle.impl().scavengeNow();
62 }
63
64 template<typename Config, typename Type>
65 void* IsoTLS::allocateImpl(api::IsoHeap<Type>& handle, bool abortOnFailure)
66 {
67     unsigned offset = handle.allocatorOffset();
68     IsoTLS* tls = get();
69     if (!tls || offset >= tls->m_extent)
70         return allocateSlow<typename api::IsoHeap<Type>::Config>(handle, abortOnFailure);
71     return tls->allocateFast<Config>(offset, abortOnFailure);
72 }
73
74 template<typename Config>
75 void* IsoTLS::allocateFast(unsigned offset, bool abortOnFailure)
76 {
77     return reinterpret_cast<IsoAllocator<Config>*>(m_data + offset)->allocate(abortOnFailure);
78 }
79
80 template<typename Config, typename Type>
81 BNO_INLINE void* IsoTLS::allocateSlow(api::IsoHeap<Type>& handle, bool abortOnFailure)
82 {
83     IsoTLS* tls = ensureHeapAndEntries(handle);
84     
85     auto debugMallocResult = debugMalloc(Config::objectSize);
86     if (debugMallocResult.usingDebugHeap)
87         return debugMallocResult.ptr;
88     
89     unsigned offset = handle.allocatorOffset();
90     return tls->allocateFast<Config>(offset, abortOnFailure);
91 }
92
93 template<typename Config, typename Type>
94 void IsoTLS::deallocateImpl(api::IsoHeap<Type>& handle, void* p)
95 {
96     unsigned offset = handle.deallocatorOffset();
97     IsoTLS* tls = get();
98     // Note that this bounds check would be here even if we didn't have to support DebugHeap,
99     // since we don't want unpredictable behavior if offset or m_extent ever got corrupted.
100     if (offset >= tls->m_extent)
101         deallocateSlow(p);
102     else
103         tls->deallocateFast<Config>(offset, p);
104 }
105
106 template<typename Config>
107 void IsoTLS::deallocateFast(unsigned offset, void* p)
108 {
109     reinterpret_cast<IsoDeallocator<Config>*>(m_data + offset)->deallocate(p);
110 }
111
112 inline IsoTLS* IsoTLS::get()
113 {
114 #if HAVE_PTHREAD_MACHDEP_H
115     return static_cast<IsoTLS*>(_pthread_getspecific_direct(tlsKey));
116 #else
117     if (!s_didInitialize)
118         return nullptr;
119     return static_cast<IsoTLS*>(pthread_getspecific(s_tlsKey));
120 #endif
121 }
122
123 inline void IsoTLS::set(IsoTLS* tls)
124 {
125 #if HAVE_PTHREAD_MACHDEP_H
126     _pthread_setspecific_direct(tlsKey, tls);
127 #else
128     pthread_setspecific(s_tlsKey, tls);
129 #endif
130 }
131
132 template<typename Type>
133 void IsoTLS::ensureHeap(api::IsoHeap<Type>& handle)
134 {
135     if (!handle.isInitialized()) {
136         std::lock_guard<StaticMutex> locker(handle.m_initializationLock);
137         if (!handle.isInitialized()) {
138             auto* heap = new IsoHeapImpl<typename api::IsoHeap<Type>::Config>();
139             std::atomic_thread_fence(std::memory_order_seq_cst);
140             handle.setAllocatorOffset(heap->allocatorOffset());
141             handle.setDeallocatorOffset(heap->deallocatorOffset());
142             handle.m_impl = heap;
143         }
144     }
145 }
146
147 template<typename Type>
148 BNO_INLINE IsoTLS* IsoTLS::ensureHeapAndEntries(api::IsoHeap<Type>& handle)
149 {
150     RELEASE_BASSERT(
151         !get()
152         || handle.allocatorOffset() >= get()->m_extent
153         || handle.deallocatorOffset() >= get()->m_extent);
154     unsigned offset;
155     if (isUsingDebugHeap()) {
156         if (IsoTLS* result = get())
157             return result;
158         offset = 0;
159     } else {
160         ensureHeap(handle);
161         offset = std::max(handle.allocatorOffset(), handle.deallocatorOffset());
162     }
163     return ensureEntries(offset);
164 }
165
166 } // namespace bmalloc
167