bmalloc should support strictly type-segregated isolated heaps
[WebKit-https.git] / Source / bmalloc / bmalloc / IsoTLSInlines.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "IsoHeapImpl.h"
29 #include "IsoTLS.h"
30
31 namespace bmalloc {
32
33 template<typename Type>
34 void* IsoTLS::allocate(api::IsoHeap<Type>& handle, bool abortOnFailure)
35 {
36     return allocator<typename api::IsoHeap<Type>::Config>(handle).allocate(abortOnFailure);
37 }
38
39 template<typename Type>
40 void IsoTLS::deallocate(api::IsoHeap<Type>& handle, void* p)
41 {
42     if (!p)
43         return;
44     deallocator<typename api::IsoHeap<Type>::Config>(handle).deallocate(p);
45 }
46
47 template<typename Type>
48 void IsoTLS::scavenge(api::IsoHeap<Type>& handle)
49 {
50     IsoTLS* tls = get();
51     if (!tls)
52         return;
53     if (!handle.isInitialized())
54         return;
55     unsigned offset = handle.allocatorOffset();
56     if (offset < tls->m_extent)
57         reinterpret_cast<IsoAllocator<typename api::IsoHeap<Type>::Config>*>(tls->m_data + offset)->scavenge();
58     offset = handle.deallocatorOffset();
59     if (offset < tls->m_extent)
60         reinterpret_cast<IsoDeallocator<typename api::IsoHeap<Type>::Config>*>(tls->m_data + offset)->scavenge();
61     handle.impl().scavengeNow();
62 }
63
64 template<typename Config, typename Type>
65 IsoAllocator<Config>& IsoTLS::allocator(api::IsoHeap<Type>& handle)
66 {
67     unsigned offset = handle.allocatorOffset();
68     IsoTLS* tls = get();
69     if (!tls || offset >= tls->m_extent) {
70         tls = ensureHeapAndEntries(handle);
71         offset = handle.allocatorOffset();
72     }
73     return *reinterpret_cast<IsoAllocator<Config>*>(tls->m_data + offset);
74 }
75
76 template<typename Config, typename Type>
77 IsoDeallocator<Config>& IsoTLS::deallocator(api::IsoHeap<Type>& handle)
78 {
79     unsigned offset = handle.deallocatorOffset();
80     IsoTLS* tls = get();
81     RELEASE_BASSERT(offset < tls->m_extent);
82     return *reinterpret_cast<IsoDeallocator<Config>*>(tls->m_data + offset);
83 }
84
85 inline IsoTLS* IsoTLS::get()
86 {
87 #if HAVE_PTHREAD_MACHDEP_H
88     return static_cast<IsoTLS*>(_pthread_getspecific_direct(tlsKey));
89 #else
90     if (!s_didInitialize)
91         return nullptr;
92     return static_cast<IsoTLS*>(pthread_getspecific(s_tlsKey));
93 #endif
94 }
95
96 inline void IsoTLS::set(IsoTLS* tls)
97 {
98 #if HAVE_PTHREAD_MACHDEP_H
99     _pthread_setspecific_direct(tlsKey, tls);
100 #else
101     pthread_setspecific(s_tlsKey, tls);
102 #endif
103 }
104
105 template<typename Type>
106 void IsoTLS::ensureHeap(api::IsoHeap<Type>& handle)
107 {
108     if (!handle.isInitialized()) {
109         std::lock_guard<StaticMutex> locker(handle.m_initializationLock);
110         if (!handle.isInitialized()) {
111             auto* heap = new IsoHeapImpl<typename api::IsoHeap<Type>::Config>();
112             std::atomic_thread_fence(std::memory_order_seq_cst);
113             handle.setAllocatorOffset(heap->allocatorOffset());
114             handle.setDeallocatorOffset(heap->deallocatorOffset());
115             handle.m_impl = heap;
116         }
117     }
118 }
119
120 template<typename Type>
121 BNO_INLINE IsoTLS* IsoTLS::ensureHeapAndEntries(api::IsoHeap<Type>& handle)
122 {
123     RELEASE_BASSERT(
124         !get()
125         || handle.allocatorOffset() >= get()->m_extent
126         || handle.deallocatorOffset() >= get()->m_extent);
127     ensureHeap(handle);
128     return ensureEntries(std::max(handle.allocatorOffset(), handle.deallocatorOffset()));
129 }
130
131 } // namespace bmalloc
132