Enable gigacage on iOS with a 32GB runway and ensure it doesn't break WasmBench
[WebKit-https.git] / Source / bmalloc / bmalloc / Gigacage.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "Algorithm.h"
29 #include "BAssert.h"
30 #include "BExport.h"
31 #include "BInline.h"
32 #include "BPlatform.h"
33 #include <cstddef>
34 #include <inttypes.h>
35
36 #if BCPU(ARM64)
37 #define PRIMITIVE_GIGACAGE_SIZE 0x80000000llu
38 #define JSVALUE_GIGACAGE_SIZE 0x40000000llu
39 #define STRING_GIGACAGE_SIZE 0x40000000llu
40 #define GIGACAGE_ALLOCATION_CAN_FAIL 1
41 #else
42 #define PRIMITIVE_GIGACAGE_SIZE 0x800000000llu
43 #define JSVALUE_GIGACAGE_SIZE 0x400000000llu
44 #define STRING_GIGACAGE_SIZE 0x400000000llu
45 #define GIGACAGE_ALLOCATION_CAN_FAIL 0
46 #endif
47
48 static_assert(bmalloc::isPowerOfTwo(PRIMITIVE_GIGACAGE_SIZE), "");
49 static_assert(bmalloc::isPowerOfTwo(JSVALUE_GIGACAGE_SIZE), "");
50 static_assert(bmalloc::isPowerOfTwo(STRING_GIGACAGE_SIZE), "");
51
52 #define GIGACAGE_SIZE_TO_MASK(size) ((size) - 1)
53
54 #define PRIMITIVE_GIGACAGE_MASK GIGACAGE_SIZE_TO_MASK(PRIMITIVE_GIGACAGE_SIZE)
55 #define JSVALUE_GIGACAGE_MASK GIGACAGE_SIZE_TO_MASK(JSVALUE_GIGACAGE_SIZE)
56 #define STRING_GIGACAGE_MASK GIGACAGE_SIZE_TO_MASK(STRING_GIGACAGE_SIZE)
57
58 #if ((BOS(DARWIN) || BOS(LINUX)) && \
59     (BCPU(X86_64) || (BCPU(ARM64) && !defined(__ILP32__) && (!BPLATFORM(IOS) || __IPHONE_OS_VERSION_MIN_REQUIRED >= 110300))))
60 #define GIGACAGE_ENABLED 1
61 #else
62 #define GIGACAGE_ENABLED 0
63 #endif
64
65 #if BCPU(ARM64)
66 #define GIGACAGE_BASE_PTRS_SIZE 16384
67 #else
68 #define GIGACAGE_BASE_PTRS_SIZE 4096
69 #endif
70
71 extern "C" BEXPORT char g_gigacageBasePtrs[GIGACAGE_BASE_PTRS_SIZE] __attribute__((aligned(GIGACAGE_BASE_PTRS_SIZE)));
72
73 namespace Gigacage {
74
75 extern BEXPORT bool g_wasEnabled;
76 BINLINE bool wasEnabled() { return g_wasEnabled; }
77
78 struct BasePtrs {
79     void* primitive;
80     void* jsValue;
81     void* string;
82 };
83
84 enum Kind {
85     Primitive,
86     JSValue,
87     String
88 };
89
90 static constexpr unsigned numKinds = 3;
91
92 BEXPORT void ensureGigacage();
93
94 BEXPORT void disablePrimitiveGigacage();
95
96 // This will call the disable callback immediately if the Primitive Gigacage is currently disabled.
97 BEXPORT void addPrimitiveDisableCallback(void (*)(void*), void*);
98 BEXPORT void removePrimitiveDisableCallback(void (*)(void*), void*);
99
100 BEXPORT void disableDisablingPrimitiveGigacageIfShouldBeEnabled();
101
102 BEXPORT bool isDisablingPrimitiveGigacageDisabled();
103 inline bool isPrimitiveGigacagePermanentlyEnabled() { return isDisablingPrimitiveGigacageDisabled(); }
104 inline bool canPrimitiveGigacageBeDisabled() { return !isDisablingPrimitiveGigacageDisabled(); }
105
106 BINLINE const char* name(Kind kind)
107 {
108     switch (kind) {
109     case Primitive:
110         return "Primitive";
111     case JSValue:
112         return "JSValue";
113     case String:
114         return "String";
115     }
116     BCRASH();
117     return nullptr;
118 }
119
120 BINLINE void*& basePtr(BasePtrs& basePtrs, Kind kind)
121 {
122     switch (kind) {
123     case Primitive:
124         return basePtrs.primitive;
125     case JSValue:
126         return basePtrs.jsValue;
127     case String:
128         return basePtrs.string;
129     }
130     BCRASH();
131     return basePtrs.primitive;
132 }
133
134 BINLINE BasePtrs& basePtrs()
135 {
136     return *reinterpret_cast<BasePtrs*>(g_gigacageBasePtrs);
137 }
138
139 BINLINE void*& basePtr(Kind kind)
140 {
141     return basePtr(basePtrs(), kind);
142 }
143
144 BINLINE bool isEnabled(Kind kind)
145 {
146     return !!basePtr(kind);
147 }
148
149 BINLINE size_t size(Kind kind)
150 {
151     switch (kind) {
152     case Primitive:
153         return static_cast<size_t>(PRIMITIVE_GIGACAGE_SIZE);
154     case JSValue:
155         return static_cast<size_t>(JSVALUE_GIGACAGE_SIZE);
156     case String:
157         return static_cast<size_t>(STRING_GIGACAGE_SIZE);
158     }
159     BCRASH();
160     return 0;
161 }
162
163 BINLINE size_t alignment(Kind kind)
164 {
165     return size(kind);
166 }
167
168 BINLINE size_t mask(Kind kind)
169 {
170     return GIGACAGE_SIZE_TO_MASK(size(kind));
171 }
172
173 template<typename Func>
174 void forEachKind(const Func& func)
175 {
176     func(Primitive);
177     func(JSValue);
178     func(String);
179 }
180
181 template<typename T>
182 BINLINE T* caged(Kind kind, T* ptr)
183 {
184     BASSERT(ptr);
185     void* gigacageBasePtr = basePtr(kind);
186     if (!gigacageBasePtr)
187         return ptr;
188     return reinterpret_cast<T*>(
189         reinterpret_cast<uintptr_t>(gigacageBasePtr) + (
190             reinterpret_cast<uintptr_t>(ptr) & mask(kind)));
191 }
192
193 BINLINE bool isCaged(Kind kind, const void* ptr)
194 {
195     return caged(kind, ptr) == ptr;
196 }
197
198 BEXPORT bool shouldBeEnabled();
199
200 } // namespace Gigacage
201
202