5ea0dc6d99a22494d25299d09079fce0e296abd3
[WebKit-https.git] / Source / bmalloc / bmalloc / Gigacage.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "BAssert.h"
29 #include "BExport.h"
30 #include "BInline.h"
31 #include "BPlatform.h"
32 #include <cstddef>
33 #include <inttypes.h>
34
35 #if BCPU(ARM64)
36 // FIXME: This can probably be a lot bigger on iOS. I just haven't tried to make it bigger yet.
37 // https://bugs.webkit.org/show_bug.cgi?id=177605
38 #define PRIMITIVE_GIGACAGE_SIZE 0x40000000llu
39 #define JSVALUE_GIGACAGE_SIZE 0x40000000llu
40 #define STRING_GIGACAGE_SIZE 0x40000000llu
41 #define GIGACAGE_ALLOCATION_CAN_FAIL 1
42 #else
43 #define PRIMITIVE_GIGACAGE_SIZE 0x800000000llu
44 #define JSVALUE_GIGACAGE_SIZE 0x400000000llu
45 #define STRING_GIGACAGE_SIZE 0x400000000llu
46 #define GIGACAGE_ALLOCATION_CAN_FAIL 0
47 #endif
48
49 #define GIGACAGE_SIZE_TO_MASK(size) ((size) - 1)
50
51 #define PRIMITIVE_GIGACAGE_MASK GIGACAGE_SIZE_TO_MASK(PRIMITIVE_GIGACAGE_SIZE)
52 #define JSVALUE_GIGACAGE_MASK GIGACAGE_SIZE_TO_MASK(JSVALUE_GIGACAGE_SIZE)
53 #define STRING_GIGACAGE_MASK GIGACAGE_SIZE_TO_MASK(STRING_GIGACAGE_SIZE)
54
55 // FIXME: Make WasmBench run with gigacage on iOS and re-enable on ARM64:
56 // https://bugs.webkit.org/show_bug.cgi?id=178557
57 #if (BOS(DARWIN) || BOS(LINUX)) && (/* (BCPU(ARM64) && !defined(__ILP32__))  || */ BCPU(X86_64))
58 #define GIGACAGE_ENABLED 1
59 #else
60 #define GIGACAGE_ENABLED 0
61 #endif
62
63 #if BCPU(ARM64)
64 #define GIGACAGE_BASE_PTRS_SIZE 16384
65 #else
66 #define GIGACAGE_BASE_PTRS_SIZE 4096
67 #endif
68
69 extern "C" BEXPORT char g_gigacageBasePtrs[GIGACAGE_BASE_PTRS_SIZE] __attribute__((aligned(GIGACAGE_BASE_PTRS_SIZE)));
70
71 namespace Gigacage {
72
73 extern BEXPORT bool g_wasEnabled;
74 BINLINE bool wasEnabled() { return g_wasEnabled; }
75
76 struct BasePtrs {
77     void* primitive;
78     void* jsValue;
79     void* string;
80 };
81
82 enum Kind {
83     Primitive,
84     JSValue,
85     String
86 };
87
88 static constexpr unsigned numKinds = 3;
89
90 BEXPORT void ensureGigacage();
91
92 BEXPORT void disablePrimitiveGigacage();
93
94 // This will call the disable callback immediately if the Primitive Gigacage is currently disabled.
95 BEXPORT void addPrimitiveDisableCallback(void (*)(void*), void*);
96 BEXPORT void removePrimitiveDisableCallback(void (*)(void*), void*);
97
98 BEXPORT void disableDisablingPrimitiveGigacageIfShouldBeEnabled();
99
100 BEXPORT bool isDisablingPrimitiveGigacageDisabled();
101 inline bool isPrimitiveGigacagePermanentlyEnabled() { return isDisablingPrimitiveGigacageDisabled(); }
102 inline bool canPrimitiveGigacageBeDisabled() { return !isDisablingPrimitiveGigacageDisabled(); }
103
104 BINLINE const char* name(Kind kind)
105 {
106     switch (kind) {
107     case Primitive:
108         return "Primitive";
109     case JSValue:
110         return "JSValue";
111     case String:
112         return "String";
113     }
114     BCRASH();
115     return nullptr;
116 }
117
118 BINLINE void*& basePtr(BasePtrs& basePtrs, Kind kind)
119 {
120     switch (kind) {
121     case Primitive:
122         return basePtrs.primitive;
123     case JSValue:
124         return basePtrs.jsValue;
125     case String:
126         return basePtrs.string;
127     }
128     BCRASH();
129     return basePtrs.primitive;
130 }
131
132 BINLINE BasePtrs& basePtrs()
133 {
134     return *reinterpret_cast<BasePtrs*>(g_gigacageBasePtrs);
135 }
136
137 BINLINE void*& basePtr(Kind kind)
138 {
139     return basePtr(basePtrs(), kind);
140 }
141
142 BINLINE bool isEnabled(Kind kind)
143 {
144     return !!basePtr(kind);
145 }
146
147 BINLINE size_t size(Kind kind)
148 {
149     switch (kind) {
150     case Primitive:
151         return static_cast<size_t>(PRIMITIVE_GIGACAGE_SIZE);
152     case JSValue:
153         return static_cast<size_t>(JSVALUE_GIGACAGE_SIZE);
154     case String:
155         return static_cast<size_t>(STRING_GIGACAGE_SIZE);
156     }
157     BCRASH();
158     return 0;
159 }
160
161 BINLINE size_t alignment(Kind kind)
162 {
163     return size(kind);
164 }
165
166 BINLINE size_t mask(Kind kind)
167 {
168     return GIGACAGE_SIZE_TO_MASK(size(kind));
169 }
170
171 template<typename Func>
172 void forEachKind(const Func& func)
173 {
174     func(Primitive);
175     func(JSValue);
176     func(String);
177 }
178
179 template<typename T>
180 BINLINE T* caged(Kind kind, T* ptr)
181 {
182     BASSERT(ptr);
183     void* gigacageBasePtr = basePtr(kind);
184     if (!gigacageBasePtr)
185         return ptr;
186     return reinterpret_cast<T*>(
187         reinterpret_cast<uintptr_t>(gigacageBasePtr) + (
188             reinterpret_cast<uintptr_t>(ptr) & mask(kind)));
189 }
190
191 BINLINE bool isCaged(Kind kind, const void* ptr)
192 {
193     return caged(kind, ptr) == ptr;
194 }
195
196 BEXPORT bool shouldBeEnabled();
197
198 } // namespace Gigacage
199
200