bmalloc mutex should be adaptive
[WebKit-https.git] / Source / bmalloc / bmalloc / Algorithm.h
1 /*
2  * Copyright (C) 2014-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef Algorithm_h
27 #define Algorithm_h
28
29 #include "BAssert.h"
30 #include <algorithm>
31 #include <atomic>
32 #include <cstdint>
33 #include <cstddef>
34 #include <limits>
35 #include <string.h>
36 #include <type_traits>
37 #include <chrono>
38
39 namespace bmalloc {
40
41 // Versions of min and max that are compatible with compile-time constants.
42 template<typename T> inline constexpr T max(T a, T b)
43 {
44     return a > b ? a : b;
45 }
46     
47 template<typename T> inline constexpr T min(T a, T b)
48 {
49     return a < b ? a : b;
50 }
51
52 template<typename T> inline constexpr T mask(T value, uintptr_t mask)
53 {
54     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
55     return static_cast<T>(static_cast<uintptr_t>(value) & mask);
56 }
57
58 template<typename T> inline T* mask(T* value, uintptr_t mask)
59 {
60     return reinterpret_cast<T*>(reinterpret_cast<uintptr_t>(value) & mask);
61 }
62
63 template<typename T> inline constexpr bool test(T value, uintptr_t mask)
64 {
65     return !!(reinterpret_cast<uintptr_t>(value) & mask);
66 }
67
68 template <typename T>
69 inline constexpr bool isPowerOfTwo(T size)
70 {
71     static_assert(std::is_integral<T>::value, "");
72     return size && !(size & (size - 1));
73 }
74
75 template<typename T> inline T roundUpToMultipleOf(size_t divisor, T x)
76 {
77     BASSERT(isPowerOfTwo(divisor));
78     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
79     return static_cast<T>((static_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
80 }
81
82 template<size_t divisor, typename T> inline T roundUpToMultipleOf(T x)
83 {
84     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
85     return roundUpToMultipleOf(divisor, x);
86 }
87
88 template<typename T> inline T* roundUpToMultipleOf(size_t divisor, T* x)
89 {
90     BASSERT(isPowerOfTwo(divisor));
91     return reinterpret_cast<T*>((reinterpret_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
92 }
93
94 template<size_t divisor, typename T> inline T* roundUpToMultipleOf(T* x)
95 {
96     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
97     return roundUpToMultipleOf(divisor, x);
98 }
99
100 template<typename T> inline T roundDownToMultipleOf(size_t divisor, T x)
101 {
102     BASSERT(isPowerOfTwo(divisor));
103     return reinterpret_cast<T>(mask(reinterpret_cast<uintptr_t>(x), ~(divisor - 1ul)));
104 }
105
106 template<size_t divisor, typename T> inline constexpr T roundDownToMultipleOf(T x)
107 {
108     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
109     return roundDownToMultipleOf(divisor, x);
110 }
111
112 template<typename T> inline void divideRoundingUp(T numerator, T denominator, T& quotient, T& remainder)
113 {
114     // We expect the compiler to emit a single divide instruction to extract both the quotient and the remainder.
115     quotient = numerator / denominator;
116     remainder = numerator % denominator;
117     if (remainder)
118         quotient += 1;
119 }
120
121 template<typename T> inline T divideRoundingUp(T numerator, T denominator)
122 {
123     return (numerator + denominator - 1) / denominator;
124 }
125
126 template<typename T> inline T roundUpToMultipleOfNonPowerOfTwo(size_t divisor, T x)
127 {
128     return divideRoundingUp(x, divisor) * divisor;
129 }
130
131 // Version of sizeof that returns 0 for empty classes.
132
133 template<typename T> inline constexpr size_t sizeOf()
134 {
135     return std::is_empty<T>::value ? 0 : sizeof(T);
136 }
137
138 template<typename T> inline constexpr size_t bitCount()
139 {
140     return sizeof(T) * 8;
141 }
142
143 #if BOS(WINDOWS)
144 template<int depth> __forceinline constexpr unsigned long clzl(unsigned long value)
145 {
146     return value & (1UL << (bitCount<unsigned long>() - 1)) ? 0 : 1 + clzl<depth - 1>(value << 1);
147 }
148
149 template<> __forceinline constexpr unsigned long clzl<1>(unsigned long value)
150 {
151     return 0;
152 }
153
154 __forceinline constexpr unsigned long __builtin_clzl(unsigned long value)
155 {
156     return value == 0 ? 32 : clzl<bitCount<unsigned long>()>(value);
157 }
158 #endif
159
160 inline constexpr unsigned long log2(unsigned long value)
161 {
162     return bitCount<unsigned long>() - 1 - __builtin_clzl(value);
163 }
164
165 // We need a CAS API that isn't the badly designed one from C++.
166 template<typename T>
167 bool compareExchangeWeak(std::atomic<T>& word, T expected, T desired, std::memory_order order = std::memory_order_seq_cst)
168 {
169     // They could have made a sensible CAS API, but they didn't. Sneaky fact: for no good reason, the
170     // C++ API will mutate expected. I think that apologists will say something about how it saves you
171     // reloading the value around the back of your CAS loop, but that's nonsense. The delay along the
172     // back edge of a CAS loop has almost no impact on CAS loop performance. More often than not, we
173     // want to *add* delays to the back edge, not remove them.
174     return word.compare_exchange_weak(expected, desired, order, std::memory_order_relaxed);
175 }
176
177 template<typename T>
178 bool compareExchangeStrong(std::atomic<T>& word, T expected, T desired, std::memory_order order = std::memory_order_seq_cst)
179 {
180     return word.compare_exchange_strong(expected, desired, order, std::memory_order_relaxed);
181 }
182
183 #define BOFFSETOF(class, field) (reinterpret_cast<ptrdiff_t>(&(reinterpret_cast<class*>(0x4000)->field)) - 0x4000)
184
185 template<typename T>
186 bool findBitInWord(T word, size_t& index, size_t endIndex, bool value)
187 {
188     static_assert(std::is_unsigned<T>::value, "Type used in findBitInWord must be unsigned");
189     
190     word >>= index;
191     
192     while (index < endIndex) {
193         if ((word & 1) == static_cast<T>(value))
194             return true;
195         index++;
196         word >>= 1;
197     }
198     
199     index = endIndex;
200     return false;
201 }
202
203 } // namespace bmalloc
204
205 #endif // Algorithm_h