bmalloc mutex should be adaptive
[WebKit-https.git] / Source / bmalloc / bmalloc / Algorithm.h
1 /*
2  * Copyright (C) 2014-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef Algorithm_h
27 #define Algorithm_h
28
29 #include "BAssert.h"
30 #include <algorithm>
31 #include <atomic>
32 #include <cstdint>
33 #include <cstddef>
34 #include <limits>
35 #include <type_traits>
36 #include <chrono>
37
38 namespace bmalloc {
39
40 // Versions of min and max that are compatible with compile-time constants.
41 template<typename T> inline constexpr T max(T a, T b)
42 {
43     return a > b ? a : b;
44 }
45     
46 template<typename T> inline constexpr T min(T a, T b)
47 {
48     return a < b ? a : b;
49 }
50
51 template<typename T> inline constexpr T mask(T value, uintptr_t mask)
52 {
53     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
54     return static_cast<T>(static_cast<uintptr_t>(value) & mask);
55 }
56
57 template<typename T> inline T* mask(T* value, uintptr_t mask)
58 {
59     return reinterpret_cast<T*>(reinterpret_cast<uintptr_t>(value) & mask);
60 }
61
62 template<typename T> inline constexpr bool test(T value, uintptr_t mask)
63 {
64     return !!(reinterpret_cast<uintptr_t>(value) & mask);
65 }
66
67 inline constexpr bool isPowerOfTwo(size_t size)
68 {
69     return size && !(size & (size - 1));
70 }
71
72 template<typename T> inline T roundUpToMultipleOf(size_t divisor, T x)
73 {
74     BASSERT(isPowerOfTwo(divisor));
75     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
76     return static_cast<T>((static_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
77 }
78
79 template<size_t divisor, typename T> inline T roundUpToMultipleOf(T x)
80 {
81     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
82     return roundUpToMultipleOf(divisor, x);
83 }
84
85 template<typename T> inline T* roundUpToMultipleOf(size_t divisor, T* x)
86 {
87     BASSERT(isPowerOfTwo(divisor));
88     return reinterpret_cast<T*>((reinterpret_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
89 }
90
91 template<size_t divisor, typename T> inline T* roundUpToMultipleOf(T* x)
92 {
93     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
94     return roundUpToMultipleOf(divisor, x);
95 }
96
97 template<typename T> inline T roundDownToMultipleOf(size_t divisor, T x)
98 {
99     BASSERT(isPowerOfTwo(divisor));
100     return reinterpret_cast<T>(mask(reinterpret_cast<uintptr_t>(x), ~(divisor - 1ul)));
101 }
102
103 template<size_t divisor, typename T> inline constexpr T roundDownToMultipleOf(T x)
104 {
105     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
106     return roundDownToMultipleOf(divisor, x);
107 }
108
109 template<typename T> inline void divideRoundingUp(T numerator, T denominator, T& quotient, T& remainder)
110 {
111     // We expect the compiler to emit a single divide instruction to extract both the quotient and the remainder.
112     quotient = numerator / denominator;
113     remainder = numerator % denominator;
114     if (remainder)
115         quotient += 1;
116 }
117
118 template<typename T> inline T divideRoundingUp(T numerator, T denominator)
119 {
120     return (numerator + denominator - 1) / denominator;
121 }
122
123 template<typename T> inline T roundUpToMultipleOfNonPowerOfTwo(size_t divisor, T x)
124 {
125     return divideRoundingUp(x, divisor) * divisor;
126 }
127
128 // Version of sizeof that returns 0 for empty classes.
129
130 template<typename T> inline constexpr size_t sizeOf()
131 {
132     return std::is_empty<T>::value ? 0 : sizeof(T);
133 }
134
135 template<typename T> inline constexpr size_t bitCount()
136 {
137     return sizeof(T) * 8;
138 }
139
140 #if BOS(WINDOWS)
141 template<int depth> __forceinline constexpr unsigned long clzl(unsigned long value)
142 {
143     return value & (1UL << (bitCount<unsigned long>() - 1)) ? 0 : 1 + clzl<depth - 1>(value << 1);
144 }
145
146 template<> __forceinline constexpr unsigned long clzl<1>(unsigned long value)
147 {
148     return 0;
149 }
150
151 __forceinline constexpr unsigned long __builtin_clzl(unsigned long value)
152 {
153     return value == 0 ? 32 : clzl<bitCount<unsigned long>()>(value);
154 }
155 #endif
156
157 inline constexpr unsigned long log2(unsigned long value)
158 {
159     return bitCount<unsigned long>() - 1 - __builtin_clzl(value);
160 }
161
162 // We need a CAS API that isn't the badly designed one from C++.
163 template<typename T>
164 bool compareExchangeWeak(std::atomic<T>& word, T expected, T desired, std::memory_order order = std::memory_order_seq_cst)
165 {
166     // They could have made a sensible CAS API, but they didn't. Sneaky fact: for no good reason, the
167     // C++ API will mutate expected. I think that apologists will say something about how it saves you
168     // reloading the value around the back of your CAS loop, but that's nonsense. The delay along the
169     // back edge of a CAS loop has almost no impact on CAS loop performance. More often than not, we
170     // want to *add* delays to the back edge, not remove them.
171     return word.compare_exchange_weak(expected, desired, order, std::memory_order_relaxed);
172 }
173
174 template<typename T>
175 bool compareExchangeStrong(std::atomic<T>& word, T expected, T desired, std::memory_order order = std::memory_order_seq_cst)
176 {
177     return word.compare_exchange_strong(expected, desired, order, std::memory_order_relaxed);
178 }
179
180 } // namespace bmalloc
181
182 #endif // Algorithm_h