7948f432af26ee5f4b540ebbf81545d9247645d2
[WebKit-https.git] / Source / bmalloc / bmalloc / Algorithm.h
1 /*
2  * Copyright (C) 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef Algorithm_h
27 #define Algorithm_h
28
29 #include "BAssert.h"
30 #include <algorithm>
31 #include <cstdint>
32 #include <cstddef>
33 #include <limits>
34 #include <string.h>
35 #include <type_traits>
36 #include <chrono>
37
38 namespace bmalloc {
39
40 // Versions of min and max that are compatible with compile-time constants.
41 template<typename T> inline constexpr T max(T a, T b)
42 {
43     return a > b ? a : b;
44 }
45     
46 template<typename T> inline constexpr T min(T a, T b)
47 {
48     return a < b ? a : b;
49 }
50
51 template<typename T> inline constexpr T mask(T value, uintptr_t mask)
52 {
53     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
54     return static_cast<T>(static_cast<uintptr_t>(value) & mask);
55 }
56
57 template<typename T> inline T* mask(T* value, uintptr_t mask)
58 {
59     return reinterpret_cast<T*>(reinterpret_cast<uintptr_t>(value) & mask);
60 }
61
62 template<typename T> inline constexpr bool test(T value, uintptr_t mask)
63 {
64     return !!(reinterpret_cast<uintptr_t>(value) & mask);
65 }
66
67 template <typename T>
68 inline constexpr bool isPowerOfTwo(T size)
69 {
70     static_assert(std::is_integral<T>::value, "");
71     return size && !(size & (size - 1));
72 }
73
74 template<typename T> inline T roundUpToMultipleOf(size_t divisor, T x)
75 {
76     BASSERT(isPowerOfTwo(divisor));
77     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
78     return static_cast<T>((static_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
79 }
80
81 template<size_t divisor, typename T> inline T roundUpToMultipleOf(T x)
82 {
83     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
84     return roundUpToMultipleOf(divisor, x);
85 }
86
87 template<typename T> inline T* roundUpToMultipleOf(size_t divisor, T* x)
88 {
89     BASSERT(isPowerOfTwo(divisor));
90     return reinterpret_cast<T*>((reinterpret_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
91 }
92
93 template<size_t divisor, typename T> inline T* roundUpToMultipleOf(T* x)
94 {
95     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
96     return roundUpToMultipleOf(divisor, x);
97 }
98
99 template<typename T> inline T roundDownToMultipleOf(size_t divisor, T x)
100 {
101     BASSERT(isPowerOfTwo(divisor));
102     return reinterpret_cast<T>(mask(reinterpret_cast<uintptr_t>(x), ~(divisor - 1ul)));
103 }
104
105 template<size_t divisor, typename T> inline constexpr T roundDownToMultipleOf(T x)
106 {
107     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
108     return roundDownToMultipleOf(divisor, x);
109 }
110
111 template<typename T> inline void divideRoundingUp(T numerator, T denominator, T& quotient, T& remainder)
112 {
113     // We expect the compiler to emit a single divide instruction to extract both the quotient and the remainder.
114     quotient = numerator / denominator;
115     remainder = numerator % denominator;
116     if (remainder)
117         quotient += 1;
118 }
119
120 template<typename T> inline T divideRoundingUp(T numerator, T denominator)
121 {
122     return (numerator + denominator - 1) / denominator;
123 }
124
125 template<typename T> inline T roundUpToMultipleOfNonPowerOfTwo(size_t divisor, T x)
126 {
127     return divideRoundingUp(x, divisor) * divisor;
128 }
129
130 // Version of sizeof that returns 0 for empty classes.
131
132 template<typename T> inline constexpr size_t sizeOf()
133 {
134     return std::is_empty<T>::value ? 0 : sizeof(T);
135 }
136
137 template<typename T> inline constexpr size_t bitCount()
138 {
139     return sizeof(T) * 8;
140 }
141
142 #if BOS(WINDOWS)
143 template<int depth> __forceinline constexpr unsigned long clzl(unsigned long value)
144 {
145     return value & (1UL << (bitCount<unsigned long>() - 1)) ? 0 : 1 + clzl<depth - 1>(value << 1);
146 }
147
148 template<> __forceinline constexpr unsigned long clzl<1>(unsigned long value)
149 {
150     return 0;
151 }
152
153 __forceinline constexpr unsigned long __builtin_clzl(unsigned long value)
154 {
155     return value == 0 ? 32 : clzl<bitCount<unsigned long>()>(value);
156 }
157 #endif
158
159 inline constexpr unsigned long log2(unsigned long value)
160 {
161     return bitCount<unsigned long>() - 1 - __builtin_clzl(value);
162 }
163
164 #define BOFFSETOF(class, field) (reinterpret_cast<ptrdiff_t>(&(reinterpret_cast<class*>(0x4000)->field)) - 0x4000)
165
166 template<typename T>
167 bool findBitInWord(T word, size_t& index, size_t endIndex, bool value)
168 {
169     static_assert(std::is_unsigned<T>::value, "Type used in findBitInWord must be unsigned");
170     
171     word >>= index;
172     
173     while (index < endIndex) {
174         if ((word & 1) == static_cast<T>(value))
175             return true;
176         index++;
177         word >>= 1;
178     }
179     
180     index = endIndex;
181     return false;
182 }
183
184 template<typename T>
185 void fastCopy(T* dst, T* src, size_t length)
186 {
187 #if BCPU(X86_64)
188     uint64_t tmp = 0;
189     size_t count = length * sizeof(T);
190     if (!(sizeof(T) % sizeof(uint64_t))) {
191         asm volatile (
192             "cmpq $200, %%rcx\n\t"
193             "jb 1f\n\t"
194             "shrq $3, %%rcx\n\t"
195             "rep movsq\n\t"
196             "jmp 2f\n\t"
197             "3:\n\t"
198             "movq (%%rsi, %%rcx), %%rax\n\t"
199             "movq %%rax, (%%rdi, %%rcx)\n\t"
200             "1:\n\t"
201             "subq $8, %%rcx\n\t"
202             "jae 3b\n\t"
203             "2:\n\t"
204             : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
205             :
206             : "memory"
207             );
208         return;
209     }
210     if (!(sizeof(T) % sizeof(uint32_t))) {
211         asm volatile (
212             "cmpq $200, %%rcx\n\t"
213             "jb 1f\n\t"
214             "shrq $2, %%rcx\n\t"
215             "rep movsl\n\t"
216             "jmp 2f\n\t"
217             "3:\n\t"
218             "movq (%%rsi, %%rcx), %%rax\n\t"
219             "movq %%rax, (%%rdi, %%rcx)\n\t"
220             "1:\n\t"
221             "subq $8, %%rcx\n\t"
222             "jae 3b\n\t"
223             "cmpq $-8, %%rcx\n\t"
224             "je 2f\n\t"
225             "addq $4, %%rcx\n\t" // FIXME: This isn't really a loop. https://bugs.webkit.org/show_bug.cgi?id=182617
226             "4:\n\t"
227             "movl (%%rsi, %%rcx), %%eax\n\t"
228             "movl %%eax, (%%rdi, %%rcx)\n\t"
229             "subq $4, %%rcx\n\t"
230             "jae 4b\n\t"
231             "2:\n\t"
232             : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
233             :
234             : "memory"
235             );
236         return;
237     }
238     if (!(sizeof(T) % sizeof(uint16_t))) {
239         asm volatile (
240             "cmpq $200, %%rcx\n\t"
241             "jb 1f\n\t"
242             "shrq $1, %%rcx\n\t"
243             "rep movsw\n\t"
244             "jmp 2f\n\t"
245             "3:\n\t"
246             "movq (%%rsi, %%rcx), %%rax\n\t"
247             "movq %%rax, (%%rdi, %%rcx)\n\t"
248             "1:\n\t"
249             "subq $8, %%rcx\n\t"
250             "jae 3b\n\t"
251             "cmpq $-8, %%rcx\n\t"
252             "je 2f\n\t"
253             "addq $6, %%rcx\n\t"
254             "4:\n\t"
255             "movw (%%rsi, %%rcx), %%ax\n\t"
256             "movw %%ax, (%%rdi, %%rcx)\n\t"
257             "subq $2, %%rcx\n\t"
258             "jae 4b\n\t"
259             "2:\n\t"
260             : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
261             :
262             : "memory"
263             );
264         return;
265     }
266     asm volatile (
267         "cmpq $200, %%rcx\n\t"
268         "jb 1f\n\t"
269         "rep movsb\n\t"
270         "jmp 2f\n\t"
271         "3:\n\t"
272         "movq (%%rsi, %%rcx), %%rax\n\t"
273         "movq %%rax, (%%rdi, %%rcx)\n\t"
274         "1:\n\t"
275         "subq $8, %%rcx\n\t"
276         "jae 3b\n\t"
277         "cmpq $-8, %%rcx\n\t"
278         "je 2f\n\t"
279         "addq $7, %%rcx\n\t"
280         "4:\n\t"
281         "movb (%%rsi, %%rcx), %%al\n\t"
282         "movb %%al, (%%rdi, %%rcx)\n\t"
283         "subq $1, %%rcx\n\t"
284         "jae 4b\n\t"
285         "2:\n\t"
286         : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
287         :
288         : "memory"
289         );
290 #else
291     memcpy(dst, src, length * sizeof(T));
292 #endif
293 }
294
295 template<typename T>
296 void fastZeroFill(T* dst, size_t length)
297 {
298 #if BCPU(X86_64)
299     uint64_t zero = 0;
300     size_t count = length * sizeof(T);
301     if (!(sizeof(T) % sizeof(uint64_t))) {
302         asm volatile (
303             "cmpq $200, %%rcx\n\t"
304             "jb 1f\n\t"
305             "shrq $3, %%rcx\n\t"
306             "rep stosq\n\t"
307             "jmp 2f\n\t"
308             "3:\n\t"
309             "movq %%rax, (%%rdi, %%rcx)\n\t"
310             "1:\n\t"
311             "subq $8, %%rcx\n\t"
312             "jae 3b\n\t"
313             "2:\n\t"
314             : "+D"(dst), "+c"(count)
315             : "a"(zero)
316             : "memory"
317             );
318         return;
319     }
320     if (!(sizeof(T) % sizeof(uint32_t))) {
321         asm volatile (
322             "cmpq $200, %%rcx\n\t"
323             "jb 1f\n\t"
324             "shrq $2, %%rcx\n\t"
325             "rep stosl\n\t"
326             "jmp 2f\n\t"
327             "3:\n\t"
328             "movq %%rax, (%%rdi, %%rcx)\n\t"
329             "1:\n\t"
330             "subq $8, %%rcx\n\t"
331             "jae 3b\n\t"
332             "cmpq $-8, %%rcx\n\t"
333             "je 2f\n\t"
334             "addq $4, %%rcx\n\t" // FIXME: This isn't really a loop. https://bugs.webkit.org/show_bug.cgi?id=182617
335             "4:\n\t"
336             "movl %%eax, (%%rdi, %%rcx)\n\t"
337             "subq $4, %%rcx\n\t"
338             "jae 4b\n\t"
339             "2:\n\t"
340             : "+D"(dst), "+c"(count)
341             : "a"(zero)
342             : "memory"
343             );
344         return;
345     }
346     if (!(sizeof(T) % sizeof(uint16_t))) {
347         asm volatile (
348             "cmpq $200, %%rcx\n\t"
349             "jb 1f\n\t"
350             "shrq $1, %%rcx\n\t"
351             "rep stosw\n\t"
352             "jmp 2f\n\t"
353             "3:\n\t"
354             "movq %%rax, (%%rdi, %%rcx)\n\t"
355             "1:\n\t"
356             "subq $8, %%rcx\n\t"
357             "jae 3b\n\t"
358             "cmpq $-8, %%rcx\n\t"
359             "je 2f\n\t"
360             "addq $6, %%rcx\n\t"
361             "4:\n\t"
362             "movw %%ax, (%%rdi, %%rcx)\n\t"
363             "subq $2, %%rcx\n\t"
364             "jae 4b\n\t"
365             "2:\n\t"
366             : "+D"(dst), "+c"(count)
367             : "a"(zero)
368             : "memory"
369             );
370         return;
371     }
372     asm volatile (
373         "cmpq $200, %%rcx\n\t"
374         "jb 1f\n\t"
375         "rep stosb\n\t"
376         "jmp 2f\n\t"
377         "3:\n\t"
378         "movq %%rax, (%%rdi, %%rcx)\n\t"
379         "1:\n\t"
380         "subq $8, %%rcx\n\t"
381         "jae 3b\n\t"
382         "cmpq $-8, %%rcx\n\t"
383         "je 2f\n\t"
384         "addq $7, %%rcx\n\t"
385         "4:\n\t"
386         "movb %%al, (%%rdi, %%rcx)\n\t"
387         "sub $1, %%rcx\n\t"
388         "jae 4b\n\t"
389         "2:\n\t"
390         : "+D"(dst), "+c"(count)
391         : "a"(zero)
392         : "memory"
393         );
394 #else
395     memset(dst, 0, length * sizeof(T));
396 #endif
397 }
398
399 } // namespace bmalloc
400
401 #endif // Algorithm_h