Fix build for !BCPU(X86_64) after r228306
[WebKit-https.git] / Source / bmalloc / bmalloc / Algorithm.h
1 /*
2  * Copyright (C) 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef Algorithm_h
27 #define Algorithm_h
28
29 #include "BAssert.h"
30 #include <algorithm>
31 #include <cstdint>
32 #include <cstddef>
33 #include <limits>
34 #include <type_traits>
35 #include <chrono>
36
37 #if !BCPU(X86_64)
38 #include <string.h>
39 #endif
40
41 namespace bmalloc {
42
43 // Versions of min and max that are compatible with compile-time constants.
44 template<typename T> inline constexpr T max(T a, T b)
45 {
46     return a > b ? a : b;
47 }
48     
49 template<typename T> inline constexpr T min(T a, T b)
50 {
51     return a < b ? a : b;
52 }
53
54 template<typename T> inline constexpr T mask(T value, uintptr_t mask)
55 {
56     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
57     return static_cast<T>(static_cast<uintptr_t>(value) & mask);
58 }
59
60 template<typename T> inline T* mask(T* value, uintptr_t mask)
61 {
62     return reinterpret_cast<T*>(reinterpret_cast<uintptr_t>(value) & mask);
63 }
64
65 template<typename T> inline constexpr bool test(T value, uintptr_t mask)
66 {
67     return !!(reinterpret_cast<uintptr_t>(value) & mask);
68 }
69
70 template <typename T>
71 inline constexpr bool isPowerOfTwo(T size)
72 {
73     static_assert(std::is_integral<T>::value, "");
74     return size && !(size & (size - 1));
75 }
76
77 template<typename T> inline T roundUpToMultipleOf(size_t divisor, T x)
78 {
79     BASSERT(isPowerOfTwo(divisor));
80     static_assert(sizeof(T) == sizeof(uintptr_t), "sizeof(T) must be equal to sizeof(uintptr_t).");
81     return static_cast<T>((static_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
82 }
83
84 template<size_t divisor, typename T> inline T roundUpToMultipleOf(T x)
85 {
86     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
87     return roundUpToMultipleOf(divisor, x);
88 }
89
90 template<typename T> inline T* roundUpToMultipleOf(size_t divisor, T* x)
91 {
92     BASSERT(isPowerOfTwo(divisor));
93     return reinterpret_cast<T*>((reinterpret_cast<uintptr_t>(x) + (divisor - 1)) & ~(divisor - 1));
94 }
95
96 template<size_t divisor, typename T> inline T* roundUpToMultipleOf(T* x)
97 {
98     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
99     return roundUpToMultipleOf(divisor, x);
100 }
101
102 template<typename T> inline T roundDownToMultipleOf(size_t divisor, T x)
103 {
104     BASSERT(isPowerOfTwo(divisor));
105     return reinterpret_cast<T>(mask(reinterpret_cast<uintptr_t>(x), ~(divisor - 1ul)));
106 }
107
108 template<size_t divisor, typename T> inline constexpr T roundDownToMultipleOf(T x)
109 {
110     static_assert(isPowerOfTwo(divisor), "'divisor' must be a power of two.");
111     return roundDownToMultipleOf(divisor, x);
112 }
113
114 template<typename T> inline void divideRoundingUp(T numerator, T denominator, T& quotient, T& remainder)
115 {
116     // We expect the compiler to emit a single divide instruction to extract both the quotient and the remainder.
117     quotient = numerator / denominator;
118     remainder = numerator % denominator;
119     if (remainder)
120         quotient += 1;
121 }
122
123 template<typename T> inline T divideRoundingUp(T numerator, T denominator)
124 {
125     return (numerator + denominator - 1) / denominator;
126 }
127
128 template<typename T> inline T roundUpToMultipleOfNonPowerOfTwo(size_t divisor, T x)
129 {
130     return divideRoundingUp(x, divisor) * divisor;
131 }
132
133 // Version of sizeof that returns 0 for empty classes.
134
135 template<typename T> inline constexpr size_t sizeOf()
136 {
137     return std::is_empty<T>::value ? 0 : sizeof(T);
138 }
139
140 template<typename T> inline constexpr size_t bitCount()
141 {
142     return sizeof(T) * 8;
143 }
144
145 #if BOS(WINDOWS)
146 template<int depth> __forceinline constexpr unsigned long clzl(unsigned long value)
147 {
148     return value & (1UL << (bitCount<unsigned long>() - 1)) ? 0 : 1 + clzl<depth - 1>(value << 1);
149 }
150
151 template<> __forceinline constexpr unsigned long clzl<1>(unsigned long value)
152 {
153     return 0;
154 }
155
156 __forceinline constexpr unsigned long __builtin_clzl(unsigned long value)
157 {
158     return value == 0 ? 32 : clzl<bitCount<unsigned long>()>(value);
159 }
160 #endif
161
162 inline constexpr unsigned long log2(unsigned long value)
163 {
164     return bitCount<unsigned long>() - 1 - __builtin_clzl(value);
165 }
166
167 #define BOFFSETOF(class, field) (reinterpret_cast<ptrdiff_t>(&(reinterpret_cast<class*>(0x4000)->field)) - 0x4000)
168
169 template<typename T>
170 bool findBitInWord(T word, size_t& index, size_t endIndex, bool value)
171 {
172     static_assert(std::is_unsigned<T>::value, "Type used in findBitInWord must be unsigned");
173     
174     word >>= index;
175     
176     while (index < endIndex) {
177         if ((word & 1) == static_cast<T>(value))
178             return true;
179         index++;
180         word >>= 1;
181     }
182     
183     index = endIndex;
184     return false;
185 }
186
187 template<typename T>
188 void fastCopy(T* dst, T* src, size_t length)
189 {
190 #if BCPU(X86_64)
191     uint64_t tmp = 0;
192     size_t count = length * sizeof(T);
193     if (!(sizeof(T) % sizeof(uint64_t))) {
194         asm volatile (
195             "cmpq $200, %%rcx\n\t"
196             "jb 1f\n\t"
197             "shrq $3, %%rcx\n\t"
198             "rep movsq\n\t"
199             "jmp 2f\n\t"
200             "3:\n\t"
201             "movq (%%rsi, %%rcx), %%rax\n\t"
202             "movq %%rax, (%%rdi, %%rcx)\n\t"
203             "1:\n\t"
204             "subq $8, %%rcx\n\t"
205             "jae 3b\n\t"
206             "2:\n\t"
207             : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
208             :
209             : "memory"
210             );
211         return;
212     }
213     if (!(sizeof(T) % sizeof(uint32_t))) {
214         asm volatile (
215             "cmpq $200, %%rcx\n\t"
216             "jb 1f\n\t"
217             "shrq $2, %%rcx\n\t"
218             "rep movsl\n\t"
219             "jmp 2f\n\t"
220             "3:\n\t"
221             "movq (%%rsi, %%rcx), %%rax\n\t"
222             "movq %%rax, (%%rdi, %%rcx)\n\t"
223             "1:\n\t"
224             "subq $8, %%rcx\n\t"
225             "jae 3b\n\t"
226             "cmpq $-8, %%rcx\n\t"
227             "je 2f\n\t"
228             "addq $4, %%rcx\n\t" // FIXME: This isn't really a loop. https://bugs.webkit.org/show_bug.cgi?id=182617
229             "4:\n\t"
230             "movl (%%rsi, %%rcx), %%eax\n\t"
231             "movl %%eax, (%%rdi, %%rcx)\n\t"
232             "subq $4, %%rcx\n\t"
233             "jae 4b\n\t"
234             "2:\n\t"
235             : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
236             :
237             : "memory"
238             );
239         return;
240     }
241     if (!(sizeof(T) % sizeof(uint16_t))) {
242         asm volatile (
243             "cmpq $200, %%rcx\n\t"
244             "jb 1f\n\t"
245             "shrq $1, %%rcx\n\t"
246             "rep movsw\n\t"
247             "jmp 2f\n\t"
248             "3:\n\t"
249             "movq (%%rsi, %%rcx), %%rax\n\t"
250             "movq %%rax, (%%rdi, %%rcx)\n\t"
251             "1:\n\t"
252             "subq $8, %%rcx\n\t"
253             "jae 3b\n\t"
254             "cmpq $-8, %%rcx\n\t"
255             "je 2f\n\t"
256             "addq $6, %%rcx\n\t"
257             "4:\n\t"
258             "movw (%%rsi, %%rcx), %%ax\n\t"
259             "movw %%ax, (%%rdi, %%rcx)\n\t"
260             "subq $2, %%rcx\n\t"
261             "jae 4b\n\t"
262             "2:\n\t"
263             : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
264             :
265             : "memory"
266             );
267         return;
268     }
269     asm volatile (
270         "cmpq $200, %%rcx\n\t"
271         "jb 1f\n\t"
272         "rep movsb\n\t"
273         "jmp 2f\n\t"
274         "3:\n\t"
275         "movq (%%rsi, %%rcx), %%rax\n\t"
276         "movq %%rax, (%%rdi, %%rcx)\n\t"
277         "1:\n\t"
278         "subq $8, %%rcx\n\t"
279         "jae 3b\n\t"
280         "cmpq $-8, %%rcx\n\t"
281         "je 2f\n\t"
282         "addq $7, %%rcx\n\t"
283         "4:\n\t"
284         "movb (%%rsi, %%rcx), %%al\n\t"
285         "movb %%al, (%%rdi, %%rcx)\n\t"
286         "subq $1, %%rcx\n\t"
287         "jae 4b\n\t"
288         "2:\n\t"
289         : "+D"(dst), "+S"(src), "+c"(count), "+a"(tmp)
290         :
291         : "memory"
292         );
293 #else
294     memcpy(dst, src, length * sizeof(T));
295 #endif
296 }
297
298 template<typename T>
299 void fastZeroFill(T* dst, size_t length)
300 {
301 #if BCPU(X86_64)
302     uint64_t zero = 0;
303     size_t count = length * sizeof(T);
304     if (!(sizeof(T) % sizeof(uint64_t))) {
305         asm volatile (
306             "cmpq $200, %%rcx\n\t"
307             "jb 1f\n\t"
308             "shrq $3, %%rcx\n\t"
309             "rep stosq\n\t"
310             "jmp 2f\n\t"
311             "3:\n\t"
312             "movq %%rax, (%%rdi, %%rcx)\n\t"
313             "1:\n\t"
314             "subq $8, %%rcx\n\t"
315             "jae 3b\n\t"
316             "2:\n\t"
317             : "+D"(dst), "+c"(count)
318             : "a"(zero)
319             : "memory"
320             );
321         return;
322     }
323     if (!(sizeof(T) % sizeof(uint32_t))) {
324         asm volatile (
325             "cmpq $200, %%rcx\n\t"
326             "jb 1f\n\t"
327             "shrq $2, %%rcx\n\t"
328             "rep stosl\n\t"
329             "jmp 2f\n\t"
330             "3:\n\t"
331             "movq %%rax, (%%rdi, %%rcx)\n\t"
332             "1:\n\t"
333             "subq $8, %%rcx\n\t"
334             "jae 3b\n\t"
335             "cmpq $-8, %%rcx\n\t"
336             "je 2f\n\t"
337             "addq $4, %%rcx\n\t" // FIXME: This isn't really a loop. https://bugs.webkit.org/show_bug.cgi?id=182617
338             "4:\n\t"
339             "movl %%eax, (%%rdi, %%rcx)\n\t"
340             "subq $4, %%rcx\n\t"
341             "jae 4b\n\t"
342             "2:\n\t"
343             : "+D"(dst), "+c"(count)
344             : "a"(zero)
345             : "memory"
346             );
347         return;
348     }
349     if (!(sizeof(T) % sizeof(uint16_t))) {
350         asm volatile (
351             "cmpq $200, %%rcx\n\t"
352             "jb 1f\n\t"
353             "shrq $1, %%rcx\n\t"
354             "rep stosw\n\t"
355             "jmp 2f\n\t"
356             "3:\n\t"
357             "movq %%rax, (%%rdi, %%rcx)\n\t"
358             "1:\n\t"
359             "subq $8, %%rcx\n\t"
360             "jae 3b\n\t"
361             "cmpq $-8, %%rcx\n\t"
362             "je 2f\n\t"
363             "addq $6, %%rcx\n\t"
364             "4:\n\t"
365             "movw %%ax, (%%rdi, %%rcx)\n\t"
366             "subq $2, %%rcx\n\t"
367             "jae 4b\n\t"
368             "2:\n\t"
369             : "+D"(dst), "+c"(count)
370             : "a"(zero)
371             : "memory"
372             );
373         return;
374     }
375     asm volatile (
376         "cmpq $200, %%rcx\n\t"
377         "jb 1f\n\t"
378         "rep stosb\n\t"
379         "jmp 2f\n\t"
380         "3:\n\t"
381         "movq %%rax, (%%rdi, %%rcx)\n\t"
382         "1:\n\t"
383         "subq $8, %%rcx\n\t"
384         "jae 3b\n\t"
385         "cmpq $-8, %%rcx\n\t"
386         "je 2f\n\t"
387         "addq $7, %%rcx\n\t"
388         "4:\n\t"
389         "movb %%al, (%%rdi, %%rcx)\n\t"
390         "sub $1, %%rcx\n\t"
391         "jae 4b\n\t"
392         "2:\n\t"
393         : "+D"(dst), "+c"(count)
394         : "a"(zero)
395         : "memory"
396         );
397 #else
398     memset(dst, 0, length * sizeof(T));
399 #endif
400 }
401
402 } // namespace bmalloc
403
404 #endif // Algorithm_h