Unreviewed, rolling out r197955.
[WebKit-https.git] / Source / bmalloc / bmalloc / VMAllocate.h
1 /*
2  * Copyright (C) 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef VMAllocate_h
27 #define VMAllocate_h
28
29 #include "BAssert.h"
30 #include "Range.h"
31 #include "Sizes.h"
32 #include "Syscall.h"
33 #include <algorithm>
34 #include <sys/mman.h>
35 #include <unistd.h>
36
37 #if BOS(DARWIN)
38 #include <mach/vm_statistics.h>
39 #endif
40
41 namespace bmalloc {
42
43 #if BOS(DARWIN)
44 #define BMALLOC_VM_TAG VM_MAKE_TAG(VM_MEMORY_TCMALLOC)
45 #else
46 #define BMALLOC_VM_TAG -1
47 #endif
48
49 inline size_t vmSize(size_t size)
50 {
51     return roundUpToMultipleOf<vmPageSize>(size);
52 }
53
54 inline void vmValidate(size_t vmSize)
55 {
56     // We use getpagesize() here instead of vmPageSize because vmPageSize is
57     // allowed to be larger than the OS's true page size.
58
59     UNUSED(vmSize);
60     BASSERT(vmSize);
61     BASSERT(vmSize == roundUpToMultipleOf(static_cast<size_t>(getpagesize()), vmSize));
62 }
63
64 inline void vmValidate(void* p, size_t vmSize)
65 {
66     // We use getpagesize() here instead of vmPageSize because vmPageSize is
67     // allowed to be larger than the OS's true page size.
68
69     vmValidate(vmSize);
70     
71     UNUSED(p);
72     BASSERT(p);
73     BASSERT(p == mask(p, ~(getpagesize() - 1)));
74 }
75
76 inline void* tryVMAllocate(size_t vmSize)
77 {
78     vmValidate(vmSize);
79     void* result = mmap(0, vmSize, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANON, BMALLOC_VM_TAG, 0);
80     if (result == MAP_FAILED)
81         return nullptr;
82     return result;
83 }
84
85 inline void* vmAllocate(size_t vmSize)
86 {
87     void* result = tryVMAllocate(vmSize);
88     RELEASE_BASSERT(result);
89     return result;
90 }
91
92 inline void vmDeallocate(void* p, size_t vmSize)
93 {
94     vmValidate(p, vmSize);
95     munmap(p, vmSize);
96 }
97
98 // Allocates vmSize bytes at a specified power-of-two alignment.
99 // Use this function to create maskable memory regions.
100
101 inline void* tryVMAllocate(size_t vmAlignment, size_t vmSize)
102 {
103     vmValidate(vmSize);
104     vmValidate(vmAlignment);
105
106     // We use getpagesize() here instead of vmPageSize because vmPageSize is
107     // allowed to be larger than the OS's true page size.
108
109     size_t mappedSize = vmAlignment - getpagesize() + vmSize;
110     char* mapped = static_cast<char*>(tryVMAllocate(mappedSize));
111     if (!mapped)
112         return nullptr;
113     char* mappedEnd = mapped + mappedSize;
114
115     char* aligned = roundUpToMultipleOf(vmAlignment, mapped);
116     char* alignedEnd = aligned + vmSize;
117     
118     RELEASE_BASSERT(alignedEnd <= mappedEnd);
119     
120     if (size_t leftExtra = aligned - mapped)
121         vmDeallocate(mapped, leftExtra);
122     
123     if (size_t rightExtra = mappedEnd - alignedEnd)
124         vmDeallocate(alignedEnd, rightExtra);
125
126     return aligned;
127 }
128
129 inline void* vmAllocate(size_t vmAlignment, size_t vmSize)
130 {
131     void* result = tryVMAllocate(vmAlignment, vmSize);
132     RELEASE_BASSERT(result);
133     return result;
134 }
135
136 inline void vmDeallocatePhysicalPages(void* p, size_t vmSize)
137 {
138     vmValidate(p, vmSize);
139 #if BOS(DARWIN)
140     SYSCALL(madvise(p, vmSize, MADV_FREE_REUSABLE));
141 #else
142     SYSCALL(madvise(p, vmSize, MADV_DONTNEED));
143 #endif
144 }
145
146 inline void vmAllocatePhysicalPages(void* p, size_t vmSize)
147 {
148     vmValidate(p, vmSize);
149 #if BOS(DARWIN)
150     SYSCALL(madvise(p, vmSize, MADV_FREE_REUSE));
151 #else
152     SYSCALL(madvise(p, vmSize, MADV_NORMAL));
153 #endif
154 }
155
156 // Trims requests that are un-page-aligned.
157 inline void vmDeallocatePhysicalPagesSloppy(void* p, size_t size)
158 {
159     char* begin = roundUpToMultipleOf<vmPageSize>(static_cast<char*>(p));
160     char* end = roundDownToMultipleOf<vmPageSize>(static_cast<char*>(p) + size);
161
162     if (begin >= end)
163         return;
164
165     vmDeallocatePhysicalPages(begin, end - begin);
166 }
167
168 // Expands requests that are un-page-aligned.
169 inline void vmAllocatePhysicalPagesSloppy(void* p, size_t size)
170 {
171     char* begin = roundDownToMultipleOf<vmPageSize>(static_cast<char*>(p));
172     char* end = roundUpToMultipleOf<vmPageSize>(static_cast<char*>(p) + size);
173
174     if (begin >= end)
175         return;
176
177     vmAllocatePhysicalPages(begin, end - begin);
178 }
179
180 } // namespace bmalloc
181
182 #endif // VMAllocate_h