bmalloc uses more memory on iOS compared to macOS due to physical page size differences
[WebKit-https.git] / Source / bmalloc / bmalloc / Chunk.h
1 /*
2  * Copyright (C) 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef Chunk_h
27 #define Chunk_h
28
29 #include "Object.h"
30 #include "Sizes.h"
31 #include "SmallLine.h"
32 #include "SmallPage.h"
33 #include "VMAllocate.h"
34 #include <array>
35
36 namespace bmalloc {
37
38 class Chunk : public ListNode<Chunk> {
39 public:
40     static Chunk* get(void*);
41
42     Chunk(size_t pageSize);
43     
44     void ref() { ++m_refCount; }
45     void deref() { BASSERT(m_refCount); --m_refCount; }
46     unsigned refCount() { return m_refCount; }
47
48     size_t offset(void*);
49
50     char* address(size_t offset);
51     SmallPage* page(size_t offset);
52     SmallLine* line(size_t offset);
53     size_t pageNumber(SmallPage*);
54
55     char* bytes() { return reinterpret_cast<char*>(this); }
56     SmallLine* lines() { return &m_lines[0]; }
57     SmallPage* pages() { return &m_pages[0]; }
58     
59     List<SmallPage>& freePages() { return m_freePages; }
60
61 private:
62     size_t m_refCount { };
63     List<SmallPage> m_freePages { };
64
65     std::array<SmallLine, chunkSize / smallLineSize> m_lines { };
66     std::array<SmallPage, chunkSize / smallPageSize> m_pages { };
67 };
68
69 struct ChunkHash {
70     static unsigned hash(Chunk* key)
71     {
72         return static_cast<unsigned>(
73             reinterpret_cast<uintptr_t>(key) / chunkSize);
74     }
75 };
76
77 template<typename Function> void forEachPage(Chunk* chunk, size_t pageSize, Function function)
78 {
79     // We align to at least the page size so we can service aligned allocations
80     // at equal and smaller powers of two, and also so we can vmDeallocatePhysicalPages().
81     size_t firstPageOffset = max(pageSize, vmPageSize());
82     size_t metadataSize = roundUpToMultipleOfNonPowerOfTwo(firstPageOffset, sizeof(Chunk));
83
84     Object begin(chunk, metadataSize);
85     Object end(chunk, chunkSize);
86
87     for (auto it = begin; it + pageSize <= end; it = it + pageSize)
88         function(it.page());
89 }
90
91 inline Chunk::Chunk(size_t pageSize)
92 {
93     size_t smallPageCount = pageSize / smallPageSize;
94     forEachPage(this, pageSize, [&](SmallPage* page) {
95         for (size_t i = 0; i < smallPageCount; ++i)
96             page[i].setSlide(i);
97     });
98 }
99
100 inline Chunk* Chunk::get(void* address)
101 {
102     return static_cast<Chunk*>(mask(address, chunkMask));
103 }
104
105 inline size_t Chunk::offset(void* address)
106 {
107     BASSERT(address >= this);
108     BASSERT(address < bytes() + chunkSize);
109     return static_cast<char*>(address) - bytes();
110 }
111
112 inline char* Chunk::address(size_t offset)
113 {
114     return bytes() + offset;
115 }
116
117 inline SmallPage* Chunk::page(size_t offset)
118 {
119     size_t pageNumber = offset / smallPageSize;
120     SmallPage* page = &m_pages[pageNumber];
121     return page - page->slide();
122 }
123
124 inline SmallLine* Chunk::line(size_t offset)
125 {
126     size_t lineNumber = offset / smallLineSize;
127     return &m_lines[lineNumber];
128 }
129
130 inline char* SmallLine::begin()
131 {
132     Chunk* chunk = Chunk::get(this);
133     size_t lineNumber = this - chunk->lines();
134     size_t offset = lineNumber * smallLineSize;
135     return &reinterpret_cast<char*>(chunk)[offset];
136 }
137
138 inline char* SmallLine::end()
139 {
140     return begin() + smallLineSize;
141 }
142
143 inline SmallLine* SmallPage::begin()
144 {
145     BASSERT(!m_slide);
146     Chunk* chunk = Chunk::get(this);
147     size_t pageNumber = this - chunk->pages();
148     size_t lineNumber = pageNumber * smallPageLineCount;
149     return &chunk->lines()[lineNumber];
150 }
151
152 inline Object::Object(void* object)
153     : m_chunk(Chunk::get(object))
154     , m_offset(m_chunk->offset(object))
155 {
156 }
157
158 inline Object::Object(Chunk* chunk, void* object)
159     : m_chunk(chunk)
160     , m_offset(m_chunk->offset(object))
161 {
162     BASSERT(chunk == Chunk::get(object));
163 }
164
165 inline char* Object::address()
166 {
167     return m_chunk->address(m_offset);
168 }
169
170 inline SmallLine* Object::line()
171 {
172     return m_chunk->line(m_offset);
173 }
174
175 inline SmallPage* Object::page()
176 {
177     return m_chunk->page(m_offset);
178 }
179
180 }; // namespace bmalloc
181
182 #endif // Chunk