bmalloc: Don't use a whole page for metadata
[WebKit-https.git] / Source / bmalloc / bmalloc / VMHeap.h
1 /*
2  * Copyright (C) 2014-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef VMHeap_h
27 #define VMHeap_h
28
29 #include "AsyncTask.h"
30 #include "FixedVector.h"
31 #include "LargeChunk.h"
32 #include "LargeObject.h"
33 #include "Range.h"
34 #include "SegregatedFreeList.h"
35 #include "SmallChunk.h"
36 #include "VMState.h"
37 #include "Vector.h"
38 #if BOS(DARWIN)
39 #include "Zone.h"
40 #endif
41
42 namespace bmalloc {
43
44 class BeginTag;
45 class EndTag;
46 class Heap;
47 class SuperChunk;
48
49 class VMHeap {
50 public:
51     VMHeap();
52
53     SmallPage* allocateSmallPage(std::lock_guard<StaticMutex>&);
54     LargeObject allocateLargeObject(std::lock_guard<StaticMutex>&, size_t);
55     LargeObject allocateLargeObject(std::lock_guard<StaticMutex>&, size_t, size_t, size_t);
56
57     void deallocateSmallPage(std::unique_lock<StaticMutex>&, SmallPage*);
58     void deallocateLargeObject(std::unique_lock<StaticMutex>&, LargeObject);
59     
60 private:
61     void allocateSmallChunk(std::lock_guard<StaticMutex>&);
62     void allocateLargeChunk(std::lock_guard<StaticMutex>&);
63     void allocateSuperChunk(std::lock_guard<StaticMutex>&);
64
65     Vector<SmallPage*> m_smallPages;
66     SegregatedFreeList m_largeObjects;
67
68     Vector<SuperChunk*> m_smallChunks;
69     Vector<SuperChunk*> m_largeChunks;
70
71 #if BOS(DARWIN)
72     Zone m_zone;
73 #endif
74 };
75
76 inline SmallPage* VMHeap::allocateSmallPage(std::lock_guard<StaticMutex>& lock)
77 {
78     if (!m_smallPages.size())
79         allocateSmallChunk(lock);
80
81     SmallPage* page = m_smallPages.pop();
82     vmAllocatePhysicalPages(page->begin()->begin(), vmPageSize);
83     return page;
84 }
85
86 inline LargeObject VMHeap::allocateLargeObject(std::lock_guard<StaticMutex>& lock, size_t size)
87 {
88     LargeObject largeObject = m_largeObjects.take(size);
89     if (!largeObject) {
90         allocateLargeChunk(lock);
91         largeObject = m_largeObjects.take(size);
92         BASSERT(largeObject);
93     }
94
95     return largeObject;
96 }
97
98 inline LargeObject VMHeap::allocateLargeObject(std::lock_guard<StaticMutex>& lock, size_t alignment, size_t size, size_t unalignedSize)
99 {
100     LargeObject largeObject = m_largeObjects.take(alignment, size, unalignedSize);
101     if (!largeObject) {
102         allocateLargeChunk(lock);
103         largeObject = m_largeObjects.take(alignment, size, unalignedSize);
104         BASSERT(largeObject);
105     }
106
107     return largeObject;
108 }
109
110 inline void VMHeap::deallocateSmallPage(std::unique_lock<StaticMutex>& lock, SmallPage* page)
111 {
112     lock.unlock();
113     vmDeallocatePhysicalPages(page->begin()->begin(), vmPageSize);
114     lock.lock();
115     
116     m_smallPages.push(page);
117 }
118
119 inline void VMHeap::deallocateLargeObject(std::unique_lock<StaticMutex>& lock, LargeObject largeObject)
120 {
121     // Multiple threads might scavenge concurrently, meaning that new merging opportunities
122     // become visible after we reacquire the lock. Therefore we loop.
123     do {
124         largeObject = largeObject.merge();
125
126         // Temporarily mark this object as allocated to prevent clients from merging
127         // with it or allocating it while we're messing with its physical pages.
128         largeObject.setFree(false);
129
130         lock.unlock();
131         vmDeallocatePhysicalPagesSloppy(largeObject.begin(), largeObject.size());
132         lock.lock();
133
134         largeObject.setFree(true);
135     } while (largeObject.prevCanMerge() || largeObject.nextCanMerge());
136
137     largeObject.setVMState(VMState::Virtual);
138     m_largeObjects.insert(largeObject);
139 }
140
141 } // namespace bmalloc
142
143 #endif // VMHeap_h