7fb8cf806428a38de047e1ac9247410f81f5db7b
[WebKit-https.git] / Source / bmalloc / bmalloc / VMHeap.h
1 /*
2  * Copyright (C) 2014-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef VMHeap_h
27 #define VMHeap_h
28
29 #include "AsyncTask.h"
30 #include "FixedVector.h"
31 #include "LargeChunk.h"
32 #include "LargeObject.h"
33 #include "Range.h"
34 #include "SegregatedFreeList.h"
35 #include "SmallChunk.h"
36 #include "VMState.h"
37 #include "Vector.h"
38 #if BOS(DARWIN)
39 #include "Zone.h"
40 #endif
41
42 namespace bmalloc {
43
44 class BeginTag;
45 class EndTag;
46 class Heap;
47 class SuperChunk;
48
49 class VMHeap {
50 public:
51     VMHeap();
52
53     SmallPage* allocateSmallPage(std::lock_guard<StaticMutex>&);
54     LargeObject allocateLargeObject(size_t);
55     LargeObject allocateLargeObject(size_t, size_t, size_t);
56
57     void deallocateSmallPage(std::unique_lock<StaticMutex>&, SmallPage*);
58     void deallocateLargeObject(std::unique_lock<StaticMutex>&, LargeObject);
59
60 private:
61     void grow();
62
63     Vector<SmallPage*> m_smallPages;
64     SegregatedFreeList m_largeObjects;
65 #if BOS(DARWIN)
66     Zone m_zone;
67 #endif
68 };
69
70 inline SmallPage* VMHeap::allocateSmallPage(std::lock_guard<StaticMutex>& lock)
71 {
72     if (!m_smallPages.size())
73         grow();
74
75     SmallPage* page = m_smallPages.pop();
76     page->setHasFreeLines(lock, true);
77     vmAllocatePhysicalPages(page->begin()->begin(), vmPageSize);
78     return page;
79 }
80
81 inline LargeObject VMHeap::allocateLargeObject(size_t size)
82 {
83     LargeObject largeObject = m_largeObjects.take(size);
84     if (!largeObject) {
85         grow();
86         largeObject = m_largeObjects.take(size);
87         BASSERT(largeObject);
88     }
89
90     return largeObject;
91 }
92
93 inline LargeObject VMHeap::allocateLargeObject(size_t alignment, size_t size, size_t unalignedSize)
94 {
95     LargeObject largeObject = m_largeObjects.take(alignment, size, unalignedSize);
96     if (!largeObject) {
97         grow();
98         largeObject = m_largeObjects.take(alignment, size, unalignedSize);
99         BASSERT(largeObject);
100     }
101
102     return largeObject;
103 }
104
105 inline void VMHeap::deallocateSmallPage(std::unique_lock<StaticMutex>& lock, SmallPage* page)
106 {
107     lock.unlock();
108     vmDeallocatePhysicalPages(page->begin()->begin(), vmPageSize);
109     lock.lock();
110     
111     m_smallPages.push(page);
112 }
113
114 inline void VMHeap::deallocateLargeObject(std::unique_lock<StaticMutex>& lock, LargeObject largeObject)
115 {
116     // Multiple threads might scavenge concurrently, meaning that new merging opportunities
117     // become visible after we reacquire the lock. Therefore we loop.
118     do {
119         largeObject = largeObject.merge();
120
121         // Temporarily mark this object as allocated to prevent clients from merging
122         // with it or allocating it while we're messing with its physical pages.
123         largeObject.setFree(false);
124
125         lock.unlock();
126         vmDeallocatePhysicalPagesSloppy(largeObject.begin(), largeObject.size());
127         lock.lock();
128
129         largeObject.setFree(true);
130     } while (largeObject.prevCanMerge() || largeObject.nextCanMerge());
131
132     largeObject.setVMState(VMState::Virtual);
133     m_largeObjects.insert(largeObject);
134 }
135
136 } // namespace bmalloc
137
138 #endif // VMHeap_h