Unreviewed, rolling out r197955.
[WebKit-https.git] / Source / bmalloc / bmalloc / VMHeap.h
1 /*
2  * Copyright (C) 2014-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef VMHeap_h
27 #define VMHeap_h
28
29 #include "AsyncTask.h"
30 #include "FixedVector.h"
31 #include "LargeChunk.h"
32 #include "LargeObject.h"
33 #include "Range.h"
34 #include "SegregatedFreeList.h"
35 #include "SmallChunk.h"
36 #include "VMState.h"
37 #include "Vector.h"
38 #if BOS(DARWIN)
39 #include "Zone.h"
40 #endif
41
42 namespace bmalloc {
43
44 class BeginTag;
45 class EndTag;
46 class Heap;
47 class SuperChunk;
48
49 class VMHeap {
50 public:
51     VMHeap();
52
53     SmallPage* allocateSmallPage(std::lock_guard<StaticMutex>&);
54     LargeObject allocateLargeObject(std::lock_guard<StaticMutex>&, size_t);
55     LargeObject allocateLargeObject(std::lock_guard<StaticMutex>&, size_t, size_t, size_t);
56
57     void deallocateSmallPage(std::unique_lock<StaticMutex>&, SmallPage*);
58     void deallocateLargeObject(std::unique_lock<StaticMutex>&, LargeObject);
59     
60 private:
61     void allocateSmallChunk(std::lock_guard<StaticMutex>&);
62     LargeObject allocateLargeChunk(std::lock_guard<StaticMutex>&);
63     void allocateSuperChunk(std::lock_guard<StaticMutex>&);
64
65     List<SmallPage> m_smallPages;
66     SegregatedFreeList m_largeObjects;
67
68     Vector<SuperChunk*> m_smallChunks;
69     Vector<SuperChunk*> m_largeChunks;
70
71 #if BOS(DARWIN)
72     Zone m_zone;
73 #endif
74 };
75
76 inline SmallPage* VMHeap::allocateSmallPage(std::lock_guard<StaticMutex>& lock)
77 {
78     if (m_smallPages.isEmpty())
79         allocateSmallChunk(lock);
80
81     SmallPage* page = m_smallPages.pop();
82     vmAllocatePhysicalPages(page->begin()->begin(), vmPageSize);
83     return page;
84 }
85
86 inline LargeObject VMHeap::allocateLargeObject(std::lock_guard<StaticMutex>& lock, size_t size)
87 {
88     if (LargeObject largeObject = m_largeObjects.take(size))
89         return largeObject;
90
91     BASSERT(size <= largeMax);
92     return allocateLargeChunk(lock);
93 }
94
95 inline LargeObject VMHeap::allocateLargeObject(std::lock_guard<StaticMutex>& lock, size_t alignment, size_t size, size_t unalignedSize)
96 {
97     if (LargeObject largeObject = m_largeObjects.take(alignment, size, unalignedSize))
98         return largeObject;
99
100     BASSERT(unalignedSize <= largeMax);
101     return allocateLargeChunk(lock);
102 }
103
104 inline void VMHeap::deallocateSmallPage(std::unique_lock<StaticMutex>& lock, SmallPage* page)
105 {
106     lock.unlock();
107     vmDeallocatePhysicalPages(page->begin()->begin(), vmPageSize);
108     lock.lock();
109     
110     m_smallPages.push(page);
111 }
112
113 inline void VMHeap::deallocateLargeObject(std::unique_lock<StaticMutex>& lock, LargeObject largeObject)
114 {
115     // Multiple threads might scavenge concurrently, meaning that new merging opportunities
116     // become visible after we reacquire the lock. Therefore we loop.
117     do {
118         largeObject = largeObject.merge();
119
120         // Temporarily mark this object as allocated to prevent clients from merging
121         // with it or allocating it while we're messing with its physical pages.
122         largeObject.setFree(false);
123
124         lock.unlock();
125         vmDeallocatePhysicalPagesSloppy(largeObject.begin(), largeObject.size());
126         lock.lock();
127
128         largeObject.setFree(true);
129     } while (largeObject.prevCanMerge() || largeObject.nextCanMerge());
130
131     largeObject.setVMState(VMState::Virtual);
132     m_largeObjects.insert(largeObject);
133 }
134
135 } // namespace bmalloc
136
137 #endif // VMHeap_h