Bmalloc and GC should put auxiliaries (butterflies, typed array backing stores) in...
[WebKit.git] / Source / bmalloc / bmalloc / Heap.h
1 /*
2  * Copyright (C) 2014-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #ifndef Heap_h
27 #define Heap_h
28
29 #include "AllocationKind.h"
30 #include "AsyncTask.h"
31 #include "BumpRange.h"
32 #include "Chunk.h"
33 #include "Environment.h"
34 #include "HeapKind.h"
35 #include "LargeMap.h"
36 #include "LineMetadata.h"
37 #include "List.h"
38 #include "Map.h"
39 #include "Mutex.h"
40 #include "Object.h"
41 #include "PerHeapKind.h"
42 #include "PerProcess.h"
43 #include "SmallLine.h"
44 #include "SmallPage.h"
45 #include "Vector.h"
46 #include <array>
47 #include <mutex>
48
49 namespace bmalloc {
50
51 class BeginTag;
52 class BumpAllocator;
53 class DebugHeap;
54 class EndTag;
55
56 class Heap {
57 public:
58     Heap(HeapKind, std::lock_guard<StaticMutex>&);
59     
60     static StaticMutex& mutex() { return PerProcess<PerHeapKind<Heap>>::mutex(); }
61     
62     HeapKind kind() const { return m_kind; }
63     
64     DebugHeap* debugHeap() { return m_debugHeap; }
65
66     void allocateSmallBumpRanges(std::lock_guard<StaticMutex>&, size_t sizeClass,
67         BumpAllocator&, BumpRangeCache&, LineCache&);
68     void derefSmallLine(std::lock_guard<StaticMutex>&, Object, LineCache&);
69     void deallocateLineCache(std::lock_guard<StaticMutex>&, LineCache&);
70
71     void* allocateLarge(std::lock_guard<StaticMutex>&, size_t alignment, size_t, AllocationKind = AllocationKind::Physical);
72     void* tryAllocateLarge(std::lock_guard<StaticMutex>&, size_t alignment, size_t, AllocationKind = AllocationKind::Physical);
73     void deallocateLarge(std::lock_guard<StaticMutex>&, void*, AllocationKind = AllocationKind::Physical);
74
75     bool isLarge(std::lock_guard<StaticMutex>&, void*);
76     size_t largeSize(std::lock_guard<StaticMutex>&, void*);
77     void shrinkLarge(std::lock_guard<StaticMutex>&, const Range&, size_t);
78
79     void scavenge(std::lock_guard<StaticMutex>&);
80
81 private:
82     struct LargeObjectHash {
83         static unsigned hash(void* key)
84         {
85             return static_cast<unsigned>(
86                 reinterpret_cast<uintptr_t>(key) / smallMax);
87         }
88     };
89
90     ~Heap() = delete;
91     
92     bool usingGigacage();
93     
94     void initializeLineMetadata();
95     void initializePageMetadata();
96
97     void allocateSmallBumpRangesByMetadata(std::lock_guard<StaticMutex>&,
98         size_t sizeClass, BumpAllocator&, BumpRangeCache&, LineCache&);
99     void allocateSmallBumpRangesByObject(std::lock_guard<StaticMutex>&,
100         size_t sizeClass, BumpAllocator&, BumpRangeCache&, LineCache&);
101
102     SmallPage* allocateSmallPage(std::lock_guard<StaticMutex>&, size_t sizeClass, LineCache&);
103     void deallocateSmallLine(std::lock_guard<StaticMutex>&, Object, LineCache&);
104
105     void allocateSmallChunk(std::lock_guard<StaticMutex>&, size_t pageClass);
106     void deallocateSmallChunk(Chunk*, size_t pageClass);
107
108     void mergeLarge(BeginTag*&, EndTag*&, Range&);
109     void mergeLargeLeft(EndTag*&, BeginTag*&, Range&, bool& inVMHeap);
110     void mergeLargeRight(EndTag*&, BeginTag*&, Range&, bool& inVMHeap);
111
112     LargeRange splitAndAllocate(LargeRange&, size_t alignment, size_t, AllocationKind);
113
114     void scheduleScavenger(size_t);
115     void scheduleScavengerIfUnderMemoryPressure(size_t);
116     
117     void concurrentScavenge();
118     
119     HeapKind m_kind;
120     
121     size_t m_vmPageSizePhysical;
122     Vector<LineMetadata> m_smallLineMetadata;
123     std::array<size_t, sizeClassCount> m_pageClasses;
124
125     LineCache m_lineCache;
126     std::array<List<Chunk>, pageClassCount> m_freePages;
127     std::array<List<Chunk>, pageClassCount> m_chunkCache;
128
129     Map<void*, size_t, LargeObjectHash> m_largeAllocated;
130     LargeMap m_largeFree;
131
132     Map<Chunk*, ObjectType, ChunkHash> m_objectTypes;
133
134     size_t m_scavengerBytes { 0 };
135     bool m_isGrowing { false };
136     
137     AsyncTask<Heap, decltype(&Heap::concurrentScavenge)> m_scavenger;
138
139     Environment m_environment;
140     DebugHeap* m_debugHeap;
141 };
142
143 inline void Heap::allocateSmallBumpRanges(
144     std::lock_guard<StaticMutex>& lock, size_t sizeClass,
145     BumpAllocator& allocator, BumpRangeCache& rangeCache,
146     LineCache& lineCache)
147 {
148     if (sizeClass < bmalloc::sizeClass(smallLineSize))
149         return allocateSmallBumpRangesByMetadata(lock, sizeClass, allocator, rangeCache, lineCache);
150     return allocateSmallBumpRangesByObject(lock, sizeClass, allocator, rangeCache, lineCache);
151 }
152
153 inline void Heap::derefSmallLine(std::lock_guard<StaticMutex>& lock, Object object, LineCache& lineCache)
154 {
155     if (!object.line()->deref(lock))
156         return;
157     deallocateSmallLine(lock, object, lineCache);
158 }
159
160 } // namespace bmalloc
161
162 #endif // Heap_h