9a11e9eba4e86fb0cd5e5b464ee1140d7d05e20d
[WebKit-https.git] / Source / bmalloc / bmalloc / IsoHeapImplInlines.h
1 /*
2  * Copyright (C) 2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "IsoHeapImpl.h"
29 #include "IsoTLSDeallocatorEntry.h"
30
31 namespace bmalloc {
32
33 template<typename Config>
34 IsoHeapImpl<Config>::IsoHeapImpl()
35     : lock(PerProcess<IsoTLSDeallocatorEntry<Config>>::get()->lock)
36     , m_inlineDirectory(*this)
37     , m_allocator(*this)
38 {
39     addToAllIsoHeaps();
40 }
41
42 template<typename Config>
43 EligibilityResult<Config> IsoHeapImpl<Config>::takeFirstEligible()
44 {
45     if (m_isInlineDirectoryEligible) {
46         EligibilityResult<Config> result = m_inlineDirectory.takeFirstEligible();
47         if (result.kind == EligibilityKind::Full)
48             m_isInlineDirectoryEligible = false;
49         else
50             return result;
51     }
52     
53     if (!m_firstEligibleDirectory) {
54         // If nothing is eligible, it can only be because we have no directories. It wouldn't be the end
55         // of the world if we broke this invariant. It would only mean that didBecomeEligible() would need
56         // a null check.
57         RELEASE_BASSERT(!m_headDirectory);
58         RELEASE_BASSERT(!m_tailDirectory);
59     }
60     
61     for (; m_firstEligibleDirectory; m_firstEligibleDirectory = m_firstEligibleDirectory->next) {
62         EligibilityResult<Config> result = m_firstEligibleDirectory->payload.takeFirstEligible();
63         if (result.kind != EligibilityKind::Full)
64             return result;
65     }
66     
67     auto* newDirectory = new IsoDirectoryPage<Config>(*this, m_numDirectoryPages++);
68     if (m_headDirectory) {
69         m_tailDirectory->next = newDirectory;
70         m_tailDirectory = newDirectory;
71     } else {
72         RELEASE_BASSERT(!m_tailDirectory);
73         m_headDirectory = newDirectory;
74         m_tailDirectory = newDirectory;
75     }
76     m_firstEligibleDirectory = newDirectory;
77     EligibilityResult<Config> result = newDirectory->payload.takeFirstEligible();
78     RELEASE_BASSERT(result.kind != EligibilityKind::Full);
79     return result;
80 }
81
82 template<typename Config>
83 void IsoHeapImpl<Config>::didBecomeEligible(IsoDirectory<Config, numPagesInInlineDirectory>* directory)
84 {
85     RELEASE_BASSERT(directory == &m_inlineDirectory);
86     m_isInlineDirectoryEligible = true;
87 }
88
89 template<typename Config>
90 void IsoHeapImpl<Config>::didBecomeEligible(IsoDirectory<Config, IsoDirectoryPage<Config>::numPages>* directory)
91 {
92     RELEASE_BASSERT(m_firstEligibleDirectory);
93     auto* directoryPage = IsoDirectoryPage<Config>::pageFor(directory);
94     if (directoryPage->index() < m_firstEligibleDirectory->index())
95         m_firstEligibleDirectory = directoryPage;
96 }
97
98 template<typename Config>
99 void IsoHeapImpl<Config>::scavenge(Vector<DeferredDecommit>& decommits)
100 {
101     forEachDirectory(
102         [&] (auto& directory) {
103             directory.scavenge(decommits);
104         });
105 }
106
107 template<typename Config>
108 size_t IsoHeapImpl<Config>::freeableMemory()
109 {
110     size_t result = 0;
111     forEachDirectory(
112         [&] (auto& directory) {
113             result += directory.freeableMemory();
114         });
115     return result;
116 }
117
118 template<typename Config>
119 unsigned IsoHeapImpl<Config>::allocatorOffset()
120 {
121     return m_allocator.offset();
122 }
123
124 template<typename Config>
125 unsigned IsoHeapImpl<Config>::deallocatorOffset()
126 {
127     return PerProcess<IsoTLSDeallocatorEntry<Config>>::get()->offset();
128 }
129
130 template<typename Config>
131 unsigned IsoHeapImpl<Config>::numLiveObjects()
132 {
133     unsigned result = 0;
134     forEachLiveObject(
135         [&] (void*) {
136             result++;
137         });
138     return result;
139 }
140
141 template<typename Config>
142 unsigned IsoHeapImpl<Config>::numCommittedPages()
143 {
144     unsigned result = 0;
145     forEachCommittedPage(
146         [&] (IsoPage<Config>&) {
147             result++;
148         });
149     return result;
150 }
151
152 template<typename Config>
153 template<typename Func>
154 void IsoHeapImpl<Config>::forEachDirectory(const Func& func)
155 {
156     func(m_inlineDirectory);
157     for (IsoDirectoryPage<Config>* page = m_headDirectory; page; page = page->next)
158         func(page->payload);
159 }
160
161 template<typename Config>
162 template<typename Func>
163 void IsoHeapImpl<Config>::forEachCommittedPage(const Func& func)
164 {
165     forEachDirectory(
166         [&] (auto& directory) {
167             directory.forEachCommittedPage(func);
168         });
169 }
170
171 template<typename Config>
172 template<typename Func>
173 void IsoHeapImpl<Config>::forEachLiveObject(const Func& func)
174 {
175     forEachCommittedPage(
176         [&] (IsoPage<Config>& page) {
177             page.forEachLiveObject(func);
178         });
179 }
180
181 template<typename Config>
182 size_t IsoHeapImpl<Config>::footprint()
183 {
184 #if ENABLE_PHYSICAL_PAGE_MAP
185     RELEASE_BASSERT(m_footprint == m_physicalPageMap.footprint());
186 #endif
187     return m_footprint;
188 }
189
190 template<typename Config>
191 void IsoHeapImpl<Config>::didCommit(void* ptr, size_t bytes)
192 {
193     BUNUSED_PARAM(ptr);
194     m_footprint += bytes;
195 #if ENABLE_PHYSICAL_PAGE_MAP
196     m_physicalPageMap.commit(ptr, bytes);
197 #endif
198 }
199
200 template<typename Config>
201 void IsoHeapImpl<Config>::didDecommit(void* ptr, size_t bytes)
202 {
203     BUNUSED_PARAM(ptr);
204     m_footprint -= bytes;
205 #if ENABLE_PHYSICAL_PAGE_MAP
206     m_physicalPageMap.decommit(ptr, bytes);
207 #endif
208 }
209
210 } // namespace bmalloc
211