[BMalloc] Scavenger should react to recent memory activity
[WebKit-https.git] / Source / bmalloc / bmalloc / IsoDirectoryInlines.h
1 /*
2  * Copyright (C) 2017-2018 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "IsoDirectory.h"
29
30 namespace bmalloc {
31
32 template<typename Config>
33 IsoDirectoryBase<Config>::IsoDirectoryBase(IsoHeapImpl<Config>& heap)
34     : m_heap(heap)
35 {
36 }
37
38 template<typename Config, unsigned passedNumPages>
39 IsoDirectory<Config, passedNumPages>::IsoDirectory(IsoHeapImpl<Config>& heap)
40     : IsoDirectoryBase<Config>(heap)
41 {
42     for (unsigned i = numPages; i--;)
43         m_pages[i] = nullptr;
44 }
45
46 template<typename Config, unsigned passedNumPages>
47 EligibilityResult<Config> IsoDirectory<Config, passedNumPages>::takeFirstEligible()
48 {
49     unsigned pageIndex = (m_eligible | ~m_committed).findBit(m_firstEligible, true);
50     m_firstEligible = pageIndex;
51     if (pageIndex >= numPages)
52         return EligibilityKind::Full;
53
54     Scavenger& scavenger = *Scavenger::get();
55     scavenger.didStartGrowing();
56     
57     IsoPage<Config>* page = m_pages[pageIndex];
58     
59     if (!m_committed[pageIndex]) {
60         scavenger.scheduleIfUnderMemoryPressure(IsoPageBase::pageSize);
61         
62         // It could be that we haven't even allocated a page yet. Do that now!
63         if (!page) {
64             page = IsoPage<Config>::tryCreate(*this, pageIndex);
65             if (!page)
66                 return EligibilityKind::OutOfMemory;
67             m_pages[pageIndex] = page;
68         } else {
69             // This means that we have a page that we previously allocated and that page just needs to be
70             // committed.
71             vmAllocatePhysicalPages(page, IsoPageBase::pageSize);
72             new (page) IsoPage<Config>(*this, pageIndex);
73         }
74
75         m_committed[pageIndex] = true;
76         this->m_heap.didCommit(page, IsoPageBase::pageSize);
77     } else {
78         if (m_empty[pageIndex])
79             this->m_heap.isNoLongerFreeable(page, IsoPageBase::pageSize);
80     }
81     
82     RELEASE_BASSERT(page);
83     
84     // Make the page non-empty and non-eligible.
85     m_eligible[pageIndex] = false;
86     m_empty[pageIndex] = false;
87     return page;
88 }
89
90 template<typename Config, unsigned passedNumPages>
91 void IsoDirectory<Config, passedNumPages>::didBecome(IsoPage<Config>* page, IsoPageTrigger trigger)
92 {
93     static constexpr bool verbose = false;
94     unsigned pageIndex = page->index();
95     switch (trigger) {
96     case IsoPageTrigger::Eligible:
97         if (verbose)
98             fprintf(stderr, "%p: %p did become eligible.\n", this, page);
99         m_eligible[pageIndex] = true;
100         m_firstEligible = std::min(m_firstEligible, pageIndex);
101         this->m_heap.didBecomeEligible(this);
102         return;
103     case IsoPageTrigger::Empty:
104         if (verbose)
105             fprintf(stderr, "%p: %p did become empty.\n", this, page);
106         BASSERT(!!m_committed[pageIndex]);
107         this->m_heap.isNowFreeable(page, IsoPageBase::pageSize);
108         m_empty[pageIndex] = true;
109         Scavenger::get()->schedule(IsoPageBase::pageSize);
110         return;
111     }
112     BCRASH();
113 }
114
115 template<typename Config, unsigned passedNumPages>
116 void IsoDirectory<Config, passedNumPages>::didDecommit(unsigned index)
117 {
118     // FIXME: We could do this without grabbing the lock. I just doubt that it matters. This is not going
119     // to be a frequently executed path, in the sense that decommitting perf will be dominated by the
120     // syscall itself (which has to do many hard things).
121     std::lock_guard<Mutex> locker(this->m_heap.lock);
122     BASSERT(!!m_committed[index]);
123     this->m_heap.isNoLongerFreeable(m_pages[index], IsoPageBase::pageSize);
124     m_committed[index] = false;
125     this->m_heap.didDecommit(m_pages[index], IsoPageBase::pageSize);
126 }
127
128 template<typename Config, unsigned passedNumPages>
129 void IsoDirectory<Config, passedNumPages>::scavengePage(size_t index, Vector<DeferredDecommit>& decommits)
130 {
131     // Make sure that this page is now off limits.
132     m_empty[index] = false;
133     m_eligible[index] = false;
134     decommits.push(DeferredDecommit(this, m_pages[index], index));
135 }
136
137 template<typename Config, unsigned passedNumPages>
138 void IsoDirectory<Config, passedNumPages>::scavenge(Vector<DeferredDecommit>& decommits)
139 {
140     (m_empty & m_committed).forEachSetBit(
141         [&] (size_t index) {
142             scavengePage(index, decommits);
143         });
144 }
145
146 template<typename Config, unsigned passedNumPages>
147 template<typename Func>
148 void IsoDirectory<Config, passedNumPages>::forEachCommittedPage(const Func& func)
149 {
150     m_committed.forEachSetBit(
151         [&] (size_t index) {
152             func(*m_pages[index]);
153         });
154 }
155     
156 } // namespace bmalloc
157