[bmalloc] IsoHeap should have lower tier using shared IsoPage
[WebKit-https.git] / Source / bmalloc / bmalloc / IsoSharedHeapInlines.h
1 /*
2  * Copyright (C) 2019 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #include "IsoSharedHeap.h"
29
30 #include "IsoSharedPage.h"
31 #include "StdLibExtras.h"
32
33 namespace bmalloc {
34
35 template<unsigned objectSize, typename Func>
36 void* VariadicBumpAllocator::allocate(const Func& slowPath)
37 {
38     unsigned remaining = m_remaining;
39     if (!__builtin_usub_overflow(remaining, objectSize, &remaining)) {
40         m_remaining = remaining;
41         return m_payloadEnd - remaining - objectSize;
42     }
43     return slowPath();
44 }
45
46 template<unsigned passedObjectSize>
47 void* IsoSharedHeap::allocateNew(bool abortOnFailure)
48 {
49     std::lock_guard<Mutex> locker(mutex());
50     constexpr unsigned objectSize = roundUpToMultipleOf<alignmentForIsoSharedAllocation>(static_cast<uintptr_t>(passedObjectSize));
51     return m_allocator.template allocate<objectSize>(
52         [&] () -> void* {
53             return allocateSlow<passedObjectSize>(abortOnFailure);
54         });
55 }
56
57 template<unsigned passedObjectSize>
58 BNO_INLINE void* IsoSharedHeap::allocateSlow(bool abortOnFailure)
59 {
60     Scavenger& scavenger = *Scavenger::get();
61     scavenger.didStartGrowing();
62     scavenger.scheduleIfUnderMemoryPressure(IsoSharedPage::pageSize);
63
64     IsoSharedPage* page = IsoSharedPage::tryCreate();
65     if (!page) {
66         RELEASE_BASSERT(!abortOnFailure);
67         return nullptr;
68     }
69
70     if (m_currentPage)
71         m_currentPage->stopAllocating();
72
73     m_currentPage = page;
74     m_allocator = m_currentPage->startAllocating();
75
76     constexpr unsigned objectSize = roundUpToMultipleOf<alignmentForIsoSharedAllocation>(static_cast<uintptr_t>(passedObjectSize));
77     return m_allocator.allocate<objectSize>([] () { BCRASH(); return nullptr; });
78 }
79
80 } // namespace bmalloc