bmalloc: Pathological madvise churn on the free(malloc(x)) benchmark
[WebKit-https.git] / Source / bmalloc / bmalloc / Deallocator.cpp
1 /*
2  * Copyright (C) 2014 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "BAssert.h"
27 #include "LargeChunk.h"
28 #include "Deallocator.h"
29 #include "Heap.h"
30 #include "Inline.h"
31 #include "PerProcess.h"
32 #include "SmallChunk.h"
33 #include <algorithm>
34 #include <cstdlib>
35 #include <sys/mman.h>
36
37 using namespace std;
38
39 namespace bmalloc {
40
41 Deallocator::Deallocator(Heap* heap)
42     : m_isBmallocEnabled(heap->environment().isBmallocEnabled())
43 {
44     if (!m_isBmallocEnabled) {
45         // Fill the object log in order to disable the fast path.
46         while (m_objectLog.size() != m_objectLog.capacity())
47             m_objectLog.push(nullptr);
48     }
49 }
50
51 Deallocator::~Deallocator()
52 {
53     scavenge();
54 }
55     
56 void Deallocator::scavenge()
57 {
58     if (m_isBmallocEnabled)
59         processObjectLog();
60 }
61
62 void Deallocator::deallocateLarge(void* object)
63 {
64     std::lock_guard<StaticMutex> lock(PerProcess<Heap>::mutex());
65     PerProcess<Heap>::getFastCase()->deallocateLarge(lock, object);
66 }
67
68 void Deallocator::deallocateXLarge(void* object)
69 {
70     std::unique_lock<StaticMutex> lock(PerProcess<Heap>::mutex());
71     PerProcess<Heap>::getFastCase()->deallocateXLarge(lock, object);
72 }
73
74 void Deallocator::processObjectLog()
75 {
76     std::lock_guard<StaticMutex> lock(PerProcess<Heap>::mutex());
77     Heap* heap = PerProcess<Heap>::getFastCase();
78     
79     for (auto object : m_objectLog) {
80         if (isSmall(object)) {
81             SmallLine* line = SmallLine::get(object);
82             heap->derefSmallLine(lock, line);
83         } else {
84             BASSERT(isMedium(object));
85             MediumLine* line = MediumLine::get(object);
86             heap->derefMediumLine(lock, line);
87         }
88     }
89     
90     m_objectLog.clear();
91 }
92
93 void Deallocator::deallocateSlowCase(void* object)
94 {
95     BASSERT(!deallocateFastCase(object));
96     
97     if (!m_isBmallocEnabled) {
98         free(object);
99         return;
100     }
101
102     if (!object)
103         return;
104
105     if (isSmallOrMedium(object)) {
106         processObjectLog();
107         m_objectLog.push(object);
108         return;
109     }
110
111     if (!isXLarge(object))
112         return deallocateLarge(object);
113     
114     return deallocateXLarge(object);
115 }
116
117 } // namespace bmalloc