bmalloc: Pathological madvise churn on the free(malloc(x)) benchmark
[WebKit-https.git] / Source / bmalloc / bmalloc / FreeList.cpp
1 /*
2  * Copyright (C) 2014, 2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "LargeChunk.h"
27 #include "FreeList.h"
28 #include "Vector.h"
29
30 namespace bmalloc {
31
32 LargeObject FreeList::takeGreedy(Owner owner)
33 {
34     for (size_t i = m_vector.size(); i-- > 0; ) {
35         // We don't eagerly remove items when we merge and/or split ranges,
36         // so we need to validate each free list entry before using it.
37         LargeObject largeObject(LargeObject::DoNotValidate, m_vector[i].begin());
38         if (!largeObject.isValidAndFree(owner, m_vector[i].size())) {
39             m_vector.pop(i);
40             continue;
41         }
42
43         m_vector.pop(i);
44         return largeObject;
45     }
46
47     return LargeObject();
48 }
49
50 LargeObject FreeList::take(Owner owner, size_t size)
51 {
52     LargeObject first;
53     size_t end = m_vector.size() > freeListSearchDepth ? m_vector.size() - freeListSearchDepth : 0;
54     for (size_t i = m_vector.size(); i-- > end; ) {
55         // We don't eagerly remove items when we merge and/or split ranges, so
56         // we need to validate each free list entry before using it.
57         LargeObject largeObject(LargeObject::DoNotValidate, m_vector[i].begin());
58         if (!largeObject.isValidAndFree(owner, m_vector[i].size())) {
59             m_vector.pop(i);
60             continue;
61         }
62
63         if (largeObject.size() < size)
64             continue;
65
66         if (!!first && first.begin() < largeObject.begin())
67             continue;
68
69         first = largeObject;
70     }
71     
72     return first;
73 }
74
75 LargeObject FreeList::take(Owner owner, size_t alignment, size_t size, size_t unalignedSize)
76 {
77     BASSERT(isPowerOfTwo(alignment));
78     size_t alignmentMask = alignment - 1;
79
80     LargeObject first;
81     size_t end = m_vector.size() > freeListSearchDepth ? m_vector.size() - freeListSearchDepth : 0;
82     for (size_t i = m_vector.size(); i-- > end; ) {
83         // We don't eagerly remove items when we merge and/or split ranges, so
84         // we need to validate each free list entry before using it.
85         LargeObject largeObject(LargeObject::DoNotValidate, m_vector[i].begin());
86         if (!largeObject.isValidAndFree(owner, m_vector[i].size())) {
87             m_vector.pop(i);
88             continue;
89         }
90
91         if (largeObject.size() < size)
92             continue;
93
94         if (test(largeObject.begin(), alignmentMask) && largeObject.size() < unalignedSize)
95             continue;
96
97         if (!!first && first.begin() < largeObject.begin())
98             continue;
99
100         first = largeObject;
101     }
102     
103     return first;
104 }
105
106 void FreeList::removeInvalidAndDuplicateEntries(Owner owner)
107 {
108     for (size_t i = m_vector.size(); i-- > 0; ) {
109         LargeObject largeObject(LargeObject::DoNotValidate, m_vector[i].begin());
110         if (!largeObject.isValidAndFree(owner, m_vector[i].size())) {
111             m_vector.pop(i);
112             continue;
113         }
114         
115         largeObject.setMarked(false);
116     }
117
118     for (size_t i = m_vector.size(); i-- > 0; ) {
119         LargeObject largeObject(LargeObject::DoNotValidate, m_vector[i].begin());
120         if (largeObject.isMarked()) {
121             m_vector.pop(i);
122             continue;
123         }
124
125         largeObject.setMarked(true);
126     }
127 }
128
129
130 } // namespace bmalloc