eaf295f0cecef52c957330693a4b5748b3079e76
[WebKit-https.git] / Source / WTF / wtf / text / StringImpl.h
1 /*
2  * Copyright (C) 1999 Lars Knoll (knoll@kde.org)
3  * Copyright (C) 2005-2017 Apple Inc. All rights reserved.
4  * Copyright (C) 2009 Google Inc. All rights reserved.
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public License
17  * along with this library; see the file COPYING.LIB.  If not, write to
18  * the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  *
21  */
22
23 #ifndef StringImpl_h
24 #define StringImpl_h
25
26 #include <limits.h>
27 #include <unicode/uchar.h>
28 #include <unicode/ustring.h>
29 #include <wtf/ASCIICType.h>
30 #include <wtf/CheckedArithmetic.h>
31 #include <wtf/Forward.h>
32 #include <wtf/Hasher.h>
33 #include <wtf/MathExtras.h>
34 #include <wtf/StdLibExtras.h>
35 #include <wtf/Vector.h>
36 #include <wtf/text/ASCIIFastPath.h>
37 #include <wtf/text/ConversionMode.h>
38 #include <wtf/text/StringCommon.h>
39 #include <wtf/text/StringMalloc.h>
40 #include <wtf/text/StringVector.h>
41
42 #if USE(CF)
43 typedef const struct __CFString * CFStringRef;
44 #endif
45
46 #ifdef __OBJC__
47 @class NSString;
48 #endif
49
50 namespace JSC {
51 namespace LLInt { class Data; }
52 class LLIntOffsetsExtractor;
53 }
54
55 namespace WTF {
56
57 class SymbolImpl;
58 class SymbolRegistry;
59
60 struct CStringTranslator;
61 struct HashAndUTF8CharactersTranslator;
62 struct LCharBufferTranslator;
63 struct StringHash;
64 struct SubstringTranslator;
65 struct UCharBufferTranslator;
66
67 template<typename> class RetainPtr;
68
69 template<typename> struct BufferFromStaticDataTranslator;
70 template<typename> struct HashAndCharactersTranslator;
71
72 // Define STRING_STATS to 1 turn on runtime statistics for string sizes and memory usage.
73 #define STRING_STATS 0
74
75 typedef bool (*CharacterMatchFunctionPtr)(UChar);
76 typedef bool (*IsWhiteSpaceFunctionPtr)(UChar);
77
78 template<bool isSpecialCharacter(UChar), typename CharacterType> bool isAllSpecialCharacters(const CharacterType*, size_t length);
79
80 #if STRING_STATS
81
82 struct StringStats {
83     void add8BitString(unsigned length, bool isSubString = false)
84     {
85         ++m_totalNumberStrings;
86         ++m_number8BitStrings;
87         if (!isSubString)
88             m_total8BitData += length;
89     }
90
91     void add16BitString(unsigned length, bool isSubString = false)
92     {
93         ++m_totalNumberStrings;
94         ++m_number16BitStrings;
95         if (!isSubString)
96             m_total16BitData += length;
97     }
98
99     void removeString(StringImpl&);
100     void printStats();
101
102     static const unsigned s_printStringStatsFrequency = 5000;
103     static std::atomic<unsigned> s_stringRemovesTillPrintStats;
104
105     std::atomic<unsigned> m_refCalls;
106     std::atomic<unsigned> m_derefCalls;
107
108     std::atomic<unsigned> m_totalNumberStrings;
109     std::atomic<unsigned> m_number8BitStrings;
110     std::atomic<unsigned> m_number16BitStrings;
111     std::atomic<unsigned long long> m_total8BitData;
112     std::atomic<unsigned long long> m_total16BitData;
113 };
114
115 #define STRING_STATS_ADD_8BIT_STRING(length) StringImpl::stringStats().add8BitString(length)
116 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) StringImpl::stringStats().add8BitString(length, isSubString)
117 #define STRING_STATS_ADD_16BIT_STRING(length) StringImpl::stringStats().add16BitString(length)
118 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) StringImpl::stringStats().add16BitString(length, isSubString)
119 #define STRING_STATS_REMOVE_STRING(string) StringImpl::stringStats().removeString(string)
120 #define STRING_STATS_REF_STRING(string) ++StringImpl::stringStats().m_refCalls;
121 #define STRING_STATS_DEREF_STRING(string) ++StringImpl::stringStats().m_derefCalls;
122
123 #else
124
125 #define STRING_STATS_ADD_8BIT_STRING(length) ((void)0)
126 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) ((void)0)
127 #define STRING_STATS_ADD_16BIT_STRING(length) ((void)0)
128 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) ((void)0)
129 #define STRING_STATS_ADD_UPCONVERTED_STRING(length) ((void)0)
130 #define STRING_STATS_REMOVE_STRING(string) ((void)0)
131 #define STRING_STATS_REF_STRING(string) ((void)0)
132 #define STRING_STATS_DEREF_STRING(string) ((void)0)
133
134 #endif
135
136 class StringImplShape {
137     WTF_MAKE_NONCOPYABLE(StringImplShape);
138 protected:
139     StringImplShape(unsigned refCount, unsigned length, const LChar*, unsigned hashAndFlags);
140     StringImplShape(unsigned refCount, unsigned length, const UChar*, unsigned hashAndFlags);
141
142     enum ConstructWithConstExprTag { ConstructWithConstExpr };
143     template<unsigned characterCount> constexpr StringImplShape(unsigned refCount, unsigned length, const char (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag);
144     template<unsigned characterCount> constexpr StringImplShape(unsigned refCount, unsigned length, const char16_t (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag);
145
146     unsigned m_refCount;
147     unsigned m_length;
148     union {
149         const LChar* m_data8;
150         const UChar* m_data16;
151         // It seems that reinterpret_cast prevents constexpr's compile time initialization in VC++.
152         // These are needed to avoid reinterpret_cast.
153         const char* m_data8Char;
154         const char16_t* m_data16Char;
155     };
156     mutable unsigned m_hashAndFlags;
157 };
158
159 // FIXME: Use of StringImpl and const is rather confused.
160 // The actual string inside a StringImpl is immutable, so you can't modify a string using a StringImpl&.
161 // We could mark every member function const and always use "const StringImpl&" and "const StringImpl*".
162 // Or we could say that "const" doesn't make sense at all and use "StringImpl&" and "StringImpl*" everywhere.
163 // Right now we use a mix of both, which makes code more confusing and has no benefit.
164
165 class StringImpl : private StringImplShape {
166     WTF_MAKE_NONCOPYABLE(StringImpl); WTF_MAKE_STRING_ALLOCATED;
167
168     friend class AtomicStringImpl;
169     friend class JSC::LLInt::Data;
170     friend class JSC::LLIntOffsetsExtractor;
171     friend class PrivateSymbolImpl;
172     friend class RegisteredSymbolImpl;
173     friend class SymbolImpl;
174
175     friend struct WTF::CStringTranslator;
176     friend struct WTF::HashAndUTF8CharactersTranslator;
177     friend struct WTF::LCharBufferTranslator;
178     friend struct WTF::SubstringTranslator;
179     friend struct WTF::UCharBufferTranslator;
180
181     template<typename> friend struct WTF::BufferFromStaticDataTranslator;
182     template<typename> friend struct WTF::HashAndCharactersTranslator;
183
184 public:
185     enum BufferOwnership { BufferInternal, BufferOwned, BufferSubstring };
186
187     // The bottom 6 bits in the hash are flags.
188     static constexpr const unsigned s_flagCount = 6;
189 private:
190     static constexpr const unsigned s_flagMask = (1u << s_flagCount) - 1;
191     static_assert(s_flagCount <= StringHasher::flagCount, "StringHasher reserves enough bits for StringImpl flags");
192     static constexpr const unsigned s_flagStringKindCount = 4;
193
194     static constexpr const unsigned s_hashFlagStringKindIsAtomic = 1u << (s_flagStringKindCount);
195     static constexpr const unsigned s_hashFlagStringKindIsSymbol = 1u << (s_flagStringKindCount + 1);
196     static constexpr const unsigned s_hashMaskStringKind = s_hashFlagStringKindIsAtomic | s_hashFlagStringKindIsSymbol;
197     static constexpr const unsigned s_hashFlag8BitBuffer = 1u << 3;
198     static constexpr const unsigned s_hashFlagDidReportCost = 1u << 2;
199     static constexpr const unsigned s_hashMaskBufferOwnership = (1u << 0) | (1u << 1);
200
201     enum StringKind {
202         StringNormal = 0u, // non-symbol, non-atomic
203         StringAtomic = s_hashFlagStringKindIsAtomic, // non-symbol, atomic
204         StringSymbol = s_hashFlagStringKindIsSymbol, // symbol, non-atomic
205     };
206
207     // Create a normal 8-bit string with internal storage (BufferInternal).
208     enum Force8Bit { Force8BitConstructor };
209     StringImpl(unsigned length, Force8Bit);
210
211     // Create a normal 16-bit string with internal storage (BufferInternal).
212     explicit StringImpl(unsigned length);
213
214     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned).
215     StringImpl(MallocPtr<LChar>, unsigned length);
216     StringImpl(MallocPtr<UChar>, unsigned length);
217     enum ConstructWithoutCopyingTag { ConstructWithoutCopying };
218     StringImpl(const UChar*, unsigned length, ConstructWithoutCopyingTag);
219     StringImpl(const LChar*, unsigned length, ConstructWithoutCopyingTag);
220
221     // Used to create new strings that are a substring of an existing StringImpl (BufferSubstring).
222     StringImpl(const LChar*, unsigned length, Ref<StringImpl>&&);
223     StringImpl(const UChar*, unsigned length, Ref<StringImpl>&&);
224
225 public:
226     WTF_EXPORT_STRING_API static void destroy(StringImpl*);
227
228     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const UChar*, unsigned length);
229     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const LChar*, unsigned length);
230     WTF_EXPORT_STRING_API static Ref<StringImpl> create8BitIfPossible(const UChar*, unsigned length);
231     template<size_t inlineCapacity> static Ref<StringImpl> create8BitIfPossible(const Vector<UChar, inlineCapacity>&);
232     WTF_EXPORT_STRING_API static Ref<StringImpl> create8BitIfPossible(const UChar*);
233
234     ALWAYS_INLINE static Ref<StringImpl> create(const char* characters, unsigned length) { return create(reinterpret_cast<const LChar*>(characters), length); }
235     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const LChar*);
236     ALWAYS_INLINE static Ref<StringImpl> create(const char* string) { return create(reinterpret_cast<const LChar*>(string)); }
237
238     static Ref<StringImpl> createSubstringSharingImpl(StringImpl&, unsigned offset, unsigned length);
239
240     template<unsigned characterCount> static Ref<StringImpl> createFromLiteral(const char (&)[characterCount]);
241
242     // FIXME: Replace calls to these overloads of createFromLiteral to createWithoutCopying instead.
243     WTF_EXPORT_STRING_API static Ref<StringImpl> createFromLiteral(const char*, unsigned length);
244     WTF_EXPORT_STRING_API static Ref<StringImpl> createFromLiteral(const char*);
245
246     WTF_EXPORT_STRING_API static Ref<StringImpl> createWithoutCopying(const UChar*, unsigned length);
247     WTF_EXPORT_STRING_API static Ref<StringImpl> createWithoutCopying(const LChar*, unsigned length);
248     WTF_EXPORT_STRING_API static Ref<StringImpl> createUninitialized(unsigned length, LChar*&);
249     WTF_EXPORT_STRING_API static Ref<StringImpl> createUninitialized(unsigned length, UChar*&);
250     template<typename CharacterType> static RefPtr<StringImpl> tryCreateUninitialized(unsigned length, CharacterType*&);
251
252     // Reallocate the StringImpl. The originalString must be only owned by the Ref,
253     // and the buffer ownership must be BufferInternal. Just like the input pointer of realloc(),
254     // the originalString can't be used after this function.
255     static Ref<StringImpl> reallocate(Ref<StringImpl>&& originalString, unsigned length, LChar*& data);
256     static Ref<StringImpl> reallocate(Ref<StringImpl>&& originalString, unsigned length, UChar*& data);
257
258     static unsigned flagsOffset() { return OBJECT_OFFSETOF(StringImpl, m_hashAndFlags); }
259     static unsigned flagIs8Bit() { return s_hashFlag8BitBuffer; }
260     static unsigned flagIsAtomic() { return s_hashFlagStringKindIsAtomic; }
261     static unsigned flagIsSymbol() { return s_hashFlagStringKindIsSymbol; }
262     static unsigned maskStringKind() { return s_hashMaskStringKind; }
263     static unsigned dataOffset() { return OBJECT_OFFSETOF(StringImpl, m_data8); }
264
265     template<typename CharacterType, size_t inlineCapacity, typename OverflowHandler, size_t minCapacity>
266     static Ref<StringImpl> adopt(StringVector<CharacterType, inlineCapacity, OverflowHandler, minCapacity>&&);
267
268     WTF_EXPORT_STRING_API static Ref<StringImpl> adopt(StringBuffer<UChar>&&);
269     WTF_EXPORT_STRING_API static Ref<StringImpl> adopt(StringBuffer<LChar>&&);
270
271     unsigned length() const { return m_length; }
272     static ptrdiff_t lengthMemoryOffset() { return OBJECT_OFFSETOF(StringImpl, m_length); }
273     bool isEmpty() const { return !m_length; }
274
275     bool is8Bit() const { return m_hashAndFlags & s_hashFlag8BitBuffer; }
276     ALWAYS_INLINE const LChar* characters8() const { ASSERT(is8Bit()); return m_data8; }
277     ALWAYS_INLINE const UChar* characters16() const { ASSERT(!is8Bit()); return m_data16; }
278
279     template<typename CharacterType> const CharacterType* characters() const;
280
281     size_t cost() const;
282     size_t costDuringGC();
283
284     WTF_EXPORT_STRING_API size_t sizeInBytes() const;
285
286     bool isSymbol() const { return m_hashAndFlags & s_hashFlagStringKindIsSymbol; }
287     bool isAtomic() const { return m_hashAndFlags & s_hashFlagStringKindIsAtomic; }
288     void setIsAtomic(bool);
289
290 #if STRING_STATS
291     bool isSubString() const { return bufferOwnership() == BufferSubstring; }
292 #endif
293
294     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const LChar* characters, unsigned length);
295     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const UChar* characters, unsigned length, ConversionMode = LenientConversion);
296     WTF_EXPORT_STRING_API CString utf8ForRange(unsigned offset, unsigned length, ConversionMode = LenientConversion) const;
297     WTF_EXPORT_STRING_API CString utf8(ConversionMode = LenientConversion) const;
298
299 private:
300     static WTF_EXPORT_STRING_API bool utf8Impl(const UChar* characters, unsigned length, char*& buffer, size_t bufferSize, ConversionMode);
301     
302     // The high bits of 'hash' are always empty, but we prefer to store our flags
303     // in the low bits because it makes them slightly more efficient to access.
304     // So, we shift left and right when setting and getting our hash code.
305     void setHash(unsigned) const;
306
307     unsigned rawHash() const { return m_hashAndFlags >> s_flagCount; }
308
309 public:
310     bool hasHash() const { return !!rawHash(); }
311
312     unsigned existingHash() const { ASSERT(hasHash()); return rawHash(); }
313     unsigned hash() const { return hasHash() ? rawHash() : hashSlowCase(); }
314
315     WTF_EXPORT_PRIVATE unsigned concurrentHash() const;
316
317     unsigned symbolAwareHash() const;
318     unsigned existingSymbolAwareHash() const;
319
320     bool isStatic() const { return m_refCount & s_refCountFlagIsStaticString; }
321
322     size_t refCount() const { return m_refCount / s_refCountIncrement; }
323     bool hasOneRef() const { return m_refCount == s_refCountIncrement; }
324     bool hasAtLeastOneRef() const { return m_refCount; } // For assertions.
325
326     void ref();
327     void deref();
328
329     class StaticStringImpl : private StringImplShape {
330         WTF_MAKE_NONCOPYABLE(StaticStringImpl);
331     public:
332         // Used to construct static strings, which have an special refCount that can never hit zero.
333         // This means that the static string will never be destroyed, which is important because
334         // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
335         //
336         // In order to make StaticStringImpl thread safe, we also need to ensure that the rest of
337         // the fields are never mutated by threads. We have this guarantee because:
338         //
339         // 1. m_length is only set on construction and never mutated thereafter.
340         //
341         // 2. m_data8 and m_data16 are only set on construction and never mutated thereafter.
342         //    We also know that a StringImpl never changes from 8 bit to 16 bit because there
343         //    is no way to set/clear the s_hashFlag8BitBuffer flag other than at construction.
344         //
345         // 3. m_hashAndFlags will not be mutated by different threads because:
346         //
347         //    a. StaticStringImpl's constructor sets the s_hashFlagDidReportCost flag to ensure
348         //       that StringImpl::cost() returns early.
349         //       This means StaticStringImpl costs are not counted. But since there should only
350         //       be a finite set of StaticStringImpls, their cost can be aggregated into a single
351         //       system cost if needed.
352         //    b. setIsAtomic() is never called on a StaticStringImpl.
353         //       setIsAtomic() asserts !isStatic().
354         //    c. setHash() is never called on a StaticStringImpl.
355         //       StaticStringImpl's constructor sets the hash on construction.
356         //       StringImpl::hash() only sets a new hash iff !hasHash().
357         //       Additionally, StringImpl::setHash() asserts hasHash() and !isStatic().
358
359         template<unsigned characterCount> constexpr StaticStringImpl(const char (&characters)[characterCount], StringKind = StringNormal);
360         template<unsigned characterCount> constexpr StaticStringImpl(const char16_t (&characters)[characterCount], StringKind = StringNormal);
361         operator StringImpl&();
362     };
363
364     WTF_EXPORTDATA static StaticStringImpl s_atomicEmptyString;
365     ALWAYS_INLINE static StringImpl* empty() { return reinterpret_cast<StringImpl*>(&s_atomicEmptyString); }
366
367     // FIXME: Does this really belong in StringImpl?
368     template<typename CharacterType> static void copyCharacters(CharacterType* destination, const CharacterType* source, unsigned numCharacters);
369     static void copyCharacters(UChar* destination, const LChar* source, unsigned numCharacters);
370
371     // Some string features, like refcounting and the atomicity flag, are not
372     // thread-safe. We achieve thread safety by isolation, giving each thread
373     // its own copy of the string.
374     Ref<StringImpl> isolatedCopy() const;
375
376     WTF_EXPORT_STRING_API Ref<StringImpl> substring(unsigned position, unsigned length = std::numeric_limits<unsigned>::max());
377
378     UChar at(unsigned) const;
379     UChar operator[](unsigned i) const { return at(i); }
380     WTF_EXPORT_STRING_API UChar32 characterStartingAt(unsigned);
381
382     int toIntStrict(bool* ok = 0, int base = 10);
383     unsigned toUIntStrict(bool* ok = 0, int base = 10);
384     int64_t toInt64Strict(bool* ok = 0, int base = 10);
385     uint64_t toUInt64Strict(bool* ok = 0, int base = 10);
386     intptr_t toIntPtrStrict(bool* ok = 0, int base = 10);
387
388     WTF_EXPORT_STRING_API int toInt(bool* ok = 0); // ignores trailing garbage
389     unsigned toUInt(bool* ok = 0); // ignores trailing garbage
390     int64_t toInt64(bool* ok = 0); // ignores trailing garbage
391     uint64_t toUInt64(bool* ok = 0); // ignores trailing garbage
392     intptr_t toIntPtr(bool* ok = 0); // ignores trailing garbage
393
394     // FIXME: Like the strict functions above, these give false for "ok" when there is trailing garbage.
395     // Like the non-strict functions above, these return the value when there is trailing garbage.
396     // It would be better if these were more consistent with the above functions instead.
397     double toDouble(bool* ok = 0);
398     float toFloat(bool* ok = 0);
399
400     WTF_EXPORT_STRING_API Ref<StringImpl> convertToASCIILowercase();
401     WTF_EXPORT_STRING_API Ref<StringImpl> convertToASCIIUppercase();
402     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithoutLocale();
403     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithoutLocaleStartingAtFailingIndex8Bit(unsigned);
404     WTF_EXPORT_STRING_API Ref<StringImpl> convertToUppercaseWithoutLocale();
405     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithLocale(const AtomicString& localeIdentifier);
406     WTF_EXPORT_STRING_API Ref<StringImpl> convertToUppercaseWithLocale(const AtomicString& localeIdentifier);
407
408     Ref<StringImpl> foldCase();
409
410     Ref<StringImpl> stripWhiteSpace();
411     Ref<StringImpl> stripWhiteSpace(IsWhiteSpaceFunctionPtr);
412     WTF_EXPORT_STRING_API Ref<StringImpl> simplifyWhiteSpace();
413     Ref<StringImpl> simplifyWhiteSpace(IsWhiteSpaceFunctionPtr);
414
415     Ref<StringImpl> removeCharacters(CharacterMatchFunctionPtr);
416     template<typename CharacterType> Ref<StringImpl> removeCharacters(const CharacterType*, CharacterMatchFunctionPtr);
417
418     bool isAllASCII() const;
419     bool isAllLatin1() const;
420     template<bool isSpecialCharacter(UChar)> bool isAllSpecialCharacters() const;
421
422     size_t find(LChar character, unsigned start = 0);
423     size_t find(char character, unsigned start = 0);
424     size_t find(UChar character, unsigned start = 0);
425     WTF_EXPORT_STRING_API size_t find(CharacterMatchFunctionPtr, unsigned index = 0);
426     size_t find(const LChar*, unsigned index = 0);
427     ALWAYS_INLINE size_t find(const char* string, unsigned index = 0) { return find(reinterpret_cast<const LChar*>(string), index); }
428     WTF_EXPORT_STRING_API size_t find(StringImpl*);
429     WTF_EXPORT_STRING_API size_t find(StringImpl*, unsigned index);
430     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl&) const;
431     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl&, unsigned startOffset) const;
432     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl*) const;
433     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl*, unsigned startOffset) const;
434
435     WTF_EXPORT_STRING_API size_t reverseFind(UChar, unsigned index = std::numeric_limits<unsigned>::max());
436     WTF_EXPORT_STRING_API size_t reverseFind(StringImpl*, unsigned index = std::numeric_limits<unsigned>::max());
437
438     WTF_EXPORT_STRING_API bool startsWith(const StringImpl*) const;
439     WTF_EXPORT_STRING_API bool startsWith(const StringImpl&) const;
440     WTF_EXPORT_STRING_API bool startsWithIgnoringASCIICase(const StringImpl*) const;
441     WTF_EXPORT_STRING_API bool startsWithIgnoringASCIICase(const StringImpl&) const;
442     WTF_EXPORT_STRING_API bool startsWith(UChar) const;
443     WTF_EXPORT_STRING_API bool startsWith(const char*, unsigned matchLength) const;
444     template<unsigned matchLength> bool startsWith(const char (&prefix)[matchLength]) const { return startsWith(prefix, matchLength - 1); }
445     WTF_EXPORT_STRING_API bool hasInfixStartingAt(const StringImpl&, unsigned startOffset) const;
446
447     WTF_EXPORT_STRING_API bool endsWith(StringImpl*);
448     WTF_EXPORT_STRING_API bool endsWith(StringImpl&);
449     WTF_EXPORT_STRING_API bool endsWithIgnoringASCIICase(const StringImpl*) const;
450     WTF_EXPORT_STRING_API bool endsWithIgnoringASCIICase(const StringImpl&) const;
451     WTF_EXPORT_STRING_API bool endsWith(UChar) const;
452     WTF_EXPORT_STRING_API bool endsWith(const char*, unsigned matchLength) const;
453     template<unsigned matchLength> bool endsWith(const char (&prefix)[matchLength]) const { return endsWith(prefix, matchLength - 1); }
454     WTF_EXPORT_STRING_API bool hasInfixEndingAt(const StringImpl&, unsigned endOffset) const;
455
456     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, UChar);
457     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, StringImpl*);
458     ALWAYS_INLINE Ref<StringImpl> replace(UChar pattern, const char* replacement, unsigned replacementLength) { return replace(pattern, reinterpret_cast<const LChar*>(replacement), replacementLength); }
459     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, const LChar*, unsigned replacementLength);
460     Ref<StringImpl> replace(UChar, const UChar*, unsigned replacementLength);
461     WTF_EXPORT_STRING_API Ref<StringImpl> replace(StringImpl*, StringImpl*);
462     WTF_EXPORT_STRING_API Ref<StringImpl> replace(unsigned index, unsigned length, StringImpl*);
463
464     WTF_EXPORT_STRING_API UCharDirection defaultWritingDirection(bool* hasStrongDirectionality = nullptr);
465
466 #if USE(CF)
467     RetainPtr<CFStringRef> createCFString();
468 #endif
469
470 #ifdef __OBJC__
471     WTF_EXPORT_STRING_API operator NSString *();
472 #endif
473
474 #if STRING_STATS
475     ALWAYS_INLINE static StringStats& stringStats() { return m_stringStats; }
476 #endif
477
478     BufferOwnership bufferOwnership() const { return static_cast<BufferOwnership>(m_hashAndFlags & s_hashMaskBufferOwnership); }
479     
480     void assertCaged() const;
481     WTF_EXPORT_PRIVATE void releaseAssertCaged() const;
482
483 protected:
484     ~StringImpl();
485
486     // Used to create new symbol string that holds an existing [[Description]] string as a substring buffer (BufferSubstring).
487     enum CreateSymbolTag { CreateSymbol };
488     StringImpl(CreateSymbolTag, const LChar*, unsigned length);
489     StringImpl(CreateSymbolTag, const UChar*, unsigned length);
490
491     // Null symbol.
492     explicit StringImpl(CreateSymbolTag);
493
494 private:
495     template<typename> static size_t allocationSize(Checked<size_t> tailElementCount);
496     template<typename> static size_t tailOffset();
497
498     bool requiresCopy() const;
499     template<typename T> const T* tailPointer() const;
500     template<typename T> T* tailPointer();
501     StringImpl* const& substringBuffer() const;
502     StringImpl*& substringBuffer();
503
504     enum class CaseConvertType { Upper, Lower };
505     template<CaseConvertType, typename CharacterType> static Ref<StringImpl> convertASCIICase(StringImpl&, const CharacterType*, unsigned);
506
507     template<typename UCharPredicate> Ref<StringImpl> stripMatchedCharacters(UCharPredicate);
508     template<typename CharacterType, typename UCharPredicate> Ref<StringImpl> simplifyMatchedCharactersToSpace(UCharPredicate);
509     template<typename CharacterType> static Ref<StringImpl> constructInternal(StringImpl&, unsigned);
510     template<typename CharacterType> static Ref<StringImpl> createUninitializedInternal(unsigned, CharacterType*&);
511     template<typename CharacterType> static Ref<StringImpl> createUninitializedInternalNonEmpty(unsigned, CharacterType*&);
512     template<typename CharacterType> static Ref<StringImpl> reallocateInternal(Ref<StringImpl>&&, unsigned, CharacterType*&);
513     template<typename CharacterType> static Ref<StringImpl> createInternal(const CharacterType*, unsigned);
514     WTF_EXPORT_PRIVATE NEVER_INLINE unsigned hashSlowCase() const;
515
516     // The bottom bit in the ref count indicates a static (immortal) string.
517     static const unsigned s_refCountFlagIsStaticString = 0x1;
518     static const unsigned s_refCountIncrement = 0x2; // This allows us to ref / deref without disturbing the static string flag.
519
520 #if STRING_STATS
521     WTF_EXPORTDATA static StringStats m_stringStats;
522 #endif
523
524 public:
525     void assertHashIsCorrect() const;
526 };
527
528 using StaticStringImpl = StringImpl::StaticStringImpl;
529
530 static_assert(sizeof(StringImpl) == sizeof(StaticStringImpl), "");
531
532 #if !ASSERT_DISABLED
533
534 // StringImpls created from StaticStringImpl will ASSERT in the generic ValueCheck<T>::checkConsistency
535 // as they are not allocated by stringMalloc. We don't currently have any way to detect that case
536 // so we ignore the consistency check for all StringImpl*.
537 template<> struct ValueCheck<StringImpl*> {
538     static void checkConsistency(const StringImpl*) { }
539 };
540
541 #endif
542
543 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const StringImpl*);
544 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*);
545 inline bool equal(const StringImpl* a, const char* b) { return equal(a, reinterpret_cast<const LChar*>(b)); }
546 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*, unsigned);
547 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const UChar*, unsigned);
548 inline bool equal(const StringImpl* a, const char* b, unsigned length) { return equal(a, reinterpret_cast<const LChar*>(b), length); }
549 inline bool equal(const LChar* a, StringImpl* b) { return equal(b, a); }
550 inline bool equal(const char* a, StringImpl* b) { return equal(b, reinterpret_cast<const LChar*>(a)); }
551 WTF_EXPORT_STRING_API bool equal(const StringImpl& a, const StringImpl& b);
552
553 WTF_EXPORT_STRING_API bool equalIgnoringNullity(StringImpl*, StringImpl*);
554 WTF_EXPORT_STRING_API bool equalIgnoringNullity(const UChar*, size_t length, StringImpl*);
555
556 bool equalIgnoringASCIICase(const StringImpl&, const StringImpl&);
557 WTF_EXPORT_STRING_API bool equalIgnoringASCIICase(const StringImpl*, const StringImpl*);
558 bool equalIgnoringASCIICase(const StringImpl&, const char*);
559 bool equalIgnoringASCIICase(const StringImpl*, const char*);
560
561 WTF_EXPORT_STRING_API bool equalIgnoringASCIICaseNonNull(const StringImpl*, const StringImpl*);
562
563 template<unsigned length> bool equalLettersIgnoringASCIICase(const StringImpl&, const char (&lowercaseLetters)[length]);
564 template<unsigned length> bool equalLettersIgnoringASCIICase(const StringImpl*, const char (&lowercaseLetters)[length]);
565
566 size_t find(const LChar*, unsigned length, CharacterMatchFunctionPtr, unsigned index = 0);
567 size_t find(const UChar*, unsigned length, CharacterMatchFunctionPtr, unsigned index = 0);
568
569 template<typename CharacterType> size_t reverseFindLineTerminator(const CharacterType*, unsigned length, unsigned index = std::numeric_limits<unsigned>::max());
570 template<typename CharacterType> size_t reverseFind(const CharacterType*, unsigned length, CharacterType matchCharacter, unsigned index = std::numeric_limits<unsigned>::max());
571 size_t reverseFind(const UChar*, unsigned length, LChar matchCharacter, unsigned index = std::numeric_limits<unsigned>::max());
572 size_t reverseFind(const LChar*, unsigned length, UChar matchCharacter, unsigned index = std::numeric_limits<unsigned>::max());
573
574 template<size_t inlineCapacity> bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>&, StringImpl*);
575
576 template<typename CharacterType1, typename CharacterType2> int codePointCompare(const CharacterType1*, unsigned length1, const CharacterType2*, unsigned length2);
577 int codePointCompare(const StringImpl*, const StringImpl*);
578
579 // FIXME: Should rename this to make clear it uses the Unicode definition of whitespace.
580 // Most WebKit callers don't want that would use isASCIISpace or isHTMLSpace instead.
581 bool isSpaceOrNewline(UChar);
582
583 template<typename CharacterType> unsigned lengthOfNullTerminatedString(const CharacterType*);
584
585 // StringHash is the default hash for StringImpl* and RefPtr<StringImpl>
586 template<typename T> struct DefaultHash;
587 template<> struct DefaultHash<StringImpl*> {
588     typedef StringHash Hash;
589 };
590 template<> struct DefaultHash<RefPtr<StringImpl>> {
591     typedef StringHash Hash;
592 };
593
594 #define MAKE_STATIC_STRING_IMPL(characters) ([] { \
595         static StaticStringImpl impl(characters); \
596         return &impl; \
597     }())
598
599 template<> ALWAYS_INLINE Ref<StringImpl> StringImpl::constructInternal<LChar>(StringImpl& string, unsigned length)
600 {
601     return adoptRef(*new (NotNull, &string) StringImpl { length, Force8BitConstructor });
602 }
603
604 template<> ALWAYS_INLINE Ref<StringImpl> StringImpl::constructInternal<UChar>(StringImpl& string, unsigned length)
605 {
606     return adoptRef(*new (NotNull, &string) StringImpl { length });
607 }
608
609 template<> ALWAYS_INLINE const LChar* StringImpl::characters<LChar>() const
610 {
611     return characters8();
612 }
613
614 template<> ALWAYS_INLINE const UChar* StringImpl::characters<UChar>() const
615 {
616     return characters16();
617 }
618
619 inline size_t find(const LChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index)
620 {
621     while (index < length) {
622         if (matchFunction(characters[index]))
623             return index;
624         ++index;
625     }
626     return notFound;
627 }
628
629 inline size_t find(const UChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index)
630 {
631     while (index < length) {
632         if (matchFunction(characters[index]))
633             return index;
634         ++index;
635     }
636     return notFound;
637 }
638
639 template<typename CharacterType> inline size_t reverseFindLineTerminator(const CharacterType* characters, unsigned length, unsigned index)
640 {
641     if (!length)
642         return notFound;
643     if (index >= length)
644         index = length - 1;
645     auto character = characters[index];
646     while (character != '\n' && character != '\r') {
647         if (!index--)
648             return notFound;
649         character = characters[index];
650     }
651     return index;
652 }
653
654 template<typename CharacterType> inline size_t reverseFind(const CharacterType* characters, unsigned length, CharacterType matchCharacter, unsigned index)
655 {
656     if (!length)
657         return notFound;
658     if (index >= length)
659         index = length - 1;
660     while (characters[index] != matchCharacter) {
661         if (!index--)
662             return notFound;
663     }
664     return index;
665 }
666
667 ALWAYS_INLINE size_t reverseFind(const UChar* characters, unsigned length, LChar matchCharacter, unsigned index)
668 {
669     return reverseFind(characters, length, static_cast<UChar>(matchCharacter), index);
670 }
671
672 inline size_t reverseFind(const LChar* characters, unsigned length, UChar matchCharacter, unsigned index)
673 {
674     if (matchCharacter & ~0xFF)
675         return notFound;
676     return reverseFind(characters, length, static_cast<LChar>(matchCharacter), index);
677 }
678
679 inline size_t StringImpl::find(LChar character, unsigned start)
680 {
681     if (is8Bit())
682         return WTF::find(characters8(), m_length, character, start);
683     return WTF::find(characters16(), m_length, character, start);
684 }
685
686 ALWAYS_INLINE size_t StringImpl::find(char character, unsigned start)
687 {
688     return find(static_cast<LChar>(character), start);
689 }
690
691 inline size_t StringImpl::find(UChar character, unsigned start)
692 {
693     if (is8Bit())
694         return WTF::find(characters8(), m_length, character, start);
695     return WTF::find(characters16(), m_length, character, start);
696 }
697
698 template<size_t inlineCapacity> inline bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>& a, StringImpl* b)
699 {
700     return equalIgnoringNullity(a.data(), a.size(), b);
701 }
702
703 template<typename CharacterType1, typename CharacterType2>
704 inline int codePointCompare(const CharacterType1* characters1, unsigned length1, const CharacterType2* characters2, unsigned length2)
705 {
706     unsigned commonLength = std::min(length1, length2);
707
708     unsigned position = 0;
709     while (position < commonLength && *characters1 == *characters2) {
710         ++characters1;
711         ++characters2;
712         ++position;
713     }
714
715     if (position < commonLength)
716         return (characters1[0] > characters2[0]) ? 1 : -1;
717
718     if (length1 == length2)
719         return 0;
720     return (length1 > length2) ? 1 : -1;
721 }
722
723 inline int codePointCompare(const StringImpl* string1, const StringImpl* string2)
724 {
725     // FIXME: Should null strings compare as less than empty strings rather than equal to them?
726     if (!string1)
727         return (string2 && string2->length()) ? -1 : 0;
728     if (!string2)
729         return string1->length() ? 1 : 0;
730
731     bool string1Is8Bit = string1->is8Bit();
732     bool string2Is8Bit = string2->is8Bit();
733     if (string1Is8Bit) {
734         if (string2Is8Bit)
735             return codePointCompare(string1->characters8(), string1->length(), string2->characters8(), string2->length());
736         return codePointCompare(string1->characters8(), string1->length(), string2->characters16(), string2->length());
737     }
738     if (string2Is8Bit)
739         return codePointCompare(string1->characters16(), string1->length(), string2->characters8(), string2->length());
740     return codePointCompare(string1->characters16(), string1->length(), string2->characters16(), string2->length());
741 }
742
743 inline bool isSpaceOrNewline(UChar character)
744 {
745     // Use isASCIISpace() for basic Latin-1.
746     // This will include newlines, which aren't included in Unicode DirWS.
747     return isASCII(character) ? isASCIISpace(character) : u_charDirection(character) == U_WHITE_SPACE_NEUTRAL;
748 }
749
750 template<typename CharacterType> inline unsigned lengthOfNullTerminatedString(const CharacterType* string)
751 {
752     ASSERT(string);
753     size_t length = 0;
754     while (string[length])
755         ++length;
756
757     RELEASE_ASSERT(length < std::numeric_limits<unsigned>::max());
758     return static_cast<unsigned>(length);
759 }
760
761 inline StringImplShape::StringImplShape(unsigned refCount, unsigned length, const LChar* data8, unsigned hashAndFlags)
762     : m_refCount(refCount)
763     , m_length(length)
764     , m_data8(data8)
765     , m_hashAndFlags(hashAndFlags)
766 {
767 }
768
769 inline StringImplShape::StringImplShape(unsigned refCount, unsigned length, const UChar* data16, unsigned hashAndFlags)
770     : m_refCount(refCount)
771     , m_length(length)
772     , m_data16(data16)
773     , m_hashAndFlags(hashAndFlags)
774 {
775 }
776
777 template<unsigned characterCount> inline constexpr StringImplShape::StringImplShape(unsigned refCount, unsigned length, const char (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag)
778     : m_refCount(refCount)
779     , m_length(length)
780     , m_data8Char(characters)
781     , m_hashAndFlags(hashAndFlags)
782 {
783 }
784
785 template<unsigned characterCount> inline constexpr StringImplShape::StringImplShape(unsigned refCount, unsigned length, const char16_t (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag)
786     : m_refCount(refCount)
787     , m_length(length)
788     , m_data16Char(characters)
789     , m_hashAndFlags(hashAndFlags)
790 {
791 }
792
793 inline Ref<StringImpl> StringImpl::isolatedCopy() const
794 {
795     if (!requiresCopy()) {
796         if (is8Bit())
797             return StringImpl::createWithoutCopying(m_data8, m_length);
798         return StringImpl::createWithoutCopying(m_data16, m_length);
799     }
800
801     if (is8Bit())
802         return create(m_data8, m_length);
803     return create(m_data16, m_length);
804 }
805
806 inline bool StringImpl::isAllASCII() const
807 {
808     if (is8Bit())
809         return charactersAreAllASCII(characters8(), length());
810     return charactersAreAllASCII(characters16(), length());
811 }
812
813 inline bool StringImpl::isAllLatin1() const
814 {
815     if (is8Bit())
816         return true;
817     auto* characters = characters16();
818     UChar ored = 0;
819     for (size_t i = 0; i < length(); ++i)
820         ored |= characters[i];
821     return !(ored & 0xFF00);
822 }
823
824 template<bool isSpecialCharacter(UChar), typename CharacterType> inline bool isAllSpecialCharacters(const CharacterType* characters, size_t length)
825 {
826     for (size_t i = 0; i < length; ++i) {
827         if (!isSpecialCharacter(characters[i]))
828             return false;
829     }
830     return true;
831 }
832
833 template<bool isSpecialCharacter(UChar)> inline bool StringImpl::isAllSpecialCharacters() const
834 {
835     if (is8Bit())
836         return WTF::isAllSpecialCharacters<isSpecialCharacter>(characters8(), length());
837     return WTF::isAllSpecialCharacters<isSpecialCharacter>(characters16(), length());
838 }
839
840 inline StringImpl::StringImpl(unsigned length, Force8Bit)
841     : StringImplShape(s_refCountIncrement, length, tailPointer<LChar>(), s_hashFlag8BitBuffer | StringNormal | BufferInternal)
842 {
843     ASSERT(m_data8);
844     ASSERT(m_length);
845
846     STRING_STATS_ADD_8BIT_STRING(m_length);
847 }
848
849 inline StringImpl::StringImpl(unsigned length)
850     : StringImplShape(s_refCountIncrement, length, tailPointer<UChar>(), StringNormal | BufferInternal)
851 {
852     ASSERT(m_data16);
853     ASSERT(m_length);
854
855     STRING_STATS_ADD_16BIT_STRING(m_length);
856 }
857
858 inline StringImpl::StringImpl(MallocPtr<LChar> characters, unsigned length)
859     : StringImplShape(s_refCountIncrement, length, characters.leakPtr(), s_hashFlag8BitBuffer | StringNormal | BufferOwned)
860 {
861     ASSERT(m_data8);
862     ASSERT(m_length);
863
864     STRING_STATS_ADD_8BIT_STRING(m_length);
865 }
866
867 inline StringImpl::StringImpl(const UChar* characters, unsigned length, ConstructWithoutCopyingTag)
868     : StringImplShape(s_refCountIncrement, length, characters, StringNormal | BufferInternal)
869 {
870     ASSERT(m_data16);
871     ASSERT(m_length);
872
873     STRING_STATS_ADD_16BIT_STRING(m_length);
874 }
875
876 inline StringImpl::StringImpl(const LChar* characters, unsigned length, ConstructWithoutCopyingTag)
877     : StringImplShape(s_refCountIncrement, length, characters, s_hashFlag8BitBuffer | StringNormal | BufferInternal)
878 {
879     ASSERT(m_data8);
880     ASSERT(m_length);
881
882     STRING_STATS_ADD_8BIT_STRING(m_length);
883 }
884
885 inline StringImpl::StringImpl(MallocPtr<UChar> characters, unsigned length)
886     : StringImplShape(s_refCountIncrement, length, characters.leakPtr(), StringNormal | BufferOwned)
887 {
888     ASSERT(m_data16);
889     ASSERT(m_length);
890
891     STRING_STATS_ADD_16BIT_STRING(m_length);
892 }
893
894 inline StringImpl::StringImpl(const LChar* characters, unsigned length, Ref<StringImpl>&& base)
895     : StringImplShape(s_refCountIncrement, length, characters, s_hashFlag8BitBuffer | StringNormal | BufferSubstring)
896 {
897     ASSERT(is8Bit());
898     ASSERT(m_data8);
899     ASSERT(m_length);
900     ASSERT(base->bufferOwnership() != BufferSubstring);
901
902     substringBuffer() = &base.leakRef();
903
904     STRING_STATS_ADD_8BIT_STRING2(m_length, true);
905 }
906
907 inline StringImpl::StringImpl(const UChar* characters, unsigned length, Ref<StringImpl>&& base)
908     : StringImplShape(s_refCountIncrement, length, characters, StringNormal | BufferSubstring)
909 {
910     ASSERT(!is8Bit());
911     ASSERT(m_data16);
912     ASSERT(m_length);
913     ASSERT(base->bufferOwnership() != BufferSubstring);
914
915     substringBuffer() = &base.leakRef();
916
917     STRING_STATS_ADD_16BIT_STRING2(m_length, true);
918 }
919
920 template<size_t inlineCapacity> inline Ref<StringImpl> StringImpl::create8BitIfPossible(const Vector<UChar, inlineCapacity>& vector)
921 {
922     return create8BitIfPossible(vector.data(), vector.size());
923 }
924
925 ALWAYS_INLINE Ref<StringImpl> StringImpl::createSubstringSharingImpl(StringImpl& rep, unsigned offset, unsigned length)
926 {
927     ASSERT(length <= rep.length());
928
929     if (!length)
930         return *empty();
931
932     auto* ownerRep = ((rep.bufferOwnership() == BufferSubstring) ? rep.substringBuffer() : &rep);
933
934     // We allocate a buffer that contains both the StringImpl struct as well as the pointer to the owner string.
935     auto* stringImpl = static_cast<StringImpl*>(stringMalloc(allocationSize<StringImpl*>(1)));
936     if (rep.is8Bit())
937         return adoptRef(*new (NotNull, stringImpl) StringImpl(rep.m_data8 + offset, length, *ownerRep));
938     return adoptRef(*new (NotNull, stringImpl) StringImpl(rep.m_data16 + offset, length, *ownerRep));
939 }
940
941 template<unsigned characterCount> ALWAYS_INLINE Ref<StringImpl> StringImpl::createFromLiteral(const char (&characters)[characterCount])
942 {
943     COMPILE_ASSERT(characterCount > 1, StringImplFromLiteralNotEmpty);
944     COMPILE_ASSERT((characterCount - 1 <= ((unsigned(~0) - sizeof(StringImpl)) / sizeof(LChar))), StringImplFromLiteralCannotOverflow);
945
946     return createWithoutCopying(reinterpret_cast<const LChar*>(characters), characterCount - 1);
947 }
948
949 template<typename CharacterType> ALWAYS_INLINE RefPtr<StringImpl> StringImpl::tryCreateUninitialized(unsigned length, CharacterType*& output)
950 {
951     if (!length) {
952         output = nullptr;
953         return empty();
954     }
955
956     if (length > ((std::numeric_limits<unsigned>::max() - sizeof(StringImpl)) / sizeof(CharacterType))) {
957         output = nullptr;
958         return nullptr;
959     }
960     auto* result = static_cast<StringImpl*>(tryStringMalloc(allocationSize<CharacterType>(length)));
961     if (!result) {
962         output = nullptr;
963         return nullptr;
964     }
965     output = result->tailPointer<CharacterType>();
966
967     return constructInternal<CharacterType>(*result, length);
968 }
969
970 template<typename CharacterType, size_t inlineCapacity, typename OverflowHandler, size_t minCapacity>
971 inline Ref<StringImpl> StringImpl::adopt(StringVector<CharacterType, inlineCapacity, OverflowHandler, minCapacity>&& vector)
972 {
973     if (size_t size = vector.size()) {
974         ASSERT(vector.data());
975         if (size > std::numeric_limits<unsigned>::max())
976             CRASH();
977         return adoptRef(*new StringImpl(vector.releaseBuffer(), size));
978     }
979     return *empty();
980 }
981
982 inline size_t StringImpl::cost() const
983 {
984     // For substrings, return the cost of the base string.
985     if (bufferOwnership() == BufferSubstring)
986         return substringBuffer()->cost();
987
988     // Note: we must not alter the m_hashAndFlags field in instances of StaticStringImpl.
989     // We ensure this by pre-setting the s_hashFlagDidReportCost bit in all instances of
990     // StaticStringImpl. As a result, StaticStringImpl instances will always return a cost of
991     // 0 here and avoid modifying m_hashAndFlags.
992     if (m_hashAndFlags & s_hashFlagDidReportCost)
993         return 0;
994
995     m_hashAndFlags |= s_hashFlagDidReportCost;
996     size_t result = m_length;
997     if (!is8Bit())
998         result <<= 1;
999     return result;
1000 }
1001
1002 inline size_t StringImpl::costDuringGC()
1003 {
1004     if (isStatic())
1005         return 0;
1006
1007     if (bufferOwnership() == BufferSubstring)
1008         return divideRoundedUp(substringBuffer()->costDuringGC(), refCount());
1009
1010     size_t result = m_length;
1011     if (!is8Bit())
1012         result <<= 1;
1013     return divideRoundedUp(result, refCount());
1014 }
1015
1016 inline void StringImpl::setIsAtomic(bool isAtomic)
1017 {
1018     ASSERT(!isStatic());
1019     ASSERT(!isSymbol());
1020     if (isAtomic)
1021         m_hashAndFlags |= s_hashFlagStringKindIsAtomic;
1022     else
1023         m_hashAndFlags &= ~s_hashFlagStringKindIsAtomic;
1024 }
1025
1026 inline void StringImpl::setHash(unsigned hash) const
1027 {
1028     // The high bits of 'hash' are always empty, but we prefer to store our flags
1029     // in the low bits because it makes them slightly more efficient to access.
1030     // So, we shift left and right when setting and getting our hash code.
1031
1032     ASSERT(!hasHash());
1033     ASSERT(!isStatic());
1034     // Multiple clients assume that StringHasher is the canonical string hash function.
1035     ASSERT(hash == (is8Bit() ? StringHasher::computeHashAndMaskTop8Bits(m_data8, m_length) : StringHasher::computeHashAndMaskTop8Bits(m_data16, m_length)));
1036     ASSERT(!(hash & (s_flagMask << (8 * sizeof(hash) - s_flagCount)))); // Verify that enough high bits are empty.
1037
1038     hash <<= s_flagCount;
1039     ASSERT(!(hash & m_hashAndFlags)); // Verify that enough low bits are empty after shift.
1040     ASSERT(hash); // Verify that 0 is a valid sentinel hash value.
1041
1042     m_hashAndFlags |= hash; // Store hash with flags in low bits.
1043 }
1044
1045 inline void StringImpl::ref()
1046 {
1047     STRING_STATS_REF_STRING(*this);
1048
1049     m_refCount += s_refCountIncrement;
1050 }
1051
1052 inline void StringImpl::deref()
1053 {
1054     STRING_STATS_DEREF_STRING(*this);
1055
1056     unsigned tempRefCount = m_refCount - s_refCountIncrement;
1057     if (!tempRefCount) {
1058         StringImpl::destroy(this);
1059         return;
1060     }
1061     m_refCount = tempRefCount;
1062 }
1063
1064 template<typename CharacterType> inline void StringImpl::copyCharacters(CharacterType* destination, const CharacterType* source, unsigned numCharacters)
1065 {
1066     if (numCharacters == 1) {
1067         *destination = *source;
1068         return;
1069     }
1070     memcpy(destination, source, numCharacters * sizeof(CharacterType));
1071 }
1072
1073 ALWAYS_INLINE void StringImpl::copyCharacters(UChar* destination, const LChar* source, unsigned numCharacters)
1074 {
1075     for (unsigned i = 0; i < numCharacters; ++i)
1076         destination[i] = source[i];
1077 }
1078
1079 inline UChar StringImpl::at(unsigned i) const
1080 {
1081     ASSERT_WITH_SECURITY_IMPLICATION(i < m_length);
1082     return is8Bit() ? m_data8[i] : m_data16[i];
1083 }
1084
1085 inline void StringImpl::assertCaged() const
1086 {
1087     if (!ASSERT_DISABLED)
1088         releaseAssertCaged();
1089 }
1090
1091 inline StringImpl::StringImpl(CreateSymbolTag, const LChar* characters, unsigned length)
1092     : StringImplShape(s_refCountIncrement, length, characters, s_hashFlag8BitBuffer | StringSymbol | BufferSubstring)
1093 {
1094     ASSERT(is8Bit());
1095     ASSERT(m_data8);
1096     STRING_STATS_ADD_8BIT_STRING2(m_length, true);
1097 }
1098
1099 inline StringImpl::StringImpl(CreateSymbolTag, const UChar* characters, unsigned length)
1100     : StringImplShape(s_refCountIncrement, length, characters, StringSymbol | BufferSubstring)
1101 {
1102     ASSERT(!is8Bit());
1103     ASSERT(m_data16);
1104     STRING_STATS_ADD_16BIT_STRING2(m_length, true);
1105 }
1106
1107 inline StringImpl::StringImpl(CreateSymbolTag)
1108     : StringImplShape(s_refCountIncrement, 0, empty()->characters8(), s_hashFlag8BitBuffer | StringSymbol | BufferSubstring)
1109 {
1110     ASSERT(is8Bit());
1111     ASSERT(m_data8);
1112     STRING_STATS_ADD_8BIT_STRING2(m_length, true);
1113 }
1114
1115 template<typename T> inline size_t StringImpl::allocationSize(Checked<size_t> tailElementCount)
1116 {
1117     return (tailOffset<T>() + tailElementCount * sizeof(T)).unsafeGet();
1118 }
1119
1120 template<typename T> inline size_t StringImpl::tailOffset()
1121 {
1122 #if COMPILER(MSVC)
1123     // MSVC doesn't support alignof yet.
1124     return roundUpToMultipleOf<sizeof(T)>(sizeof(StringImpl));
1125 #else
1126     return roundUpToMultipleOf<alignof(T)>(offsetof(StringImpl, m_hashAndFlags) + sizeof(StringImpl::m_hashAndFlags));
1127 #endif
1128 }
1129
1130 inline bool StringImpl::requiresCopy() const
1131 {
1132     if (bufferOwnership() != BufferInternal)
1133         return true;
1134
1135     if (is8Bit())
1136         return m_data8 == tailPointer<LChar>();
1137     return m_data16 == tailPointer<UChar>();
1138 }
1139
1140 template<typename T> inline const T* StringImpl::tailPointer() const
1141 {
1142     return reinterpret_cast_ptr<const T*>(reinterpret_cast<const uint8_t*>(this) + tailOffset<T>());
1143 }
1144
1145 template<typename T> inline T* StringImpl::tailPointer()
1146 {
1147     return reinterpret_cast_ptr<T*>(reinterpret_cast<uint8_t*>(this) + tailOffset<T>());
1148 }
1149
1150 inline StringImpl* const& StringImpl::substringBuffer() const
1151 {
1152     ASSERT(bufferOwnership() == BufferSubstring);
1153
1154     return *tailPointer<StringImpl*>();
1155 }
1156
1157 inline StringImpl*& StringImpl::substringBuffer()
1158 {
1159     ASSERT(bufferOwnership() == BufferSubstring);
1160
1161     return *tailPointer<StringImpl*>();
1162 }
1163
1164 inline void StringImpl::assertHashIsCorrect() const
1165 {
1166     ASSERT(existingHash() == StringHasher::computeHashAndMaskTop8Bits(characters8(), length()));
1167 }
1168
1169 template<unsigned characterCount> inline constexpr StringImpl::StaticStringImpl::StaticStringImpl(const char (&characters)[characterCount], StringKind stringKind)
1170     : StringImplShape(s_refCountFlagIsStaticString, characterCount - 1, characters,
1171         s_hashFlag8BitBuffer | s_hashFlagDidReportCost | stringKind | BufferInternal | (StringHasher::computeLiteralHashAndMaskTop8Bits(characters) << s_flagCount), ConstructWithConstExpr)
1172 {
1173 }
1174
1175 template<unsigned characterCount> inline constexpr StringImpl::StaticStringImpl::StaticStringImpl(const char16_t (&characters)[characterCount], StringKind stringKind)
1176     : StringImplShape(s_refCountFlagIsStaticString, characterCount - 1, characters,
1177         s_hashFlagDidReportCost | stringKind | BufferInternal | (StringHasher::computeLiteralHashAndMaskTop8Bits(characters) << s_flagCount), ConstructWithConstExpr)
1178 {
1179 }
1180
1181 inline StringImpl::StaticStringImpl::operator StringImpl&()
1182 {
1183     return *reinterpret_cast<StringImpl*>(this);
1184 }
1185
1186 inline bool equalIgnoringASCIICase(const StringImpl& a, const StringImpl& b)
1187 {
1188     return equalIgnoringASCIICaseCommon(a, b);
1189 }
1190
1191 inline bool equalIgnoringASCIICase(const StringImpl& a, const char* b)
1192 {
1193     return equalIgnoringASCIICaseCommon(a, b);
1194 }
1195
1196 inline bool equalIgnoringASCIICase(const StringImpl* a, const char* b)
1197 {
1198     return a && equalIgnoringASCIICase(*a, b);
1199 }
1200
1201 template<unsigned length> inline bool startsWithLettersIgnoringASCIICase(const StringImpl& string, const char (&lowercaseLetters)[length])
1202 {
1203     return startsWithLettersIgnoringASCIICaseCommon(string, lowercaseLetters);
1204 }
1205
1206 template<unsigned length> inline bool startsWithLettersIgnoringASCIICase(const StringImpl* string, const char (&lowercaseLetters)[length])
1207 {
1208     return string && startsWithLettersIgnoringASCIICase(*string, lowercaseLetters);
1209 }
1210
1211 template<unsigned length> inline bool equalLettersIgnoringASCIICase(const StringImpl& string, const char (&lowercaseLetters)[length])
1212 {
1213     return equalLettersIgnoringASCIICaseCommon(string, lowercaseLetters);
1214 }
1215
1216 template<unsigned length> inline bool equalLettersIgnoringASCIICase(const StringImpl* string, const char (&lowercaseLetters)[length])
1217 {
1218     return string && equalLettersIgnoringASCIICase(*string, lowercaseLetters);
1219 }
1220
1221 } // namespace WTF
1222
1223 using WTF::StringImpl;
1224 using WTF::StaticStringImpl;
1225 using WTF::equal;
1226
1227 #endif