Source/WTF/wtf/text/StringImpl.h

   1 /*
   2  * Copyright (C) 1999 Lars Knoll (knoll@kde.org)
   3  * Copyright (C) 2005-2017 Apple Inc. All rights reserved.
   4  * Copyright (C) 2009 Google Inc. All rights reserved.
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Library General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public License
  17  * along with this library; see the file COPYING.LIB.  If not, write to
  18  * the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  19  * Boston, MA 02110-1301, USA.
  20  *
  21  */
  22
  23 #ifndef StringImpl_h
  24 #define StringImpl_h
  25
  26 #include <limits.h>
  27 #include <unicode/ustring.h>
  28 #include <wtf/ASCIICType.h>
  29 #include <wtf/CheckedArithmetic.h>
  30 #include <wtf/Forward.h>
  31 #include <wtf/Hasher.h>
  32 #include <wtf/MathExtras.h>
  33 #include <wtf/StdLibExtras.h>
  34 #include <wtf/Vector.h>
  35 #include <wtf/text/ASCIIFastPath.h>
  36 #include <wtf/text/ConversionMode.h>
  37 #include <wtf/text/StringCommon.h>
  38 #include <wtf/text/StringMalloc.h>
  39 #include <wtf/text/StringVector.h>
  40
  41 #if USE(CF)
  42 typedef const struct __CFString * CFStringRef;
  43 #endif
  44
  45 #ifdef __OBJC__
  46 @class NSString;
  47 #endif
  48
  49 namespace JSC {
  50 namespace LLInt { class Data; }
  51 class LLIntOffsetsExtractor;
  52 }
  53
  54 namespace WTF {
  55
  56 class SymbolImpl;
  57 class SymbolRegistry;
  58
  59 struct CStringTranslator;
  60 struct HashAndUTF8CharactersTranslator;
  61 struct LCharBufferTranslator;
  62 struct StringHash;
  63 struct SubstringTranslator;
  64 struct UCharBufferTranslator;
  65
  66 template<typename> class RetainPtr;
  67
  68 template<typename> struct BufferFromStaticDataTranslator;
  69 template<typename> struct HashAndCharactersTranslator;
  70
  71 // Define STRING_STATS to 1 turn on runtime statistics of string sizes and memory usage.
  72 #define STRING_STATS 0
  73
  74 template<bool isSpecialCharacter(UChar), typename CharacterType> bool isAllSpecialCharacters(const CharacterType*, size_t length);
  75
  76 #if STRING_STATS
  77
  78 struct StringStats {
  79     void add8BitString(unsigned length, bool isSubString = false)
  80     {
  81         ++m_totalNumberStrings;
  82         ++m_number8BitStrings;
  83         if (!isSubString)
  84             m_total8BitData += length;
  85     }
  86
  87     void add16BitString(unsigned length, bool isSubString = false)
  88     {
  89         ++m_totalNumberStrings;
  90         ++m_number16BitStrings;
  91         if (!isSubString)
  92             m_total16BitData += length;
  93     }
  94
  95     void removeString(StringImpl&);
  96     void printStats();
  97
  98     static const unsigned s_printStringStatsFrequency = 5000;
  99     static std::atomic<unsigned> s_stringRemovesTillPrintStats;
 100
 101     std::atomic<unsigned> m_refCalls;
 102     std::atomic<unsigned> m_derefCalls;
 103
 104     std::atomic<unsigned> m_totalNumberStrings;
 105     std::atomic<unsigned> m_number8BitStrings;
 106     std::atomic<unsigned> m_number16BitStrings;
 107     std::atomic<unsigned long long> m_total8BitData;
 108     std::atomic<unsigned long long> m_total16BitData;
 109 };
 110
 111 #define STRING_STATS_ADD_8BIT_STRING(length) StringImpl::stringStats().add8BitString(length)
 112 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) StringImpl::stringStats().add8BitString(length, isSubString)
 113 #define STRING_STATS_ADD_16BIT_STRING(length) StringImpl::stringStats().add16BitString(length)
 114 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) StringImpl::stringStats().add16BitString(length, isSubString)
 115 #define STRING_STATS_REMOVE_STRING(string) StringImpl::stringStats().removeString(string)
 116 #define STRING_STATS_REF_STRING(string) ++StringImpl::stringStats().m_refCalls;
 117 #define STRING_STATS_DEREF_STRING(string) ++StringImpl::stringStats().m_derefCalls;
 118
 119 #else
 120
 121 #define STRING_STATS_ADD_8BIT_STRING(length) ((void)0)
 122 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) ((void)0)
 123 #define STRING_STATS_ADD_16BIT_STRING(length) ((void)0)
 124 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) ((void)0)
 125 #define STRING_STATS_ADD_UPCONVERTED_STRING(length) ((void)0)
 126 #define STRING_STATS_REMOVE_STRING(string) ((void)0)
 127 #define STRING_STATS_REF_STRING(string) ((void)0)
 128 #define STRING_STATS_DEREF_STRING(string) ((void)0)
 129
 130 #endif
 131
 132 class StringImplShape {
 133     WTF_MAKE_NONCOPYABLE(StringImplShape);
 134 protected:
 135     StringImplShape(unsigned refCount, unsigned length, const LChar*, unsigned hashAndFlags);
 136     StringImplShape(unsigned refCount, unsigned length, const UChar*, unsigned hashAndFlags);
 137
 138     enum ConstructWithConstExprTag { ConstructWithConstExpr };
 139     template<unsigned characterCount> constexpr StringImplShape(unsigned refCount, unsigned length, const char (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag);
 140     template<unsigned characterCount> constexpr StringImplShape(unsigned refCount, unsigned length, const char16_t (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag);
 141
 142     unsigned m_refCount;
 143     unsigned m_length;
 144     union {
 145         const LChar* m_data8;
 146         const UChar* m_data16;
 147         // It seems that reinterpret_cast prevents constexpr's compile time initialization in VC++.
 148         // These are needed to avoid reinterpret_cast.
 149         const char* m_data8Char;
 150         const char16_t* m_data16Char;
 151     };
 152     mutable unsigned m_hashAndFlags;
 153 };
 154
 155 // FIXME: Use of StringImpl and const is rather confused.
 156 // The actual string inside a StringImpl is immutable, so you can't modify a string using a StringImpl&.
 157 // We could mark every member function const and always use "const StringImpl&" and "const StringImpl*".
 158 // Or we could say that "const" doesn't make sense at all and use "StringImpl&" and "StringImpl*" everywhere.
 159 // Right now we use a mix of both, which makes code more confusing and has no benefit.
 160
 161 class StringImpl : private StringImplShape {
 162     WTF_MAKE_NONCOPYABLE(StringImpl); WTF_MAKE_STRING_ALLOCATED;
 163
 164     friend class AtomicStringImpl;
 165     friend class JSC::LLInt::Data;
 166     friend class JSC::LLIntOffsetsExtractor;
 167     friend class PrivateSymbolImpl;
 168     friend class RegisteredSymbolImpl;
 169     friend class SymbolImpl;
 170
 171     friend struct WTF::CStringTranslator;
 172     friend struct WTF::HashAndUTF8CharactersTranslator;
 173     friend struct WTF::LCharBufferTranslator;
 174     friend struct WTF::SubstringTranslator;
 175     friend struct WTF::UCharBufferTranslator;
 176
 177     template<typename> friend struct WTF::BufferFromStaticDataTranslator;
 178     template<typename> friend struct WTF::HashAndCharactersTranslator;
 179
 180 public:
 181     enum BufferOwnership { BufferInternal, BufferOwned, BufferSubstring };
 182
 183     // The bottom 6 bits in the hash are flags.
 184     static constexpr const unsigned s_flagCount = 6;
 185 private:
 186     static constexpr const unsigned s_flagMask = (1u << s_flagCount) - 1;
 187     static_assert(s_flagCount <= StringHasher::flagCount, "StringHasher reserves enough bits for StringImpl flags");
 188     static constexpr const unsigned s_flagStringKindCount = 4;
 189
 190     static constexpr const unsigned s_hashFlagStringKindIsAtomic = 1u << (s_flagStringKindCount);
 191     static constexpr const unsigned s_hashFlagStringKindIsSymbol = 1u << (s_flagStringKindCount + 1);
 192     static constexpr const unsigned s_hashMaskStringKind = s_hashFlagStringKindIsAtomic | s_hashFlagStringKindIsSymbol;
 193     static constexpr const unsigned s_hashFlag8BitBuffer = 1u << 3;
 194     static constexpr const unsigned s_hashFlagDidReportCost = 1u << 2;
 195     static constexpr const unsigned s_hashMaskBufferOwnership = (1u << 0) | (1u << 1);
 196
 197     enum StringKind {
 198         StringNormal = 0u, // non-symbol, non-atomic
 199         StringAtomic = s_hashFlagStringKindIsAtomic, // non-symbol, atomic
 200         StringSymbol = s_hashFlagStringKindIsSymbol, // symbol, non-atomic
 201     };
 202
 203     // Create a normal 8-bit string with internal storage (BufferInternal).
 204     enum Force8Bit { Force8BitConstructor };
 205     StringImpl(unsigned length, Force8Bit);
 206
 207     // Create a normal 16-bit string with internal storage (BufferInternal).
 208     explicit StringImpl(unsigned length);
 209
 210     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned).
 211     StringImpl(MallocPtr<LChar>, unsigned length);
 212     StringImpl(MallocPtr<UChar>, unsigned length);
 213     enum ConstructWithoutCopyingTag { ConstructWithoutCopying };
 214     StringImpl(const UChar*, unsigned length, ConstructWithoutCopyingTag);
 215     StringImpl(const LChar*, unsigned length, ConstructWithoutCopyingTag);
 216
 217     // Used to create new strings that are a substring of an existing StringImpl (BufferSubstring).
 218     StringImpl(const LChar*, unsigned length, Ref<StringImpl>&&);
 219     StringImpl(const UChar*, unsigned length, Ref<StringImpl>&&);
 220
 221 public:
 222     WTF_EXPORT_STRING_API static void destroy(StringImpl*);
 223
 224     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const UChar*, unsigned length);
 225     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const LChar*, unsigned length);
 226     WTF_EXPORT_STRING_API static Ref<StringImpl> create8BitIfPossible(const UChar*, unsigned length);
 227     template<size_t inlineCapacity> static Ref<StringImpl> create8BitIfPossible(const Vector<UChar, inlineCapacity>&);
 228     WTF_EXPORT_STRING_API static Ref<StringImpl> create8BitIfPossible(const UChar*);
 229
 230     ALWAYS_INLINE static Ref<StringImpl> create(const char* characters, unsigned length) { return create(reinterpret_cast<const LChar*>(characters), length); }
 231     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const LChar*);
 232     ALWAYS_INLINE static Ref<StringImpl> create(const char* string) { return create(reinterpret_cast<const LChar*>(string)); }
 233
 234     static Ref<StringImpl> createSubstringSharingImpl(StringImpl&, unsigned offset, unsigned length);
 235
 236     template<unsigned characterCount> static Ref<StringImpl> createFromLiteral(const char (&)[characterCount]);
 237
 238     // FIXME: Replace calls to these overloads of createFromLiteral to createWithoutCopying instead.
 239     WTF_EXPORT_STRING_API static Ref<StringImpl> createFromLiteral(const char*, unsigned length);
 240     WTF_EXPORT_STRING_API static Ref<StringImpl> createFromLiteral(const char*);
 241
 242     WTF_EXPORT_STRING_API static Ref<StringImpl> createWithoutCopying(const UChar*, unsigned length);
 243     WTF_EXPORT_STRING_API static Ref<StringImpl> createWithoutCopying(const LChar*, unsigned length);
 244     WTF_EXPORT_STRING_API static Ref<StringImpl> createUninitialized(unsigned length, LChar*&);
 245     WTF_EXPORT_STRING_API static Ref<StringImpl> createUninitialized(unsigned length, UChar*&);
 246     template<typename CharacterType> static RefPtr<StringImpl> tryCreateUninitialized(unsigned length, CharacterType*&);
 247
 248     // Reallocate the StringImpl. The originalString must be only owned by the Ref,
 249     // and the buffer ownership must be BufferInternal. Just like the input pointer of realloc(),
 250     // the originalString can't be used after this function.
 251     static Ref<StringImpl> reallocate(Ref<StringImpl>&& originalString, unsigned length, LChar*& data);
 252     static Ref<StringImpl> reallocate(Ref<StringImpl>&& originalString, unsigned length, UChar*& data);
 253
 254     static unsigned flagsOffset() { return OBJECT_OFFSETOF(StringImpl, m_hashAndFlags); }
 255     static unsigned flagIs8Bit() { return s_hashFlag8BitBuffer; }
 256     static unsigned flagIsAtomic() { return s_hashFlagStringKindIsAtomic; }
 257     static unsigned flagIsSymbol() { return s_hashFlagStringKindIsSymbol; }
 258     static unsigned maskStringKind() { return s_hashMaskStringKind; }
 259     static unsigned dataOffset() { return OBJECT_OFFSETOF(StringImpl, m_data8); }
 260
 261     template<typename CharacterType, size_t inlineCapacity, typename OverflowHandler, size_t minCapacity>
 262     static Ref<StringImpl> adopt(StringVector<CharacterType, inlineCapacity, OverflowHandler, minCapacity>&&);
 263
 264     WTF_EXPORT_STRING_API static Ref<StringImpl> adopt(StringBuffer<UChar>&&);
 265     WTF_EXPORT_STRING_API static Ref<StringImpl> adopt(StringBuffer<LChar>&&);
 266
 267     unsigned length() const { return m_length; }
 268     static ptrdiff_t lengthMemoryOffset() { return OBJECT_OFFSETOF(StringImpl, m_length); }
 269     bool isEmpty() const { return !m_length; }
 270
 271     bool is8Bit() const { return m_hashAndFlags & s_hashFlag8BitBuffer; }
 272     ALWAYS_INLINE const LChar* characters8() const { ASSERT(is8Bit()); return m_data8; }
 273     ALWAYS_INLINE const UChar* characters16() const { ASSERT(!is8Bit()); return m_data16; }
 274
 275     template<typename CharacterType> const CharacterType* characters() const;
 276
 277     size_t cost() const;
 278     size_t costDuringGC();
 279
 280     WTF_EXPORT_STRING_API size_t sizeInBytes() const;
 281
 282     bool isSymbol() const { return m_hashAndFlags & s_hashFlagStringKindIsSymbol; }
 283     bool isAtomic() const { return m_hashAndFlags & s_hashFlagStringKindIsAtomic; }
 284     void setIsAtomic(bool);
 285
 286 #if STRING_STATS
 287     bool isSubString() const { return bufferOwnership() == BufferSubstring; }
 288 #endif
 289
 290     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const LChar* characters, unsigned length);
 291     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const UChar* characters, unsigned length, ConversionMode = LenientConversion);
 292     WTF_EXPORT_STRING_API CString utf8ForRange(unsigned offset, unsigned length, ConversionMode = LenientConversion) const;
 293     WTF_EXPORT_STRING_API CString utf8(ConversionMode = LenientConversion) const;
 294
 295 private:
 296     static WTF_EXPORT_STRING_API bool utf8Impl(const UChar* characters, unsigned length, char*& buffer, size_t bufferSize, ConversionMode);
 297
 298     // The high bits of 'hash' are always empty, but we prefer to store our flags
 299     // in the low bits because it makes them slightly more efficient to access.
 300     // So, we shift left and right when setting and getting our hash code.
 301     void setHash(unsigned) const;
 302
 303     unsigned rawHash() const { return m_hashAndFlags >> s_flagCount; }
 304
 305 public:
 306     bool hasHash() const { return !!rawHash(); }
 307
 308     unsigned existingHash() const { ASSERT(hasHash()); return rawHash(); }
 309     unsigned hash() const { return hasHash() ? rawHash() : hashSlowCase(); }
 310
 311     WTF_EXPORT_PRIVATE unsigned concurrentHash() const;
 312
 313     unsigned symbolAwareHash() const;
 314     unsigned existingSymbolAwareHash() const;
 315
 316     bool isStatic() const { return m_refCount & s_refCountFlagIsStaticString; }
 317
 318     size_t refCount() const { return m_refCount / s_refCountIncrement; }
 319     bool hasOneRef() const { return m_refCount == s_refCountIncrement; }
 320     bool hasAtLeastOneRef() const { return m_refCount; } // For assertions.
 321
 322     void ref();
 323     void deref();
 324
 325     class StaticStringImpl : private StringImplShape {
 326         WTF_MAKE_NONCOPYABLE(StaticStringImpl);
 327     public:
 328         // Used to construct static strings, which have an special refCount that can never hit zero.
 329         // This means that the static string will never be destroyed, which is important because
 330         // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
 331         //
 332         // In order to make StaticStringImpl thread safe, we also need to ensure that the rest of
 333         // the fields are never mutated by threads. We have this guarantee because:
 334         //
 335         // 1. m_length is only set on construction and never mutated thereafter.
 336         //
 337         // 2. m_data8 and m_data16 are only set on construction and never mutated thereafter.
 338         //    We also know that a StringImpl never changes from 8 bit to 16 bit because there
 339         //    is no way to set/clear the s_hashFlag8BitBuffer flag other than at construction.
 340         //
 341         // 3. m_hashAndFlags will not be mutated by different threads because:
 342         //
 343         //    a. StaticStringImpl's constructor sets the s_hashFlagDidReportCost flag to ensure
 344         //       that StringImpl::cost() returns early.
 345         //       This means StaticStringImpl costs are not counted. But since there should only
 346         //       be a finite set of StaticStringImpls, their cost can be aggregated into a single
 347         //       system cost if needed.
 348         //    b. setIsAtomic() is never called on a StaticStringImpl.
 349         //       setIsAtomic() asserts !isStatic().
 350         //    c. setHash() is never called on a StaticStringImpl.
 351         //       StaticStringImpl's constructor sets the hash on construction.
 352         //       StringImpl::hash() only sets a new hash iff !hasHash().
 353         //       Additionally, StringImpl::setHash() asserts hasHash() and !isStatic().
 354
 355         template<unsigned characterCount> constexpr StaticStringImpl(const char (&characters)[characterCount], StringKind = StringNormal);
 356         template<unsigned characterCount> constexpr StaticStringImpl(const char16_t (&characters)[characterCount], StringKind = StringNormal);
 357         operator StringImpl&();
 358     };
 359
 360     WTF_EXPORTDATA static StaticStringImpl s_atomicEmptyString;
 361     ALWAYS_INLINE static StringImpl* empty() { return reinterpret_cast<StringImpl*>(&s_atomicEmptyString); }
 362
 363     // FIXME: Does this really belong in StringImpl?
 364     template<typename CharacterType> static void copyCharacters(CharacterType* destination, const CharacterType* source, unsigned numCharacters);
 365     static void copyCharacters(UChar* destination, const LChar* source, unsigned numCharacters);
 366
 367     // Some string features, like reference counting and the atomicity flag, are not
 368     // thread-safe. We achieve thread safety by isolation, giving each thread
 369     // its own copy of the string.
 370     Ref<StringImpl> isolatedCopy() const;
 371
 372     WTF_EXPORT_STRING_API Ref<StringImpl> substring(unsigned position, unsigned length = std::numeric_limits<unsigned>::max());
 373
 374     UChar at(unsigned) const;
 375     UChar operator[](unsigned i) const { return at(i); }
 376     WTF_EXPORT_STRING_API UChar32 characterStartingAt(unsigned);
 377
 378     int toIntStrict(bool* ok = 0, int base = 10);
 379     unsigned toUIntStrict(bool* ok = 0, int base = 10);
 380     int64_t toInt64Strict(bool* ok = 0, int base = 10);
 381     uint64_t toUInt64Strict(bool* ok = 0, int base = 10);
 382     intptr_t toIntPtrStrict(bool* ok = 0, int base = 10);
 383
 384     WTF_EXPORT_STRING_API int toInt(bool* ok = 0); // ignores trailing garbage
 385     unsigned toUInt(bool* ok = 0); // ignores trailing garbage
 386     int64_t toInt64(bool* ok = 0); // ignores trailing garbage
 387     uint64_t toUInt64(bool* ok = 0); // ignores trailing garbage
 388     intptr_t toIntPtr(bool* ok = 0); // ignores trailing garbage
 389
 390     // FIXME: Like the strict functions above, these give false for "ok" when there is trailing garbage.
 391     // Like the non-strict functions above, these return the value when there is trailing garbage.
 392     // It would be better if these were more consistent with the above functions instead.
 393     double toDouble(bool* ok = 0);
 394     float toFloat(bool* ok = 0);
 395
 396     WTF_EXPORT_STRING_API Ref<StringImpl> convertToASCIILowercase();
 397     WTF_EXPORT_STRING_API Ref<StringImpl> convertToASCIIUppercase();
 398     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithoutLocale();
 399     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithoutLocaleStartingAtFailingIndex8Bit(unsigned);
 400     WTF_EXPORT_STRING_API Ref<StringImpl> convertToUppercaseWithoutLocale();
 401     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithLocale(const AtomicString& localeIdentifier);
 402     WTF_EXPORT_STRING_API Ref<StringImpl> convertToUppercaseWithLocale(const AtomicString& localeIdentifier);
 403
 404     Ref<StringImpl> foldCase();
 405
 406     Ref<StringImpl> stripWhiteSpace();
 407     WTF_EXPORT_STRING_API Ref<StringImpl> simplifyWhiteSpace();
 408     Ref<StringImpl> simplifyWhiteSpace(CodeUnitMatchFunction);
 409
 410     Ref<StringImpl> stripLeadingAndTrailingCharacters(CodeUnitMatchFunction);
 411     Ref<StringImpl> removeCharacters(CodeUnitMatchFunction);
 412
 413     bool isAllASCII() const;
 414     bool isAllLatin1() const;
 415     template<bool isSpecialCharacter(UChar)> bool isAllSpecialCharacters() const;
 416
 417     size_t find(LChar character, unsigned start = 0);
 418     size_t find(char character, unsigned start = 0);
 419     size_t find(UChar character, unsigned start = 0);
 420     WTF_EXPORT_STRING_API size_t find(CodeUnitMatchFunction, unsigned index = 0);
 421     size_t find(const LChar*, unsigned index = 0);
 422     ALWAYS_INLINE size_t find(const char* string, unsigned index = 0) { return find(reinterpret_cast<const LChar*>(string), index); }
 423     WTF_EXPORT_STRING_API size_t find(StringImpl*);
 424     WTF_EXPORT_STRING_API size_t find(StringImpl*, unsigned index);
 425     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl&) const;
 426     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl&, unsigned startOffset) const;
 427     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl*) const;
 428     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl*, unsigned startOffset) const;
 429
 430     WTF_EXPORT_STRING_API size_t reverseFind(UChar, unsigned index = std::numeric_limits<unsigned>::max());
 431     WTF_EXPORT_STRING_API size_t reverseFind(StringImpl*, unsigned index = std::numeric_limits<unsigned>::max());
 432
 433     WTF_EXPORT_STRING_API bool startsWith(const StringImpl*) const;
 434     WTF_EXPORT_STRING_API bool startsWith(const StringImpl&) const;
 435     WTF_EXPORT_STRING_API bool startsWithIgnoringASCIICase(const StringImpl*) const;
 436     WTF_EXPORT_STRING_API bool startsWithIgnoringASCIICase(const StringImpl&) const;
 437     WTF_EXPORT_STRING_API bool startsWith(UChar) const;
 438     WTF_EXPORT_STRING_API bool startsWith(const char*, unsigned matchLength) const;
 439     template<unsigned matchLength> bool startsWith(const char (&prefix)[matchLength]) const { return startsWith(prefix, matchLength - 1); }
 440     WTF_EXPORT_STRING_API bool hasInfixStartingAt(const StringImpl&, unsigned startOffset) const;
 441
 442     WTF_EXPORT_STRING_API bool endsWith(StringImpl*);
 443     WTF_EXPORT_STRING_API bool endsWith(StringImpl&);
 444     WTF_EXPORT_STRING_API bool endsWithIgnoringASCIICase(const StringImpl*) const;
 445     WTF_EXPORT_STRING_API bool endsWithIgnoringASCIICase(const StringImpl&) const;
 446     WTF_EXPORT_STRING_API bool endsWith(UChar) const;
 447     WTF_EXPORT_STRING_API bool endsWith(const char*, unsigned matchLength) const;
 448     template<unsigned matchLength> bool endsWith(const char (&prefix)[matchLength]) const { return endsWith(prefix, matchLength - 1); }
 449     WTF_EXPORT_STRING_API bool hasInfixEndingAt(const StringImpl&, unsigned endOffset) const;
 450
 451     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, UChar);
 452     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, StringImpl*);
 453     ALWAYS_INLINE Ref<StringImpl> replace(UChar pattern, const char* replacement, unsigned replacementLength) { return replace(pattern, reinterpret_cast<const LChar*>(replacement), replacementLength); }
 454     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, const LChar*, unsigned replacementLength);
 455     Ref<StringImpl> replace(UChar, const UChar*, unsigned replacementLength);
 456     WTF_EXPORT_STRING_API Ref<StringImpl> replace(StringImpl*, StringImpl*);
 457     WTF_EXPORT_STRING_API Ref<StringImpl> replace(unsigned index, unsigned length, StringImpl*);
 458
 459     WTF_EXPORT_STRING_API UCharDirection defaultWritingDirection(bool* hasStrongDirectionality = nullptr);
 460
 461 #if USE(CF)
 462     RetainPtr<CFStringRef> createCFString();
 463 #endif
 464
 465 #ifdef __OBJC__
 466     WTF_EXPORT_STRING_API operator NSString *();
 467 #endif
 468
 469 #if STRING_STATS
 470     ALWAYS_INLINE static StringStats& stringStats() { return m_stringStats; }
 471 #endif
 472
 473     BufferOwnership bufferOwnership() const { return static_cast<BufferOwnership>(m_hashAndFlags & s_hashMaskBufferOwnership); }
 474
 475     void assertCaged() const;
 476     WTF_EXPORT_PRIVATE void releaseAssertCaged() const;
 477
 478 protected:
 479     ~StringImpl();
 480
 481     // Used to create new symbol string that holds an existing [[Description]] string as a substring buffer (BufferSubstring).
 482     enum CreateSymbolTag { CreateSymbol };
 483     StringImpl(CreateSymbolTag, const LChar*, unsigned length);
 484     StringImpl(CreateSymbolTag, const UChar*, unsigned length);
 485
 486     // Null symbol.
 487     explicit StringImpl(CreateSymbolTag);
 488
 489 private:
 490     template<typename> static size_t allocationSize(Checked<size_t> tailElementCount);
 491     template<typename> static size_t tailOffset();
 492
 493     bool requiresCopy() const;
 494     template<typename T> const T* tailPointer() const;
 495     template<typename T> T* tailPointer();
 496     StringImpl* const& substringBuffer() const;
 497     StringImpl*& substringBuffer();
 498
 499     enum class CaseConvertType { Upper, Lower };
 500     template<CaseConvertType, typename CharacterType> static Ref<StringImpl> convertASCIICase(StringImpl&, const CharacterType*, unsigned);
 501
 502     template<class CodeUnitPredicate> Ref<StringImpl> stripMatchedCharacters(CodeUnitPredicate);
 503     template<typename CharacterType> ALWAYS_INLINE Ref<StringImpl> removeCharacters(const CharacterType* characters, CodeUnitMatchFunction);
 504     template<typename CharacterType, class CodeUnitPredicate> Ref<StringImpl> simplifyMatchedCharactersToSpace(CodeUnitPredicate);
 505     template<typename CharacterType> static Ref<StringImpl> constructInternal(StringImpl&, unsigned);
 506     template<typename CharacterType> static Ref<StringImpl> createUninitializedInternal(unsigned, CharacterType*&);
 507     template<typename CharacterType> static Ref<StringImpl> createUninitializedInternalNonEmpty(unsigned, CharacterType*&);
 508     template<typename CharacterType> static Ref<StringImpl> reallocateInternal(Ref<StringImpl>&&, unsigned, CharacterType*&);
 509     template<typename CharacterType> static Ref<StringImpl> createInternal(const CharacterType*, unsigned);
 510     WTF_EXPORT_PRIVATE NEVER_INLINE unsigned hashSlowCase() const;
 511
 512     // The bottom bit in the ref count indicates a static (immortal) string.
 513     static const unsigned s_refCountFlagIsStaticString = 0x1;
 514     static const unsigned s_refCountIncrement = 0x2; // This allows us to ref / deref without disturbing the static string flag.
 515
 516 #if STRING_STATS
 517     WTF_EXPORTDATA static StringStats m_stringStats;
 518 #endif
 519
 520 public:
 521     void assertHashIsCorrect() const;
 522 };
 523
 524 using StaticStringImpl = StringImpl::StaticStringImpl;
 525
 526 static_assert(sizeof(StringImpl) == sizeof(StaticStringImpl), "");
 527
 528 #if !ASSERT_DISABLED
 529
 530 // StringImpls created from StaticStringImpl will ASSERT in the generic ValueCheck<T>::checkConsistency
 531 // as they are not allocated by stringMalloc. We don't currently have any way to detect that case
 532 // so we ignore the consistency check for all StringImpl*.
 533 template<> struct ValueCheck<StringImpl*> {
 534     static void checkConsistency(const StringImpl*) { }
 535 };
 536
 537 #endif
 538
 539 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const StringImpl*);
 540 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*);
 541 inline bool equal(const StringImpl* a, const char* b) { return equal(a, reinterpret_cast<const LChar*>(b)); }
 542 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*, unsigned);
 543 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const UChar*, unsigned);
 544 inline bool equal(const StringImpl* a, const char* b, unsigned length) { return equal(a, reinterpret_cast<const LChar*>(b), length); }
 545 inline bool equal(const LChar* a, StringImpl* b) { return equal(b, a); }
 546 inline bool equal(const char* a, StringImpl* b) { return equal(b, reinterpret_cast<const LChar*>(a)); }
 547 WTF_EXPORT_STRING_API bool equal(const StringImpl& a, const StringImpl& b);
 548
 549 WTF_EXPORT_STRING_API bool equalIgnoringNullity(StringImpl*, StringImpl*);
 550 WTF_EXPORT_STRING_API bool equalIgnoringNullity(const UChar*, size_t length, StringImpl*);
 551
 552 bool equalIgnoringASCIICase(const StringImpl&, const StringImpl&);
 553 WTF_EXPORT_STRING_API bool equalIgnoringASCIICase(const StringImpl*, const StringImpl*);
 554 bool equalIgnoringASCIICase(const StringImpl&, const char*);
 555 bool equalIgnoringASCIICase(const StringImpl*, const char*);
 556
 557 WTF_EXPORT_STRING_API bool equalIgnoringASCIICaseNonNull(const StringImpl*, const StringImpl*);
 558
 559 template<unsigned length> bool equalLettersIgnoringASCIICase(const StringImpl&, const char (&lowercaseLetters)[length]);
 560 template<unsigned length> bool equalLettersIgnoringASCIICase(const StringImpl*, const char (&lowercaseLetters)[length]);
 561
 562 size_t find(const LChar*, unsigned length, CodeUnitMatchFunction, unsigned index = 0);
 563 size_t find(const UChar*, unsigned length, CodeUnitMatchFunction, unsigned index = 0);
 564
 565 template<typename CharacterType> size_t reverseFindLineTerminator(const CharacterType*, unsigned length, unsigned index = std::numeric_limits<unsigned>::max());
 566 template<typename CharacterType> size_t reverseFind(const CharacterType*, unsigned length, CharacterType matchCharacter, unsigned index = std::numeric_limits<unsigned>::max());
 567 size_t reverseFind(const UChar*, unsigned length, LChar matchCharacter, unsigned index = std::numeric_limits<unsigned>::max());
 568 size_t reverseFind(const LChar*, unsigned length, UChar matchCharacter, unsigned index = std::numeric_limits<unsigned>::max());
 569
 570 template<size_t inlineCapacity> bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>&, StringImpl*);
 571
 572 template<typename CharacterType1, typename CharacterType2> int codePointCompare(const CharacterType1*, unsigned length1, const CharacterType2*, unsigned length2);
 573 int codePointCompare(const StringImpl*, const StringImpl*);
 574
 575 // FIXME: Should rename this to make clear it uses the Unicode definition of whitespace.
 576 // Most WebKit callers don't want that would use isASCIISpace or isHTMLSpace instead.
 577 bool isSpaceOrNewline(UChar);
 578
 579 template<typename CharacterType> unsigned lengthOfNullTerminatedString(const CharacterType*);
 580
 581 // StringHash is the default hash for StringImpl* and RefPtr<StringImpl>
 582 template<typename T> struct DefaultHash;
 583 template<> struct DefaultHash<StringImpl*> {
 584     typedef StringHash Hash;
 585 };
 586 template<> struct DefaultHash<RefPtr<StringImpl>> {
 587     typedef StringHash Hash;
 588 };
 589
 590 #define MAKE_STATIC_STRING_IMPL(characters) ([] { \
 591         static StaticStringImpl impl(characters); \
 592         return &impl; \
 593     }())
 594
 595 template<> ALWAYS_INLINE Ref<StringImpl> StringImpl::constructInternal<LChar>(StringImpl& string, unsigned length)
 596 {
 597     return adoptRef(*new (NotNull, &string) StringImpl { length, Force8BitConstructor });
 598 }
 599
 600 template<> ALWAYS_INLINE Ref<StringImpl> StringImpl::constructInternal<UChar>(StringImpl& string, unsigned length)
 601 {
 602     return adoptRef(*new (NotNull, &string) StringImpl { length });
 603 }
 604
 605 template<> ALWAYS_INLINE const LChar* StringImpl::characters<LChar>() const
 606 {
 607     return characters8();
 608 }
 609
 610 template<> ALWAYS_INLINE const UChar* StringImpl::characters<UChar>() const
 611 {
 612     return characters16();
 613 }
 614
 615 inline size_t find(const LChar* characters, unsigned length, CodeUnitMatchFunction matchFunction, unsigned index)
 616 {
 617     while (index < length) {
 618         if (matchFunction(characters[index]))
 619             return index;
 620         ++index;
 621     }
 622     return notFound;
 623 }
 624
 625 inline size_t find(const UChar* characters, unsigned length, CodeUnitMatchFunction matchFunction, unsigned index)
 626 {
 627     while (index < length) {
 628         if (matchFunction(characters[index]))
 629             return index;
 630         ++index;
 631     }
 632     return notFound;
 633 }
 634
 635 template<typename CharacterType> inline size_t reverseFindLineTerminator(const CharacterType* characters, unsigned length, unsigned index)
 636 {
 637     if (!length)
 638         return notFound;
 639     if (index >= length)
 640         index = length - 1;
 641     auto character = characters[index];
 642     while (character != '\n' && character != '\r') {
 643         if (!index--)
 644             return notFound;
 645         character = characters[index];
 646     }
 647     return index;
 648 }
 649
 650 template<typename CharacterType> inline size_t reverseFind(const CharacterType* characters, unsigned length, CharacterType matchCharacter, unsigned index)
 651 {
 652     if (!length)
 653         return notFound;
 654     if (index >= length)
 655         index = length - 1;
 656     while (characters[index] != matchCharacter) {
 657         if (!index--)
 658             return notFound;
 659     }
 660     return index;
 661 }
 662
 663 ALWAYS_INLINE size_t reverseFind(const UChar* characters, unsigned length, LChar matchCharacter, unsigned index)
 664 {
 665     return reverseFind(characters, length, static_cast<UChar>(matchCharacter), index);
 666 }
 667
 668 inline size_t reverseFind(const LChar* characters, unsigned length, UChar matchCharacter, unsigned index)
 669 {
 670     if (matchCharacter & ~0xFF)
 671         return notFound;
 672     return reverseFind(characters, length, static_cast<LChar>(matchCharacter), index);
 673 }
 674
 675 inline size_t StringImpl::find(LChar character, unsigned start)
 676 {
 677     if (is8Bit())
 678         return WTF::find(characters8(), m_length, character, start);
 679     return WTF::find(characters16(), m_length, character, start);
 680 }
 681
 682 ALWAYS_INLINE size_t StringImpl::find(char character, unsigned start)
 683 {
 684     return find(static_cast<LChar>(character), start);
 685 }
 686
 687 inline size_t StringImpl::find(UChar character, unsigned start)
 688 {
 689     if (is8Bit())
 690         return WTF::find(characters8(), m_length, character, start);
 691     return WTF::find(characters16(), m_length, character, start);
 692 }
 693
 694 template<size_t inlineCapacity> inline bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>& a, StringImpl* b)
 695 {
 696     return equalIgnoringNullity(a.data(), a.size(), b);
 697 }
 698
 699 template<typename CharacterType1, typename CharacterType2> inline int codePointCompare(const CharacterType1* characters1, unsigned length1, const CharacterType2* characters2, unsigned length2)
 700 {
 701     unsigned commonLength = std::min(length1, length2);
 702
 703     unsigned position = 0;
 704     while (position < commonLength && *characters1 == *characters2) {
 705         ++characters1;
 706         ++characters2;
 707         ++position;
 708     }
 709
 710     if (position < commonLength)
 711         return (characters1[0] > characters2[0]) ? 1 : -1;
 712
 713     if (length1 == length2)
 714         return 0;
 715     return (length1 > length2) ? 1 : -1;
 716 }
 717
 718 inline int codePointCompare(const StringImpl* string1, const StringImpl* string2)
 719 {
 720     // FIXME: Should null strings compare as less than empty strings rather than equal to them?
 721     if (!string1)
 722         return (string2 && string2->length()) ? -1 : 0;
 723     if (!string2)
 724         return string1->length() ? 1 : 0;
 725
 726     bool string1Is8Bit = string1->is8Bit();
 727     bool string2Is8Bit = string2->is8Bit();
 728     if (string1Is8Bit) {
 729         if (string2Is8Bit)
 730             return codePointCompare(string1->characters8(), string1->length(), string2->characters8(), string2->length());
 731         return codePointCompare(string1->characters8(), string1->length(), string2->characters16(), string2->length());
 732     }
 733     if (string2Is8Bit)
 734         return codePointCompare(string1->characters16(), string1->length(), string2->characters8(), string2->length());
 735     return codePointCompare(string1->characters16(), string1->length(), string2->characters16(), string2->length());
 736 }
 737
 738 inline bool isSpaceOrNewline(UChar character)
 739 {
 740     // Use isASCIISpace() for all Latin-1 characters. This will include newlines, which aren't included in Unicode DirWS.
 741     return character <= 0xFF ? isASCIISpace(character) : u_charDirection(character) == U_WHITE_SPACE_NEUTRAL;
 742 }
 743
 744 template<typename CharacterType> inline unsigned lengthOfNullTerminatedString(const CharacterType* string)
 745 {
 746     ASSERT(string);
 747     size_t length = 0;
 748     while (string[length])
 749         ++length;
 750
 751     RELEASE_ASSERT(length < std::numeric_limits<unsigned>::max());
 752     return static_cast<unsigned>(length);
 753 }
 754
 755 inline StringImplShape::StringImplShape(unsigned refCount, unsigned length, const LChar* data8, unsigned hashAndFlags)
 756     : m_refCount(refCount)
 757     , m_length(length)
 758     , m_data8(data8)
 759     , m_hashAndFlags(hashAndFlags)
 760 {
 761 }
 762
 763 inline StringImplShape::StringImplShape(unsigned refCount, unsigned length, const UChar* data16, unsigned hashAndFlags)
 764     : m_refCount(refCount)
 765     , m_length(length)
 766     , m_data16(data16)
 767     , m_hashAndFlags(hashAndFlags)
 768 {
 769 }
 770
 771 template<unsigned characterCount> inline constexpr StringImplShape::StringImplShape(unsigned refCount, unsigned length, const char (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag)
 772     : m_refCount(refCount)
 773     , m_length(length)
 774     , m_data8Char(characters)
 775     , m_hashAndFlags(hashAndFlags)
 776 {
 777 }
 778
 779 template<unsigned characterCount> inline constexpr StringImplShape::StringImplShape(unsigned refCount, unsigned length, const char16_t (&characters)[characterCount], unsigned hashAndFlags, ConstructWithConstExprTag)
 780     : m_refCount(refCount)
 781     , m_length(length)
 782     , m_data16Char(characters)
 783     , m_hashAndFlags(hashAndFlags)
 784 {
 785 }
 786
 787 inline Ref<StringImpl> StringImpl::isolatedCopy() const
 788 {
 789     if (!requiresCopy()) {
 790         if (is8Bit())
 791             return StringImpl::createWithoutCopying(m_data8, m_length);
 792         return StringImpl::createWithoutCopying(m_data16, m_length);
 793     }
 794
 795     if (is8Bit())
 796         return create(m_data8, m_length);
 797     return create(m_data16, m_length);
 798 }
 799
 800 inline bool StringImpl::isAllASCII() const
 801 {
 802     if (is8Bit())
 803         return charactersAreAllASCII(characters8(), length());
 804     return charactersAreAllASCII(characters16(), length());
 805 }
 806
 807 inline bool StringImpl::isAllLatin1() const
 808 {
 809     if (is8Bit())
 810         return true;
 811     auto* characters = characters16();
 812     UChar ored = 0;
 813     for (size_t i = 0; i < length(); ++i)
 814         ored |= characters[i];
 815     return !(ored & 0xFF00);
 816 }
 817
 818 template<bool isSpecialCharacter(UChar), typename CharacterType> inline bool isAllSpecialCharacters(const CharacterType* characters, size_t length)
 819 {
 820     for (size_t i = 0; i < length; ++i) {
 821         if (!isSpecialCharacter(characters[i]))
 822             return false;
 823     }
 824     return true;
 825 }
 826
 827 template<bool isSpecialCharacter(UChar)> inline bool StringImpl::isAllSpecialCharacters() const
 828 {
 829     if (is8Bit())
 830         return WTF::isAllSpecialCharacters<isSpecialCharacter>(characters8(), length());
 831     return WTF::isAllSpecialCharacters<isSpecialCharacter>(characters16(), length());
 832 }
 833
 834 inline StringImpl::StringImpl(unsigned length, Force8Bit)
 835     : StringImplShape(s_refCountIncrement, length, tailPointer<LChar>(), s_hashFlag8BitBuffer | StringNormal | BufferInternal)
 836 {
 837     ASSERT(m_data8);
 838     ASSERT(m_length);
 839
 840     STRING_STATS_ADD_8BIT_STRING(m_length);
 841 }
 842
 843 inline StringImpl::StringImpl(unsigned length)
 844     : StringImplShape(s_refCountIncrement, length, tailPointer<UChar>(), StringNormal | BufferInternal)
 845 {
 846     ASSERT(m_data16);
 847     ASSERT(m_length);
 848
 849     STRING_STATS_ADD_16BIT_STRING(m_length);
 850 }
 851
 852 inline StringImpl::StringImpl(MallocPtr<LChar> characters, unsigned length)
 853     : StringImplShape(s_refCountIncrement, length, characters.leakPtr(), s_hashFlag8BitBuffer | StringNormal | BufferOwned)
 854 {
 855     ASSERT(m_data8);
 856     ASSERT(m_length);
 857
 858     STRING_STATS_ADD_8BIT_STRING(m_length);
 859 }
 860
 861 inline StringImpl::StringImpl(const UChar* characters, unsigned length, ConstructWithoutCopyingTag)
 862     : StringImplShape(s_refCountIncrement, length, characters, StringNormal | BufferInternal)
 863 {
 864     ASSERT(m_data16);
 865     ASSERT(m_length);
 866
 867     STRING_STATS_ADD_16BIT_STRING(m_length);
 868 }
 869
 870 inline StringImpl::StringImpl(const LChar* characters, unsigned length, ConstructWithoutCopyingTag)
 871     : StringImplShape(s_refCountIncrement, length, characters, s_hashFlag8BitBuffer | StringNormal | BufferInternal)
 872 {
 873     ASSERT(m_data8);
 874     ASSERT(m_length);
 875
 876     STRING_STATS_ADD_8BIT_STRING(m_length);
 877 }
 878
 879 inline StringImpl::StringImpl(MallocPtr<UChar> characters, unsigned length)
 880     : StringImplShape(s_refCountIncrement, length, characters.leakPtr(), StringNormal | BufferOwned)
 881 {
 882     ASSERT(m_data16);
 883     ASSERT(m_length);
 884
 885     STRING_STATS_ADD_16BIT_STRING(m_length);
 886 }
 887
 888 inline StringImpl::StringImpl(const LChar* characters, unsigned length, Ref<StringImpl>&& base)
 889     : StringImplShape(s_refCountIncrement, length, characters, s_hashFlag8BitBuffer | StringNormal | BufferSubstring)
 890 {
 891     ASSERT(is8Bit());
 892     ASSERT(m_data8);
 893     ASSERT(m_length);
 894     ASSERT(base->bufferOwnership() != BufferSubstring);
 895
 896     substringBuffer() = &base.leakRef();
 897
 898     STRING_STATS_ADD_8BIT_STRING2(m_length, true);
 899 }
 900
 901 inline StringImpl::StringImpl(const UChar* characters, unsigned length, Ref<StringImpl>&& base)
 902     : StringImplShape(s_refCountIncrement, length, characters, StringNormal | BufferSubstring)
 903 {
 904     ASSERT(!is8Bit());
 905     ASSERT(m_data16);
 906     ASSERT(m_length);
 907     ASSERT(base->bufferOwnership() != BufferSubstring);
 908
 909     substringBuffer() = &base.leakRef();
 910
 911     STRING_STATS_ADD_16BIT_STRING2(m_length, true);
 912 }
 913
 914 template<size_t inlineCapacity> inline Ref<StringImpl> StringImpl::create8BitIfPossible(const Vector<UChar, inlineCapacity>& vector)
 915 {
 916     return create8BitIfPossible(vector.data(), vector.size());
 917 }
 918
 919 ALWAYS_INLINE Ref<StringImpl> StringImpl::createSubstringSharingImpl(StringImpl& rep, unsigned offset, unsigned length)
 920 {
 921     ASSERT(length <= rep.length());
 922
 923     if (!length)
 924         return *empty();
 925
 926     auto* ownerRep = ((rep.bufferOwnership() == BufferSubstring) ? rep.substringBuffer() : &rep);
 927
 928     // We allocate a buffer that contains both the StringImpl struct as well as the pointer to the owner string.
 929     auto* stringImpl = static_cast<StringImpl*>(stringMalloc(allocationSize<StringImpl*>(1)));
 930     if (rep.is8Bit())
 931         return adoptRef(*new (NotNull, stringImpl) StringImpl(rep.m_data8 + offset, length, *ownerRep));
 932     return adoptRef(*new (NotNull, stringImpl) StringImpl(rep.m_data16 + offset, length, *ownerRep));
 933 }
 934
 935 template<unsigned characterCount> ALWAYS_INLINE Ref<StringImpl> StringImpl::createFromLiteral(const char (&characters)[characterCount])
 936 {
 937     COMPILE_ASSERT(characterCount > 1, StringImplFromLiteralNotEmpty);
 938     COMPILE_ASSERT((characterCount - 1 <= ((unsigned(~0) - sizeof(StringImpl)) / sizeof(LChar))), StringImplFromLiteralCannotOverflow);
 939
 940     return createWithoutCopying(reinterpret_cast<const LChar*>(characters), characterCount - 1);
 941 }
 942
 943 template<typename CharacterType> ALWAYS_INLINE RefPtr<StringImpl> StringImpl::tryCreateUninitialized(unsigned length, CharacterType*& output)
 944 {
 945     if (!length) {
 946         output = nullptr;
 947         return empty();
 948     }
 949
 950     if (length > ((std::numeric_limits<unsigned>::max() - sizeof(StringImpl)) / sizeof(CharacterType))) {
 951         output = nullptr;
 952         return nullptr;
 953     }
 954     auto* result = static_cast<StringImpl*>(tryStringMalloc(allocationSize<CharacterType>(length)));
 955     if (!result) {
 956         output = nullptr;
 957         return nullptr;
 958     }
 959     output = result->tailPointer<CharacterType>();
 960
 961     return constructInternal<CharacterType>(*result, length);
 962 }
 963
 964 template<typename CharacterType, size_t inlineCapacity, typename OverflowHandler, size_t minCapacity>
 965 inline Ref<StringImpl> StringImpl::adopt(StringVector<CharacterType, inlineCapacity, OverflowHandler, minCapacity>&& vector)
 966 {
 967     if (size_t size = vector.size()) {
 968         ASSERT(vector.data());
 969         if (size > std::numeric_limits<unsigned>::max())
 970             CRASH();
 971         return adoptRef(*new StringImpl(vector.releaseBuffer(), size));
 972     }
 973     return *empty();
 974 }
 975
 976 inline size_t StringImpl::cost() const
 977 {
 978     // For substrings, return the cost of the base string.
 979     if (bufferOwnership() == BufferSubstring)
 980         return substringBuffer()->cost();
 981
 982     // Note: we must not alter the m_hashAndFlags field in instances of StaticStringImpl.
 983     // We ensure this by pre-setting the s_hashFlagDidReportCost bit in all instances of
 984     // StaticStringImpl. As a result, StaticStringImpl instances will always return a cost of
 985     // 0 here and avoid modifying m_hashAndFlags.
 986     if (m_hashAndFlags & s_hashFlagDidReportCost)
 987         return 0;
 988
 989     m_hashAndFlags |= s_hashFlagDidReportCost;
 990     size_t result = m_length;
 991     if (!is8Bit())
 992         result <<= 1;
 993     return result;
 994 }
 995
 996 inline size_t StringImpl::costDuringGC()
 997 {
 998     if (isStatic())
 999         return 0;
1000
1001     if (bufferOwnership() == BufferSubstring)
1002         return divideRoundedUp(substringBuffer()->costDuringGC(), refCount());
1003
1004     size_t result = m_length;
1005     if (!is8Bit())
1006         result <<= 1;
1007     return divideRoundedUp(result, refCount());
1008 }
1009
1010 inline void StringImpl::setIsAtomic(bool isAtomic)
1011 {
1012     ASSERT(!isStatic());
1013     ASSERT(!isSymbol());
1014     if (isAtomic)
1015         m_hashAndFlags |= s_hashFlagStringKindIsAtomic;
1016     else
1017         m_hashAndFlags &= ~s_hashFlagStringKindIsAtomic;
1018 }
1019
1020 inline void StringImpl::setHash(unsigned hash) const
1021 {
1022     // The high bits of 'hash' are always empty, but we prefer to store our flags
1023     // in the low bits because it makes them slightly more efficient to access.
1024     // So, we shift left and right when setting and getting our hash code.
1025
1026     ASSERT(!hasHash());
1027     ASSERT(!isStatic());
1028     // Multiple clients assume that StringHasher is the canonical string hash function.
1029     ASSERT(hash == (is8Bit() ? StringHasher::computeHashAndMaskTop8Bits(m_data8, m_length) : StringHasher::computeHashAndMaskTop8Bits(m_data16, m_length)));
1030     ASSERT(!(hash & (s_flagMask << (8 * sizeof(hash) - s_flagCount)))); // Verify that enough high bits are empty.
1031
1032     hash <<= s_flagCount;
1033     ASSERT(!(hash & m_hashAndFlags)); // Verify that enough low bits are empty after shift.
1034     ASSERT(hash); // Verify that 0 is a valid sentinel hash value.
1035
1036     m_hashAndFlags |= hash; // Store hash with flags in low bits.
1037 }
1038
1039 inline void StringImpl::ref()
1040 {
1041     STRING_STATS_REF_STRING(*this);
1042
1043     m_refCount += s_refCountIncrement;
1044 }
1045
1046 inline void StringImpl::deref()
1047 {
1048     STRING_STATS_DEREF_STRING(*this);
1049
1050     unsigned tempRefCount = m_refCount - s_refCountIncrement;
1051     if (!tempRefCount) {
1052         StringImpl::destroy(this);
1053         return;
1054     }
1055     m_refCount = tempRefCount;
1056 }
1057
1058 template<typename CharacterType> inline void StringImpl::copyCharacters(CharacterType* destination, const CharacterType* source, unsigned numCharacters)
1059 {
1060     if (numCharacters == 1) {
1061         *destination = *source;
1062         return;
1063     }
1064     memcpy(destination, source, numCharacters * sizeof(CharacterType));
1065 }
1066
1067 ALWAYS_INLINE void StringImpl::copyCharacters(UChar* destination, const LChar* source, unsigned numCharacters)
1068 {
1069     for (unsigned i = 0; i < numCharacters; ++i)
1070         destination[i] = source[i];
1071 }
1072
1073 inline UChar StringImpl::at(unsigned i) const
1074 {
1075     ASSERT_WITH_SECURITY_IMPLICATION(i < m_length);
1076     return is8Bit() ? m_data8[i] : m_data16[i];
1077 }
1078
1079 inline void StringImpl::assertCaged() const
1080 {
1081     if (!ASSERT_DISABLED)
1082         releaseAssertCaged();
1083 }
1084
1085 inline StringImpl::StringImpl(CreateSymbolTag, const LChar* characters, unsigned length)
1086     : StringImplShape(s_refCountIncrement, length, characters, s_hashFlag8BitBuffer | StringSymbol | BufferSubstring)
1087 {
1088     ASSERT(is8Bit());
1089     ASSERT(m_data8);
1090     STRING_STATS_ADD_8BIT_STRING2(m_length, true);
1091 }
1092
1093 inline StringImpl::StringImpl(CreateSymbolTag, const UChar* characters, unsigned length)
1094     : StringImplShape(s_refCountIncrement, length, characters, StringSymbol | BufferSubstring)
1095 {
1096     ASSERT(!is8Bit());
1097     ASSERT(m_data16);
1098     STRING_STATS_ADD_16BIT_STRING2(m_length, true);
1099 }
1100
1101 inline StringImpl::StringImpl(CreateSymbolTag)
1102     : StringImplShape(s_refCountIncrement, 0, empty()->characters8(), s_hashFlag8BitBuffer | StringSymbol | BufferSubstring)
1103 {
1104     ASSERT(is8Bit());
1105     ASSERT(m_data8);
1106     STRING_STATS_ADD_8BIT_STRING2(m_length, true);
1107 }
1108
1109 template<typename T> inline size_t StringImpl::allocationSize(Checked<size_t> tailElementCount)
1110 {
1111     return (tailOffset<T>() + tailElementCount * sizeof(T)).unsafeGet();
1112 }
1113
1114 template<typename T> inline size_t StringImpl::tailOffset()
1115 {
1116 #if COMPILER(MSVC)
1117     // MSVC doesn't support alignof yet.
1118     return roundUpToMultipleOf<sizeof(T)>(sizeof(StringImpl));
1119 #else
1120     return roundUpToMultipleOf<alignof(T)>(offsetof(StringImpl, m_hashAndFlags) + sizeof(StringImpl::m_hashAndFlags));
1121 #endif
1122 }
1123
1124 inline bool StringImpl::requiresCopy() const
1125 {
1126     if (bufferOwnership() != BufferInternal)
1127         return true;
1128
1129     if (is8Bit())
1130         return m_data8 == tailPointer<LChar>();
1131     return m_data16 == tailPointer<UChar>();
1132 }
1133
1134 template<typename T> inline const T* StringImpl::tailPointer() const
1135 {
1136     return reinterpret_cast_ptr<const T*>(reinterpret_cast<const uint8_t*>(this) + tailOffset<T>());
1137 }
1138
1139 template<typename T> inline T* StringImpl::tailPointer()
1140 {
1141     return reinterpret_cast_ptr<T*>(reinterpret_cast<uint8_t*>(this) + tailOffset<T>());
1142 }
1143
1144 inline StringImpl* const& StringImpl::substringBuffer() const
1145 {
1146     ASSERT(bufferOwnership() == BufferSubstring);
1147
1148     return *tailPointer<StringImpl*>();
1149 }
1150
1151 inline StringImpl*& StringImpl::substringBuffer()
1152 {
1153     ASSERT(bufferOwnership() == BufferSubstring);
1154
1155     return *tailPointer<StringImpl*>();
1156 }
1157
1158 inline void StringImpl::assertHashIsCorrect() const
1159 {
1160     ASSERT(existingHash() == StringHasher::computeHashAndMaskTop8Bits(characters8(), length()));
1161 }
1162
1163 template<unsigned characterCount> inline constexpr StringImpl::StaticStringImpl::StaticStringImpl(const char (&characters)[characterCount], StringKind stringKind)
1164     : StringImplShape(s_refCountFlagIsStaticString, characterCount - 1, characters,
1165         s_hashFlag8BitBuffer | s_hashFlagDidReportCost | stringKind | BufferInternal | (StringHasher::computeLiteralHashAndMaskTop8Bits(characters) << s_flagCount), ConstructWithConstExpr)
1166 {
1167 }
1168
1169 template<unsigned characterCount> inline constexpr StringImpl::StaticStringImpl::StaticStringImpl(const char16_t (&characters)[characterCount], StringKind stringKind)
1170     : StringImplShape(s_refCountFlagIsStaticString, characterCount - 1, characters,
1171         s_hashFlagDidReportCost | stringKind | BufferInternal | (StringHasher::computeLiteralHashAndMaskTop8Bits(characters) << s_flagCount), ConstructWithConstExpr)
1172 {
1173 }
1174
1175 inline StringImpl::StaticStringImpl::operator StringImpl&()
1176 {
1177     return *reinterpret_cast<StringImpl*>(this);
1178 }
1179
1180 inline bool equalIgnoringASCIICase(const StringImpl& a, const StringImpl& b)
1181 {
1182     return equalIgnoringASCIICaseCommon(a, b);
1183 }
1184
1185 inline bool equalIgnoringASCIICase(const StringImpl& a, const char* b)
1186 {
1187     return equalIgnoringASCIICaseCommon(a, b);
1188 }
1189
1190 inline bool equalIgnoringASCIICase(const StringImpl* a, const char* b)
1191 {
1192     return a && equalIgnoringASCIICase(*a, b);
1193 }
1194
1195 template<unsigned length> inline bool startsWithLettersIgnoringASCIICase(const StringImpl& string, const char (&lowercaseLetters)[length])
1196 {
1197     return startsWithLettersIgnoringASCIICaseCommon(string, lowercaseLetters);
1198 }
1199
1200 template<unsigned length> inline bool startsWithLettersIgnoringASCIICase(const StringImpl* string, const char (&lowercaseLetters)[length])
1201 {
1202     return string && startsWithLettersIgnoringASCIICase(*string, lowercaseLetters);
1203 }
1204
1205 template<unsigned length> inline bool equalLettersIgnoringASCIICase(const StringImpl& string, const char (&lowercaseLetters)[length])
1206 {
1207     return equalLettersIgnoringASCIICaseCommon(string, lowercaseLetters);
1208 }
1209
1210 template<unsigned length> inline bool equalLettersIgnoringASCIICase(const StringImpl* string, const char (&lowercaseLetters)[length])
1211 {
1212     return string && equalLettersIgnoringASCIICase(*string, lowercaseLetters);
1213 }
1214
1215 } // namespace WTF
1216
1217 using WTF::StringImpl;
1218 using WTF::StaticStringImpl;
1219 using WTF::equal;
1220
1221 #endif