Leverage Substring to create new AtomicStringImpl for StaticStringImpl and SymbolImpl
[WebKit-https.git] / Source / WTF / wtf / text / StringImpl.h
1 /*
2  * Copyright (C) 1999 Lars Knoll (knoll@kde.org)
3  * Copyright (C) 2005-2010, 2013-2016 Apple Inc. All rights reserved.
4  * Copyright (C) 2009 Google Inc. All rights reserved.
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public License
17  * along with this library; see the file COPYING.LIB.  If not, write to
18  * the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  *
21  */
22
23 #ifndef StringImpl_h
24 #define StringImpl_h
25
26 #include <limits.h>
27 #include <unicode/uchar.h>
28 #include <unicode/ustring.h>
29 #include <wtf/ASCIICType.h>
30 #include <wtf/Forward.h>
31 #include <wtf/Hasher.h>
32 #include <wtf/MathExtras.h>
33 #include <wtf/StdLibExtras.h>
34 #include <wtf/Vector.h>
35 #include <wtf/text/ConversionMode.h>
36 #include <wtf/text/StringCommon.h>
37
38 #if USE(CF)
39 typedef const struct __CFString * CFStringRef;
40 #endif
41
42 #ifdef __OBJC__
43 @class NSString;
44 #endif
45
46 namespace JSC {
47 namespace LLInt { class Data; }
48 class LLIntOffsetsExtractor;
49 }
50
51 namespace WTF {
52
53 class SymbolImpl;
54 class SymbolRegistry;
55
56 struct CStringTranslator;
57 struct CharBufferFromLiteralDataTranslator;
58 struct HashAndUTF8CharactersTranslator;
59 struct LCharBufferTranslator;
60 struct StringHash;
61 struct SubstringTranslator;
62 struct UCharBufferTranslator;
63
64 template<typename> class RetainPtr;
65
66 template<typename> struct HashAndCharactersTranslator;
67
68 enum TextCaseSensitivity {
69     TextCaseSensitive,
70     TextCaseInsensitive
71 };
72
73 typedef bool (*CharacterMatchFunctionPtr)(UChar);
74 typedef bool (*IsWhiteSpaceFunctionPtr)(UChar);
75
76 // Define STRING_STATS to 1 turn on run time statistics of string sizes and memory usage
77 #define STRING_STATS 0
78
79 #if STRING_STATS
80 struct StringStats {
81     inline void add8BitString(unsigned length, bool isSubString = false)
82     {
83         ++m_totalNumberStrings;
84         ++m_number8BitStrings;
85         if (!isSubString)
86             m_total8BitData += length;
87     }
88
89     inline void add16BitString(unsigned length, bool isSubString = false)
90     {
91         ++m_totalNumberStrings;
92         ++m_number16BitStrings;
93         if (!isSubString)
94             m_total16BitData += length;
95     }
96
97     void removeString(StringImpl&);
98     void printStats();
99
100     static const unsigned s_printStringStatsFrequency = 5000;
101     static std::atomic<unsigned> s_stringRemovesTillPrintStats;
102
103     std::atomic<unsigned> m_refCalls;
104     std::atomic<unsigned> m_derefCalls;
105
106     std::atomic<unsigned> m_totalNumberStrings;
107     std::atomic<unsigned> m_number8BitStrings;
108     std::atomic<unsigned> m_number16BitStrings;
109     std::atomic<unsigned long long> m_total8BitData;
110     std::atomic<unsigned long long> m_total16BitData;
111 };
112
113 #define STRING_STATS_ADD_8BIT_STRING(length) StringImpl::stringStats().add8BitString(length)
114 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) StringImpl::stringStats().add8BitString(length, isSubString)
115 #define STRING_STATS_ADD_16BIT_STRING(length) StringImpl::stringStats().add16BitString(length)
116 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) StringImpl::stringStats().add16BitString(length, isSubString)
117 #define STRING_STATS_REMOVE_STRING(string) StringImpl::stringStats().removeString(string)
118 #define STRING_STATS_REF_STRING(string) ++StringImpl::stringStats().m_refCalls;
119 #define STRING_STATS_DEREF_STRING(string) ++StringImpl::stringStats().m_derefCalls;
120 #else
121 #define STRING_STATS_ADD_8BIT_STRING(length) ((void)0)
122 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) ((void)0)
123 #define STRING_STATS_ADD_16BIT_STRING(length) ((void)0)
124 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) ((void)0)
125 #define STRING_STATS_ADD_UPCONVERTED_STRING(length) ((void)0)
126 #define STRING_STATS_REMOVE_STRING(string) ((void)0)
127 #define STRING_STATS_REF_STRING(string) ((void)0)
128 #define STRING_STATS_DEREF_STRING(string) ((void)0)
129 #endif
130
131 class StringImpl {
132     WTF_MAKE_NONCOPYABLE(StringImpl); WTF_MAKE_FAST_ALLOCATED;
133     friend struct WTF::CStringTranslator;
134     template<typename CharacterType> friend struct WTF::HashAndCharactersTranslator;
135     friend struct WTF::HashAndUTF8CharactersTranslator;
136     friend struct WTF::CharBufferFromLiteralDataTranslator;
137     friend struct WTF::LCharBufferTranslator;
138     friend struct WTF::SubstringTranslator;
139     friend struct WTF::UCharBufferTranslator;
140     friend class JSC::LLInt::Data;
141     friend class JSC::LLIntOffsetsExtractor;
142     friend class SymbolImpl;
143     
144 private:
145     enum BufferOwnership {
146         BufferInternal,
147         BufferOwned,
148         BufferSubstring,
149     };
150
151     // The bottom 6 bits in the hash are flags.
152 public:
153     static constexpr const unsigned s_flagCount = 6;
154 private:
155     static constexpr const unsigned s_flagMask = (1u << s_flagCount) - 1;
156     static_assert(s_flagCount <= StringHasher::flagCount, "StringHasher reserves enough bits for StringImpl flags");
157     static constexpr const unsigned s_flagStringKindCount = 4;
158
159     static constexpr const unsigned s_hashFlagStringKindIsAtomic = 1u << (s_flagStringKindCount);
160     static constexpr const unsigned s_hashFlagStringKindIsSymbol = 1u << (s_flagStringKindCount + 1);
161     static constexpr const unsigned s_hashMaskStringKind = s_hashFlagStringKindIsAtomic | s_hashFlagStringKindIsSymbol;
162     static constexpr const unsigned s_hashFlag8BitBuffer = 1u << 3;
163     static constexpr const unsigned s_hashFlagDidReportCost = 1u << 2;
164     static constexpr const unsigned s_hashMaskBufferOwnership = (1u << 0) | (1u << 1);
165
166     enum StringKind {
167         StringNormal = 0u, // non-symbol, non-atomic
168         StringAtomic = s_hashFlagStringKindIsAtomic, // non-symbol, atomic
169         StringSymbol = s_hashFlagStringKindIsSymbol, // symbol, non-atomic
170     };
171
172     // FIXME: there has to be a less hacky way to do this.
173     enum Force8Bit { Force8BitConstructor };
174     // Create a normal 8-bit string with internal storage (BufferInternal)
175     StringImpl(unsigned length, Force8Bit)
176         : m_refCount(s_refCountIncrement)
177         , m_length(length)
178         , m_data8(tailPointer<LChar>())
179         , m_hashAndFlags(s_hashFlag8BitBuffer | StringNormal | BufferInternal)
180     {
181         ASSERT(m_data8);
182         ASSERT(m_length);
183
184         STRING_STATS_ADD_8BIT_STRING(m_length);
185     }
186
187     // Create a normal 16-bit string with internal storage (BufferInternal)
188     StringImpl(unsigned length)
189         : m_refCount(s_refCountIncrement)
190         , m_length(length)
191         , m_data16(tailPointer<UChar>())
192         , m_hashAndFlags(StringNormal | BufferInternal)
193     {
194         ASSERT(m_data16);
195         ASSERT(m_length);
196
197         STRING_STATS_ADD_16BIT_STRING(m_length);
198     }
199
200     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned)
201     StringImpl(MallocPtr<LChar> characters, unsigned length)
202         : m_refCount(s_refCountIncrement)
203         , m_length(length)
204         , m_data8(characters.leakPtr())
205         , m_hashAndFlags(s_hashFlag8BitBuffer | StringNormal | BufferOwned)
206     {
207         ASSERT(m_data8);
208         ASSERT(m_length);
209
210         STRING_STATS_ADD_8BIT_STRING(m_length);
211     }
212
213     enum ConstructWithoutCopyingTag { ConstructWithoutCopying };
214     StringImpl(const UChar* characters, unsigned length, ConstructWithoutCopyingTag)
215         : m_refCount(s_refCountIncrement)
216         , m_length(length)
217         , m_data16(characters)
218         , m_hashAndFlags(StringNormal | BufferInternal)
219     {
220         ASSERT(m_data16);
221         ASSERT(m_length);
222
223         STRING_STATS_ADD_16BIT_STRING(m_length);
224     }
225
226     StringImpl(const LChar* characters, unsigned length, ConstructWithoutCopyingTag)
227         : m_refCount(s_refCountIncrement)
228         , m_length(length)
229         , m_data8(characters)
230         , m_hashAndFlags(s_hashFlag8BitBuffer | StringNormal | BufferInternal)
231     {
232         ASSERT(m_data8);
233         ASSERT(m_length);
234
235         STRING_STATS_ADD_8BIT_STRING(m_length);
236     }
237
238     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned)
239     StringImpl(MallocPtr<UChar> characters, unsigned length)
240         : m_refCount(s_refCountIncrement)
241         , m_length(length)
242         , m_data16(characters.leakPtr())
243         , m_hashAndFlags(StringNormal | BufferOwned)
244     {
245         ASSERT(m_data16);
246         ASSERT(m_length);
247
248         STRING_STATS_ADD_16BIT_STRING(m_length);
249     }
250
251     // Used to create new strings that are a substring of an existing 8-bit StringImpl (BufferSubstring)
252     StringImpl(const LChar* characters, unsigned length, Ref<StringImpl>&& base)
253         : m_refCount(s_refCountIncrement)
254         , m_length(length)
255         , m_data8(characters)
256         , m_hashAndFlags(s_hashFlag8BitBuffer | StringNormal | BufferSubstring)
257     {
258         ASSERT(is8Bit());
259         ASSERT(m_data8);
260         ASSERT(m_length);
261         ASSERT(base->bufferOwnership() != BufferSubstring);
262
263         substringBuffer() = &base.leakRef();
264
265         STRING_STATS_ADD_8BIT_STRING2(m_length, true);
266     }
267
268     // Used to create new strings that are a substring of an existing 16-bit StringImpl (BufferSubstring)
269     StringImpl(const UChar* characters, unsigned length, Ref<StringImpl>&& base)
270         : m_refCount(s_refCountIncrement)
271         , m_length(length)
272         , m_data16(characters)
273         , m_hashAndFlags(StringNormal | BufferSubstring)
274     {
275         ASSERT(!is8Bit());
276         ASSERT(m_data16);
277         ASSERT(m_length);
278         ASSERT(base->bufferOwnership() != BufferSubstring);
279
280         substringBuffer() = &base.leakRef();
281
282         STRING_STATS_ADD_16BIT_STRING2(m_length, true);
283     }
284
285 public:
286     WTF_EXPORT_STRING_API static void destroy(StringImpl*);
287
288     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const UChar*, unsigned length);
289     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const LChar*, unsigned length);
290     WTF_EXPORT_STRING_API static Ref<StringImpl> create8BitIfPossible(const UChar*, unsigned length);
291     template<size_t inlineCapacity>
292     static Ref<StringImpl> create8BitIfPossible(const Vector<UChar, inlineCapacity>& vector)
293     {
294         return create8BitIfPossible(vector.data(), vector.size());
295     }
296     WTF_EXPORT_STRING_API static Ref<StringImpl> create8BitIfPossible(const UChar*);
297
298     ALWAYS_INLINE static Ref<StringImpl> create(const char* s, unsigned length) { return create(reinterpret_cast<const LChar*>(s), length); }
299     WTF_EXPORT_STRING_API static Ref<StringImpl> create(const LChar*);
300     ALWAYS_INLINE static Ref<StringImpl> create(const char* s) { return create(reinterpret_cast<const LChar*>(s)); }
301
302     static ALWAYS_INLINE Ref<StringImpl> createSubstringSharingImpl(StringImpl& rep, unsigned offset, unsigned length)
303     {
304         ASSERT(length <= rep.length());
305
306         if (!length)
307             return *empty();
308
309         auto* ownerRep = ((rep.bufferOwnership() == BufferSubstring) ? rep.substringBuffer() : &rep);
310
311         // We allocate a buffer that contains both the StringImpl struct as well as the pointer to the owner string.
312         auto* stringImpl = static_cast<StringImpl*>(fastMalloc(allocationSize<StringImpl*>(1)));
313         if (rep.is8Bit())
314             return adoptRef(*new (NotNull, stringImpl) StringImpl(rep.m_data8 + offset, length, *ownerRep));
315         return adoptRef(*new (NotNull, stringImpl) StringImpl(rep.m_data16 + offset, length, *ownerRep));
316     }
317
318     template<unsigned charactersCount>
319     ALWAYS_INLINE static Ref<StringImpl> createFromLiteral(const char (&characters)[charactersCount])
320     {
321         COMPILE_ASSERT(charactersCount > 1, StringImplFromLiteralNotEmpty);
322         COMPILE_ASSERT((charactersCount - 1 <= ((unsigned(~0) - sizeof(StringImpl)) / sizeof(LChar))), StringImplFromLiteralCannotOverflow);
323
324         return createWithoutCopying(reinterpret_cast<const LChar*>(characters), charactersCount - 1);
325     }
326
327     // FIXME: Transition off of these functions to createWithoutCopying instead.
328     WTF_EXPORT_STRING_API static Ref<StringImpl> createFromLiteral(const char* characters, unsigned length);
329     WTF_EXPORT_STRING_API static Ref<StringImpl> createFromLiteral(const char* characters);
330
331     WTF_EXPORT_STRING_API static Ref<StringImpl> createWithoutCopying(const UChar* characters, unsigned length);
332     WTF_EXPORT_STRING_API static Ref<StringImpl> createWithoutCopying(const LChar* characters, unsigned length);
333
334     WTF_EXPORT_STRING_API static Ref<StringImpl> createUninitialized(unsigned length, LChar*& data);
335     WTF_EXPORT_STRING_API static Ref<StringImpl> createUninitialized(unsigned length, UChar*& data);
336     template <typename T> static ALWAYS_INLINE RefPtr<StringImpl> tryCreateUninitialized(unsigned length, T*& output)
337     {
338         if (!length) {
339             output = nullptr;
340             return empty();
341         }
342
343         if (length > ((std::numeric_limits<unsigned>::max() - sizeof(StringImpl)) / sizeof(T))) {
344             output = nullptr;
345             return nullptr;
346         }
347         StringImpl* resultImpl;
348         if (!tryFastMalloc(allocationSize<T>(length)).getValue(resultImpl)) {
349             output = nullptr;
350             return nullptr;
351         }
352         output = resultImpl->tailPointer<T>();
353
354         return constructInternal<T>(resultImpl, length);
355     }
356
357     // Reallocate the StringImpl. The originalString must be only owned by the Ref,
358     // and the buffer ownership must be BufferInternal. Just like the input pointer of realloc(),
359     // the originalString can't be used after this function.
360     static Ref<StringImpl> reallocate(Ref<StringImpl>&& originalString, unsigned length, LChar*& data);
361     static Ref<StringImpl> reallocate(Ref<StringImpl>&& originalString, unsigned length, UChar*& data);
362
363     static unsigned flagsOffset() { return OBJECT_OFFSETOF(StringImpl, m_hashAndFlags); }
364     static unsigned flagIs8Bit() { return s_hashFlag8BitBuffer; }
365     static unsigned flagIsAtomic() { return s_hashFlagStringKindIsAtomic; }
366     static unsigned flagIsSymbol() { return s_hashFlagStringKindIsSymbol; }
367     static unsigned maskStringKind() { return s_hashMaskStringKind; }
368     static unsigned dataOffset() { return OBJECT_OFFSETOF(StringImpl, m_data8); }
369
370     template<typename CharType, size_t inlineCapacity, typename OverflowHandler>
371     static Ref<StringImpl> adopt(Vector<CharType, inlineCapacity, OverflowHandler>&& vector)
372     {
373         if (size_t size = vector.size()) {
374             ASSERT(vector.data());
375             if (size > std::numeric_limits<unsigned>::max())
376                 CRASH();
377             return adoptRef(*new StringImpl(vector.releaseBuffer(), size));
378         }
379         return *empty();
380     }
381
382     WTF_EXPORT_STRING_API static Ref<StringImpl> adopt(StringBuffer<UChar>&&);
383     WTF_EXPORT_STRING_API static Ref<StringImpl> adopt(StringBuffer<LChar>&&);
384
385     unsigned length() const { return m_length; }
386     static ptrdiff_t lengthMemoryOffset() { return OBJECT_OFFSETOF(StringImpl, m_length); }
387     bool is8Bit() const { return m_hashAndFlags & s_hashFlag8BitBuffer; }
388
389     ALWAYS_INLINE const LChar* characters8() const { ASSERT(is8Bit()); return m_data8; }
390     ALWAYS_INLINE const UChar* characters16() const { ASSERT(!is8Bit()); return m_data16; }
391
392     template <typename CharType>
393     ALWAYS_INLINE const CharType *characters() const;
394
395     size_t cost() const
396     {
397         // For substrings, return the cost of the base string.
398         if (bufferOwnership() == BufferSubstring)
399             return substringBuffer()->cost();
400
401         if (m_hashAndFlags & s_hashFlagDidReportCost)
402             return 0;
403
404         m_hashAndFlags |= s_hashFlagDidReportCost;
405         size_t result = m_length;
406         if (!is8Bit())
407             result <<= 1;
408         return result;
409     }
410     
411     size_t costDuringGC()
412     {
413         if (isStatic())
414             return 0;
415         
416         if (bufferOwnership() == BufferSubstring)
417             return divideRoundedUp(substringBuffer()->costDuringGC(), refCount());
418         
419         size_t result = m_length;
420         if (!is8Bit())
421             result <<= 1;
422         return divideRoundedUp(result, refCount());
423     }
424
425     WTF_EXPORT_STRING_API size_t sizeInBytes() const;
426
427     StringKind stringKind() const { return static_cast<StringKind>(m_hashAndFlags & s_hashMaskStringKind); }
428     bool isSymbol() const { return m_hashAndFlags & s_hashFlagStringKindIsSymbol; }
429     bool isAtomic() const { return m_hashAndFlags & s_hashFlagStringKindIsAtomic; }
430
431     void setIsAtomic(bool isAtomic)
432     {
433         ASSERT(!isStatic());
434         ASSERT(!isSymbol());
435         if (isAtomic) {
436             m_hashAndFlags |= s_hashFlagStringKindIsAtomic;
437             ASSERT(stringKind() == StringAtomic);
438         } else {
439             m_hashAndFlags &= ~s_hashFlagStringKindIsAtomic;
440             ASSERT(stringKind() == StringNormal);
441         }
442     }
443
444 #if STRING_STATS
445     bool isSubString() const { return bufferOwnership() == BufferSubstring; }
446 #endif
447
448     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const LChar* characters, unsigned length);
449     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const UChar* characters, unsigned length, ConversionMode = LenientConversion);
450     WTF_EXPORT_STRING_API CString utf8ForRange(unsigned offset, unsigned length, ConversionMode = LenientConversion) const;
451     WTF_EXPORT_STRING_API CString utf8(ConversionMode = LenientConversion) const;
452
453 private:
454     static WTF_EXPORT_STRING_API bool utf8Impl(const UChar* characters, unsigned length, char*& buffer, size_t bufferSize, ConversionMode);
455     
456     // The high bits of 'hash' are always empty, but we prefer to store our flags
457     // in the low bits because it makes them slightly more efficient to access.
458     // So, we shift left and right when setting and getting our hash code.
459     void setHash(unsigned hash) const
460     {
461         ASSERT(!hasHash());
462         // Multiple clients assume that StringHasher is the canonical string hash function.
463         ASSERT(hash == (is8Bit() ? StringHasher::computeHashAndMaskTop8Bits(m_data8, m_length) : StringHasher::computeHashAndMaskTop8Bits(m_data16, m_length)));
464         ASSERT(!(hash & (s_flagMask << (8 * sizeof(hash) - s_flagCount)))); // Verify that enough high bits are empty.
465         
466         hash <<= s_flagCount;
467         ASSERT(!(hash & m_hashAndFlags)); // Verify that enough low bits are empty after shift.
468         ASSERT(hash); // Verify that 0 is a valid sentinel hash value.
469
470         m_hashAndFlags |= hash; // Store hash with flags in low bits.
471     }
472
473     unsigned rawHash() const
474     {
475         return m_hashAndFlags >> s_flagCount;
476     }
477
478 public:
479     bool hasHash() const
480     {
481         return rawHash() != 0;
482     }
483
484     unsigned existingHash() const
485     {
486         ASSERT(hasHash());
487         return rawHash();
488     }
489
490     unsigned hash() const
491     {
492         if (hasHash())
493             return existingHash();
494         return hashSlowCase();
495     }
496
497     WTF_EXPORT_PRIVATE unsigned concurrentHash() const;
498
499     unsigned symbolAwareHash() const;
500     unsigned existingSymbolAwareHash() const;
501
502     bool isStatic() const { return m_refCount & s_refCountFlagIsStaticString; }
503
504     inline size_t refCount() const
505     {
506         return m_refCount / s_refCountIncrement;
507     }
508     
509     inline bool hasOneRef() const
510     {
511         return m_refCount == s_refCountIncrement;
512     }
513     
514     // This method is useful for assertions.
515     inline bool hasAtLeastOneRef() const
516     {
517         return !!m_refCount;
518     }
519
520     inline void ref()
521     {
522         STRING_STATS_REF_STRING(*this);
523
524         m_refCount += s_refCountIncrement;
525     }
526
527     inline void deref()
528     {
529         STRING_STATS_DEREF_STRING(*this);
530
531         unsigned tempRefCount = m_refCount - s_refCountIncrement;
532         if (!tempRefCount) {
533             StringImpl::destroy(this);
534             return;
535         }
536         m_refCount = tempRefCount;
537     }
538
539     class StaticStringImpl {
540         WTF_MAKE_NONCOPYABLE(StaticStringImpl);
541     public:
542         // Used to construct static strings, which have an special refCount that can never hit zero.
543         // This means that the static string will never be destroyed, which is important because
544         // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
545         template<unsigned charactersCount>
546         constexpr StaticStringImpl(const char (&characters)[charactersCount], StringKind stringKind = StringNormal)
547             : m_refCount(s_refCountFlagIsStaticString)
548             , m_length(charactersCount - 1)
549             , m_data8(characters)
550             , m_hashAndFlags(s_hashFlag8BitBuffer | stringKind | BufferInternal | (StringHasher::computeLiteralHashAndMaskTop8Bits(characters) << s_flagCount))
551         {
552         }
553
554         template<unsigned charactersCount>
555         constexpr StaticStringImpl(const char16_t (&characters)[charactersCount], StringKind stringKind = StringNormal)
556             : m_refCount(s_refCountFlagIsStaticString)
557             , m_length(charactersCount - 1)
558             , m_data16(characters)
559             , m_hashAndFlags(stringKind | BufferInternal | (StringHasher::computeLiteralHashAndMaskTop8Bits(characters) << s_flagCount))
560         {
561         }
562
563         operator StringImpl&()
564         {
565             return *reinterpret_cast<StringImpl*>(this);
566         }
567
568         // These member variables must match the layout of StringImpl.
569         unsigned m_refCount;
570         unsigned m_length;
571         union {
572             const char* m_data8;
573             const char16_t* m_data16;
574         };
575         unsigned m_hashAndFlags;
576     };
577
578     WTF_EXPORTDATA static StaticStringImpl s_atomicEmptyString;
579     ALWAYS_INLINE static StringImpl* empty() { return reinterpret_cast<StringImpl*>(&s_atomicEmptyString); }
580
581     // FIXME: Does this really belong in StringImpl?
582     template <typename T> static void copyChars(T* destination, const T* source, unsigned numCharacters)
583     {
584         if (numCharacters == 1) {
585             *destination = *source;
586             return;
587         }
588
589         if (numCharacters <= s_copyCharsInlineCutOff) {
590             unsigned i = 0;
591 #if (CPU(X86) || CPU(X86_64))
592             const unsigned charsPerInt = sizeof(uint32_t) / sizeof(T);
593
594             if (numCharacters > charsPerInt) {
595                 unsigned stopCount = numCharacters & ~(charsPerInt - 1);
596
597                 const uint32_t* srcCharacters = reinterpret_cast<const uint32_t*>(source);
598                 uint32_t* destCharacters = reinterpret_cast<uint32_t*>(destination);
599                 for (unsigned j = 0; i < stopCount; i += charsPerInt, ++j)
600                     destCharacters[j] = srcCharacters[j];
601             }
602 #endif
603             for (; i < numCharacters; ++i)
604                 destination[i] = source[i];
605         } else
606             memcpy(destination, source, numCharacters * sizeof(T));
607     }
608
609     ALWAYS_INLINE static void copyChars(UChar* destination, const LChar* source, unsigned numCharacters)
610     {
611         for (unsigned i = 0; i < numCharacters; ++i)
612             destination[i] = source[i];
613     }
614
615     // Some string features, like refcounting and the atomicity flag, are not
616     // thread-safe. We achieve thread safety by isolation, giving each thread
617     // its own copy of the string.
618     Ref<StringImpl> isolatedCopy() const;
619
620     WTF_EXPORT_STRING_API Ref<StringImpl> substring(unsigned pos, unsigned len = UINT_MAX);
621
622     UChar at(unsigned i) const
623     {
624         ASSERT_WITH_SECURITY_IMPLICATION(i < m_length);
625         if (is8Bit())
626             return m_data8[i];
627         return m_data16[i];
628     }
629     UChar operator[](unsigned i) const { return at(i); }
630     WTF_EXPORT_STRING_API UChar32 characterStartingAt(unsigned);
631
632     WTF_EXPORT_STRING_API bool containsOnlyWhitespace();
633
634     int toIntStrict(bool* ok = 0, int base = 10);
635     unsigned toUIntStrict(bool* ok = 0, int base = 10);
636     int64_t toInt64Strict(bool* ok = 0, int base = 10);
637     uint64_t toUInt64Strict(bool* ok = 0, int base = 10);
638     intptr_t toIntPtrStrict(bool* ok = 0, int base = 10);
639
640     WTF_EXPORT_STRING_API int toInt(bool* ok = 0); // ignores trailing garbage
641     unsigned toUInt(bool* ok = 0); // ignores trailing garbage
642     int64_t toInt64(bool* ok = 0); // ignores trailing garbage
643     uint64_t toUInt64(bool* ok = 0); // ignores trailing garbage
644     intptr_t toIntPtr(bool* ok = 0); // ignores trailing garbage
645
646     // FIXME: Like the strict functions above, these give false for "ok" when there is trailing garbage.
647     // Like the non-strict functions above, these return the value when there is trailing garbage.
648     // It would be better if these were more consistent with the above functions instead.
649     double toDouble(bool* ok = 0);
650     float toFloat(bool* ok = 0);
651
652     WTF_EXPORT_STRING_API Ref<StringImpl> convertToASCIILowercase();
653     WTF_EXPORT_STRING_API Ref<StringImpl> convertToASCIIUppercase();
654     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithoutLocale();
655     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithoutLocaleStartingAtFailingIndex8Bit(unsigned);
656     WTF_EXPORT_STRING_API Ref<StringImpl> convertToUppercaseWithoutLocale();
657     WTF_EXPORT_STRING_API Ref<StringImpl> convertToLowercaseWithLocale(const AtomicString& localeIdentifier);
658     WTF_EXPORT_STRING_API Ref<StringImpl> convertToUppercaseWithLocale(const AtomicString& localeIdentifier);
659
660     Ref<StringImpl> foldCase();
661
662     Ref<StringImpl> stripWhiteSpace();
663     Ref<StringImpl> stripWhiteSpace(IsWhiteSpaceFunctionPtr);
664     WTF_EXPORT_STRING_API Ref<StringImpl> simplifyWhiteSpace();
665     Ref<StringImpl> simplifyWhiteSpace(IsWhiteSpaceFunctionPtr);
666
667     Ref<StringImpl> removeCharacters(CharacterMatchFunctionPtr);
668     template <typename CharType>
669     ALWAYS_INLINE Ref<StringImpl> removeCharacters(const CharType* characters, CharacterMatchFunctionPtr);
670
671     size_t find(LChar character, unsigned start = 0);
672     size_t find(char character, unsigned start = 0);
673     size_t find(UChar character, unsigned start = 0);
674     WTF_EXPORT_STRING_API size_t find(CharacterMatchFunctionPtr, unsigned index = 0);
675     size_t find(const LChar*, unsigned index = 0);
676     ALWAYS_INLINE size_t find(const char* s, unsigned index = 0) { return find(reinterpret_cast<const LChar*>(s), index); }
677     WTF_EXPORT_STRING_API size_t find(StringImpl*);
678     WTF_EXPORT_STRING_API size_t find(StringImpl*, unsigned index);
679     size_t findIgnoringCase(const LChar*, unsigned index = 0);
680     ALWAYS_INLINE size_t findIgnoringCase(const char* s, unsigned index = 0) { return findIgnoringCase(reinterpret_cast<const LChar*>(s), index); }
681     WTF_EXPORT_STRING_API size_t findIgnoringCase(StringImpl*, unsigned index = 0);
682     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl&) const;
683     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl&, unsigned startOffset) const;
684     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl*) const;
685     WTF_EXPORT_STRING_API size_t findIgnoringASCIICase(const StringImpl*, unsigned startOffset) const;
686
687     WTF_EXPORT_STRING_API size_t reverseFind(UChar, unsigned index = UINT_MAX);
688     WTF_EXPORT_STRING_API size_t reverseFind(StringImpl*, unsigned index = UINT_MAX);
689     WTF_EXPORT_STRING_API size_t reverseFindIgnoringCase(StringImpl*, unsigned index = UINT_MAX);
690
691     WTF_EXPORT_STRING_API bool startsWith(const StringImpl*) const;
692     WTF_EXPORT_STRING_API bool startsWith(const StringImpl&) const;
693     WTF_EXPORT_STRING_API bool startsWithIgnoringASCIICase(const StringImpl*) const;
694     WTF_EXPORT_STRING_API bool startsWithIgnoringASCIICase(const StringImpl&) const;
695     bool startsWith(StringImpl* str, bool caseSensitive) { return caseSensitive ? startsWith(str) : (reverseFindIgnoringCase(str, 0) == 0); }
696     WTF_EXPORT_STRING_API bool startsWith(UChar) const;
697     WTF_EXPORT_STRING_API bool startsWith(const char*, unsigned matchLength, bool caseSensitive) const;
698     template<unsigned matchLength>
699     bool startsWith(const char (&prefix)[matchLength], bool caseSensitive = true) const { return startsWith(prefix, matchLength - 1, caseSensitive); }
700     WTF_EXPORT_STRING_API bool hasInfixStartingAt(const StringImpl&, unsigned startOffset) const;
701
702     WTF_EXPORT_STRING_API bool endsWith(StringImpl*);
703     WTF_EXPORT_STRING_API bool endsWith(StringImpl&);
704     WTF_EXPORT_STRING_API bool endsWithIgnoringASCIICase(const StringImpl*) const;
705     WTF_EXPORT_STRING_API bool endsWithIgnoringASCIICase(const StringImpl&) const;
706     WTF_EXPORT_STRING_API bool endsWith(StringImpl*, bool caseSensitive);
707     WTF_EXPORT_STRING_API bool endsWith(UChar) const;
708     WTF_EXPORT_STRING_API bool endsWith(const char*, unsigned matchLength, bool caseSensitive) const;
709     template<unsigned matchLength>
710     bool endsWith(const char (&prefix)[matchLength], bool caseSensitive = true) const { return endsWith(prefix, matchLength - 1, caseSensitive); }
711     WTF_EXPORT_STRING_API bool hasInfixEndingAt(const StringImpl&, unsigned endOffset) const;
712
713     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, UChar);
714     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, StringImpl*);
715     ALWAYS_INLINE Ref<StringImpl> replace(UChar pattern, const char* replacement, unsigned replacementLength) { return replace(pattern, reinterpret_cast<const LChar*>(replacement), replacementLength); }
716     WTF_EXPORT_STRING_API Ref<StringImpl> replace(UChar, const LChar*, unsigned replacementLength);
717     Ref<StringImpl> replace(UChar, const UChar*, unsigned replacementLength);
718     WTF_EXPORT_STRING_API Ref<StringImpl> replace(StringImpl*, StringImpl*);
719     WTF_EXPORT_STRING_API Ref<StringImpl> replace(unsigned index, unsigned len, StringImpl*);
720
721     WTF_EXPORT_STRING_API UCharDirection defaultWritingDirection(bool* hasStrongDirectionality = nullptr);
722
723 #if USE(CF)
724     RetainPtr<CFStringRef> createCFString();
725 #endif
726 #ifdef __OBJC__
727     WTF_EXPORT_STRING_API operator NSString *();
728 #endif
729
730 #if STRING_STATS
731     ALWAYS_INLINE static StringStats& stringStats() { return m_stringStats; }
732 #endif
733
734 protected:
735     ~StringImpl();
736
737     enum CreateSymbolTag { CreateSymbol };
738
739     // Used to create new symbol strings that holds existing 8-bit [[Description]] string as a substring buffer (BufferSubstring).
740     StringImpl(CreateSymbolTag, const LChar* characters, unsigned length)
741         : m_refCount(s_refCountIncrement)
742         , m_length(length)
743         , m_data8(characters)
744         , m_hashAndFlags(s_hashFlag8BitBuffer | StringSymbol | BufferSubstring)
745     {
746         ASSERT(is8Bit());
747         ASSERT(m_data8);
748         STRING_STATS_ADD_8BIT_STRING2(m_length, true);
749     }
750
751     // Used to create new symbol strings that holds existing 16-bit [[Description]] string as a substring buffer (BufferSubstring).
752     StringImpl(CreateSymbolTag, const UChar* characters, unsigned length)
753         : m_refCount(s_refCountIncrement)
754         , m_length(length)
755         , m_data16(characters)
756         , m_hashAndFlags(StringSymbol | BufferSubstring)
757     {
758         ASSERT(!is8Bit());
759         ASSERT(m_data16);
760         STRING_STATS_ADD_16BIT_STRING2(m_length, true);
761     }
762
763     // Null symbol.
764     StringImpl(CreateSymbolTag)
765         : m_refCount(s_refCountIncrement)
766         , m_length(0)
767         , m_data8(empty()->characters8())
768         , m_hashAndFlags(s_hashFlag8BitBuffer | StringSymbol | BufferSubstring)
769     {
770         ASSERT(is8Bit());
771         ASSERT(m_data8);
772         STRING_STATS_ADD_8BIT_STRING2(m_length, true);
773     }
774
775     template<typename T>
776     static size_t allocationSize(unsigned tailElementCount)
777     {
778         return tailOffset<T>() + tailElementCount * sizeof(T);
779     }
780
781     template<typename T>
782     static ptrdiff_t tailOffset()
783     {
784 #if COMPILER(MSVC)
785         // MSVC doesn't support alignof yet.
786         return roundUpToMultipleOf<sizeof(T)>(sizeof(StringImpl));
787 #else
788         return roundUpToMultipleOf<alignof(T)>(offsetof(StringImpl, m_hashAndFlags) + sizeof(StringImpl::m_hashAndFlags));
789 #endif
790     }
791
792 private:
793     bool requiresCopy() const
794     {
795         if (bufferOwnership() != BufferInternal)
796             return true;
797
798         if (is8Bit())
799             return m_data8 == tailPointer<LChar>();
800         return m_data16 == tailPointer<UChar>();
801     }
802
803     template<typename T>
804     const T* tailPointer() const
805     {
806         return reinterpret_cast_ptr<const T*>(reinterpret_cast<const uint8_t*>(this) + tailOffset<T>());
807     }
808
809     template<typename T>
810     T* tailPointer()
811     {
812         return reinterpret_cast_ptr<T*>(reinterpret_cast<uint8_t*>(this) + tailOffset<T>());
813     }
814
815     StringImpl* const& substringBuffer() const
816     {
817         ASSERT(bufferOwnership() == BufferSubstring);
818
819         return *tailPointer<StringImpl*>();
820     }
821
822     StringImpl*& substringBuffer()
823     {
824         ASSERT(bufferOwnership() == BufferSubstring);
825
826         return *tailPointer<StringImpl*>();
827     }
828
829     // This number must be at least 2 to avoid sharing empty, null as well as 1 character strings from SmallStrings.
830     static const unsigned s_copyCharsInlineCutOff = 20;
831
832     enum class CaseConvertType { Upper, Lower };
833     template<CaseConvertType type, typename CharacterType> static Ref<StringImpl> convertASCIICase(StringImpl&, const CharacterType*, unsigned);
834
835     BufferOwnership bufferOwnership() const { return static_cast<BufferOwnership>(m_hashAndFlags & s_hashMaskBufferOwnership); }
836     template <class UCharPredicate> Ref<StringImpl> stripMatchedCharacters(UCharPredicate);
837     template <typename CharType, class UCharPredicate> Ref<StringImpl> simplifyMatchedCharactersToSpace(UCharPredicate);
838     template <typename CharType> static Ref<StringImpl> constructInternal(StringImpl*, unsigned);
839     template <typename CharType> static Ref<StringImpl> createUninitializedInternal(unsigned, CharType*&);
840     template <typename CharType> static Ref<StringImpl> createUninitializedInternalNonEmpty(unsigned, CharType*&);
841     template <typename CharType> static Ref<StringImpl> reallocateInternal(Ref<StringImpl>&&, unsigned, CharType*&);
842     template <typename CharType> static Ref<StringImpl> createInternal(const CharType*, unsigned);
843     WTF_EXPORT_PRIVATE NEVER_INLINE unsigned hashSlowCase() const;
844
845     // The bottom bit in the ref count indicates a static (immortal) string.
846     static const unsigned s_refCountFlagIsStaticString = 0x1;
847     static const unsigned s_refCountIncrement = 0x2; // This allows us to ref / deref without disturbing the static string flag.
848
849 #if STRING_STATS
850     WTF_EXPORTDATA static StringStats m_stringStats;
851 #endif
852
853 public:
854 #ifndef NDEBUG
855     void assertHashIsCorrect()
856     {
857         ASSERT(hasHash());
858         ASSERT(existingHash() == StringHasher::computeHashAndMaskTop8Bits(characters8(), length()));
859     }
860 #endif
861
862 private:
863     // These member variables must match the layout of StaticStringImpl.
864     unsigned m_refCount;
865     unsigned m_length;
866     union {
867         const LChar* m_data8;
868         const UChar* m_data16;
869     };
870     mutable unsigned m_hashAndFlags;
871 };
872
873 static_assert(sizeof(StringImpl) == sizeof(StringImpl::StaticStringImpl), "");
874
875 #if !ASSERT_DISABLED
876 // StringImpls created from StaticStringImpl will ASSERT
877 // in the generic ValueCheck<T>::checkConsistency
878 // as they are not allocated by fastMalloc.
879 // We don't currently have any way to detect that case
880 // so we ignore the consistency check for all StringImpl*.
881 template<> struct
882 ValueCheck<StringImpl*> {
883     static void checkConsistency(const StringImpl*) { }
884 };
885 #endif
886
887 template <>
888 ALWAYS_INLINE Ref<StringImpl> StringImpl::constructInternal<LChar>(StringImpl* impl, unsigned length) { return adoptRef(*new (NotNull, impl) StringImpl(length, Force8BitConstructor)); }
889 template <>
890 ALWAYS_INLINE Ref<StringImpl> StringImpl::constructInternal<UChar>(StringImpl* impl, unsigned length) { return adoptRef(*new (NotNull, impl) StringImpl(length)); }
891
892 template <>
893 ALWAYS_INLINE const LChar* StringImpl::characters<LChar>() const { return characters8(); }
894
895 template <>
896 ALWAYS_INLINE const UChar* StringImpl::characters<UChar>() const { return characters16(); }
897
898 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const StringImpl*);
899 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*);
900 inline bool equal(const StringImpl* a, const char* b) { return equal(a, reinterpret_cast<const LChar*>(b)); }
901 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*, unsigned);
902 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const UChar*, unsigned);
903 inline bool equal(const StringImpl* a, const char* b, unsigned length) { return equal(a, reinterpret_cast<const LChar*>(b), length); }
904 inline bool equal(const LChar* a, StringImpl* b) { return equal(b, a); }
905 inline bool equal(const char* a, StringImpl* b) { return equal(b, reinterpret_cast<const LChar*>(a)); }
906 WTF_EXPORT_STRING_API bool equal(const StringImpl& a, const StringImpl& b);
907
908 WTF_EXPORT_STRING_API bool equalIgnoringNullity(StringImpl*, StringImpl*);
909 WTF_EXPORT_STRING_API bool equalIgnoringNullity(const UChar*, size_t length, StringImpl*);
910
911 bool equalIgnoringASCIICase(const StringImpl&, const StringImpl&);
912 WTF_EXPORT_STRING_API bool equalIgnoringASCIICase(const StringImpl*, const StringImpl*);
913 bool equalIgnoringASCIICase(const StringImpl&, const char*);
914 bool equalIgnoringASCIICase(const StringImpl*, const char*);
915
916 WTF_EXPORT_STRING_API bool equalIgnoringASCIICaseNonNull(const StringImpl*, const StringImpl*);
917
918 template<unsigned length> bool equalLettersIgnoringASCIICase(const StringImpl&, const char (&lowercaseLetters)[length]);
919 template<unsigned length> bool equalLettersIgnoringASCIICase(const StringImpl*, const char (&lowercaseLetters)[length]);
920
921 inline size_t find(const LChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index = 0)
922 {
923     while (index < length) {
924         if (matchFunction(characters[index]))
925             return index;
926         ++index;
927     }
928     return notFound;
929 }
930
931 inline size_t find(const UChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index = 0)
932 {
933     while (index < length) {
934         if (matchFunction(characters[index]))
935             return index;
936         ++index;
937     }
938     return notFound;
939 }
940
941 template<typename CharacterType>
942 inline size_t reverseFindLineTerminator(const CharacterType* characters, unsigned length, unsigned index = UINT_MAX)
943 {
944     if (!length)
945         return notFound;
946     if (index >= length)
947         index = length - 1;
948     CharacterType c = characters[index];
949     while ((c != '\n') && (c != '\r')) {
950         if (!index--)
951             return notFound;
952         c = characters[index];
953     }
954     return index;
955 }
956
957 template<typename CharacterType>
958 inline size_t reverseFind(const CharacterType* characters, unsigned length, CharacterType matchCharacter, unsigned index = UINT_MAX)
959 {
960     if (!length)
961         return notFound;
962     if (index >= length)
963         index = length - 1;
964     while (characters[index] != matchCharacter) {
965         if (!index--)
966             return notFound;
967     }
968     return index;
969 }
970
971 ALWAYS_INLINE size_t reverseFind(const UChar* characters, unsigned length, LChar matchCharacter, unsigned index = UINT_MAX)
972 {
973     return reverseFind(characters, length, static_cast<UChar>(matchCharacter), index);
974 }
975
976 inline size_t reverseFind(const LChar* characters, unsigned length, UChar matchCharacter, unsigned index = UINT_MAX)
977 {
978     if (matchCharacter & ~0xFF)
979         return notFound;
980     return reverseFind(characters, length, static_cast<LChar>(matchCharacter), index);
981 }
982
983 inline size_t StringImpl::find(LChar character, unsigned start)
984 {
985     if (is8Bit())
986         return WTF::find(characters8(), m_length, character, start);
987     return WTF::find(characters16(), m_length, character, start);
988 }
989
990 ALWAYS_INLINE size_t StringImpl::find(char character, unsigned start)
991 {
992     return find(static_cast<LChar>(character), start);
993 }
994
995 inline size_t StringImpl::find(UChar character, unsigned start)
996 {
997     if (is8Bit())
998         return WTF::find(characters8(), m_length, character, start);
999     return WTF::find(characters16(), m_length, character, start);
1000 }
1001
1002 template<size_t inlineCapacity> inline bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>& a, StringImpl* b)
1003 {
1004     return equalIgnoringNullity(a.data(), a.size(), b);
1005 }
1006
1007 template<typename CharacterType1, typename CharacterType2>
1008 inline int codePointCompare(unsigned l1, unsigned l2, const CharacterType1* c1, const CharacterType2* c2)
1009 {
1010     const unsigned lmin = l1 < l2 ? l1 : l2;
1011     unsigned pos = 0;
1012     while (pos < lmin && *c1 == *c2) {
1013         ++c1;
1014         ++c2;
1015         ++pos;
1016     }
1017
1018     if (pos < lmin)
1019         return (c1[0] > c2[0]) ? 1 : -1;
1020
1021     if (l1 == l2)
1022         return 0;
1023
1024     return (l1 > l2) ? 1 : -1;
1025 }
1026
1027 inline int codePointCompare8(const StringImpl* string1, const StringImpl* string2)
1028 {
1029     return codePointCompare(string1->length(), string2->length(), string1->characters8(), string2->characters8());
1030 }
1031
1032 inline int codePointCompare16(const StringImpl* string1, const StringImpl* string2)
1033 {
1034     return codePointCompare(string1->length(), string2->length(), string1->characters16(), string2->characters16());
1035 }
1036
1037 inline int codePointCompare8To16(const StringImpl* string1, const StringImpl* string2)
1038 {
1039     return codePointCompare(string1->length(), string2->length(), string1->characters8(), string2->characters16());
1040 }
1041
1042 inline int codePointCompare(const StringImpl* string1, const StringImpl* string2)
1043 {
1044     if (!string1)
1045         return (string2 && string2->length()) ? -1 : 0;
1046
1047     if (!string2)
1048         return string1->length() ? 1 : 0;
1049
1050     bool string1Is8Bit = string1->is8Bit();
1051     bool string2Is8Bit = string2->is8Bit();
1052     if (string1Is8Bit) {
1053         if (string2Is8Bit)
1054             return codePointCompare8(string1, string2);
1055         return codePointCompare8To16(string1, string2);
1056     }
1057     if (string2Is8Bit)
1058         return -codePointCompare8To16(string2, string1);
1059     return codePointCompare16(string1, string2);
1060 }
1061
1062 inline bool isSpaceOrNewline(UChar c)
1063 {
1064     // Use isASCIISpace() for basic Latin-1.
1065     // This will include newlines, which aren't included in Unicode DirWS.
1066     return c <= 0x7F ? isASCIISpace(c) : u_charDirection(c) == U_WHITE_SPACE_NEUTRAL;
1067 }
1068
1069 template<typename CharacterType>
1070 inline unsigned lengthOfNullTerminatedString(const CharacterType* string)
1071 {
1072     ASSERT(string);
1073     size_t length = 0;
1074     while (string[length])
1075         ++length;
1076
1077     RELEASE_ASSERT(length < std::numeric_limits<unsigned>::max());
1078     return static_cast<unsigned>(length);
1079 }
1080
1081 inline Ref<StringImpl> StringImpl::isolatedCopy() const
1082 {
1083     if (!requiresCopy()) {
1084         if (is8Bit())
1085             return StringImpl::createWithoutCopying(m_data8, m_length);
1086         return StringImpl::createWithoutCopying(m_data16, m_length);
1087     }
1088
1089     if (is8Bit())
1090         return create(m_data8, m_length);
1091     return create(m_data16, m_length);
1092 }
1093
1094 // StringHash is the default hash for StringImpl* and RefPtr<StringImpl>
1095 template<typename T> struct DefaultHash;
1096 template<> struct DefaultHash<StringImpl*> {
1097     typedef StringHash Hash;
1098 };
1099 template<> struct DefaultHash<RefPtr<StringImpl>> {
1100     typedef StringHash Hash;
1101 };
1102
1103 inline bool equalIgnoringASCIICase(const StringImpl& a, const StringImpl& b)
1104 {
1105     return equalIgnoringASCIICaseCommon(a, b);
1106 }
1107
1108 inline bool equalIgnoringASCIICase(const StringImpl& a, const char* b)
1109 {
1110     return equalIgnoringASCIICaseCommon(a, b);
1111 }
1112
1113 inline bool equalIgnoringASCIICase(const StringImpl* a, const char* b)
1114 {
1115     return a && equalIgnoringASCIICase(*a, b);
1116 }
1117
1118 template<unsigned length> inline bool startsWithLettersIgnoringASCIICase(const StringImpl& string, const char (&lowercaseLetters)[length])
1119 {
1120     return startsWithLettersIgnoringASCIICaseCommon(string, lowercaseLetters);
1121 }
1122
1123 template<unsigned length> inline bool startsWithLettersIgnoringASCIICase(const StringImpl* string, const char (&lowercaseLetters)[length])
1124 {
1125     return string && startsWithLettersIgnoringASCIICase(*string, lowercaseLetters);
1126 }
1127
1128 template<unsigned length> inline bool equalLettersIgnoringASCIICase(const StringImpl& string, const char (&lowercaseLetters)[length])
1129 {
1130     return equalLettersIgnoringASCIICaseCommon(string, lowercaseLetters);
1131 }
1132
1133 template<unsigned length> inline bool equalLettersIgnoringASCIICase(const StringImpl* string, const char (&lowercaseLetters)[length])
1134 {
1135     return string && equalLettersIgnoringASCIICase(*string, lowercaseLetters);
1136 }
1137
1138 } // namespace WTF
1139
1140 using WTF::StringImpl;
1141 using WTF::equal;
1142 using WTF::TextCaseSensitivity;
1143 using WTF::TextCaseSensitive;
1144 using WTF::TextCaseInsensitive;
1145
1146 #endif