72ad03e876e18c784dcc64e99842b218db6d084d
[WebKit-https.git] / Source / WTF / wtf / text / StringImpl.h
1 /*
2  * Copyright (C) 1999 Lars Knoll (knoll@kde.org)
3  * Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010, 2013 Apple Inc. All rights reserved.
4  * Copyright (C) 2009 Google Inc. All rights reserved.
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public License
17  * along with this library; see the file COPYING.LIB.  If not, write to
18  * the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  *
21  */
22
23 #ifndef StringImpl_h
24 #define StringImpl_h
25
26 #include <limits.h>
27 #include <wtf/ASCIICType.h>
28 #include <wtf/CompilationThread.h>
29 #include <wtf/CryptographicallyRandomNumber.h>
30 #include <wtf/Forward.h>
31 #include <wtf/MathExtras.h>
32 #include <wtf/StdLibExtras.h>
33 #include <wtf/StringHasher.h>
34 #include <wtf/Vector.h>
35 #include <wtf/text/ConversionMode.h>
36 #include <wtf/unicode/Unicode.h>
37
38 #if USE(CF)
39 typedef const struct __CFString * CFStringRef;
40 #endif
41
42 #ifdef __OBJC__
43 @class NSString;
44 #endif
45
46 #if PLATFORM(BLACKBERRY)
47 #include <BlackBerryPlatformString.h>
48 #endif
49
50 // FIXME: This is a temporary layering violation while we move string code to WTF.
51 // Landing the file moves in one patch, will follow on with patches to change the namespaces.
52 namespace JSC {
53 struct IdentifierASCIIStringTranslator;
54 namespace LLInt { class Data; }
55 class LLIntOffsetsExtractor;
56 template <typename T> struct IdentifierCharBufferTranslator;
57 struct IdentifierLCharFromUCharTranslator;
58 }
59
60 namespace WTF {
61
62 struct CStringTranslator;
63 template<typename CharacterType> struct HashAndCharactersTranslator;
64 struct HashAndUTF8CharactersTranslator;
65 struct LCharBufferTranslator;
66 struct CharBufferFromLiteralDataTranslator;
67 struct SubstringTranslator;
68 struct UCharBufferTranslator;
69 template<typename> class RetainPtr;
70
71 enum TextCaseSensitivity {
72     TextCaseSensitive,
73     TextCaseInsensitive
74 };
75
76 typedef bool (*CharacterMatchFunctionPtr)(UChar);
77 typedef bool (*IsWhiteSpaceFunctionPtr)(UChar);
78
79 // Define STRING_STATS to turn on run time statistics of string sizes and memory usage
80 #undef STRING_STATS
81
82 #ifdef STRING_STATS
83 struct StringStats {
84     inline void add8BitString(unsigned length, bool isSubString = false)
85     {
86         ++m_totalNumberStrings;
87         ++m_number8BitStrings;
88         if (!isSubString)
89             m_total8BitData += length;
90     }
91
92     inline void add16BitString(unsigned length, bool isSubString = false)
93     {
94         ++m_totalNumberStrings;
95         ++m_number16BitStrings;
96         if (!isSubString)
97             m_total16BitData += length;
98     }
99
100     inline void addUpconvertedString(unsigned length)
101     {
102         ++m_numberUpconvertedStrings;
103         m_totalUpconvertedData += length;
104     }
105
106     void removeString(StringImpl*);
107     void printStats();
108
109     static const unsigned s_printStringStatsFrequency = 5000;
110     static unsigned s_stringRemovesTillPrintStats;
111
112     unsigned m_totalNumberStrings;
113     unsigned m_number8BitStrings;
114     unsigned m_number16BitStrings;
115     unsigned m_numberUpconvertedStrings;
116     unsigned long long m_total8BitData;
117     unsigned long long m_total16BitData;
118     unsigned long long m_totalUpconvertedData;
119 };
120
121 #define STRING_STATS_ADD_8BIT_STRING(length) StringImpl::stringStats().add8BitString(length)
122 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) StringImpl::stringStats().add8BitString(length, isSubString)
123 #define STRING_STATS_ADD_16BIT_STRING(length) StringImpl::stringStats().add16BitString(length)
124 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) StringImpl::stringStats().add16BitString(length, isSubString)
125 #define STRING_STATS_ADD_UPCONVERTED_STRING(length) StringImpl::stringStats().addUpconvertedString(length)
126 #define STRING_STATS_REMOVE_STRING(string) StringImpl::stringStats().removeString(string)
127 #else
128 #define STRING_STATS_ADD_8BIT_STRING(length) ((void)0)
129 #define STRING_STATS_ADD_8BIT_STRING2(length, isSubString) ((void)0)
130 #define STRING_STATS_ADD_16BIT_STRING(length) ((void)0)
131 #define STRING_STATS_ADD_16BIT_STRING2(length, isSubString) ((void)0)
132 #define STRING_STATS_ADD_UPCONVERTED_STRING(length) ((void)0)
133 #define STRING_STATS_REMOVE_STRING(string) ((void)0)
134 #endif
135
136 class StringImpl {
137     WTF_MAKE_NONCOPYABLE(StringImpl); WTF_MAKE_FAST_ALLOCATED;
138     friend struct JSC::IdentifierASCIIStringTranslator;
139     friend struct JSC::IdentifierCharBufferTranslator<LChar>;
140     friend struct JSC::IdentifierCharBufferTranslator<UChar>;
141     friend struct JSC::IdentifierLCharFromUCharTranslator;
142     friend struct WTF::CStringTranslator;
143     template<typename CharacterType> friend struct WTF::HashAndCharactersTranslator;
144     friend struct WTF::HashAndUTF8CharactersTranslator;
145     friend struct WTF::CharBufferFromLiteralDataTranslator;
146     friend struct WTF::LCharBufferTranslator;
147     friend struct WTF::SubstringTranslator;
148     friend struct WTF::UCharBufferTranslator;
149     friend class AtomicStringImpl;
150     friend class JSC::LLInt::Data;
151     friend class JSC::LLIntOffsetsExtractor;
152     
153 private:
154     enum BufferOwnership {
155         BufferInternal,
156         BufferOwned,
157         BufferSubstring,
158     };
159
160     // Used to construct static strings, which have an special refCount that can never hit zero.
161     // This means that the static string will never be destroyed, which is important because
162     // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
163     enum ConstructStaticStringTag { ConstructStaticString };
164     StringImpl(const UChar* characters, unsigned length, ConstructStaticStringTag)
165         : m_refCount(s_refCountFlagIsStaticString)
166         , m_length(length)
167         , m_data16(characters)
168         , m_buffer(0)
169         , m_hashAndFlags(s_hashFlagIsIdentifier | BufferOwned)
170     {
171         // Ensure that the hash is computed so that AtomicStringHash can call existingHash()
172         // with impunity. The empty string is special because it is never entered into
173         // AtomicString's HashKey, but still needs to compare correctly.
174         STRING_STATS_ADD_16BIT_STRING(m_length);
175
176         hash();
177     }
178
179     // Used to construct static strings, which have an special refCount that can never hit zero.
180     // This means that the static string will never be destroyed, which is important because
181     // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
182     StringImpl(const LChar* characters, unsigned length, ConstructStaticStringTag)
183         : m_refCount(s_refCountFlagIsStaticString)
184         , m_length(length)
185         , m_data8(characters)
186         , m_buffer(0)
187         , m_hashAndFlags(s_hashFlag8BitBuffer | s_hashFlagIsIdentifier | BufferOwned)
188     {
189         // Ensure that the hash is computed so that AtomicStringHash can call existingHash()
190         // with impunity. The empty string is special because it is never entered into
191         // AtomicString's HashKey, but still needs to compare correctly.
192         STRING_STATS_ADD_8BIT_STRING(m_length);
193
194         hash();
195     }
196
197     // FIXME: there has to be a less hacky way to do this.
198     enum Force8Bit { Force8BitConstructor };
199     // Create a normal 8-bit string with internal storage (BufferInternal)
200     StringImpl(unsigned length, Force8Bit)
201         : m_refCount(s_refCountIncrement)
202         , m_length(length)
203         , m_data8(reinterpret_cast<const LChar*>(this + 1))
204         , m_buffer(0)
205         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferInternal)
206     {
207         ASSERT(m_data8);
208         ASSERT(m_length);
209
210         STRING_STATS_ADD_8BIT_STRING(m_length);
211     }
212
213     // Create a normal 16-bit string with internal storage (BufferInternal)
214     StringImpl(unsigned length)
215         : m_refCount(s_refCountIncrement)
216         , m_length(length)
217         , m_data16(reinterpret_cast<const UChar*>(this + 1))
218         , m_buffer(0)
219         , m_hashAndFlags(BufferInternal)
220     {
221         ASSERT(m_data16);
222         ASSERT(m_length);
223
224         STRING_STATS_ADD_16BIT_STRING(m_length);
225     }
226
227     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned)
228     StringImpl(MallocPtr<LChar> characters, unsigned length)
229         : m_refCount(s_refCountIncrement)
230         , m_length(length)
231         , m_data8(characters.leakPtr())
232         , m_buffer(0)
233         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferOwned)
234     {
235         ASSERT(m_data8);
236         ASSERT(m_length);
237
238         STRING_STATS_ADD_8BIT_STRING(m_length);
239     }
240
241     enum ConstructWithoutCopyingTag { ConstructWithoutCopying };
242     StringImpl(const UChar* characters, unsigned length, ConstructWithoutCopyingTag)
243         : m_refCount(s_refCountIncrement)
244         , m_length(length)
245         , m_data16(characters)
246         , m_buffer(0)
247         , m_hashAndFlags(BufferInternal)
248     {
249         ASSERT(m_data16);
250         ASSERT(m_length);
251
252         STRING_STATS_ADD_16BIT_STRING(0);
253     }
254
255     StringImpl(const LChar* characters, unsigned length, ConstructWithoutCopyingTag)
256         : m_refCount(s_refCountIncrement)
257         , m_length(length)
258         , m_data8(characters)
259         , m_buffer(0)
260         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferInternal)
261     {
262         ASSERT(m_data8);
263         ASSERT(m_length);
264
265         STRING_STATS_ADD_8BIT_STRING(0);
266     }
267
268     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned)
269     StringImpl(MallocPtr<UChar> characters, unsigned length)
270         : m_refCount(s_refCountIncrement)
271         , m_length(length)
272         , m_data16(characters.leakPtr())
273         , m_buffer(0)
274         , m_hashAndFlags(BufferOwned)
275     {
276         ASSERT(m_data16);
277         ASSERT(m_length);
278
279         STRING_STATS_ADD_16BIT_STRING(m_length);
280     }
281
282     // Used to create new strings that are a substring of an existing 8-bit StringImpl (BufferSubstring)
283     StringImpl(const LChar* characters, unsigned length, PassRefPtr<StringImpl> base)
284         : m_refCount(s_refCountIncrement)
285         , m_length(length)
286         , m_data8(characters)
287         , m_substringBuffer(base.leakRef())
288         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferSubstring)
289     {
290         ASSERT(is8Bit());
291         ASSERT(m_data8);
292         ASSERT(m_length);
293         ASSERT(m_substringBuffer->bufferOwnership() != BufferSubstring);
294
295         STRING_STATS_ADD_8BIT_STRING2(m_length, true);
296     }
297
298     // Used to create new strings that are a substring of an existing 16-bit StringImpl (BufferSubstring)
299     StringImpl(const UChar* characters, unsigned length, PassRefPtr<StringImpl> base)
300         : m_refCount(s_refCountIncrement)
301         , m_length(length)
302         , m_data16(characters)
303         , m_substringBuffer(base.leakRef())
304         , m_hashAndFlags(BufferSubstring)
305     {
306         ASSERT(!is8Bit());
307         ASSERT(m_data16);
308         ASSERT(m_length);
309         ASSERT(m_substringBuffer->bufferOwnership() != BufferSubstring);
310
311         STRING_STATS_ADD_16BIT_STRING2(m_length, true);
312     }
313
314     enum CreateEmptyUnique_T { CreateEmptyUnique };
315     StringImpl(CreateEmptyUnique_T)
316         : m_refCount(s_refCountIncrement)
317         , m_length(0)
318         , m_data16(reinterpret_cast<const UChar*>(1))
319         , m_buffer(0)
320     {
321         ASSERT(m_data16);
322         // Set the hash early, so that all empty unique StringImpls have a hash,
323         // and don't use the normal hashing algorithm - the unique nature of these
324         // keys means that we don't need them to match any other string (in fact,
325         // that's exactly the oposite of what we want!), and teh normal hash would
326         // lead to lots of conflicts.
327         unsigned hash = cryptographicallyRandomNumber() | 1;
328         hash <<= s_flagCount;
329         if (!hash)
330             hash = 1 << s_flagCount;
331         m_hashAndFlags = hash | BufferInternal;
332
333         STRING_STATS_ADD_16BIT_STRING(m_length);
334     }
335
336     ~StringImpl();
337
338 public:
339     WTF_EXPORT_STRING_API static void destroy(StringImpl*);
340
341     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> create(const UChar*, unsigned length);
342     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> create(const LChar*, unsigned length);
343     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> create8BitIfPossible(const UChar*, unsigned length);
344     template<size_t inlineCapacity>
345     static PassRefPtr<StringImpl> create8BitIfPossible(const Vector<UChar, inlineCapacity>& vector)
346     {
347         return create8BitIfPossible(vector.data(), vector.size());
348     }
349     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> create8BitIfPossible(const UChar*);
350
351     ALWAYS_INLINE static PassRefPtr<StringImpl> create(const char* s, unsigned length) { return create(reinterpret_cast<const LChar*>(s), length); }
352     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> create(const LChar*);
353     ALWAYS_INLINE static PassRefPtr<StringImpl> create(const char* s) { return create(reinterpret_cast<const LChar*>(s)); }
354
355     static ALWAYS_INLINE PassRefPtr<StringImpl> create8(PassRefPtr<StringImpl> rep, unsigned offset, unsigned length)
356     {
357         ASSERT(rep);
358         ASSERT(length <= rep->length());
359
360         if (!length)
361             return empty();
362
363         ASSERT(rep->is8Bit());
364         StringImpl* ownerRep = (rep->bufferOwnership() == BufferSubstring) ? rep->m_substringBuffer : rep.get();
365         return adoptRef(new StringImpl(rep->m_data8 + offset, length, ownerRep));
366     }
367
368     static ALWAYS_INLINE PassRefPtr<StringImpl> create(PassRefPtr<StringImpl> rep, unsigned offset, unsigned length)
369     {
370         ASSERT(rep);
371         ASSERT(length <= rep->length());
372
373         if (!length)
374             return empty();
375
376         StringImpl* ownerRep = (rep->bufferOwnership() == BufferSubstring) ? rep->m_substringBuffer : rep.get();
377         if (rep->is8Bit())
378             return adoptRef(new StringImpl(rep->m_data8 + offset, length, ownerRep));
379         return adoptRef(new StringImpl(rep->m_data16 + offset, length, ownerRep));
380     }
381
382     template<unsigned charactersCount>
383     ALWAYS_INLINE static PassRefPtr<StringImpl> createFromLiteral(const char (&characters)[charactersCount])
384     {
385         COMPILE_ASSERT(charactersCount > 1, StringImplFromLiteralNotEmpty);
386         COMPILE_ASSERT((charactersCount - 1 <= ((unsigned(~0) - sizeof(StringImpl)) / sizeof(LChar))), StringImplFromLiteralCannotOverflow);
387
388         return createWithoutCopying(reinterpret_cast<const LChar*>(characters), charactersCount - 1);
389     }
390
391     // FIXME: Transition off of these functions to createWithoutCopying instead.
392     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> createFromLiteral(const char* characters, unsigned length);
393     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> createFromLiteral(const char* characters);
394
395     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> createWithoutCopying(const UChar* characters, unsigned length);
396     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> createWithoutCopying(const LChar* characters, unsigned length);
397
398     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> createUninitialized(unsigned length, LChar*& data);
399     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> createUninitialized(unsigned length, UChar*& data);
400     template <typename T> static ALWAYS_INLINE PassRefPtr<StringImpl> tryCreateUninitialized(unsigned length, T*& output)
401     {
402         if (!length) {
403             output = 0;
404             return empty();
405         }
406
407         if (length > ((std::numeric_limits<unsigned>::max() - sizeof(StringImpl)) / sizeof(T))) {
408             output = 0;
409             return 0;
410         }
411         StringImpl* resultImpl;
412         if (!tryFastMalloc(sizeof(T) * length + sizeof(StringImpl)).getValue(resultImpl)) {
413             output = 0;
414             return 0;
415         }
416         output = reinterpret_cast<T*>(resultImpl + 1);
417
418         return constructInternal<T>(resultImpl, length);
419     }
420
421     static PassRefPtr<StringImpl> createEmptyUnique()
422     {
423         return adoptRef(new StringImpl(CreateEmptyUnique));
424     }
425
426     // Reallocate the StringImpl. The originalString must be only owned by the PassRefPtr,
427     // and the buffer ownership must be BufferInternal. Just like the input pointer of realloc(),
428     // the originalString can't be used after this function.
429     static PassRefPtr<StringImpl> reallocate(PassRefPtr<StringImpl> originalString, unsigned length, LChar*& data);
430     static PassRefPtr<StringImpl> reallocate(PassRefPtr<StringImpl> originalString, unsigned length, UChar*& data);
431
432     static unsigned flagsOffset() { return OBJECT_OFFSETOF(StringImpl, m_hashAndFlags); }
433     static unsigned flagIs8Bit() { return s_hashFlag8BitBuffer; }
434     static unsigned flagIsIdentifier() { return s_hashFlagIsIdentifier; }
435     static unsigned dataOffset() { return OBJECT_OFFSETOF(StringImpl, m_data8); }
436
437     template<typename CharType, size_t inlineCapacity, typename OverflowHandler>
438     static PassRefPtr<StringImpl> adopt(Vector<CharType, inlineCapacity, OverflowHandler>& vector)
439     {
440         if (size_t size = vector.size()) {
441             ASSERT(vector.data());
442             if (size > std::numeric_limits<unsigned>::max())
443                 CRASH();
444             return adoptRef(new StringImpl(vector.releaseBuffer(), size));
445         }
446         return empty();
447     }
448
449     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> adopt(StringBuffer<UChar>&);
450     WTF_EXPORT_STRING_API static PassRefPtr<StringImpl> adopt(StringBuffer<LChar>&);
451
452     unsigned length() const { return m_length; }
453     bool is8Bit() const { return m_hashAndFlags & s_hashFlag8BitBuffer; }
454
455     // FIXME: Remove all unnecessary usages of characters()
456     ALWAYS_INLINE const LChar* characters8() const { ASSERT(is8Bit()); return m_data8; }
457     ALWAYS_INLINE const UChar* characters16() const { ASSERT(!is8Bit()); return m_data16; }
458     ALWAYS_INLINE const UChar* characters() const
459     {
460         if (!is8Bit())
461             return m_data16;
462
463         return getData16SlowCase();
464     }
465
466     template <typename CharType>
467     ALWAYS_INLINE const CharType * getCharacters() const;
468
469     size_t cost() const
470     {
471         // For substrings, return the cost of the base string.
472         if (bufferOwnership() == BufferSubstring)
473             return m_substringBuffer->cost();
474
475         if (m_hashAndFlags & s_hashFlagDidReportCost)
476             return 0;
477
478         m_hashAndFlags |= s_hashFlagDidReportCost;
479         size_t result = m_length;
480         if (!is8Bit())
481             result <<= 1;
482         return result;
483     }
484     
485     size_t costDuringGC()
486     {
487         if (isStatic())
488             return 0;
489         
490         if (bufferOwnership() == BufferSubstring)
491             return divideRoundedUp(m_substringBuffer->costDuringGC(), refCount());
492         
493         size_t result = m_length;
494         if (!is8Bit())
495             result <<= 1;
496         return divideRoundedUp(result, refCount());
497     }
498
499     WTF_EXPORT_STRING_API size_t sizeInBytes() const;
500
501     bool has16BitShadow() const { return m_hashAndFlags & s_hashFlagHas16BitShadow; }
502     WTF_EXPORT_STRING_API void upconvertCharacters(unsigned, unsigned) const;
503     bool isIdentifier() const { return m_hashAndFlags & s_hashFlagIsIdentifier; }
504     bool isIdentifierOrUnique() const { return isIdentifier() || isEmptyUnique(); }
505     void setIsIdentifier(bool isIdentifier)
506     {
507         ASSERT(!isStatic());
508         ASSERT(!isEmptyUnique());
509         if (isIdentifier)
510             m_hashAndFlags |= s_hashFlagIsIdentifier;
511         else
512             m_hashAndFlags &= ~s_hashFlagIsIdentifier;
513     }
514
515     bool isEmptyUnique() const
516     {
517         return !length() && !isStatic();
518     }
519
520     bool isAtomic() const { return m_hashAndFlags & s_hashFlagIsAtomic; }
521     void setIsAtomic(bool isAtomic)
522     {
523         ASSERT(!isStatic());
524         ASSERT(!isEmptyUnique());
525         if (isAtomic)
526             m_hashAndFlags |= s_hashFlagIsAtomic;
527         else
528             m_hashAndFlags &= ~s_hashFlagIsAtomic;
529     }
530
531 #ifdef STRING_STATS
532     bool isSubString() const { return  bufferOwnership() == BufferSubstring; }
533 #endif
534
535     static WTF_EXPORT_STRING_API CString utf8ForCharacters(const UChar* characters, unsigned length, ConversionMode = LenientConversion);
536     WTF_EXPORT_STRING_API CString utf8ForRange(unsigned offset, unsigned length, ConversionMode = LenientConversion) const;
537     WTF_EXPORT_STRING_API CString utf8(ConversionMode = LenientConversion) const;
538
539 private:
540     static WTF_EXPORT_STRING_API bool utf8Impl(const UChar* characters, unsigned length, char*& buffer, size_t bufferSize, ConversionMode);
541     
542     // The high bits of 'hash' are always empty, but we prefer to store our flags
543     // in the low bits because it makes them slightly more efficient to access.
544     // So, we shift left and right when setting and getting our hash code.
545     void setHash(unsigned hash) const
546     {
547         ASSERT(!hasHash());
548         // Multiple clients assume that StringHasher is the canonical string hash function.
549         ASSERT(hash == (is8Bit() ? StringHasher::computeHashAndMaskTop8Bits(m_data8, m_length) : StringHasher::computeHashAndMaskTop8Bits(m_data16, m_length)));
550         ASSERT(!(hash & (s_flagMask << (8 * sizeof(hash) - s_flagCount)))); // Verify that enough high bits are empty.
551         
552         hash <<= s_flagCount;
553         ASSERT(!(hash & m_hashAndFlags)); // Verify that enough low bits are empty after shift.
554         ASSERT(hash); // Verify that 0 is a valid sentinel hash value.
555
556         m_hashAndFlags |= hash; // Store hash with flags in low bits.
557     }
558
559     unsigned rawHash() const
560     {
561         return m_hashAndFlags >> s_flagCount;
562     }
563
564 public:
565     bool hasHash() const
566     {
567         return rawHash() != 0;
568     }
569
570     unsigned existingHash() const
571     {
572         ASSERT(hasHash());
573         return rawHash();
574     }
575
576     unsigned hash() const
577     {
578         if (hasHash())
579             return existingHash();
580         return hashSlowCase();
581     }
582     
583     bool isStatic() const { return m_refCount & s_refCountFlagIsStaticString; }
584
585     inline size_t refCount() const
586     {
587         return m_refCount / s_refCountIncrement;
588     }
589     
590     inline bool hasOneRef() const
591     {
592         return m_refCount == s_refCountIncrement;
593     }
594     
595     // This method is useful for assertions.
596     inline bool hasAtLeastOneRef() const
597     {
598         return !!m_refCount;
599     }
600
601     inline void ref()
602     {
603         ASSERT(!isCompilationThread());
604         m_refCount += s_refCountIncrement;
605     }
606
607     inline void deref()
608     {
609         ASSERT(!isCompilationThread());        
610         unsigned tempRefCount = m_refCount - s_refCountIncrement;
611         if (!tempRefCount) {
612             StringImpl::destroy(this);
613             return;
614         }
615         m_refCount = tempRefCount;
616     }
617
618     WTF_EXPORT_PRIVATE static StringImpl* empty();
619
620     // FIXME: Does this really belong in StringImpl?
621     template <typename T> static void copyChars(T* destination, const T* source, unsigned numCharacters)
622     {
623         if (numCharacters == 1) {
624             *destination = *source;
625             return;
626         }
627
628         if (numCharacters <= s_copyCharsInlineCutOff) {
629             unsigned i = 0;
630 #if (CPU(X86) || CPU(X86_64))
631             const unsigned charsPerInt = sizeof(uint32_t) / sizeof(T);
632
633             if (numCharacters > charsPerInt) {
634                 unsigned stopCount = numCharacters & ~(charsPerInt - 1);
635
636                 const uint32_t* srcCharacters = reinterpret_cast<const uint32_t*>(source);
637                 uint32_t* destCharacters = reinterpret_cast<uint32_t*>(destination);
638                 for (unsigned j = 0; i < stopCount; i += charsPerInt, ++j)
639                     destCharacters[j] = srcCharacters[j];
640             }
641 #endif
642             for (; i < numCharacters; ++i)
643                 destination[i] = source[i];
644         } else
645             memcpy(destination, source, numCharacters * sizeof(T));
646     }
647
648     ALWAYS_INLINE static void copyChars(UChar* destination, const LChar* source, unsigned numCharacters)
649     {
650         for (unsigned i = 0; i < numCharacters; ++i)
651             destination[i] = source[i];
652     }
653
654     // Some string features, like refcounting and the atomicity flag, are not
655     // thread-safe. We achieve thread safety by isolation, giving each thread
656     // its own copy of the string.
657     PassRefPtr<StringImpl> isolatedCopy() const;
658
659     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> substring(unsigned pos, unsigned len = UINT_MAX);
660
661     UChar at(unsigned i) const
662     {
663         ASSERT_WITH_SECURITY_IMPLICATION(i < m_length);
664         if (is8Bit())
665             return m_data8[i];
666         return m_data16[i];
667     }
668     UChar operator[](unsigned i) const { return at(i); }
669     WTF_EXPORT_STRING_API UChar32 characterStartingAt(unsigned);
670
671     WTF_EXPORT_STRING_API bool containsOnlyWhitespace();
672
673     int toIntStrict(bool* ok = 0, int base = 10);
674     unsigned toUIntStrict(bool* ok = 0, int base = 10);
675     int64_t toInt64Strict(bool* ok = 0, int base = 10);
676     uint64_t toUInt64Strict(bool* ok = 0, int base = 10);
677     intptr_t toIntPtrStrict(bool* ok = 0, int base = 10);
678
679     WTF_EXPORT_STRING_API int toInt(bool* ok = 0); // ignores trailing garbage
680     unsigned toUInt(bool* ok = 0); // ignores trailing garbage
681     int64_t toInt64(bool* ok = 0); // ignores trailing garbage
682     uint64_t toUInt64(bool* ok = 0); // ignores trailing garbage
683     intptr_t toIntPtr(bool* ok = 0); // ignores trailing garbage
684
685     // FIXME: Like the strict functions above, these give false for "ok" when there is trailing garbage.
686     // Like the non-strict functions above, these return the value when there is trailing garbage.
687     // It would be better if these were more consistent with the above functions instead.
688     double toDouble(bool* ok = 0);
689     float toFloat(bool* ok = 0);
690
691     WTF_EXPORT_STRING_API PassRef<StringImpl> lower();
692     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> upper();
693     WTF_EXPORT_STRING_API PassRef<StringImpl> lower(const AtomicString& localeIdentifier);
694     WTF_EXPORT_STRING_API RefPtr<StringImpl> upper(const AtomicString& localeIdentifier);
695
696     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> fill(UChar);
697     // FIXME: Do we need fill(char) or can we just do the right thing if UChar is ASCII?
698     PassRefPtr<StringImpl> foldCase();
699
700     PassRefPtr<StringImpl> stripWhiteSpace();
701     PassRefPtr<StringImpl> stripWhiteSpace(IsWhiteSpaceFunctionPtr);
702     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> simplifyWhiteSpace();
703     PassRefPtr<StringImpl> simplifyWhiteSpace(IsWhiteSpaceFunctionPtr);
704
705     PassRefPtr<StringImpl> removeCharacters(CharacterMatchFunctionPtr);
706     template <typename CharType>
707     ALWAYS_INLINE PassRefPtr<StringImpl> removeCharacters(const CharType* characters, CharacterMatchFunctionPtr);
708
709     size_t find(LChar character, unsigned start = 0);
710     size_t find(char character, unsigned start = 0);
711     size_t find(UChar character, unsigned start = 0);
712     WTF_EXPORT_STRING_API size_t find(CharacterMatchFunctionPtr, unsigned index = 0);
713     size_t find(const LChar*, unsigned index = 0);
714     ALWAYS_INLINE size_t find(const char* s, unsigned index = 0) { return find(reinterpret_cast<const LChar*>(s), index); }
715     WTF_EXPORT_STRING_API size_t find(StringImpl*);
716     WTF_EXPORT_STRING_API size_t find(StringImpl*, unsigned index);
717     size_t findIgnoringCase(const LChar*, unsigned index = 0);
718     ALWAYS_INLINE size_t findIgnoringCase(const char* s, unsigned index = 0) { return findIgnoringCase(reinterpret_cast<const LChar*>(s), index); }
719     WTF_EXPORT_STRING_API size_t findIgnoringCase(StringImpl*, unsigned index = 0);
720
721     WTF_EXPORT_STRING_API size_t findNextLineStart(unsigned index = UINT_MAX);
722
723     WTF_EXPORT_STRING_API size_t reverseFind(UChar, unsigned index = UINT_MAX);
724     WTF_EXPORT_STRING_API size_t reverseFind(StringImpl*, unsigned index = UINT_MAX);
725     WTF_EXPORT_STRING_API size_t reverseFindIgnoringCase(StringImpl*, unsigned index = UINT_MAX);
726
727     WTF_EXPORT_STRING_API bool startsWith(const StringImpl*) const;
728     bool startsWith(StringImpl* str, bool caseSensitive) { return caseSensitive ? startsWith(str) : (reverseFindIgnoringCase(str, 0) == 0); }
729     WTF_EXPORT_STRING_API bool startsWith(UChar) const;
730     WTF_EXPORT_STRING_API bool startsWith(const char*, unsigned matchLength, bool caseSensitive) const;
731     template<unsigned matchLength>
732     bool startsWith(const char (&prefix)[matchLength], bool caseSensitive = true) const { return startsWith(prefix, matchLength - 1, caseSensitive); }
733
734     WTF_EXPORT_STRING_API bool endsWith(StringImpl*, bool caseSensitive = true);
735     WTF_EXPORT_STRING_API bool endsWith(UChar) const;
736     WTF_EXPORT_STRING_API bool endsWith(const char*, unsigned matchLength, bool caseSensitive) const;
737     template<unsigned matchLength>
738     bool endsWith(const char (&prefix)[matchLength], bool caseSensitive = true) const { return endsWith(prefix, matchLength - 1, caseSensitive); }
739
740     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> replace(UChar, UChar);
741     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> replace(UChar, StringImpl*);
742     ALWAYS_INLINE PassRefPtr<StringImpl> replace(UChar pattern, const char* replacement, unsigned replacementLength) { return replace(pattern, reinterpret_cast<const LChar*>(replacement), replacementLength); }
743     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> replace(UChar, const LChar*, unsigned replacementLength);
744     PassRefPtr<StringImpl> replace(UChar, const UChar*, unsigned replacementLength);
745     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> replace(StringImpl*, StringImpl*);
746     WTF_EXPORT_STRING_API PassRefPtr<StringImpl> replace(unsigned index, unsigned len, StringImpl*);
747
748     WTF_EXPORT_STRING_API UCharDirection defaultWritingDirection(bool* hasStrongDirectionality = nullptr);
749
750 #if USE(CF)
751     RetainPtr<CFStringRef> createCFString();
752 #endif
753 #ifdef __OBJC__
754     operator NSString*();
755 #endif
756
757 #ifdef STRING_STATS
758     ALWAYS_INLINE static StringStats& stringStats() { return m_stringStats; }
759 #endif
760
761 private:
762     bool requiresCopy() const
763     {
764         if (bufferOwnership() != BufferInternal)
765             return true;
766
767         if (is8Bit())
768             return reinterpret_cast<const void*>(m_data8) == reinterpret_cast<const void*>(this + 1);
769         return reinterpret_cast<const void*>(m_data16) == reinterpret_cast<const void*>(this + 1);
770     }
771
772     // This number must be at least 2 to avoid sharing empty, null as well as 1 character strings from SmallStrings.
773     static const unsigned s_copyCharsInlineCutOff = 20;
774
775     BufferOwnership bufferOwnership() const { return static_cast<BufferOwnership>(m_hashAndFlags & s_hashMaskBufferOwnership); }
776     template <class UCharPredicate> PassRefPtr<StringImpl> stripMatchedCharacters(UCharPredicate);
777     template <typename CharType, class UCharPredicate> PassRefPtr<StringImpl> simplifyMatchedCharactersToSpace(UCharPredicate);
778     template <typename CharType> static PassRef<StringImpl> constructInternal(StringImpl*, unsigned);
779     template <typename CharType> static PassRef<StringImpl> createUninitializedInternal(unsigned, CharType*&);
780     template <typename CharType> static PassRef<StringImpl> createUninitializedInternalNonEmpty(unsigned, CharType*&);
781     template <typename CharType> static PassRefPtr<StringImpl> reallocateInternal(PassRefPtr<StringImpl>, unsigned, CharType*&);
782     template <typename CharType> static PassRefPtr<StringImpl> createInternal(const CharType*, unsigned);
783     WTF_EXPORT_STRING_API NEVER_INLINE const UChar* getData16SlowCase() const;
784     WTF_EXPORT_PRIVATE NEVER_INLINE unsigned hashSlowCase() const;
785
786     // The bottom bit in the ref count indicates a static (immortal) string.
787     static const unsigned s_refCountFlagIsStaticString = 0x1;
788     static const unsigned s_refCountIncrement = 0x2; // This allows us to ref / deref without disturbing the static string flag.
789
790     // The bottom 7 bits in the hash are flags.
791     static const unsigned s_flagCount = 7;
792     static const unsigned s_flagMask = (1u << s_flagCount) - 1;
793     COMPILE_ASSERT(s_flagCount <= StringHasher::flagCount, StringHasher_reserves_enough_bits_for_StringImpl_flags);
794
795     static const unsigned s_hashFlagHas16BitShadow = 1u << 6;
796     static const unsigned s_hashFlag8BitBuffer = 1u << 5;
797     static const unsigned s_hashFlagIsAtomic = 1u << 4;
798     static const unsigned s_hashFlagDidReportCost = 1u << 3;
799     static const unsigned s_hashFlagIsIdentifier = 1u << 2;
800     static const unsigned s_hashMaskBufferOwnership = 1u | (1u << 1);
801
802 #ifdef STRING_STATS
803     WTF_EXPORTDATA static StringStats m_stringStats;
804 #endif
805
806 public:
807     struct StaticASCIILiteral {
808         // These member variables must match the layout of StringImpl.
809         unsigned m_refCount;
810         unsigned m_length;
811         const LChar* m_data8;
812         void* m_buffer;
813         unsigned m_hashAndFlags;
814
815         // These values mimic ConstructFromLiteral.
816         static const unsigned s_initialRefCount = s_refCountIncrement;
817         static const unsigned s_initialFlags = s_hashFlag8BitBuffer | BufferInternal;
818         static const unsigned s_hashShift = s_flagCount;
819     };
820
821 #ifndef NDEBUG
822     void assertHashIsCorrect()
823     {
824         ASSERT(hasHash());
825         ASSERT(existingHash() == StringHasher::computeHashAndMaskTop8Bits(characters8(), length()));
826     }
827 #endif
828
829 private:
830     // These member variables must match the layout of StaticASCIILiteral.
831     unsigned m_refCount;
832     unsigned m_length;
833     union {
834         const LChar* m_data8;
835         const UChar* m_data16;
836     };
837     union {
838         void* m_buffer;
839         StringImpl* m_substringBuffer;
840         mutable UChar* m_copyData16;
841     };
842     mutable unsigned m_hashAndFlags;
843 };
844
845 COMPILE_ASSERT(sizeof(StringImpl) == sizeof(StringImpl::StaticASCIILiteral), StringImpl_should_match_its_StaticASCIILiteral);
846
847 #if !ASSERT_DISABLED
848 // StringImpls created from StaticASCIILiteral will ASSERT
849 // in the generic ValueCheck<T>::checkConsistency
850 // as they are not allocated by fastMalloc.
851 // We don't currently have any way to detect that case
852 // so we ignore the consistency check for all StringImpl*.
853 template<> struct
854 ValueCheck<StringImpl*> {
855     static void checkConsistency(const StringImpl*) { }
856 };
857 #endif
858
859 template <>
860 ALWAYS_INLINE PassRef<StringImpl> StringImpl::constructInternal<LChar>(StringImpl* impl, unsigned length) { return adoptRef(*new (NotNull, impl) StringImpl(length, Force8BitConstructor)); }
861 template <>
862 ALWAYS_INLINE PassRef<StringImpl> StringImpl::constructInternal<UChar>(StringImpl* impl, unsigned length) { return adoptRef(*new (NotNull, impl) StringImpl(length)); }
863
864 template <>
865 ALWAYS_INLINE const LChar* StringImpl::getCharacters<LChar>() const { return characters8(); }
866
867 template <>
868 ALWAYS_INLINE const UChar* StringImpl::getCharacters<UChar>() const { return characters(); }
869
870 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const StringImpl*);
871 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*);
872 inline bool equal(const StringImpl* a, const char* b) { return equal(a, reinterpret_cast<const LChar*>(b)); }
873 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const LChar*, unsigned);
874 WTF_EXPORT_STRING_API bool equal(const StringImpl*, const UChar*, unsigned);
875 inline bool equal(const StringImpl* a, const char* b, unsigned length) { return equal(a, reinterpret_cast<const LChar*>(b), length); }
876 inline bool equal(const LChar* a, StringImpl* b) { return equal(b, a); }
877 inline bool equal(const char* a, StringImpl* b) { return equal(b, reinterpret_cast<const LChar*>(a)); }
878 WTF_EXPORT_STRING_API bool equalNonNull(const StringImpl* a, const StringImpl* b);
879
880 // Do comparisons 8 or 4 bytes-at-a-time on architectures where it's safe.
881 #if CPU(X86_64) || CPU(ARM64)
882 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length)
883 {
884     unsigned dwordLength = length >> 3;
885
886     if (dwordLength) {
887         const uint64_t* aDWordCharacters = reinterpret_cast<const uint64_t*>(a);
888         const uint64_t* bDWordCharacters = reinterpret_cast<const uint64_t*>(b);
889
890         for (unsigned i = 0; i != dwordLength; ++i) {
891             if (*aDWordCharacters++ != *bDWordCharacters++)
892                 return false;
893         }
894
895         a = reinterpret_cast<const LChar*>(aDWordCharacters);
896         b = reinterpret_cast<const LChar*>(bDWordCharacters);
897     }
898
899     if (length & 4) {
900         if (*reinterpret_cast<const uint32_t*>(a) != *reinterpret_cast<const uint32_t*>(b))
901             return false;
902
903         a += 4;
904         b += 4;
905     }
906
907     if (length & 2) {
908         if (*reinterpret_cast<const uint16_t*>(a) != *reinterpret_cast<const uint16_t*>(b))
909             return false;
910
911         a += 2;
912         b += 2;
913     }
914
915     if (length & 1 && (*a != *b))
916         return false;
917
918     return true;
919 }
920
921 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length)
922 {
923     unsigned dwordLength = length >> 2;
924     
925     if (dwordLength) {
926         const uint64_t* aDWordCharacters = reinterpret_cast<const uint64_t*>(a);
927         const uint64_t* bDWordCharacters = reinterpret_cast<const uint64_t*>(b);
928
929         for (unsigned i = 0; i != dwordLength; ++i) {
930             if (*aDWordCharacters++ != *bDWordCharacters++)
931                 return false;
932         }
933
934         a = reinterpret_cast<const UChar*>(aDWordCharacters);
935         b = reinterpret_cast<const UChar*>(bDWordCharacters);
936     }
937
938     if (length & 2) {
939         if (*reinterpret_cast<const uint32_t*>(a) != *reinterpret_cast<const uint32_t*>(b))
940             return false;
941
942         a += 2;
943         b += 2;
944     }
945
946     if (length & 1 && (*a != *b))
947         return false;
948
949     return true;
950 }
951 #elif CPU(X86)
952 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length)
953 {
954     const uint32_t* aCharacters = reinterpret_cast<const uint32_t*>(a);
955     const uint32_t* bCharacters = reinterpret_cast<const uint32_t*>(b);
956
957     unsigned wordLength = length >> 2;
958     for (unsigned i = 0; i != wordLength; ++i) {
959         if (*aCharacters++ != *bCharacters++)
960             return false;
961     }
962
963     length &= 3;
964
965     if (length) {
966         const LChar* aRemainder = reinterpret_cast<const LChar*>(aCharacters);
967         const LChar* bRemainder = reinterpret_cast<const LChar*>(bCharacters);
968         
969         for (unsigned i = 0; i <  length; ++i) {
970             if (aRemainder[i] != bRemainder[i])
971                 return false;
972         }
973     }
974
975     return true;
976 }
977
978 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length)
979 {
980     const uint32_t* aCharacters = reinterpret_cast<const uint32_t*>(a);
981     const uint32_t* bCharacters = reinterpret_cast<const uint32_t*>(b);
982     
983     unsigned wordLength = length >> 1;
984     for (unsigned i = 0; i != wordLength; ++i) {
985         if (*aCharacters++ != *bCharacters++)
986             return false;
987     }
988     
989     if (length & 1 && *reinterpret_cast<const UChar*>(aCharacters) != *reinterpret_cast<const UChar*>(bCharacters))
990         return false;
991     
992     return true;
993 }
994 #elif PLATFORM(IOS) && WTF_ARM_ARCH_AT_LEAST(7)
995 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length)
996 {
997     bool isEqual = false;
998     uint32_t aValue;
999     uint32_t bValue;
1000     asm("subs   %[length], #4\n"
1001         "blo    2f\n"
1002
1003         "0:\n" // Label 0 = Start of loop over 32 bits.
1004         "ldr    %[aValue], [%[a]], #4\n"
1005         "ldr    %[bValue], [%[b]], #4\n"
1006         "cmp    %[aValue], %[bValue]\n"
1007         "bne    66f\n"
1008         "subs   %[length], #4\n"
1009         "bhs    0b\n"
1010
1011         // At this point, length can be:
1012         // -0: 00000000000000000000000000000000 (0 bytes left)
1013         // -1: 11111111111111111111111111111111 (3 bytes left)
1014         // -2: 11111111111111111111111111111110 (2 bytes left)
1015         // -3: 11111111111111111111111111111101 (1 byte left)
1016         // -4: 11111111111111111111111111111100 (length was 0)
1017         // The pointers are at the correct position.
1018         "2:\n" // Label 2 = End of loop over 32 bits, check for pair of characters.
1019         "tst    %[length], #2\n"
1020         "beq    1f\n"
1021         "ldrh   %[aValue], [%[a]], #2\n"
1022         "ldrh   %[bValue], [%[b]], #2\n"
1023         "cmp    %[aValue], %[bValue]\n"
1024         "bne    66f\n"
1025
1026         "1:\n" // Label 1 = Check for a single character left.
1027         "tst    %[length], #1\n"
1028         "beq    42f\n"
1029         "ldrb   %[aValue], [%[a]]\n"
1030         "ldrb   %[bValue], [%[b]]\n"
1031         "cmp    %[aValue], %[bValue]\n"
1032         "bne    66f\n"
1033
1034         "42:\n" // Label 42 = Success.
1035         "mov    %[isEqual], #1\n"
1036         "66:\n" // Label 66 = End without changing isEqual to 1.
1037         : [length]"+r"(length), [isEqual]"+r"(isEqual), [a]"+r"(a), [b]"+r"(b), [aValue]"+r"(aValue), [bValue]"+r"(bValue)
1038         :
1039         :
1040         );
1041     return isEqual;
1042 }
1043
1044 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length)
1045 {
1046     bool isEqual = false;
1047     uint32_t aValue;
1048     uint32_t bValue;
1049     asm("subs   %[length], #2\n"
1050         "blo    1f\n"
1051
1052         "0:\n" // Label 0 = Start of loop over 32 bits.
1053         "ldr    %[aValue], [%[a]], #4\n"
1054         "ldr    %[bValue], [%[b]], #4\n"
1055         "cmp    %[aValue], %[bValue]\n"
1056         "bne    66f\n"
1057         "subs   %[length], #2\n"
1058         "bhs    0b\n"
1059
1060         // At this point, length can be:
1061         // -0: 00000000000000000000000000000000 (0 bytes left)
1062         // -1: 11111111111111111111111111111111 (1 character left, 2 bytes)
1063         // -2: 11111111111111111111111111111110 (length was zero)
1064         // The pointers are at the correct position.
1065         "1:\n" // Label 1 = Check for a single character left.
1066         "tst    %[length], #1\n"
1067         "beq    42f\n"
1068         "ldrh   %[aValue], [%[a]]\n"
1069         "ldrh   %[bValue], [%[b]]\n"
1070         "cmp    %[aValue], %[bValue]\n"
1071         "bne    66f\n"
1072
1073         "42:\n" // Label 42 = Success.
1074         "mov    %[isEqual], #1\n"
1075         "66:\n" // Label 66 = End without changing isEqual to 1.
1076         : [length]"+r"(length), [isEqual]"+r"(isEqual), [a]"+r"(a), [b]"+r"(b), [aValue]"+r"(aValue), [bValue]"+r"(bValue)
1077         :
1078         :
1079         );
1080     return isEqual;
1081 }
1082 #else
1083 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length) { return !memcmp(a, b, length); }
1084 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length) { return !memcmp(a, b, length * sizeof(UChar)); }
1085 #endif
1086
1087 ALWAYS_INLINE bool equal(const LChar* a, const UChar* b, unsigned length)
1088 {
1089     for (unsigned i = 0; i < length; ++i) {
1090         if (a[i] != b[i])
1091             return false;
1092     }
1093     return true;
1094 }
1095
1096 ALWAYS_INLINE bool equal(const UChar* a, const LChar* b, unsigned length) { return equal(b, a, length); }
1097
1098 WTF_EXPORT_STRING_API bool equalIgnoringCase(const StringImpl*, const StringImpl*);
1099 WTF_EXPORT_STRING_API bool equalIgnoringCase(const StringImpl*, const LChar*);
1100 inline bool equalIgnoringCase(const LChar* a, const StringImpl* b) { return equalIgnoringCase(b, a); }
1101 WTF_EXPORT_STRING_API bool equalIgnoringCase(const LChar*, const LChar*, unsigned);
1102 WTF_EXPORT_STRING_API bool equalIgnoringCase(const UChar*, const LChar*, unsigned);
1103 inline bool equalIgnoringCase(const UChar* a, const char* b, unsigned length) { return equalIgnoringCase(a, reinterpret_cast<const LChar*>(b), length); }
1104 inline bool equalIgnoringCase(const LChar* a, const UChar* b, unsigned length) { return equalIgnoringCase(b, a, length); }
1105 inline bool equalIgnoringCase(const char* a, const UChar* b, unsigned length) { return equalIgnoringCase(b, reinterpret_cast<const LChar*>(a), length); }
1106 inline bool equalIgnoringCase(const char* a, const LChar* b, unsigned length) { return equalIgnoringCase(b, reinterpret_cast<const LChar*>(a), length); }
1107 inline bool equalIgnoringCase(const UChar* a, const UChar* b, int length)
1108 {
1109     ASSERT(length >= 0);
1110     return !u_memcasecmp(a, b, length, U_FOLD_CASE_DEFAULT);
1111 }
1112 WTF_EXPORT_STRING_API bool equalIgnoringCaseNonNull(const StringImpl*, const StringImpl*);
1113
1114 WTF_EXPORT_STRING_API bool equalIgnoringNullity(StringImpl*, StringImpl*);
1115
1116 template<typename CharacterType>
1117 inline size_t find(const CharacterType* characters, unsigned length, CharacterType matchCharacter, unsigned index = 0)
1118 {
1119     while (index < length) {
1120         if (characters[index] == matchCharacter)
1121             return index;
1122         ++index;
1123     }
1124     return notFound;
1125 }
1126
1127 ALWAYS_INLINE size_t find(const UChar* characters, unsigned length, LChar matchCharacter, unsigned index = 0)
1128 {
1129     return find(characters, length, static_cast<UChar>(matchCharacter), index);
1130 }
1131
1132 inline size_t find(const LChar* characters, unsigned length, UChar matchCharacter, unsigned index = 0)
1133 {
1134     if (matchCharacter & ~0xFF)
1135         return notFound;
1136     return find(characters, length, static_cast<LChar>(matchCharacter), index);
1137 }
1138
1139 inline size_t find(const LChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index = 0)
1140 {
1141     while (index < length) {
1142         if (matchFunction(characters[index]))
1143             return index;
1144         ++index;
1145     }
1146     return notFound;
1147 }
1148
1149 inline size_t find(const UChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index = 0)
1150 {
1151     while (index < length) {
1152         if (matchFunction(characters[index]))
1153             return index;
1154         ++index;
1155     }
1156     return notFound;
1157 }
1158
1159 template<typename CharacterType>
1160 inline size_t findNextLineStart(const CharacterType* characters, unsigned length, unsigned index = 0)
1161 {
1162     while (index < length) {
1163         CharacterType c = characters[index++];
1164         if ((c != '\n') && (c != '\r'))
1165             continue;
1166
1167         // There can only be a start of a new line if there are more characters
1168         // beyond the current character.
1169         if (index < length) {
1170             // The 3 common types of line terminators are 1. \r\n (Windows), 
1171             // 2. \r (old MacOS) and 3. \n (Unix'es).
1172
1173             if (c == '\n')
1174                 return index; // Case 3: just \n.
1175
1176             CharacterType c2 = characters[index];
1177             if (c2 != '\n')
1178                 return index; // Case 2: just \r.
1179
1180             // Case 1: \r\n.
1181             // But, there's only a start of a new line if there are more
1182             // characters beyond the \r\n.
1183             if (++index < length)
1184                 return index; 
1185         }
1186     }
1187     return notFound;
1188 }
1189
1190 template<typename CharacterType>
1191 inline size_t reverseFindLineTerminator(const CharacterType* characters, unsigned length, unsigned index = UINT_MAX)
1192 {
1193     if (!length)
1194         return notFound;
1195     if (index >= length)
1196         index = length - 1;
1197     CharacterType c = characters[index];
1198     while ((c != '\n') && (c != '\r')) {
1199         if (!index--)
1200             return notFound;
1201         c = characters[index];
1202     }
1203     return index;
1204 }
1205
1206 template<typename CharacterType>
1207 inline size_t reverseFind(const CharacterType* characters, unsigned length, CharacterType matchCharacter, unsigned index = UINT_MAX)
1208 {
1209     if (!length)
1210         return notFound;
1211     if (index >= length)
1212         index = length - 1;
1213     while (characters[index] != matchCharacter) {
1214         if (!index--)
1215             return notFound;
1216     }
1217     return index;
1218 }
1219
1220 ALWAYS_INLINE size_t reverseFind(const UChar* characters, unsigned length, LChar matchCharacter, unsigned index = UINT_MAX)
1221 {
1222     return reverseFind(characters, length, static_cast<UChar>(matchCharacter), index);
1223 }
1224
1225 inline size_t reverseFind(const LChar* characters, unsigned length, UChar matchCharacter, unsigned index = UINT_MAX)
1226 {
1227     if (matchCharacter & ~0xFF)
1228         return notFound;
1229     return reverseFind(characters, length, static_cast<LChar>(matchCharacter), index);
1230 }
1231
1232 inline size_t StringImpl::find(LChar character, unsigned start)
1233 {
1234     if (is8Bit())
1235         return WTF::find(characters8(), m_length, character, start);
1236     return WTF::find(characters16(), m_length, character, start);
1237 }
1238
1239 ALWAYS_INLINE size_t StringImpl::find(char character, unsigned start)
1240 {
1241     return find(static_cast<LChar>(character), start);
1242 }
1243
1244 inline size_t StringImpl::find(UChar character, unsigned start)
1245 {
1246     if (is8Bit())
1247         return WTF::find(characters8(), m_length, character, start);
1248     return WTF::find(characters16(), m_length, character, start);
1249 }
1250
1251 template<size_t inlineCapacity>
1252 bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>& a, StringImpl* b)
1253 {
1254     if (!b)
1255         return !a.size();
1256     if (a.size() != b->length())
1257         return false;
1258     return !memcmp(a.data(), b->characters(), b->length() * sizeof(UChar));
1259 }
1260
1261 template<typename CharacterType1, typename CharacterType2>
1262 static inline int codePointCompare(unsigned l1, unsigned l2, const CharacterType1* c1, const CharacterType2* c2)
1263 {
1264     const unsigned lmin = l1 < l2 ? l1 : l2;
1265     unsigned pos = 0;
1266     while (pos < lmin && *c1 == *c2) {
1267         ++c1;
1268         ++c2;
1269         ++pos;
1270     }
1271
1272     if (pos < lmin)
1273         return (c1[0] > c2[0]) ? 1 : -1;
1274
1275     if (l1 == l2)
1276         return 0;
1277
1278     return (l1 > l2) ? 1 : -1;
1279 }
1280
1281 static inline int codePointCompare8(const StringImpl* string1, const StringImpl* string2)
1282 {
1283     return codePointCompare(string1->length(), string2->length(), string1->characters8(), string2->characters8());
1284 }
1285
1286 static inline int codePointCompare16(const StringImpl* string1, const StringImpl* string2)
1287 {
1288     return codePointCompare(string1->length(), string2->length(), string1->characters16(), string2->characters16());
1289 }
1290
1291 static inline int codePointCompare8To16(const StringImpl* string1, const StringImpl* string2)
1292 {
1293     return codePointCompare(string1->length(), string2->length(), string1->characters8(), string2->characters16());
1294 }
1295
1296 static inline int codePointCompare(const StringImpl* string1, const StringImpl* string2)
1297 {
1298     if (!string1)
1299         return (string2 && string2->length()) ? -1 : 0;
1300
1301     if (!string2)
1302         return string1->length() ? 1 : 0;
1303
1304     bool string1Is8Bit = string1->is8Bit();
1305     bool string2Is8Bit = string2->is8Bit();
1306     if (string1Is8Bit) {
1307         if (string2Is8Bit)
1308             return codePointCompare8(string1, string2);
1309         return codePointCompare8To16(string1, string2);
1310     }
1311     if (string2Is8Bit)
1312         return -codePointCompare8To16(string2, string1);
1313     return codePointCompare16(string1, string2);
1314 }
1315
1316 static inline bool isSpaceOrNewline(UChar c)
1317 {
1318     // Use isASCIISpace() for basic Latin-1.
1319     // This will include newlines, which aren't included in Unicode DirWS.
1320     return c <= 0x7F ? isASCIISpace(c) : u_charDirection(c) == U_WHITE_SPACE_NEUTRAL;
1321 }
1322
1323 template<typename CharacterType>
1324 inline unsigned lengthOfNullTerminatedString(const CharacterType* string)
1325 {
1326     ASSERT(string);
1327     size_t length = 0;
1328     while (string[length])
1329         ++length;
1330
1331     RELEASE_ASSERT(length < std::numeric_limits<unsigned>::max());
1332     return static_cast<unsigned>(length);
1333 }
1334
1335 inline PassRefPtr<StringImpl> StringImpl::isolatedCopy() const
1336 {
1337     if (!requiresCopy()) {
1338         if (is8Bit())
1339             return StringImpl::createWithoutCopying(m_data8, m_length);
1340         return StringImpl::createWithoutCopying(m_data16, m_length);
1341     }
1342
1343     if (is8Bit())
1344         return create(m_data8, m_length);
1345     return create(m_data16, m_length);
1346 }
1347
1348 struct StringHash;
1349
1350 // StringHash is the default hash for StringImpl* and RefPtr<StringImpl>
1351 template<typename T> struct DefaultHash;
1352 template<> struct DefaultHash<StringImpl*> {
1353     typedef StringHash Hash;
1354 };
1355 template<> struct DefaultHash<RefPtr<StringImpl>> {
1356     typedef StringHash Hash;
1357 };
1358
1359 } // namespace WTF
1360
1361 using WTF::StringImpl;
1362 using WTF::equal;
1363 using WTF::equalNonNull;
1364 using WTF::TextCaseSensitivity;
1365 using WTF::TextCaseSensitive;
1366 using WTF::TextCaseInsensitive;
1367
1368 #endif