Add support for private names
[WebKit-https.git] / Source / WTF / wtf / text / StringImpl.h
1 /*
2  * Copyright (C) 1999 Lars Knoll (knoll@kde.org)
3  * Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010 Apple Inc. All rights reserved.
4  * Copyright (C) 2009 Google Inc. All rights reserved.
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public License
17  * along with this library; see the file COPYING.LIB.  If not, write to
18  * the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  *
21  */
22
23 #ifndef StringImpl_h
24 #define StringImpl_h
25
26 #include <limits.h>
27 #include <wtf/ASCIICType.h>
28 #include <wtf/Forward.h>
29 #include <wtf/StdLibExtras.h>
30 #include <wtf/StringHasher.h>
31 #include <wtf/Vector.h>
32 #include <wtf/unicode/Unicode.h>
33
34 #if USE(CF)
35 typedef const struct __CFString * CFStringRef;
36 #endif
37
38 #ifdef __OBJC__
39 @class NSString;
40 #endif
41
42 // FIXME: This is a temporary layering violation while we move string code to WTF.
43 // Landing the file moves in one patch, will follow on with patches to change the namespaces.
44 namespace JSC {
45 struct IdentifierCStringTranslator;
46 namespace LLInt { class Data; }
47 class LLIntOffsetsExtractor;
48 template <typename T> struct IdentifierCharBufferTranslator;
49 struct IdentifierLCharFromUCharTranslator;
50 }
51
52 namespace WTF {
53
54 struct CStringTranslator;
55 struct HashAndCharactersTranslator;
56 struct HashAndUTF8CharactersTranslator;
57 struct SubstringTranslator;
58 struct UCharBufferTranslator;
59
60 enum TextCaseSensitivity { TextCaseSensitive, TextCaseInsensitive };
61
62 typedef bool (*CharacterMatchFunctionPtr)(UChar);
63 typedef bool (*IsWhiteSpaceFunctionPtr)(UChar);
64
65 class StringImpl {
66     WTF_MAKE_NONCOPYABLE(StringImpl); WTF_MAKE_FAST_ALLOCATED;
67     friend struct JSC::IdentifierCStringTranslator;
68     friend struct JSC::IdentifierCharBufferTranslator<LChar>;
69     friend struct JSC::IdentifierCharBufferTranslator<UChar>;
70     friend struct JSC::IdentifierLCharFromUCharTranslator;
71     friend struct WTF::CStringTranslator;
72     friend struct WTF::HashAndCharactersTranslator;
73     friend struct WTF::HashAndUTF8CharactersTranslator;
74     friend struct WTF::SubstringTranslator;
75     friend struct WTF::UCharBufferTranslator;
76     friend class AtomicStringImpl;
77     friend class JSC::LLInt::Data;
78     friend class JSC::LLIntOffsetsExtractor;
79     
80 private:
81     enum BufferOwnership {
82         BufferInternal,
83         BufferOwned,
84         BufferSubstring,
85     };
86
87     // Used to construct static strings, which have an special refCount that can never hit zero.
88     // This means that the static string will never be destroyed, which is important because
89     // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
90     enum ConstructStaticStringTag { ConstructStaticString };
91     StringImpl(const UChar* characters, unsigned length, ConstructStaticStringTag)
92         : m_refCount(s_refCountFlagIsStaticString)
93         , m_length(length)
94         , m_data16(characters)
95         , m_buffer(0)
96         , m_hashAndFlags(s_hashFlagIsIdentifier | BufferOwned)
97     {
98         // Ensure that the hash is computed so that AtomicStringHash can call existingHash()
99         // with impunity. The empty string is special because it is never entered into
100         // AtomicString's HashKey, but still needs to compare correctly.
101         hash();
102     }
103
104     // Used to construct static strings, which have an special refCount that can never hit zero.
105     // This means that the static string will never be destroyed, which is important because
106     // static strings will be shared across threads & ref-counted in a non-threadsafe manner.
107     StringImpl(const LChar* characters, unsigned length, ConstructStaticStringTag)
108         : m_refCount(s_refCountFlagIsStaticString)
109         , m_length(length)
110         , m_data8(characters)
111         , m_buffer(0)
112         , m_hashAndFlags(s_hashFlag8BitBuffer | s_hashFlagIsIdentifier | BufferOwned)
113     {
114         // Ensure that the hash is computed so that AtomicStringHash can call existingHash()
115         // with impunity. The empty string is special because it is never entered into
116         // AtomicString's HashKey, but still needs to compare correctly.
117         hash();
118     }
119
120     // FIXME: there has to be a less hacky way to do this.
121     enum Force8Bit { Force8BitConstructor };
122     // Create a normal 8-bit string with internal storage (BufferInternal)
123     StringImpl(unsigned length, Force8Bit)
124         : m_refCount(s_refCountIncrement)
125         , m_length(length)
126         , m_data8(reinterpret_cast<const LChar*>(this + 1))
127         , m_buffer(0)
128         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferInternal)
129     {
130         ASSERT(m_data8);
131         ASSERT(m_length);
132     }
133
134     // Create a normal 16-bit string with internal storage (BufferInternal)
135     StringImpl(unsigned length)
136         : m_refCount(s_refCountIncrement)
137         , m_length(length)
138         , m_data16(reinterpret_cast<const UChar*>(this + 1))
139         , m_buffer(0)
140         , m_hashAndFlags(BufferInternal)
141     {
142         ASSERT(m_data16);
143         ASSERT(m_length);
144     }
145
146     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned)
147     StringImpl(const LChar* characters, unsigned length)
148         : m_refCount(s_refCountIncrement)
149         , m_length(length)
150         , m_data8(characters)
151         , m_buffer(0)
152         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferOwned)
153     {
154         ASSERT(m_data8);
155         ASSERT(m_length);
156     }
157
158     // Create a StringImpl adopting ownership of the provided buffer (BufferOwned)
159     StringImpl(const UChar* characters, unsigned length)
160         : m_refCount(s_refCountIncrement)
161         , m_length(length)
162         , m_data16(characters)
163         , m_buffer(0)
164         , m_hashAndFlags(BufferOwned)
165     {
166         ASSERT(m_data16);
167         ASSERT(m_length);
168     }
169
170     // Used to create new strings that are a substring of an existing 8-bit StringImpl (BufferSubstring)
171     StringImpl(const LChar* characters, unsigned length, PassRefPtr<StringImpl> base)
172         : m_refCount(s_refCountIncrement)
173         , m_length(length)
174         , m_data8(characters)
175         , m_substringBuffer(base.leakRef())
176         , m_hashAndFlags(s_hashFlag8BitBuffer | BufferSubstring)
177     {
178         ASSERT(is8Bit());
179         ASSERT(m_data8);
180         ASSERT(m_length);
181         ASSERT(m_substringBuffer->bufferOwnership() != BufferSubstring);
182     }
183
184     // Used to create new strings that are a substring of an existing 16-bit StringImpl (BufferSubstring)
185     StringImpl(const UChar* characters, unsigned length, PassRefPtr<StringImpl> base)
186         : m_refCount(s_refCountIncrement)
187         , m_length(length)
188         , m_data16(characters)
189         , m_substringBuffer(base.leakRef())
190         , m_hashAndFlags(BufferSubstring)
191     {
192         ASSERT(!is8Bit());
193         ASSERT(m_data16);
194         ASSERT(m_length);
195         ASSERT(m_substringBuffer->bufferOwnership() != BufferSubstring);
196     }
197
198     enum CreateEmptyUnique_T { CreateEmptyUnique };
199     StringImpl(CreateEmptyUnique_T)
200         : m_refCount(s_refCountIncrement)
201         , m_length(0)
202         , m_data16(reinterpret_cast<const UChar*>(1))
203         , m_buffer(0)
204     {
205         ASSERT(m_data16);
206         // Set the hash early, so that all empty unique StringImpls have a hash,
207         // and don't use the normal hashing algorithm - the unique nature of these
208         // keys means that we don't need them to match any other string (in fact,
209         // that's exactly the oposite of what we want!), and teh normal hash would
210         // lead to lots of conflicts.
211         unsigned hash = reinterpret_cast<uintptr_t>(this);
212         hash <<= s_flagCount;
213         if (!hash)
214             hash = 1 << s_flagCount;
215         m_hashAndFlags = hash | BufferInternal;
216     }
217
218 public:
219     WTF_EXPORT_PRIVATE ~StringImpl();
220
221     WTF_EXPORT_PRIVATE static PassRefPtr<StringImpl> create(const UChar*, unsigned length);
222     static PassRefPtr<StringImpl> create(const LChar*, unsigned length);
223     ALWAYS_INLINE static PassRefPtr<StringImpl> create(const char* s, unsigned length) { return create(reinterpret_cast<const LChar*>(s), length); }
224     WTF_EXPORT_PRIVATE static PassRefPtr<StringImpl> create(const LChar*);
225     ALWAYS_INLINE static PassRefPtr<StringImpl> create(const char* s) { return create(reinterpret_cast<const LChar*>(s)); }
226
227     static ALWAYS_INLINE PassRefPtr<StringImpl> create8(PassRefPtr<StringImpl> rep, unsigned offset, unsigned length)
228     {
229         ASSERT(rep);
230         ASSERT(length <= rep->length());
231
232         if (!length)
233             return empty();
234
235         ASSERT(rep->is8Bit());
236         StringImpl* ownerRep = (rep->bufferOwnership() == BufferSubstring) ? rep->m_substringBuffer : rep.get();
237         return adoptRef(new StringImpl(rep->m_data8 + offset, length, ownerRep));
238     }
239
240     static ALWAYS_INLINE PassRefPtr<StringImpl> create(PassRefPtr<StringImpl> rep, unsigned offset, unsigned length)
241     {
242         ASSERT(rep);
243         ASSERT(length <= rep->length());
244
245         if (!length)
246             return empty();
247
248         StringImpl* ownerRep = (rep->bufferOwnership() == BufferSubstring) ? rep->m_substringBuffer : rep.get();
249         if (rep->is8Bit())
250             return adoptRef(new StringImpl(rep->m_data8 + offset, length, ownerRep));
251         return adoptRef(new StringImpl(rep->m_data16 + offset, length, ownerRep));
252     }
253
254     static PassRefPtr<StringImpl> createUninitialized(unsigned length, LChar*& data);
255     WTF_EXPORT_PRIVATE static PassRefPtr<StringImpl> createUninitialized(unsigned length, UChar*& data);
256     template <typename T> static ALWAYS_INLINE PassRefPtr<StringImpl> tryCreateUninitialized(unsigned length, T*& output)
257     {
258         if (!length) {
259             output = 0;
260             return empty();
261         }
262
263         if (length > ((std::numeric_limits<unsigned>::max() - sizeof(StringImpl)) / sizeof(T))) {
264             output = 0;
265             return 0;
266         }
267         StringImpl* resultImpl;
268         if (!tryFastMalloc(sizeof(T) * length + sizeof(StringImpl)).getValue(resultImpl)) {
269             output = 0;
270             return 0;
271         }
272         output = reinterpret_cast<T*>(resultImpl + 1);
273
274         if (sizeof(T) == sizeof(char))
275             return adoptRef(new (NotNull, resultImpl) StringImpl(length, Force8BitConstructor));
276
277         return adoptRef(new (NotNull, resultImpl) StringImpl(length));
278     }
279
280     static PassRefPtr<StringImpl> createEmptyUnique()
281     {
282         return adoptRef(new StringImpl(CreateEmptyUnique));
283     }
284
285     // Reallocate the StringImpl. The originalString must be only owned by the PassRefPtr,
286     // and the buffer ownership must be BufferInternal. Just like the input pointer of realloc(),
287     // the originalString can't be used after this function.
288     static PassRefPtr<StringImpl> reallocate(PassRefPtr<StringImpl> originalString, unsigned length, LChar*& data);
289     static PassRefPtr<StringImpl> reallocate(PassRefPtr<StringImpl> originalString, unsigned length, UChar*& data);
290
291     static unsigned flagsOffset() { return OBJECT_OFFSETOF(StringImpl, m_hashAndFlags); }
292     static unsigned flagIs8Bit() { return s_hashFlag8BitBuffer; }
293     static unsigned dataOffset() { return OBJECT_OFFSETOF(StringImpl, m_data8); }
294     static PassRefPtr<StringImpl> createWithTerminatingNullCharacter(const StringImpl&);
295
296     template<typename CharType, size_t inlineCapacity>
297     static PassRefPtr<StringImpl> adopt(Vector<CharType, inlineCapacity>& vector)
298     {
299         if (size_t size = vector.size()) {
300             ASSERT(vector.data());
301             if (size > std::numeric_limits<unsigned>::max())
302                 CRASH();
303             return adoptRef(new StringImpl(vector.releaseBuffer(), size));
304         }
305         return empty();
306     }
307
308     static PassRefPtr<StringImpl> adopt(StringBuffer<LChar>& buffer);
309     WTF_EXPORT_PRIVATE static PassRefPtr<StringImpl> adopt(StringBuffer<UChar>& buffer);
310
311     unsigned length() const { return m_length; }
312     bool is8Bit() const { return m_hashAndFlags & s_hashFlag8BitBuffer; }
313
314     // FIXME: Remove all unnecessary usages of characters()
315     ALWAYS_INLINE const LChar* characters8() const { ASSERT(is8Bit()); return m_data8; }
316     ALWAYS_INLINE const UChar* characters16() const { ASSERT(!is8Bit()); return m_data16; }
317     ALWAYS_INLINE const UChar* characters() const
318     {
319         if (!is8Bit())
320             return m_data16;
321
322         return getData16SlowCase();
323     }
324
325     template <typename CharType>
326     ALWAYS_INLINE const CharType * getCharacters() const;
327
328     size_t cost()
329     {
330         // For substrings, return the cost of the base string.
331         if (bufferOwnership() == BufferSubstring)
332             return m_substringBuffer->cost();
333
334         if (m_hashAndFlags & s_hashFlagDidReportCost)
335             return 0;
336
337         m_hashAndFlags |= s_hashFlagDidReportCost;
338         return m_length;
339     }
340
341     bool has16BitShadow() const { return m_hashAndFlags & s_hashFlagHas16BitShadow; }
342     WTF_EXPORT_PRIVATE void upconvertCharacters(unsigned, unsigned) const;
343     bool isIdentifier() const { return m_hashAndFlags & s_hashFlagIsIdentifier; }
344     void setIsIdentifier(bool isIdentifier)
345     {
346         ASSERT(!isStatic());
347         if (isIdentifier)
348             m_hashAndFlags |= s_hashFlagIsIdentifier;
349         else
350             m_hashAndFlags &= ~s_hashFlagIsIdentifier;
351     }
352
353     bool isEmptyUnique() const
354     {
355         return !length() && !isStatic();
356     }
357
358     bool hasTerminatingNullCharacter() const { return m_hashAndFlags & s_hashFlagHasTerminatingNullCharacter; }
359
360     bool isAtomic() const { return m_hashAndFlags & s_hashFlagIsAtomic; }
361     void setIsAtomic(bool isIdentifier)
362     {
363         ASSERT(!isStatic());
364         if (isIdentifier)
365             m_hashAndFlags |= s_hashFlagIsAtomic;
366         else
367             m_hashAndFlags &= ~s_hashFlagIsAtomic;
368     }
369
370 private:
371     // The high bits of 'hash' are always empty, but we prefer to store our flags
372     // in the low bits because it makes them slightly more efficient to access.
373     // So, we shift left and right when setting and getting our hash code.
374     void setHash(unsigned hash) const
375     {
376         ASSERT(!hasHash());
377         // Multiple clients assume that StringHasher is the canonical string hash function.
378         ASSERT(hash == (is8Bit() ? StringHasher::computeHash(m_data8, m_length) : StringHasher::computeHash(m_data16, m_length)));
379         ASSERT(!(hash & (s_flagMask << (8 * sizeof(hash) - s_flagCount)))); // Verify that enough high bits are empty.
380         
381         hash <<= s_flagCount;
382         ASSERT(!(hash & m_hashAndFlags)); // Verify that enough low bits are empty after shift.
383         ASSERT(hash); // Verify that 0 is a valid sentinel hash value.
384
385         m_hashAndFlags |= hash; // Store hash with flags in low bits.
386     }
387
388     unsigned rawHash() const
389     {
390         return m_hashAndFlags >> s_flagCount;
391     }
392
393 public:
394     bool hasHash() const
395     {
396         return rawHash() != 0;
397     }
398
399     unsigned existingHash() const
400     {
401         ASSERT(hasHash());
402         return rawHash();
403     }
404
405     unsigned hash() const
406     {
407         if (hasHash())
408             return existingHash();
409         return hashSlowCase();
410     }
411
412     inline bool hasOneRef() const
413     {
414         return m_refCount == s_refCountIncrement;
415     }
416
417     inline void ref()
418     {
419         m_refCount += s_refCountIncrement;
420     }
421
422     inline void deref()
423     {
424         if (m_refCount == s_refCountIncrement) {
425             delete this;
426             return;
427         }
428
429         m_refCount -= s_refCountIncrement;
430     }
431
432     WTF_EXPORT_PRIVATE static StringImpl* empty();
433
434     // FIXME: Does this really belong in StringImpl?
435     template <typename T> static void copyChars(T* destination, const T* source, unsigned numCharacters)
436     {
437         if (numCharacters == 1) {
438             *destination = *source;
439             return;
440         }
441
442         if (numCharacters <= s_copyCharsInlineCutOff) {
443             unsigned i = 0;
444 #if (CPU(X86) || CPU(X86_64))
445             const unsigned charsPerInt = sizeof(uint32_t) / sizeof(T);
446
447             if (numCharacters > charsPerInt) {
448                 unsigned stopCount = numCharacters & ~(charsPerInt - 1);
449
450                 const uint32_t* srcCharacters = reinterpret_cast<const uint32_t*>(source);
451                 uint32_t* destCharacters = reinterpret_cast<uint32_t*>(destination);
452                 for (unsigned j = 0; i < stopCount; i += charsPerInt, ++j)
453                     destCharacters[j] = srcCharacters[j];
454             }
455 #endif
456             for (; i < numCharacters; ++i)
457                 destination[i] = source[i];
458         } else
459             memcpy(destination, source, numCharacters * sizeof(T));
460     }
461
462     // Some string features, like refcounting and the atomicity flag, are not
463     // thread-safe. We achieve thread safety by isolation, giving each thread
464     // its own copy of the string.
465     PassRefPtr<StringImpl> isolatedCopy() const;
466
467     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> substring(unsigned pos, unsigned len = UINT_MAX);
468
469     UChar operator[](unsigned i) const
470     {
471         ASSERT(i < m_length);
472         if (is8Bit())
473             return m_data8[i];
474         return m_data16[i];
475     }
476     WTF_EXPORT_PRIVATE UChar32 characterStartingAt(unsigned);
477
478     WTF_EXPORT_PRIVATE bool containsOnlyWhitespace();
479
480     int toIntStrict(bool* ok = 0, int base = 10);
481     unsigned toUIntStrict(bool* ok = 0, int base = 10);
482     int64_t toInt64Strict(bool* ok = 0, int base = 10);
483     uint64_t toUInt64Strict(bool* ok = 0, int base = 10);
484     intptr_t toIntPtrStrict(bool* ok = 0, int base = 10);
485
486     WTF_EXPORT_PRIVATE int toInt(bool* ok = 0); // ignores trailing garbage
487     unsigned toUInt(bool* ok = 0); // ignores trailing garbage
488     int64_t toInt64(bool* ok = 0); // ignores trailing garbage
489     uint64_t toUInt64(bool* ok = 0); // ignores trailing garbage
490     intptr_t toIntPtr(bool* ok = 0); // ignores trailing garbage
491
492     // FIXME: Like the strict functions above, these give false for "ok" when there is trailing garbage.
493     // Like the non-strict functions above, these return the value when there is trailing garbage.
494     // It would be better if these were more consistent with the above functions instead.
495     double toDouble(bool* ok = 0);
496     float toFloat(bool* ok = 0);
497
498     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> lower();
499     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> upper();
500
501     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> fill(UChar);
502     // FIXME: Do we need fill(char) or can we just do the right thing if UChar is ASCII?
503     PassRefPtr<StringImpl> foldCase();
504
505     PassRefPtr<StringImpl> stripWhiteSpace();
506     PassRefPtr<StringImpl> stripWhiteSpace(IsWhiteSpaceFunctionPtr);
507     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> simplifyWhiteSpace();
508     PassRefPtr<StringImpl> simplifyWhiteSpace(IsWhiteSpaceFunctionPtr);
509
510     PassRefPtr<StringImpl> removeCharacters(CharacterMatchFunctionPtr);
511     template <typename CharType>
512     ALWAYS_INLINE PassRefPtr<StringImpl> removeCharacters(const CharType* characters, CharacterMatchFunctionPtr);
513
514     size_t find(LChar character, unsigned start = 0);
515     size_t find(char character, unsigned start = 0);
516     size_t find(UChar character, unsigned start = 0);
517     WTF_EXPORT_PRIVATE size_t find(CharacterMatchFunctionPtr, unsigned index = 0);
518     size_t find(const LChar*, unsigned index = 0);
519     ALWAYS_INLINE size_t find(const char* s, unsigned index = 0) { return find(reinterpret_cast<const LChar*>(s), index); };
520     WTF_EXPORT_PRIVATE size_t find(StringImpl*);
521     WTF_EXPORT_PRIVATE size_t find(StringImpl*, unsigned index);
522     size_t findIgnoringCase(const LChar*, unsigned index = 0);
523     ALWAYS_INLINE size_t findIgnoringCase(const char* s, unsigned index = 0) { return findIgnoringCase(reinterpret_cast<const LChar*>(s), index); };
524     WTF_EXPORT_PRIVATE size_t findIgnoringCase(StringImpl*, unsigned index = 0);
525
526     WTF_EXPORT_PRIVATE size_t reverseFind(UChar, unsigned index = UINT_MAX);
527     WTF_EXPORT_PRIVATE size_t reverseFind(StringImpl*, unsigned index = UINT_MAX);
528     WTF_EXPORT_PRIVATE size_t reverseFindIgnoringCase(StringImpl*, unsigned index = UINT_MAX);
529
530     bool startsWith(StringImpl* str, bool caseSensitive = true) { return (caseSensitive ? reverseFind(str, 0) : reverseFindIgnoringCase(str, 0)) == 0; }
531     WTF_EXPORT_PRIVATE bool startsWith(UChar) const;
532     WTF_EXPORT_PRIVATE bool startsWith(const char*, unsigned matchLength, bool caseSensitive) const;
533     template<unsigned matchLength>
534     bool startsWith(const char (&prefix)[matchLength], bool caseSensitive = true) const { return startsWith(prefix, matchLength - 1, caseSensitive); };
535
536     WTF_EXPORT_PRIVATE bool endsWith(StringImpl*, bool caseSensitive = true);
537     WTF_EXPORT_PRIVATE bool endsWith(UChar) const;
538     WTF_EXPORT_PRIVATE bool endsWith(const char*, unsigned matchLength, bool caseSensitive) const;
539     template<unsigned matchLength>
540     bool endsWith(const char (&prefix)[matchLength], bool caseSensitive = true) const { return endsWith(prefix, matchLength - 1, caseSensitive); }
541
542     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> replace(UChar, UChar);
543     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> replace(UChar, StringImpl*);
544     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> replace(StringImpl*, StringImpl*);
545     WTF_EXPORT_PRIVATE PassRefPtr<StringImpl> replace(unsigned index, unsigned len, StringImpl*);
546
547     WTF_EXPORT_PRIVATE WTF::Unicode::Direction defaultWritingDirection(bool* hasStrongDirectionality = 0);
548
549 #if USE(CF)
550     CFStringRef createCFString();
551 #endif
552 #ifdef __OBJC__
553     operator NSString*();
554 #endif
555
556 private:
557     // This number must be at least 2 to avoid sharing empty, null as well as 1 character strings from SmallStrings.
558     static const unsigned s_copyCharsInlineCutOff = 20;
559
560     BufferOwnership bufferOwnership() const { return static_cast<BufferOwnership>(m_hashAndFlags & s_hashMaskBufferOwnership); }
561     bool isStatic() const { return m_refCount & s_refCountFlagIsStaticString; }
562     template <class UCharPredicate> PassRefPtr<StringImpl> stripMatchedCharacters(UCharPredicate);
563     template <typename CharType, class UCharPredicate> PassRefPtr<StringImpl> simplifyMatchedCharactersToSpace(UCharPredicate);
564     WTF_EXPORT_PRIVATE NEVER_INLINE const UChar* getData16SlowCase() const;
565     WTF_EXPORT_PRIVATE NEVER_INLINE unsigned hashSlowCase() const;
566
567     // The bottom bit in the ref count indicates a static (immortal) string.
568     static const unsigned s_refCountFlagIsStaticString = 0x1;
569     static const unsigned s_refCountIncrement = 0x2; // This allows us to ref / deref without disturbing the static string flag.
570
571     // The bottom 8 bits in the hash are flags.
572     static const unsigned s_flagCount = 8;
573     static const unsigned s_flagMask = (1u << s_flagCount) - 1;
574     COMPILE_ASSERT(s_flagCount == StringHasher::flagCount, StringHasher_reserves_enough_bits_for_StringImpl_flags);
575
576     static const unsigned s_hashFlagHas16BitShadow = 1u << 7;
577     static const unsigned s_hashFlag8BitBuffer = 1u << 6;
578     static const unsigned s_hashFlagHasTerminatingNullCharacter = 1u << 5;
579     static const unsigned s_hashFlagIsAtomic = 1u << 4;
580     static const unsigned s_hashFlagDidReportCost = 1u << 3;
581     static const unsigned s_hashFlagIsIdentifier = 1u << 2;
582     static const unsigned s_hashMaskBufferOwnership = 1u | (1u << 1);
583
584     unsigned m_refCount;
585     unsigned m_length;
586     union {
587         const LChar* m_data8;
588         const UChar* m_data16;
589     };
590     union {
591         void* m_buffer;
592         StringImpl* m_substringBuffer;
593         mutable UChar* m_copyData16;
594     };
595     mutable unsigned m_hashAndFlags;
596 };
597
598 template <>
599 ALWAYS_INLINE const LChar* StringImpl::getCharacters<LChar>() const { return characters8(); }
600
601 template <>
602 ALWAYS_INLINE const UChar* StringImpl::getCharacters<UChar>() const { return characters(); }
603
604 WTF_EXPORT_PRIVATE bool equal(const StringImpl*, const StringImpl*);
605 WTF_EXPORT_PRIVATE bool equal(const StringImpl*, const LChar*);
606 inline bool equal(const StringImpl* a, const char* b) { return equal(a, reinterpret_cast<const LChar*>(b)); }
607 WTF_EXPORT_PRIVATE bool equal(const StringImpl*, const LChar*, unsigned);
608 inline bool equal(const StringImpl* a, const char* b, unsigned length) { return equal(a, reinterpret_cast<const LChar*>(b), length); }
609 inline bool equal(const LChar* a, StringImpl* b) { return equal(b, a); }
610 inline bool equal(const char* a, StringImpl* b) { return equal(b, reinterpret_cast<const LChar*>(a)); }
611 WTF_EXPORT_PRIVATE bool equal(const StringImpl*, const UChar*, unsigned);
612
613 // Do comparisons 8 or 4 bytes-at-a-time on architectures where it's safe.
614 #if CPU(X86_64)
615 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length)
616 {
617     unsigned dwordLength = length >> 3;
618
619     if (dwordLength) {
620         const uint64_t* aDWordCharacters = reinterpret_cast<const uint64_t*>(a);
621         const uint64_t* bDWordCharacters = reinterpret_cast<const uint64_t*>(b);
622
623         for (unsigned i = 0; i != dwordLength; ++i) {
624             if (*aDWordCharacters++ != *bDWordCharacters++)
625                 return false;
626         }
627
628         a = reinterpret_cast<const LChar*>(aDWordCharacters);
629         b = reinterpret_cast<const LChar*>(bDWordCharacters);
630     }
631
632     if (length & 4) {
633         if (*reinterpret_cast<const uint32_t*>(a) != *reinterpret_cast<const uint32_t*>(b))
634             return false;
635
636         a += 4;
637         b += 4;
638     }
639
640     if (length & 2) {
641         if (*reinterpret_cast<const uint16_t*>(a) != *reinterpret_cast<const uint16_t*>(b))
642             return false;
643
644         a += 2;
645         b += 2;
646     }
647
648     if (length & 1 && (*a != *b))
649         return false;
650
651     return true;
652 }
653
654 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length)
655 {
656     unsigned dwordLength = length >> 2;
657     
658     if (dwordLength) {
659         const uint64_t* aDWordCharacters = reinterpret_cast<const uint64_t*>(a);
660         const uint64_t* bDWordCharacters = reinterpret_cast<const uint64_t*>(b);
661
662         for (unsigned i = 0; i != dwordLength; ++i) {
663             if (*aDWordCharacters++ != *bDWordCharacters++)
664                 return false;
665         }
666
667         a = reinterpret_cast<const UChar*>(aDWordCharacters);
668         b = reinterpret_cast<const UChar*>(bDWordCharacters);
669     }
670
671     if (length & 2) {
672         if (*reinterpret_cast<const uint32_t*>(a) != *reinterpret_cast<const uint32_t*>(b))
673             return false;
674
675         a += 2;
676         b += 2;
677     }
678
679     if (length & 1 && (*a != *b))
680         return false;
681
682     return true;
683 }
684 #elif CPU(X86)
685 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length)
686 {
687     const uint32_t* aCharacters = reinterpret_cast<const uint32_t*>(a);
688     const uint32_t* bCharacters = reinterpret_cast<const uint32_t*>(b);
689
690     unsigned wordLength = length >> 2;
691     for (unsigned i = 0; i != wordLength; ++i) {
692         if (*aCharacters++ != *bCharacters++)
693             return false;
694     }
695
696     length &= 3;
697
698     if (length) {
699         const LChar* aRemainder = reinterpret_cast<const LChar*>(aCharacters);
700         const LChar* bRemainder = reinterpret_cast<const LChar*>(bCharacters);
701         
702         for (unsigned i = 0; i <  length; ++i) {
703             if (aRemainder[i] != bRemainder[i])
704                 return false;
705         }
706     }
707
708     return true;
709 }
710
711 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length)
712 {
713     const uint32_t* aCharacters = reinterpret_cast<const uint32_t*>(a);
714     const uint32_t* bCharacters = reinterpret_cast<const uint32_t*>(b);
715     
716     unsigned wordLength = length >> 1;
717     for (unsigned i = 0; i != wordLength; ++i) {
718         if (*aCharacters++ != *bCharacters++)
719             return false;
720     }
721     
722     if (length & 1 && *reinterpret_cast<const UChar*>(aCharacters) != *reinterpret_cast<const UChar*>(bCharacters))
723         return false;
724     
725     return true;
726 }
727 #else
728 ALWAYS_INLINE bool equal(const LChar* a, const LChar* b, unsigned length)
729 {
730     for (unsigned i = 0; i != length; ++i) {
731         if (a[i] != b[i])
732             return false;
733     }
734
735     return true;
736 }
737
738 ALWAYS_INLINE bool equal(const UChar* a, const UChar* b, unsigned length)
739 {
740     for (unsigned i = 0; i != length; ++i) {
741         if (a[i] != b[i])
742             return false;
743     }
744
745     return true;
746 }
747 #endif
748
749 ALWAYS_INLINE bool equal(const LChar* a, const UChar* b, unsigned length)
750 {
751     for (unsigned i = 0; i != length; ++i) {
752         if (a[i] != b[i])
753             return false;
754     }
755
756     return true;
757 }
758
759 ALWAYS_INLINE bool equal(const UChar* a, const LChar* b, unsigned length)
760 {
761     for (unsigned i = 0; i != length; ++i) {
762         if (a[i] != b[i])
763             return false;
764     }
765
766     return true;
767 }
768
769 WTF_EXPORT_PRIVATE bool equalIgnoringCase(StringImpl*, StringImpl*);
770 WTF_EXPORT_PRIVATE bool equalIgnoringCase(StringImpl*, const LChar*);
771 inline bool equalIgnoringCase(const LChar* a, StringImpl* b) { return equalIgnoringCase(b, a); }
772 WTF_EXPORT_PRIVATE bool equalIgnoringCase(const LChar*, const LChar*, unsigned);
773 WTF_EXPORT_PRIVATE bool equalIgnoringCase(const UChar*, const LChar*, unsigned);
774 inline bool equalIgnoringCase(const UChar* a, const char* b, unsigned length) { return equalIgnoringCase(a, reinterpret_cast<const LChar*>(b), length); }
775 inline bool equalIgnoringCase(const LChar* a, const UChar* b, unsigned length) { return equalIgnoringCase(b, a, length); }
776 inline bool equalIgnoringCase(const char* a, const UChar* b, unsigned length) { return equalIgnoringCase(b, reinterpret_cast<const LChar*>(a), length); }
777
778 WTF_EXPORT_PRIVATE bool equalIgnoringNullity(StringImpl*, StringImpl*);
779
780 template<typename CharacterType>
781 inline size_t find(const CharacterType* characters, unsigned length, CharacterType matchCharacter, unsigned index = 0)
782 {
783     while (index < length) {
784         if (characters[index] == matchCharacter)
785             return index;
786         ++index;
787     }
788     return notFound;
789 }
790
791 ALWAYS_INLINE size_t find(const UChar* characters, unsigned length, LChar matchCharacter, unsigned index = 0)
792 {
793     return find(characters, length, static_cast<UChar>(matchCharacter), index);
794 }
795
796 inline size_t find(const LChar* characters, unsigned length, UChar matchCharacter, unsigned index = 0)
797 {
798     if (matchCharacter & ~0xFF)
799         return notFound;
800     return find(characters, length, static_cast<LChar>(matchCharacter), index);
801 }
802
803 inline size_t find(const LChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index = 0)
804 {
805     while (index < length) {
806         if (matchFunction(characters[index]))
807             return index;
808         ++index;
809     }
810     return notFound;
811 }
812
813 inline size_t find(const UChar* characters, unsigned length, CharacterMatchFunctionPtr matchFunction, unsigned index = 0)
814 {
815     while (index < length) {
816         if (matchFunction(characters[index]))
817             return index;
818         ++index;
819     }
820     return notFound;
821 }
822
823 inline size_t reverseFind(const LChar* characters, unsigned length, LChar matchCharacter, unsigned index = UINT_MAX)
824 {
825     if (!length)
826         return notFound;
827     if (index >= length)
828         index = length - 1;
829     while (characters[index] != matchCharacter) {
830         if (!index--)
831             return notFound;
832     }
833     return index;
834 }
835
836 inline size_t reverseFind(const UChar* characters, unsigned length, UChar matchCharacter, unsigned index = UINT_MAX)
837 {
838     if (!length)
839         return notFound;
840     if (index >= length)
841         index = length - 1;
842     while (characters[index] != matchCharacter) {
843         if (!index--)
844             return notFound;
845     }
846     return index;
847 }
848
849 inline size_t StringImpl::find(LChar character, unsigned start)
850 {
851     if (is8Bit())
852         return WTF::find(characters8(), m_length, character, start);
853     return WTF::find(characters16(), m_length, character, start);
854 }
855
856 ALWAYS_INLINE size_t StringImpl::find(char character, unsigned start)
857 {
858     return find(static_cast<LChar>(character), start);
859 }
860
861 inline size_t StringImpl::find(UChar character, unsigned start)
862 {
863     if (is8Bit())
864         return WTF::find(characters8(), m_length, character, start);
865     return WTF::find(characters16(), m_length, character, start);
866 }
867
868 template<size_t inlineCapacity>
869 bool equalIgnoringNullity(const Vector<UChar, inlineCapacity>& a, StringImpl* b)
870 {
871     if (!b)
872         return !a.size();
873     if (a.size() != b->length())
874         return false;
875     return !memcmp(a.data(), b->characters(), b->length() * sizeof(UChar));
876 }
877
878 template<typename CharacterType1, typename CharacterType2>
879 static inline int codePointCompare(unsigned l1, unsigned l2, const CharacterType1* c1, const CharacterType2* c2)
880 {
881     const unsigned lmin = l1 < l2 ? l1 : l2;
882     unsigned pos = 0;
883     while (pos < lmin && *c1 == *c2) {
884         c1++;
885         c2++;
886         pos++;
887     }
888
889     if (pos < lmin)
890         return (c1[0] > c2[0]) ? 1 : -1;
891
892     if (l1 == l2)
893         return 0;
894
895     return (l1 > l2) ? 1 : -1;
896 }
897
898 static inline int codePointCompare8(const StringImpl* string1, const StringImpl* string2)
899 {
900     return codePointCompare(string1->length(), string2->length(), string1->characters8(), string2->characters8());
901 }
902
903 static inline int codePointCompare16(const StringImpl* string1, const StringImpl* string2)
904 {
905     return codePointCompare(string1->length(), string2->length(), string1->characters16(), string2->characters16());
906 }
907
908 static inline int codePointCompare8To16(const StringImpl* string1, const StringImpl* string2)
909 {
910     return codePointCompare(string1->length(), string2->length(), string1->characters8(), string2->characters16());
911 }
912
913 static inline int codePointCompare(const StringImpl* string1, const StringImpl* string2)
914 {
915     if (!string1)
916         return (string2 && string2->length()) ? -1 : 0;
917
918     if (!string2)
919         return string1->length() ? 1 : 0;
920
921     bool string1Is8Bit = string1->is8Bit();
922     bool string2Is8Bit = string2->is8Bit();
923     if (string1Is8Bit) {
924         if (string2Is8Bit)
925             return codePointCompare8(string1, string2);
926         return codePointCompare8To16(string1, string2);
927     }
928     if (string2Is8Bit)
929         return -codePointCompare8To16(string2, string1);
930     return codePointCompare16(string1, string2);
931 }
932
933 static inline bool isSpaceOrNewline(UChar c)
934 {
935     // Use isASCIISpace() for basic Latin-1.
936     // This will include newlines, which aren't included in Unicode DirWS.
937     return c <= 0x7F ? WTF::isASCIISpace(c) : WTF::Unicode::direction(c) == WTF::Unicode::WhiteSpaceNeutral;
938 }
939
940 inline PassRefPtr<StringImpl> StringImpl::isolatedCopy() const
941 {
942     if (is8Bit())
943         return create(m_data8, m_length);
944     return create(m_data16, m_length);
945 }
946
947 struct StringHash;
948
949 // StringHash is the default hash for StringImpl* and RefPtr<StringImpl>
950 template<typename T> struct DefaultHash;
951 template<> struct DefaultHash<StringImpl*> {
952     typedef StringHash Hash;
953 };
954 template<> struct DefaultHash<RefPtr<StringImpl> > {
955     typedef StringHash Hash;
956 };
957
958 }
959
960 using WTF::StringImpl;
961 using WTF::equal;
962 using WTF::TextCaseSensitivity;
963 using WTF::TextCaseSensitive;
964 using WTF::TextCaseInsensitive;
965
966 #endif