Get rid of ICU_UNICODE and WCHAR_UNICODE remnants
[WebKit-https.git] / Source / WebCore / platform / text / TextEncoding.cpp
1 /*
2  * Copyright (C) 2004, 2006, 2007, 2008, 2009 Apple Inc. All rights reserved.
3  * Copyright (C) 2006 Alexey Proskuryakov <ap@nypop.com>
4  * Copyright (C) 2007-2009 Torch Mobile, Inc.
5  *
6  * Redistribution and use in source and binary forms, with or without
7  * modification, are permitted provided that the following conditions
8  * are met:
9  * 1. Redistributions of source code must retain the above copyright
10  *    notice, this list of conditions and the following disclaimer.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  *
15  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
16  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
18  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
19  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
23  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
24  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
25  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
26  */
27
28 #include "config.h"
29 #include "TextEncoding.h"
30
31 #include "TextCodec.h"
32 #include "TextEncodingRegistry.h"
33 #include <unicode/unorm.h>
34 #include <wtf/OwnPtr.h>
35 #include <wtf/StdLibExtras.h>
36 #include <wtf/text/CString.h>
37 #include <wtf/text/WTFString.h>
38
39 namespace WebCore {
40
41 static const TextEncoding& UTF7Encoding()
42 {
43     static TextEncoding globalUTF7Encoding("UTF-7");
44     return globalUTF7Encoding;
45 }
46
47 TextEncoding::TextEncoding(const char* name)
48     : m_name(atomicCanonicalTextEncodingName(name))
49     , m_backslashAsCurrencySymbol(backslashAsCurrencySymbol())
50 {
51 }
52
53 TextEncoding::TextEncoding(const String& name)
54     : m_name(atomicCanonicalTextEncodingName(name))
55     , m_backslashAsCurrencySymbol(backslashAsCurrencySymbol())
56 {
57 }
58
59 String TextEncoding::decode(const char* data, size_t length, bool stopOnError, bool& sawError) const
60 {
61     if (!m_name)
62         return String();
63
64     return newTextCodec(*this)->decode(data, length, true, stopOnError, sawError);
65 }
66
67 CString TextEncoding::encode(const UChar* characters, size_t length, UnencodableHandling handling) const
68 {
69     if (!m_name)
70         return CString();
71
72     if (!length)
73         return "";
74
75     // FIXME: What's the right place to do normalization?
76     // It's a little strange to do it inside the encode function.
77     // Perhaps normalization should be an explicit step done before calling encode.
78
79     const UChar* source = characters;
80     size_t sourceLength = length;
81
82     Vector<UChar> normalizedCharacters;
83
84     UErrorCode err = U_ZERO_ERROR;
85     if (unorm_quickCheck(source, sourceLength, UNORM_NFC, &err) != UNORM_YES) {
86         // First try using the length of the original string, since normalization to NFC rarely increases length.
87         normalizedCharacters.grow(sourceLength);
88         int32_t normalizedLength = unorm_normalize(source, length, UNORM_NFC, 0, normalizedCharacters.data(), length, &err);
89         if (err == U_BUFFER_OVERFLOW_ERROR) {
90             err = U_ZERO_ERROR;
91             normalizedCharacters.resize(normalizedLength);
92             normalizedLength = unorm_normalize(source, length, UNORM_NFC, 0, normalizedCharacters.data(), normalizedLength, &err);
93         }
94         ASSERT(U_SUCCESS(err));
95
96         source = normalizedCharacters.data();
97         sourceLength = normalizedLength;
98     }
99     return newTextCodec(*this)->encode(source, sourceLength, handling);
100 }
101
102 const char* TextEncoding::domName() const
103 {
104     if (noExtendedTextEncodingNameUsed())
105         return m_name;
106
107     // We treat EUC-KR as windows-949 (its superset), but need to expose 
108     // the name 'EUC-KR' because the name 'windows-949' is not recognized by
109     // most Korean web servers even though they do use the encoding
110     // 'windows-949' with the name 'EUC-KR'. 
111     // FIXME: This is not thread-safe. At the moment, this function is
112     // only accessed in a single thread, but eventually has to be made
113     // thread-safe along with usesVisualOrdering().
114     static const char* const a = atomicCanonicalTextEncodingName("windows-949");
115     if (m_name == a)
116         return "EUC-KR";
117     return m_name;
118 }
119
120 bool TextEncoding::usesVisualOrdering() const
121 {
122     if (noExtendedTextEncodingNameUsed())
123         return false;
124
125     static const char* const a = atomicCanonicalTextEncodingName("ISO-8859-8");
126     return m_name == a;
127 }
128
129 bool TextEncoding::isJapanese() const
130 {
131     return isJapaneseEncoding(m_name);
132 }
133
134 UChar TextEncoding::backslashAsCurrencySymbol() const
135 {
136     return shouldShowBackslashAsCurrencySymbolIn(m_name) ? 0x00A5 : '\\';
137 }
138
139 bool TextEncoding::isNonByteBasedEncoding() const
140 {
141     if (noExtendedTextEncodingNameUsed()) {
142         return *this == UTF16LittleEndianEncoding()
143             || *this == UTF16BigEndianEncoding();
144     }
145
146     return *this == UTF16LittleEndianEncoding()
147         || *this == UTF16BigEndianEncoding()
148         || *this == UTF32BigEndianEncoding()
149         || *this == UTF32LittleEndianEncoding();
150 }
151
152 bool TextEncoding::isUTF7Encoding() const
153 {
154     if (noExtendedTextEncodingNameUsed())
155         return false;
156
157     return *this == UTF7Encoding();
158 }
159
160 const TextEncoding& TextEncoding::closestByteBasedEquivalent() const
161 {
162     if (isNonByteBasedEncoding())
163         return UTF8Encoding();
164     return *this; 
165 }
166
167 // HTML5 specifies that UTF-8 be used in form submission when a form is 
168 // is a part of a document in UTF-16 probably because UTF-16 is not a 
169 // byte-based encoding and can contain 0x00. By extension, the same
170 // should be done for UTF-32. In case of UTF-7, it is a byte-based encoding,
171 // but it's fraught with problems and we'd rather steer clear of it.
172 const TextEncoding& TextEncoding::encodingForFormSubmission() const
173 {
174     if (isNonByteBasedEncoding() || isUTF7Encoding())
175         return UTF8Encoding();
176     return *this;
177 }
178
179 const TextEncoding& ASCIIEncoding()
180 {
181     static TextEncoding globalASCIIEncoding("ASCII");
182     return globalASCIIEncoding;
183 }
184
185 const TextEncoding& Latin1Encoding()
186 {
187     static TextEncoding globalLatin1Encoding("latin1");
188     return globalLatin1Encoding;
189 }
190
191 const TextEncoding& UTF16BigEndianEncoding()
192 {
193     static TextEncoding globalUTF16BigEndianEncoding("UTF-16BE");
194     return globalUTF16BigEndianEncoding;
195 }
196
197 const TextEncoding& UTF16LittleEndianEncoding()
198 {
199     static TextEncoding globalUTF16LittleEndianEncoding("UTF-16LE");
200     return globalUTF16LittleEndianEncoding;
201 }
202
203 const TextEncoding& UTF32BigEndianEncoding()
204 {
205     static TextEncoding globalUTF32BigEndianEncoding("UTF-32BE");
206     return globalUTF32BigEndianEncoding;
207 }
208
209 const TextEncoding& UTF32LittleEndianEncoding()
210 {
211     static TextEncoding globalUTF32LittleEndianEncoding("UTF-32LE");
212     return globalUTF32LittleEndianEncoding;
213 }
214
215 const TextEncoding& UTF8Encoding()
216 {
217     static TextEncoding globalUTF8Encoding("UTF-8");
218     ASSERT(globalUTF8Encoding.isValid());
219     return globalUTF8Encoding;
220 }
221
222 const TextEncoding& WindowsLatin1Encoding()
223 {
224     static TextEncoding globalWindowsLatin1Encoding("WinLatin-1");
225     return globalWindowsLatin1Encoding;
226 }
227
228 } // namespace WebCore