Modernize some aspects of text codecs, eliminate WebKit use of strcasecmp
[WebKit-https.git] / Source / WebCore / platform / text / TextCodecLatin1.cpp
1 /*
2  * Copyright (C) 2004-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "TextCodecLatin1.h"
28
29 #include "TextCodecASCIIFastPath.h"
30 #include <array>
31 #include <wtf/text/CString.h>
32 #include <wtf/text/StringBuffer.h>
33 #include <wtf/text/WTFString.h>
34
35
36 namespace WebCore {
37 using namespace WTF;
38
39 static const UChar latin1ConversionTable[256] = {
40     0x0000, 0x0001, 0x0002, 0x0003, 0x0004, 0x0005, 0x0006, 0x0007, // 00-07
41     0x0008, 0x0009, 0x000A, 0x000B, 0x000C, 0x000D, 0x000E, 0x000F, // 08-0F
42     0x0010, 0x0011, 0x0012, 0x0013, 0x0014, 0x0015, 0x0016, 0x0017, // 10-17
43     0x0018, 0x0019, 0x001A, 0x001B, 0x001C, 0x001D, 0x001E, 0x001F, // 18-1F
44     0x0020, 0x0021, 0x0022, 0x0023, 0x0024, 0x0025, 0x0026, 0x0027, // 20-27
45     0x0028, 0x0029, 0x002A, 0x002B, 0x002C, 0x002D, 0x002E, 0x002F, // 28-2F
46     0x0030, 0x0031, 0x0032, 0x0033, 0x0034, 0x0035, 0x0036, 0x0037, // 30-37
47     0x0038, 0x0039, 0x003A, 0x003B, 0x003C, 0x003D, 0x003E, 0x003F, // 38-3F
48     0x0040, 0x0041, 0x0042, 0x0043, 0x0044, 0x0045, 0x0046, 0x0047, // 40-47
49     0x0048, 0x0049, 0x004A, 0x004B, 0x004C, 0x004D, 0x004E, 0x004F, // 48-4F
50     0x0050, 0x0051, 0x0052, 0x0053, 0x0054, 0x0055, 0x0056, 0x0057, // 50-57
51     0x0058, 0x0059, 0x005A, 0x005B, 0x005C, 0x005D, 0x005E, 0x005F, // 58-5F
52     0x0060, 0x0061, 0x0062, 0x0063, 0x0064, 0x0065, 0x0066, 0x0067, // 60-67
53     0x0068, 0x0069, 0x006A, 0x006B, 0x006C, 0x006D, 0x006E, 0x006F, // 68-6F
54     0x0070, 0x0071, 0x0072, 0x0073, 0x0074, 0x0075, 0x0076, 0x0077, // 70-77
55     0x0078, 0x0079, 0x007A, 0x007B, 0x007C, 0x007D, 0x007E, 0x007F, // 78-7F
56     0x20AC, 0x0081, 0x201A, 0x0192, 0x201E, 0x2026, 0x2020, 0x2021, // 80-87
57     0x02C6, 0x2030, 0x0160, 0x2039, 0x0152, 0x008D, 0x017D, 0x008F, // 88-8F
58     0x0090, 0x2018, 0x2019, 0x201C, 0x201D, 0x2022, 0x2013, 0x2014, // 90-97
59     0x02DC, 0x2122, 0x0161, 0x203A, 0x0153, 0x009D, 0x017E, 0x0178, // 98-9F
60     0x00A0, 0x00A1, 0x00A2, 0x00A3, 0x00A4, 0x00A5, 0x00A6, 0x00A7, // A0-A7
61     0x00A8, 0x00A9, 0x00AA, 0x00AB, 0x00AC, 0x00AD, 0x00AE, 0x00AF, // A8-AF
62     0x00B0, 0x00B1, 0x00B2, 0x00B3, 0x00B4, 0x00B5, 0x00B6, 0x00B7, // B0-B7
63     0x00B8, 0x00B9, 0x00BA, 0x00BB, 0x00BC, 0x00BD, 0x00BE, 0x00BF, // B8-BF
64     0x00C0, 0x00C1, 0x00C2, 0x00C3, 0x00C4, 0x00C5, 0x00C6, 0x00C7, // C0-C7
65     0x00C8, 0x00C9, 0x00CA, 0x00CB, 0x00CC, 0x00CD, 0x00CE, 0x00CF, // C8-CF
66     0x00D0, 0x00D1, 0x00D2, 0x00D3, 0x00D4, 0x00D5, 0x00D6, 0x00D7, // D0-D7
67     0x00D8, 0x00D9, 0x00DA, 0x00DB, 0x00DC, 0x00DD, 0x00DE, 0x00DF, // D8-DF
68     0x00E0, 0x00E1, 0x00E2, 0x00E3, 0x00E4, 0x00E5, 0x00E6, 0x00E7, // E0-E7
69     0x00E8, 0x00E9, 0x00EA, 0x00EB, 0x00EC, 0x00ED, 0x00EE, 0x00EF, // E8-EF
70     0x00F0, 0x00F1, 0x00F2, 0x00F3, 0x00F4, 0x00F5, 0x00F6, 0x00F7, // F0-F7
71     0x00F8, 0x00F9, 0x00FA, 0x00FB, 0x00FC, 0x00FD, 0x00FE, 0x00FF  // F8-FF
72 };
73
74 void TextCodecLatin1::registerEncodingNames(EncodingNameRegistrar registrar)
75 {
76     // From https://encoding.spec.whatwg.org.
77     registrar("windows-1252", "windows-1252");
78     registrar("ansi_x3.4-1968", "windows-1252");
79     registrar("ascii", "windows-1252");
80     registrar("cp1252", "windows-1252");
81     registrar("cp819", "windows-1252");
82     registrar("csisolatin1", "windows-1252");
83     registrar("ibm819", "windows-1252");
84     registrar("iso-8859-1", "windows-1252");
85     registrar("iso-ir-100", "windows-1252");
86     registrar("iso8859-1", "windows-1252");
87     registrar("iso88591", "windows-1252");
88     registrar("iso_8859-1", "windows-1252");
89     registrar("iso_8859-1:1987", "windows-1252");
90     registrar("l1", "windows-1252");
91     registrar("latin1", "windows-1252");
92     registrar("us-ascii", "windows-1252");
93     registrar("x-cp1252", "windows-1252");
94 }
95
96 void TextCodecLatin1::registerCodecs(TextCodecRegistrar registrar)
97 {
98     registrar("windows-1252", [] {
99         return std::make_unique<TextCodecLatin1>();
100     });
101 }
102
103 String TextCodecLatin1::decode(const char* bytes, size_t length, bool, bool, bool&)
104 {
105     LChar* characters;
106     if (!length)
107         return emptyString();
108     String result = String::createUninitialized(length, characters);
109
110     const uint8_t* source = reinterpret_cast<const uint8_t*>(bytes);
111     const uint8_t* end = reinterpret_cast<const uint8_t*>(bytes + length);
112     const uint8_t* alignedEnd = alignToMachineWord(end);
113     LChar* destination = characters;
114
115     while (source < end) {
116         if (isASCII(*source)) {
117             // Fast path for ASCII. Most Latin-1 text will be ASCII.
118             if (isAlignedToMachineWord(source)) {
119                 while (source < alignedEnd) {
120                     MachineWord chunk = *reinterpret_cast_ptr<const MachineWord*>(source);
121
122                     if (!isAllASCII<LChar>(chunk))
123                         goto useLookupTable;
124
125                     copyASCIIMachineWord(destination, source);
126                     source += sizeof(MachineWord);
127                     destination += sizeof(MachineWord);
128                 }
129
130                 if (source == end)
131                     break;
132
133                 // *source may not be ASCII anymore if source moves inside the loop of the fast code path
134                 if (!isASCII(*source))
135                     goto useLookupTable;
136             }
137             *destination = *source;
138         } else {
139 useLookupTable:
140             if (latin1ConversionTable[*source] > 0xff)
141                 goto upConvertTo16Bit;
142
143             *destination = latin1ConversionTable[*source];
144         }
145
146         ++source;
147         ++destination;
148     }
149
150     return result;
151     
152 upConvertTo16Bit:
153     UChar* characters16;
154     String result16 = String::createUninitialized(length, characters16);
155
156     UChar* destination16 = characters16;
157
158     // Zero extend and copy already processed 8 bit data
159     LChar* ptr8 = characters;
160     LChar* endPtr8 = destination;
161
162     while (ptr8 < endPtr8)
163         *destination16++ = *ptr8++;
164
165     // Handle the character that triggered the 16 bit path
166     *destination16 = latin1ConversionTable[*source];
167     ++source;
168     ++destination16;
169
170     while (source < end) {
171         if (isASCII(*source)) {
172             // Fast path for ASCII. Most Latin-1 text will be ASCII.
173             if (isAlignedToMachineWord(source)) {
174                 while (source < alignedEnd) {
175                     MachineWord chunk = *reinterpret_cast_ptr<const MachineWord*>(source);
176                     
177                     if (!isAllASCII<LChar>(chunk))
178                         goto useLookupTable16;
179                     
180                     copyASCIIMachineWord(destination16, source);
181                     source += sizeof(MachineWord);
182                     destination16 += sizeof(MachineWord);
183                 }
184                 
185                 if (source == end)
186                     break;
187
188                 // *source may not be ASCII anymore if source moves inside the loop of the fast code path
189                 if (!isASCII(*source))
190                     goto useLookupTable16;
191             }
192             *destination16 = *source;
193         } else {
194 useLookupTable16:
195             *destination16 = latin1ConversionTable[*source];
196         }
197         
198         ++source;
199         ++destination16;
200     }
201     
202     return result16;
203 }
204
205 static Vector<uint8_t> encodeComplexWindowsLatin1(StringView string, UnencodableHandling handling)
206 {
207     Vector<uint8_t> result;
208
209     for (auto character : string.codePoints()) {
210         uint8_t b = character;
211         // Do an efficient check to detect characters other than 00-7F and A0-FF.
212         if (b != character || (character & 0xE0) == 0x80) {
213             // Look for a way to encode this with Windows Latin-1.
214             for (b = 0x80; b < 0xA0; ++b) {
215                 if (latin1ConversionTable[b] == character)
216                     goto gotByte;
217             }
218             // No way to encode this character with Windows Latin-1.
219             UnencodableReplacementArray replacement;
220             int replacementLength = TextCodec::getUnencodableReplacement(character, handling, replacement);
221             result.append(replacement.data(), replacementLength);
222             continue;
223         }
224     gotByte:
225         result.append(b);
226     }
227
228     return result;
229 }
230
231 Vector<uint8_t> TextCodecLatin1::encode(StringView string, UnencodableHandling handling)
232 {
233     {
234         Vector<uint8_t> result(string.length());
235         auto* bytes = result.data();
236
237         // Convert and simultaneously do a check to see if it's all ASCII.
238         UChar ored = 0;
239         for (auto character : string.codeUnits()) {
240             *bytes++ = character;
241             ored |= character;
242         }
243
244         if (!(ored & 0xFF80))
245             return result;
246     }
247
248     // If it wasn't all ASCII, call the function that handles more-complex cases.
249     return encodeComplexWindowsLatin1(string, handling);
250 }
251
252 } // namespace WebCore