8d33ee663fb330704a988a2115c0430cb19e36ef
[WebKit-https.git] / Source / WebCore / html / parser / HTMLMetaCharsetParser.cpp
1 /*
2  * Copyright (C) 2010 Google Inc. All Rights Reserved.
3  * Copyright (C) 2015-2016 Apple Inc. All Rights Reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
15  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
25  */
26
27 #include "config.h"
28 #include "HTMLMetaCharsetParser.h"
29
30 #include "HTMLNames.h"
31 #include "HTMLParserIdioms.h"
32 #include "TextEncodingRegistry.h"
33
34 namespace WebCore {
35
36 using namespace HTMLNames;
37
38 HTMLMetaCharsetParser::HTMLMetaCharsetParser()
39     : m_codec(newTextCodec(Latin1Encoding()))
40 {
41 }
42
43 static StringView extractCharset(const String& value)
44 {
45     unsigned length = value.length();
46     for (size_t pos = 0; pos < length; ) {
47         pos = value.findIgnoringASCIICase("charset", pos);
48         if (pos == notFound)
49             break;
50
51         static const size_t charsetLength = sizeof("charset") - 1;
52         pos += charsetLength;
53
54         // Skip whitespace.
55         while (pos < length && value[pos] <= ' ')
56             ++pos;
57
58         if (value[pos] != '=')
59             continue;
60
61         ++pos;
62
63         while (pos < length && value[pos] <= ' ')
64             ++pos;
65
66         UChar quoteMark = 0;
67         if (pos < length && (value[pos] == '"' || value[pos] == '\''))
68             quoteMark = value[pos++];
69
70         if (pos == length)
71             break;
72
73         unsigned end = pos;
74         while (end < length && ((quoteMark && value[end] != quoteMark) || (!quoteMark && value[end] > ' ' && value[end] != '"' && value[end] != '\'' && value[end] != ';')))
75             ++end;
76
77         if (quoteMark && (end == length))
78             break; // Close quote not found.
79
80         return StringView(value).substring(pos, end - pos);
81     }
82     return StringView();
83 }
84
85 bool HTMLMetaCharsetParser::processMeta(HTMLToken& token)
86 {
87     AttributeList attributes;
88     for (auto& attribute : token.attributes()) {
89         String attributeName = StringImpl::create8BitIfPossible(attribute.name);
90         String attributeValue = StringImpl::create8BitIfPossible(attribute.value);
91         attributes.append(std::make_pair(attributeName, attributeValue));
92     }
93
94     m_encoding = encodingFromMetaAttributes(attributes);
95     return m_encoding.isValid();
96 }
97
98 TextEncoding HTMLMetaCharsetParser::encodingFromMetaAttributes(const AttributeList& attributes)
99 {
100     bool gotPragma = false;
101     enum { None, Charset, Pragma } mode = None;
102     StringView charset;
103
104     for (auto& attribute : attributes) {
105         const String& attributeName = attribute.first;
106         const String& attributeValue = attribute.second;
107
108         if (attributeName == http_equivAttr) {
109             if (equalLettersIgnoringASCIICase(attributeValue, "content-type"))
110                 gotPragma = true;
111         } else if (charset.isEmpty()) {
112             if (attributeName == charsetAttr) {
113                 charset = attributeValue;
114                 mode = Charset;
115             } else if (attributeName == contentAttr) {
116                 charset = extractCharset(attributeValue);
117                 if (charset.length())
118                     mode = Pragma;
119             }
120         }
121     }
122
123     if (mode == Charset || (mode == Pragma && gotPragma))
124         return TextEncoding(stripLeadingAndTrailingHTMLSpaces(charset.toStringWithoutCopying()));
125
126     return TextEncoding();
127 }
128
129 bool HTMLMetaCharsetParser::checkForMetaCharset(const char* data, size_t length)
130 {
131     if (m_doneChecking)
132         return true;
133
134     ASSERT(!m_encoding.isValid());
135
136     // We still don't have an encoding, and are in the head.
137     // The following tags are allowed in <head>:
138     // SCRIPT|STYLE|META|LINK|OBJECT|TITLE|BASE
139     //
140     // We stop scanning when a tag that is not permitted in <head>
141     // is seen, rather when </head> is seen, because that more closely
142     // matches behavior in other browsers; more details in
143     // <http://bugs.webkit.org/show_bug.cgi?id=3590>.
144     //
145     // Additionally, we ignore things that looks like tags in <title>, <script>
146     // and <noscript>; see <http://bugs.webkit.org/show_bug.cgi?id=4560>,
147     // <http://bugs.webkit.org/show_bug.cgi?id=12165> and
148     // <http://bugs.webkit.org/show_bug.cgi?id=12389>.
149     //
150     // Since many sites have charset declarations after <body> or other tags
151     // that are disallowed in <head>, we don't bail out until we've checked at
152     // least bytesToCheckUnconditionally bytes of input.
153
154     constexpr int bytesToCheckUnconditionally = 1024;
155
156     m_input.append(m_codec->decode(data, length));
157
158     while (auto token = m_tokenizer.nextToken(m_input)) {
159         bool isEnd = token->type() == HTMLToken::EndTag;
160         if (isEnd || token->type() == HTMLToken::StartTag) {
161             AtomicString tagName(token->name());
162             if (!isEnd) {
163                 m_tokenizer.updateStateFor(tagName);
164                 if (tagName == metaTag && processMeta(*token)) {
165                     m_doneChecking = true;
166                     return true;
167                 }
168             }
169
170             if (tagName != scriptTag && tagName != noscriptTag
171                 && tagName != styleTag && tagName != linkTag
172                 && tagName != metaTag && tagName != objectTag
173                 && tagName != titleTag && tagName != baseTag
174                 && (isEnd || tagName != htmlTag)
175                 && (isEnd || tagName != headTag)) {
176                 m_inHeadSection = false;
177             }
178         }
179
180         if (!m_inHeadSection && m_input.numberOfCharactersConsumed() >= bytesToCheckUnconditionally) {
181             m_doneChecking = true;
182             return true;
183         }
184     }
185
186     return false;
187 }
188
189 }