Content-Type & Nosniff Ignored on XML External Entity Resources
[WebKit.git] / Source / WebCore / xml / parser / XMLDocumentParserLibxml2.cpp
1 /*
2  * Copyright (C) 2000 Peter Kelly <pmk@post.com>
3  * Copyright (C) 2005-2017 Apple Inc. All rights reserved.
4  * Copyright (C) 2006 Alexey Proskuryakov <ap@webkit.org>
5  * Copyright (C) 2007 Samuel Weinig <sam@webkit.org>
6  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
7  * Copyright (C) 2008 Holger Hans Peter Freyther
8  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
9  * Copyright (C) 2010 Patrick Gansterer <paroga@paroga.com>
10  * Copyright (C) 2013 Samsung Electronics. All rights reserved.
11  *
12  * This library is free software; you can redistribute it and/or
13  * modify it under the terms of the GNU Library General Public
14  * License as published by the Free Software Foundation; either
15  * version 2 of the License, or (at your option) any later version.
16  *
17  * This library is distributed in the hope that it will be useful,
18  * but WITHOUT ANY WARRANTY; without even the implied warranty of
19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
20  * Library General Public License for more details.
21  *
22  * You should have received a copy of the GNU Library General Public License
23  * along with this library; see the file COPYING.LIB.  If not, write to
24  * the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
25  * Boston, MA 02110-1301, USA.
26  */
27
28 #include "config.h"
29 #include "XMLDocumentParser.h"
30
31 #include "CDATASection.h"
32 #include "Comment.h"
33 #include "CachedResourceLoader.h"
34 #include "Document.h"
35 #include "DocumentFragment.h"
36 #include "DocumentType.h"
37 #include "Frame.h"
38 #include "FrameLoader.h"
39 #include "HTMLEntityParser.h"
40 #include "HTMLHtmlElement.h"
41 #include "HTMLTemplateElement.h"
42 #include "HTTPParsers.h"
43 #include "InlineClassicScript.h"
44 #include "MIMETypeRegistry.h"
45 #include "PendingScript.h"
46 #include "ProcessingInstruction.h"
47 #include "ResourceError.h"
48 #include "ResourceResponse.h"
49 #include "SVGElement.h"
50 #include "ScriptElement.h"
51 #include "ScriptSourceCode.h"
52 #include "Settings.h"
53 #include "SharedBuffer.h"
54 #include "StyleScope.h"
55 #include "TransformSource.h"
56 #include "XMLNSNames.h"
57 #include "XMLDocumentParserScope.h"
58 #include <libxml/parserInternals.h>
59 #include <wtf/unicode/UTF8Conversion.h>
60
61 #if ENABLE(XSLT)
62 #include "XMLTreeViewer.h"
63 #include <libxslt/xslt.h>
64 #endif
65
66 namespace WebCore {
67
68 #if ENABLE(XSLT)
69
70 static inline bool shouldRenderInXMLTreeViewerMode(Document& document)
71 {
72     if (document.sawElementsInKnownNamespaces())
73         return false;
74
75     if (document.transformSourceDocument())
76         return false;
77
78     auto* frame = document.frame();
79     if (!frame)
80         return false;
81
82     if (!frame->settings().developerExtrasEnabled())
83         return false;
84
85     if (frame->tree().parent())
86         return false; // This document is not in a top frame
87
88     return true;
89 }
90
91 #endif
92
93 class PendingCallbacks {
94     WTF_MAKE_FAST_ALLOCATED;
95 public:
96     void appendStartElementNSCallback(const xmlChar* xmlLocalName, const xmlChar* xmlPrefix, const xmlChar* xmlURI, int numNamespaces, const xmlChar** namespaces, int numAttributes, int numDefaulted, const xmlChar** attributes)
97     {
98         auto callback = makeUnique<PendingStartElementNSCallback>();
99
100         callback->xmlLocalName = xmlStrdup(xmlLocalName);
101         callback->xmlPrefix = xmlStrdup(xmlPrefix);
102         callback->xmlURI = xmlStrdup(xmlURI);
103         callback->numNamespaces = numNamespaces;
104         callback->namespaces = static_cast<xmlChar**>(xmlMalloc(sizeof(xmlChar*) * numNamespaces * 2));
105         for (int i = 0; i < numNamespaces * 2 ; i++)
106             callback->namespaces[i] = xmlStrdup(namespaces[i]);
107         callback->numAttributes = numAttributes;
108         callback->numDefaulted = numDefaulted;
109         callback->attributes = static_cast<xmlChar**>(xmlMalloc(sizeof(xmlChar*) * numAttributes * 5));
110         for (int i = 0; i < numAttributes; i++) {
111             // Each attribute has 5 elements in the array:
112             // name, prefix, uri, value and an end pointer.
113
114             for (int j = 0; j < 3; j++)
115                 callback->attributes[i * 5 + j] = xmlStrdup(attributes[i * 5 + j]);
116
117             int len = attributes[i * 5 + 4] - attributes[i * 5 + 3];
118
119             callback->attributes[i * 5 + 3] = xmlStrndup(attributes[i * 5 + 3], len);
120             callback->attributes[i * 5 + 4] = callback->attributes[i * 5 + 3] + len;
121         }
122
123         m_callbacks.append(WTFMove(callback));
124     }
125
126     void appendEndElementNSCallback()
127     {
128         m_callbacks.append(makeUnique<PendingEndElementNSCallback>());
129     }
130
131     void appendCharactersCallback(const xmlChar* s, int len)
132     {
133         auto callback = makeUnique<PendingCharactersCallback>();
134
135         callback->s = xmlStrndup(s, len);
136         callback->len = len;
137
138         m_callbacks.append(WTFMove(callback));
139     }
140
141     void appendProcessingInstructionCallback(const xmlChar* target, const xmlChar* data)
142     {
143         auto callback = makeUnique<PendingProcessingInstructionCallback>();
144
145         callback->target = xmlStrdup(target);
146         callback->data = xmlStrdup(data);
147
148         m_callbacks.append(WTFMove(callback));
149     }
150
151     void appendCDATABlockCallback(const xmlChar* s, int len)
152     {
153         auto callback = makeUnique<PendingCDATABlockCallback>();
154
155         callback->s = xmlStrndup(s, len);
156         callback->len = len;
157
158         m_callbacks.append(WTFMove(callback));
159     }
160
161     void appendCommentCallback(const xmlChar* s)
162     {
163         auto callback = makeUnique<PendingCommentCallback>();
164
165         callback->s = xmlStrdup(s);
166
167         m_callbacks.append(WTFMove(callback));
168     }
169
170     void appendInternalSubsetCallback(const xmlChar* name, const xmlChar* externalID, const xmlChar* systemID)
171     {
172         auto callback = makeUnique<PendingInternalSubsetCallback>();
173
174         callback->name = xmlStrdup(name);
175         callback->externalID = xmlStrdup(externalID);
176         callback->systemID = xmlStrdup(systemID);
177
178         m_callbacks.append(WTFMove(callback));
179     }
180
181     void appendErrorCallback(XMLErrors::ErrorType type, const xmlChar* message, OrdinalNumber lineNumber, OrdinalNumber columnNumber)
182     {
183         auto callback = makeUnique<PendingErrorCallback>();
184
185         callback->message = xmlStrdup(message);
186         callback->type = type;
187         callback->lineNumber = lineNumber;
188         callback->columnNumber = columnNumber;
189
190         m_callbacks.append(WTFMove(callback));
191     }
192
193     void callAndRemoveFirstCallback(XMLDocumentParser* parser)
194     {
195         std::unique_ptr<PendingCallback> callback = m_callbacks.takeFirst();
196         callback->call(parser);
197     }
198
199     bool isEmpty() const { return m_callbacks.isEmpty(); }
200
201 private:
202     struct PendingCallback {
203         WTF_MAKE_STRUCT_FAST_ALLOCATED;
204         virtual ~PendingCallback() = default;
205         virtual void call(XMLDocumentParser* parser) = 0;
206     };
207
208     struct PendingStartElementNSCallback : public PendingCallback {
209         virtual ~PendingStartElementNSCallback()
210         {
211             xmlFree(xmlLocalName);
212             xmlFree(xmlPrefix);
213             xmlFree(xmlURI);
214             for (int i = 0; i < numNamespaces * 2; i++)
215                 xmlFree(namespaces[i]);
216             xmlFree(namespaces);
217             for (int i = 0; i < numAttributes; i++) {
218                 for (int j = 0; j < 4; j++)
219                     xmlFree(attributes[i * 5 + j]);
220             }
221             xmlFree(attributes);
222         }
223
224         void call(XMLDocumentParser* parser) override
225         {
226             parser->startElementNs(xmlLocalName, xmlPrefix, xmlURI, numNamespaces, const_cast<const xmlChar**>(namespaces), numAttributes, numDefaulted, const_cast<const xmlChar**>(attributes));
227         }
228
229         xmlChar* xmlLocalName;
230         xmlChar* xmlPrefix;
231         xmlChar* xmlURI;
232         int numNamespaces;
233         xmlChar** namespaces;
234         int numAttributes;
235         int numDefaulted;
236         xmlChar** attributes;
237     };
238
239     struct PendingEndElementNSCallback : public PendingCallback {
240         void call(XMLDocumentParser* parser) override
241         {
242             parser->endElementNs();
243         }
244     };
245
246     struct PendingCharactersCallback : public PendingCallback {
247         virtual ~PendingCharactersCallback()
248         {
249             xmlFree(s);
250         }
251
252         void call(XMLDocumentParser* parser) override
253         {
254             parser->characters(s, len);
255         }
256
257         xmlChar* s;
258         int len;
259     };
260
261     struct PendingProcessingInstructionCallback : public PendingCallback {
262         virtual ~PendingProcessingInstructionCallback()
263         {
264             xmlFree(target);
265             xmlFree(data);
266         }
267
268         void call(XMLDocumentParser* parser) override
269         {
270             parser->processingInstruction(target, data);
271         }
272
273         xmlChar* target;
274         xmlChar* data;
275     };
276
277     struct PendingCDATABlockCallback : public PendingCallback {
278         virtual ~PendingCDATABlockCallback()
279         {
280             xmlFree(s);
281         }
282
283         void call(XMLDocumentParser* parser) override
284         {
285             parser->cdataBlock(s, len);
286         }
287
288         xmlChar* s;
289         int len;
290     };
291
292     struct PendingCommentCallback : public PendingCallback {
293         virtual ~PendingCommentCallback()
294         {
295             xmlFree(s);
296         }
297
298         void call(XMLDocumentParser* parser) override
299         {
300             parser->comment(s);
301         }
302
303         xmlChar* s;
304     };
305
306     struct PendingInternalSubsetCallback : public PendingCallback {
307         virtual ~PendingInternalSubsetCallback()
308         {
309             xmlFree(name);
310             xmlFree(externalID);
311             xmlFree(systemID);
312         }
313
314         void call(XMLDocumentParser* parser) override
315         {
316             parser->internalSubset(name, externalID, systemID);
317         }
318
319         xmlChar* name;
320         xmlChar* externalID;
321         xmlChar* systemID;
322     };
323
324     struct PendingErrorCallback: public PendingCallback {
325         virtual ~PendingErrorCallback()
326         {
327             xmlFree(message);
328         }
329
330         void call(XMLDocumentParser* parser) override
331         {
332             parser->handleError(type, reinterpret_cast<char*>(message), TextPosition(lineNumber, columnNumber));
333         }
334
335         XMLErrors::ErrorType type;
336         xmlChar* message;
337         OrdinalNumber lineNumber;
338         OrdinalNumber columnNumber;
339     };
340
341     Deque<std::unique_ptr<PendingCallback>> m_callbacks;
342 };
343 // --------------------------------
344
345 static int globalDescriptor = 0;
346 static Thread* libxmlLoaderThread { nullptr };
347
348 static int matchFunc(const char*)
349 {
350     // Only match loads initiated due to uses of libxml2 from within XMLDocumentParser to avoid
351     // interfering with client applications that also use libxml2.  http://bugs.webkit.org/show_bug.cgi?id=17353
352     return XMLDocumentParserScope::currentCachedResourceLoader && libxmlLoaderThread == &Thread::current();
353 }
354
355 class OffsetBuffer {
356     WTF_MAKE_FAST_ALLOCATED;
357 public:
358     OffsetBuffer(Vector<char> buffer)
359         : m_buffer(WTFMove(buffer))
360         , m_currentOffset(0)
361     {
362     }
363
364     int readOutBytes(char* outputBuffer, unsigned askedToRead)
365     {
366         unsigned bytesLeft = m_buffer.size() - m_currentOffset;
367         unsigned lenToCopy = std::min(askedToRead, bytesLeft);
368         if (lenToCopy) {
369             memcpy(outputBuffer, m_buffer.data() + m_currentOffset, lenToCopy);
370             m_currentOffset += lenToCopy;
371         }
372         return lenToCopy;
373     }
374
375 private:
376     Vector<char> m_buffer;
377     unsigned m_currentOffset;
378 };
379
380 static bool externalEntityMimeTypeAllowedByNosniff(const ResourceResponse& response)
381 {
382     ContentTypeOptionsDisposition contentTypeOption = parseContentTypeOptionsHeader(response.httpHeaderField(HTTPHeaderName::XContentTypeOptions));
383     if (contentTypeOption != ContentTypeOptionsNosniff) {
384         // Allow any MIME type without 'X-Content-Type-Options: nosniff' HTTP header.
385         return true;
386     }
387     String mimeType = extractMIMETypeFromMediaType(response.httpHeaderField(HTTPHeaderName::ContentType));
388     if (MIMETypeRegistry::isXMLMIMEType(mimeType) || MIMETypeRegistry::isXMLEntityMIMEType(mimeType))
389         return true;
390     return false;
391 }
392
393 static inline void setAttributes(Element* element, Vector<Attribute>& attributeVector, ParserContentPolicy parserContentPolicy)
394 {
395     if (!scriptingContentIsAllowed(parserContentPolicy))
396         element->stripScriptingAttributes(attributeVector);
397     element->parserSetAttributes(attributeVector);
398 }
399
400 static void switchToUTF16(xmlParserCtxtPtr ctxt)
401 {
402     // Hack around libxml2's lack of encoding overide support by manually
403     // resetting the encoding to UTF-16 before every chunk.  Otherwise libxml
404     // will detect <?xml version="1.0" encoding="<encoding name>"?> blocks
405     // and switch encodings, causing the parse to fail.
406
407     // FIXME: Can we just use XML_PARSE_IGNORE_ENC now?
408
409     const UChar BOM = 0xFEFF;
410     const unsigned char BOMHighByte = *reinterpret_cast<const unsigned char*>(&BOM);
411     xmlSwitchEncoding(ctxt, BOMHighByte == 0xFF ? XML_CHAR_ENCODING_UTF16LE : XML_CHAR_ENCODING_UTF16BE);
412 }
413
414 static bool shouldAllowExternalLoad(const URL& url)
415 {
416     String urlString = url.string();
417
418     // On non-Windows platforms libxml asks for this URL, the "XML_XML_DEFAULT_CATALOG", on initialization.
419     if (urlString == "file:///etc/xml/catalog")
420         return false;
421
422     // On Windows, libxml computes a URL relative to where its DLL resides.
423     if (startsWithLettersIgnoringASCIICase(urlString, "file:///") && urlString.endsWithIgnoringASCIICase("/etc/catalog"))
424         return false;
425
426     // The most common DTD. There isn't much point in hammering www.w3c.org by requesting this for every XHTML document.
427     if (startsWithLettersIgnoringASCIICase(urlString, "http://www.w3.org/tr/xhtml"))
428         return false;
429
430     // Similarly, there isn't much point in requesting the SVG DTD.
431     if (startsWithLettersIgnoringASCIICase(urlString, "http://www.w3.org/graphics/svg"))
432         return false;
433
434     // The libxml doesn't give us a lot of context for deciding whether to
435     // allow this request.  In the worst case, this load could be for an
436     // external entity and the resulting document could simply read the
437     // retrieved content.  If we had more context, we could potentially allow
438     // the parser to load a DTD.  As things stand, we take the conservative
439     // route and allow same-origin requests only.
440     if (!XMLDocumentParserScope::currentCachedResourceLoader->document()->securityOrigin().canRequest(url)) {
441         XMLDocumentParserScope::currentCachedResourceLoader->printAccessDeniedMessage(url);
442         return false;
443     }
444
445     return true;
446 }
447
448 static void* openFunc(const char* uri)
449 {
450     ASSERT(XMLDocumentParserScope::currentCachedResourceLoader);
451     ASSERT(libxmlLoaderThread == &Thread::current());
452
453     URL url(URL(), uri);
454
455     if (!shouldAllowExternalLoad(url))
456         return &globalDescriptor;
457
458     ResourceError error;
459     ResourceResponse response;
460     RefPtr<SharedBuffer> data;
461
462
463     {
464         CachedResourceLoader* cachedResourceLoader = XMLDocumentParserScope::currentCachedResourceLoader;
465         XMLDocumentParserScope scope(nullptr);
466         // FIXME: We should restore the original global error handler as well.
467
468         if (cachedResourceLoader->frame()) {
469             FetchOptions options;
470             options.mode = FetchOptions::Mode::SameOrigin;
471             options.credentials = FetchOptions::Credentials::Include;
472             cachedResourceLoader->frame()->loader().loadResourceSynchronously(url, ClientCredentialPolicy::MayAskClientForCredentials, options, { }, error, response, data);
473             if (!externalEntityMimeTypeAllowedByNosniff(response)) {
474                 data = nullptr;
475                 if (Page* page = cachedResourceLoader->document()->page())
476                     page->console().addMessage(MessageSource::Security, MessageLevel::Error, makeString("Did not parse external entity resource at '", url.stringCenterEllipsizedToLength(), "' because non XML External Entity MIME types are not allowed when 'X-Content-Type-Options: nosniff' is given."));
477             }
478         }
479     }
480
481     // We have to check the URL again after the load to catch redirects.
482     // See <https://bugs.webkit.org/show_bug.cgi?id=21963>.
483     if (!shouldAllowExternalLoad(response.url()))
484         return &globalDescriptor;
485     Vector<char> buffer;
486     if (data)
487         buffer.append(data->data(), data->size());
488     return new OffsetBuffer(WTFMove(buffer));
489 }
490
491 static int readFunc(void* context, char* buffer, int len)
492 {
493     // Do 0-byte reads in case of a null descriptor
494     if (context == &globalDescriptor)
495         return 0;
496
497     OffsetBuffer* data = static_cast<OffsetBuffer*>(context);
498     return data->readOutBytes(buffer, len);
499 }
500
501 static int writeFunc(void*, const char*, int)
502 {
503     // Always just do 0-byte writes
504     return 0;
505 }
506
507 static int closeFunc(void* context)
508 {
509     if (context != &globalDescriptor) {
510         OffsetBuffer* data = static_cast<OffsetBuffer*>(context);
511         delete data;
512     }
513     return 0;
514 }
515
516 #if ENABLE(XSLT)
517 static void errorFunc(void*, const char*, ...)
518 {
519     // FIXME: It would be nice to display error messages somewhere.
520 }
521 #endif
522
523 static void initializeXMLParser()
524 {
525     static std::once_flag flag;
526     std::call_once(flag, [&] {
527         xmlInitParser();
528         xmlRegisterInputCallbacks(matchFunc, openFunc, readFunc, closeFunc);
529         xmlRegisterOutputCallbacks(matchFunc, openFunc, writeFunc, closeFunc);
530         libxmlLoaderThread = &Thread::current();
531     });
532 }
533
534 Ref<XMLParserContext> XMLParserContext::createStringParser(xmlSAXHandlerPtr handlers, void* userData)
535 {
536     initializeXMLParser();
537
538     xmlParserCtxtPtr parser = xmlCreatePushParserCtxt(handlers, 0, 0, 0, 0);
539     parser->_private = userData;
540
541     // Substitute entities.
542     xmlCtxtUseOptions(parser, XML_PARSE_NOENT | XML_PARSE_HUGE);
543
544     switchToUTF16(parser);
545
546     return adoptRef(*new XMLParserContext(parser));
547 }
548
549
550 // Chunk should be encoded in UTF-8
551 RefPtr<XMLParserContext> XMLParserContext::createMemoryParser(xmlSAXHandlerPtr handlers, void* userData, const CString& chunk)
552 {
553     initializeXMLParser();
554
555     // appendFragmentSource() checks that the length doesn't overflow an int.
556     xmlParserCtxtPtr parser = xmlCreateMemoryParserCtxt(chunk.data(), chunk.length());
557
558     if (!parser)
559         return 0;
560
561     memcpy(parser->sax, handlers, sizeof(xmlSAXHandler));
562
563     // Substitute entities.
564     // FIXME: Why is XML_PARSE_NODICT needed? This is different from what createStringParser does.
565     xmlCtxtUseOptions(parser, XML_PARSE_NODICT | XML_PARSE_NOENT | XML_PARSE_HUGE);
566
567     // Internal initialization
568     parser->sax2 = 1;
569     parser->instate = XML_PARSER_CONTENT; // We are parsing a CONTENT
570     parser->depth = 0;
571     parser->str_xml = xmlDictLookup(parser->dict, reinterpret_cast<xmlChar*>(const_cast<char*>("xml")), 3);
572     parser->str_xmlns = xmlDictLookup(parser->dict, reinterpret_cast<xmlChar*>(const_cast<char*>("xmlns")), 5);
573     parser->str_xml_ns = xmlDictLookup(parser->dict, XML_XML_NAMESPACE, 36);
574     parser->_private = userData;
575
576     return adoptRef(*new XMLParserContext(parser));
577 }
578
579 // --------------------------------
580
581 bool XMLDocumentParser::supportsXMLVersion(const String& version)
582 {
583     return version == "1.0";
584 }
585
586 XMLDocumentParser::XMLDocumentParser(Document& document, FrameView* frameView)
587     : ScriptableDocumentParser(document)
588     , m_view(frameView)
589     , m_pendingCallbacks(makeUnique<PendingCallbacks>())
590     , m_currentNode(&document)
591     , m_scriptStartPosition(TextPosition::belowRangePosition())
592 {
593 }
594
595 XMLDocumentParser::XMLDocumentParser(DocumentFragment& fragment, HashMap<AtomString, AtomString>&& prefixToNamespaceMap, const AtomString& defaultNamespaceURI, ParserContentPolicy parserContentPolicy)
596     : ScriptableDocumentParser(fragment.document(), parserContentPolicy)
597     , m_pendingCallbacks(makeUnique<PendingCallbacks>())
598     , m_currentNode(&fragment)
599     , m_scriptStartPosition(TextPosition::belowRangePosition())
600     , m_parsingFragment(true)
601     , m_prefixToNamespaceMap(WTFMove(prefixToNamespaceMap))
602     , m_defaultNamespaceURI(defaultNamespaceURI)
603 {
604     fragment.ref();
605 }
606
607 XMLParserContext::~XMLParserContext()
608 {
609     if (m_context->myDoc)
610         xmlFreeDoc(m_context->myDoc);
611     xmlFreeParserCtxt(m_context);
612 }
613
614 XMLDocumentParser::~XMLDocumentParser()
615 {
616     // The XMLDocumentParser will always be detached before being destroyed.
617     ASSERT(m_currentNodeStack.isEmpty());
618     ASSERT(!m_currentNode);
619
620     // FIXME: m_pendingScript handling should be moved into XMLDocumentParser.cpp!
621     if (m_pendingScript)
622         m_pendingScript->clearClient();
623 }
624
625 void XMLDocumentParser::doWrite(const String& parseString)
626 {
627     ASSERT(!isDetached());
628     if (!m_context)
629         initializeParserContext();
630
631     // Protect the libxml context from deletion during a callback
632     RefPtr<XMLParserContext> context = m_context;
633
634     // libXML throws an error if you try to switch the encoding for an empty string.
635     if (parseString.length()) {
636         // JavaScript may cause the parser to detach during xmlParseChunk
637         // keep this alive until this function is done.
638         Ref<XMLDocumentParser> protectedThis(*this);
639
640         XMLDocumentParserScope scope(&document()->cachedResourceLoader());
641
642         // FIXME: Can we parse 8-bit strings directly as Latin-1 instead of upconverting to UTF-16?
643         switchToUTF16(context->context());
644         xmlParseChunk(context->context(), reinterpret_cast<const char*>(StringView(parseString).upconvertedCharacters().get()), sizeof(UChar) * parseString.length(), 0);
645
646         // JavaScript (which may be run under the xmlParseChunk callstack) may
647         // cause the parser to be stopped or detached.
648         if (isStopped())
649             return;
650     }
651
652     // FIXME: Why is this here?  And why is it after we process the passed source?
653     if (document()->decoder() && document()->decoder()->sawError()) {
654         // If the decoder saw an error, report it as fatal (stops parsing)
655         TextPosition position(OrdinalNumber::fromOneBasedInt(context->context()->input->line), OrdinalNumber::fromOneBasedInt(context->context()->input->col));
656         handleError(XMLErrors::fatal, "Encoding error", position);
657     }
658 }
659
660 static inline String toString(const xmlChar* string, size_t size)
661 {
662     return String::fromUTF8(reinterpret_cast<const char*>(string), size);
663 }
664
665 static inline String toString(const xmlChar* string)
666 {
667     return String::fromUTF8(reinterpret_cast<const char*>(string));
668 }
669
670 static inline AtomString toAtomString(const xmlChar* string, size_t size)
671 {
672     return AtomString::fromUTF8(reinterpret_cast<const char*>(string), size);
673 }
674
675 static inline AtomString toAtomString(const xmlChar* string)
676 {
677     return AtomString::fromUTF8(reinterpret_cast<const char*>(string));
678 }
679
680 struct _xmlSAX2Namespace {
681     const xmlChar* prefix;
682     const xmlChar* uri;
683 };
684 typedef struct _xmlSAX2Namespace xmlSAX2Namespace;
685
686 static inline bool handleNamespaceAttributes(Vector<Attribute>& prefixedAttributes, const xmlChar** libxmlNamespaces, int numNamespaces)
687 {
688     xmlSAX2Namespace* namespaces = reinterpret_cast<xmlSAX2Namespace*>(libxmlNamespaces);
689     for (int i = 0; i < numNamespaces; i++) {
690         AtomString namespaceQName = xmlnsAtom();
691         AtomString namespaceURI = toAtomString(namespaces[i].uri);
692         if (namespaces[i].prefix)
693             namespaceQName = "xmlns:" + toString(namespaces[i].prefix);
694
695         auto result = Element::parseAttributeName(XMLNSNames::xmlnsNamespaceURI, namespaceQName);
696         if (result.hasException())
697             return false;
698
699         prefixedAttributes.append(Attribute(result.releaseReturnValue(), namespaceURI));
700     }
701     return true;
702 }
703
704 struct _xmlSAX2Attributes {
705     const xmlChar* localname;
706     const xmlChar* prefix;
707     const xmlChar* uri;
708     const xmlChar* value;
709     const xmlChar* end;
710 };
711 typedef struct _xmlSAX2Attributes xmlSAX2Attributes;
712
713 static inline bool handleElementAttributes(Vector<Attribute>& prefixedAttributes, const xmlChar** libxmlAttributes, int numAttributes)
714 {
715     xmlSAX2Attributes* attributes = reinterpret_cast<xmlSAX2Attributes*>(libxmlAttributes);
716     for (int i = 0; i < numAttributes; i++) {
717         int valueLength = static_cast<int>(attributes[i].end - attributes[i].value);
718         AtomString attrValue = toAtomString(attributes[i].value, valueLength);
719         String attrPrefix = toString(attributes[i].prefix);
720         AtomString attrURI = attrPrefix.isEmpty() ? nullAtom() : toAtomString(attributes[i].uri);
721         AtomString attrQName = attrPrefix.isEmpty() ? toAtomString(attributes[i].localname) : attrPrefix + ":" + toString(attributes[i].localname);
722
723         auto result = Element::parseAttributeName(attrURI, attrQName);
724         if (result.hasException())
725             return false;
726
727         prefixedAttributes.append(Attribute(result.releaseReturnValue(), attrValue));
728     }
729     return true;
730 }
731
732 // This is a hack around https://bugzilla.gnome.org/show_bug.cgi?id=502960
733 // Otherwise libxml doesn't include namespace for parsed entities, breaking entity
734 // expansion for all entities containing elements.
735 static inline bool hackAroundLibXMLEntityParsingBug()
736 {
737 #if LIBXML_VERSION >= 20704
738     // This bug has been fixed in libxml 2.7.4.
739     return false;
740 #else
741     return true;
742 #endif
743 }
744
745 void XMLDocumentParser::startElementNs(const xmlChar* xmlLocalName, const xmlChar* xmlPrefix, const xmlChar* xmlURI, int numNamespaces, const xmlChar** libxmlNamespaces, int numAttributes, int numDefaulted, const xmlChar** libxmlAttributes)
746 {
747     if (isStopped())
748         return;
749
750     if (m_parserPaused) {
751         m_pendingCallbacks->appendStartElementNSCallback(xmlLocalName, xmlPrefix, xmlURI, numNamespaces, libxmlNamespaces, numAttributes, numDefaulted, libxmlAttributes);
752         return;
753     }
754
755     if (!updateLeafTextNode())
756         return;
757
758     AtomString localName = toAtomString(xmlLocalName);
759     AtomString uri = toAtomString(xmlURI);
760     AtomString prefix = toAtomString(xmlPrefix);
761
762     if (m_parsingFragment && uri.isNull()) {
763         if (!prefix.isNull())
764             uri = m_prefixToNamespaceMap.get(prefix);
765         else if (is<SVGElement>(m_currentNode) || localName == SVGNames::svgTag->localName())
766             uri = SVGNames::svgNamespaceURI;
767         else
768             uri = m_defaultNamespaceURI;
769     }
770
771     // If libxml entity parsing is broken, transfer the currentNodes' namespaceURI to the new node,
772     // if we're currently expanding elements which originate from an entity declaration.
773     if (hackAroundLibXMLEntityParsingBug() && depthTriggeringEntityExpansion() != -1 && context()->depth > depthTriggeringEntityExpansion() && uri.isNull() && prefix.isNull())
774         uri = m_currentNode->namespaceURI();
775
776     bool isFirstElement = !m_sawFirstElement;
777     m_sawFirstElement = true;
778
779     QualifiedName qName(prefix, localName, uri);
780     auto newElement = m_currentNode->document().createElement(qName, true);
781
782     Vector<Attribute> prefixedAttributes;
783     if (!handleNamespaceAttributes(prefixedAttributes, libxmlNamespaces, numNamespaces)) {
784         setAttributes(newElement.ptr(), prefixedAttributes, parserContentPolicy());
785         stopParsing();
786         return;
787     }
788
789     bool success = handleElementAttributes(prefixedAttributes, libxmlAttributes, numAttributes);
790     setAttributes(newElement.ptr(), prefixedAttributes, parserContentPolicy());
791     if (!success) {
792         stopParsing();
793         return;
794     }
795
796     newElement->beginParsingChildren();
797
798     if (isScriptElement(newElement.get()))
799         m_scriptStartPosition = textPosition();
800
801     m_currentNode->parserAppendChild(newElement);
802     if (!m_currentNode) // Synchronous DOM events may have removed the current node.
803         return;
804
805     if (is<HTMLTemplateElement>(newElement))
806         pushCurrentNode(&downcast<HTMLTemplateElement>(newElement.get()).content());
807     else
808         pushCurrentNode(newElement.ptr());
809
810     if (is<HTMLHtmlElement>(newElement))
811         downcast<HTMLHtmlElement>(newElement.get()).insertedByParser();
812
813     if (!m_parsingFragment && isFirstElement && document()->frame())
814         document()->frame()->injectUserScripts(InjectAtDocumentStart);
815 }
816
817 void XMLDocumentParser::endElementNs()
818 {
819     if (isStopped())
820         return;
821
822     if (m_parserPaused) {
823         m_pendingCallbacks->appendEndElementNSCallback();
824         return;
825     }
826
827     // JavaScript can detach the parser.  Make sure this is not released
828     // before the end of this method.
829     Ref<XMLDocumentParser> protectedThis(*this);
830
831     if (!updateLeafTextNode())
832         return;
833
834     RefPtr<ContainerNode> node = m_currentNode;
835     node->finishParsingChildren();
836
837     // Once we reach the depth again where entity expansion started, stop executing the work-around.
838     if (hackAroundLibXMLEntityParsingBug() && context()->depth <= depthTriggeringEntityExpansion())
839         setDepthTriggeringEntityExpansion(-1);
840
841     if (!scriptingContentIsAllowed(parserContentPolicy()) && is<Element>(*node) && isScriptElement(downcast<Element>(*node))) {
842         popCurrentNode();
843         node->remove();
844         return;
845     }
846
847     if (!node->isElementNode() || !m_view) {
848         popCurrentNode();
849         return;
850     }
851
852     auto& element = downcast<Element>(*node);
853
854     // The element's parent may have already been removed from document.
855     // Parsing continues in this case, but scripts aren't executed.
856     if (!element.isConnected()) {
857         popCurrentNode();
858         return;
859     }
860
861     if (!isScriptElement(element)) {
862         popCurrentNode();
863         return;
864     }
865
866     // Don't load external scripts for standalone documents (for now).
867     ASSERT(!m_pendingScript);
868     m_requestingScript = true;
869
870     auto& scriptElement = downcastScriptElement(element);
871     if (scriptElement.prepareScript(m_scriptStartPosition, ScriptElement::AllowLegacyTypeInTypeAttribute)) {
872         // FIXME: Script execution should be shared between
873         // the libxml2 and Qt XMLDocumentParser implementations.
874
875         if (scriptElement.readyToBeParserExecuted())
876             scriptElement.executeClassicScript(ScriptSourceCode(scriptElement.scriptContent(), URL(document()->url()), m_scriptStartPosition, JSC::SourceProviderSourceType::Program, InlineClassicScript::create(scriptElement)));
877         else if (scriptElement.willBeParserExecuted() && scriptElement.loadableScript()) {
878             m_pendingScript = PendingScript::create(scriptElement, *scriptElement.loadableScript());
879             m_pendingScript->setClient(*this);
880
881             // m_pendingScript will be nullptr if script was already loaded and setClient() executed it.
882             if (m_pendingScript)
883                 pauseParsing();
884         }
885
886         // JavaScript may have detached the parser
887         if (isDetached())
888             return;
889     }
890     m_requestingScript = false;
891     popCurrentNode();
892 }
893
894 void XMLDocumentParser::characters(const xmlChar* characters, int length)
895 {
896     if (isStopped())
897         return;
898
899     if (m_parserPaused) {
900         m_pendingCallbacks->appendCharactersCallback(characters, length);
901         return;
902     }
903
904     if (!m_leafTextNode)
905         createLeafTextNode();
906     m_bufferedText.append(characters, length);
907 }
908
909 void XMLDocumentParser::error(XMLErrors::ErrorType type, const char* message, va_list args)
910 {
911     if (isStopped())
912         return;
913
914     va_list preflightArgs;
915     va_copy(preflightArgs, args);
916     size_t stringLength = vsnprintf(nullptr, 0, message, preflightArgs);
917     va_end(preflightArgs);
918
919     Vector<char, 1024> buffer(stringLength + 1);
920     vsnprintf(buffer.data(), stringLength + 1, message, args);
921
922     TextPosition position = textPosition();
923     if (m_parserPaused)
924         m_pendingCallbacks->appendErrorCallback(type, reinterpret_cast<const xmlChar*>(buffer.data()), position.m_line, position.m_column);
925     else
926         handleError(type, buffer.data(), textPosition());
927 }
928
929 void XMLDocumentParser::processingInstruction(const xmlChar* target, const xmlChar* data)
930 {
931     if (isStopped())
932         return;
933
934     if (m_parserPaused) {
935         m_pendingCallbacks->appendProcessingInstructionCallback(target, data);
936         return;
937     }
938
939     if (!updateLeafTextNode())
940         return;
941
942     auto result = m_currentNode->document().createProcessingInstruction(toString(target), toString(data));
943     if (result.hasException())
944         return;
945     auto pi = result.releaseReturnValue();
946
947     pi->setCreatedByParser(true);
948
949     m_currentNode->parserAppendChild(pi);
950
951     pi->finishParsingChildren();
952
953     if (pi->isCSS())
954         m_sawCSS = true;
955
956 #if ENABLE(XSLT)
957     m_sawXSLTransform = !m_sawFirstElement && pi->isXSL();
958     if (m_sawXSLTransform && !document()->transformSourceDocument())
959         stopParsing();
960 #endif
961 }
962
963 void XMLDocumentParser::cdataBlock(const xmlChar* s, int len)
964 {
965     if (isStopped())
966         return;
967
968     if (m_parserPaused) {
969         m_pendingCallbacks->appendCDATABlockCallback(s, len);
970         return;
971     }
972
973     if (!updateLeafTextNode())
974         return;
975
976     m_currentNode->parserAppendChild(CDATASection::create(m_currentNode->document(), toString(s, len)));
977 }
978
979 void XMLDocumentParser::comment(const xmlChar* s)
980 {
981     if (isStopped())
982         return;
983
984     if (m_parserPaused) {
985         m_pendingCallbacks->appendCommentCallback(s);
986         return;
987     }
988
989     if (!updateLeafTextNode())
990         return;
991
992     m_currentNode->parserAppendChild(Comment::create(m_currentNode->document(), toString(s)));
993 }
994
995 enum StandaloneInfo {
996     StandaloneUnspecified = -2,
997     NoXMlDeclaration,
998     StandaloneNo,
999     StandaloneYes
1000 };
1001
1002 void XMLDocumentParser::startDocument(const xmlChar* version, const xmlChar* encoding, int standalone)
1003 {
1004     StandaloneInfo standaloneInfo = (StandaloneInfo)standalone;
1005     if (standaloneInfo == NoXMlDeclaration) {
1006         document()->setHasXMLDeclaration(false);
1007         return;
1008     }
1009
1010     if (version)
1011         document()->setXMLVersion(toString(version));
1012     if (standalone != StandaloneUnspecified)
1013         document()->setXMLStandalone(standaloneInfo == StandaloneYes);
1014     if (encoding)
1015         document()->setXMLEncoding(toString(encoding));
1016     document()->setHasXMLDeclaration(true);
1017 }
1018
1019 void XMLDocumentParser::endDocument()
1020 {
1021     updateLeafTextNode();
1022 }
1023
1024 void XMLDocumentParser::internalSubset(const xmlChar* name, const xmlChar* externalID, const xmlChar* systemID)
1025 {
1026     if (isStopped())
1027         return;
1028
1029     if (m_parserPaused) {
1030         m_pendingCallbacks->appendInternalSubsetCallback(name, externalID, systemID);
1031         return;
1032     }
1033
1034     if (document())
1035         document()->parserAppendChild(DocumentType::create(*document(), toString(name), toString(externalID), toString(systemID)));
1036 }
1037
1038 static inline XMLDocumentParser* getParser(void* closure)
1039 {
1040     xmlParserCtxtPtr ctxt = static_cast<xmlParserCtxtPtr>(closure);
1041     return static_cast<XMLDocumentParser*>(ctxt->_private);
1042 }
1043
1044 // This is a hack around http://bugzilla.gnome.org/show_bug.cgi?id=159219
1045 // Otherwise libxml seems to call all the SAX callbacks twice for any replaced entity.
1046 static inline bool hackAroundLibXMLEntityBug(void* closure)
1047 {
1048 #if LIBXML_VERSION >= 20627
1049     // This bug has been fixed in libxml 2.6.27.
1050     UNUSED_PARAM(closure);
1051     return false;
1052 #else
1053     return static_cast<xmlParserCtxtPtr>(closure)->node;
1054 #endif
1055 }
1056
1057 static void startElementNsHandler(void* closure, const xmlChar* localname, const xmlChar* prefix, const xmlChar* uri, int numNamespaces, const xmlChar** namespaces, int numAttributes, int numDefaulted, const xmlChar** libxmlAttributes)
1058 {
1059     if (hackAroundLibXMLEntityBug(closure))
1060         return;
1061
1062     getParser(closure)->startElementNs(localname, prefix, uri, numNamespaces, namespaces, numAttributes, numDefaulted, libxmlAttributes);
1063 }
1064
1065 static void endElementNsHandler(void* closure, const xmlChar*, const xmlChar*, const xmlChar*)
1066 {
1067     if (hackAroundLibXMLEntityBug(closure))
1068         return;
1069
1070     getParser(closure)->endElementNs();
1071 }
1072
1073 static void charactersHandler(void* closure, const xmlChar* s, int len)
1074 {
1075     if (hackAroundLibXMLEntityBug(closure))
1076         return;
1077
1078     getParser(closure)->characters(s, len);
1079 }
1080
1081 static void processingInstructionHandler(void* closure, const xmlChar* target, const xmlChar* data)
1082 {
1083     if (hackAroundLibXMLEntityBug(closure))
1084         return;
1085
1086     getParser(closure)->processingInstruction(target, data);
1087 }
1088
1089 static void cdataBlockHandler(void* closure, const xmlChar* s, int len)
1090 {
1091     if (hackAroundLibXMLEntityBug(closure))
1092         return;
1093
1094     getParser(closure)->cdataBlock(s, len);
1095 }
1096
1097 static void commentHandler(void* closure, const xmlChar* comment)
1098 {
1099     if (hackAroundLibXMLEntityBug(closure))
1100         return;
1101
1102     getParser(closure)->comment(comment);
1103 }
1104
1105 WTF_ATTRIBUTE_PRINTF(2, 3)
1106 static void warningHandler(void* closure, const char* message, ...)
1107 {
1108     va_list args;
1109     va_start(args, message);
1110     getParser(closure)->error(XMLErrors::warning, message, args);
1111     va_end(args);
1112 }
1113
1114 WTF_ATTRIBUTE_PRINTF(2, 3)
1115 static void fatalErrorHandler(void* closure, const char* message, ...)
1116 {
1117     va_list args;
1118     va_start(args, message);
1119     getParser(closure)->error(XMLErrors::fatal, message, args);
1120     va_end(args);
1121 }
1122
1123 WTF_ATTRIBUTE_PRINTF(2, 3)
1124 static void normalErrorHandler(void* closure, const char* message, ...)
1125 {
1126     va_list args;
1127     va_start(args, message);
1128     getParser(closure)->error(XMLErrors::nonFatal, message, args);
1129     va_end(args);
1130 }
1131
1132 // Using a static entity and marking it XML_INTERNAL_PREDEFINED_ENTITY is
1133 // a hack to avoid malloc/free. Using a global variable like this could cause trouble
1134 // if libxml implementation details were to change
1135 static xmlChar sharedXHTMLEntityResult[9] = {0, 0, 0, 0, 0, 0, 0, 0, 0};
1136
1137 static xmlEntityPtr sharedXHTMLEntity()
1138 {
1139     static xmlEntity entity;
1140     if (!entity.type) {
1141         entity.type = XML_ENTITY_DECL;
1142         entity.orig = sharedXHTMLEntityResult;
1143         entity.content = sharedXHTMLEntityResult;
1144         entity.etype = XML_INTERNAL_PREDEFINED_ENTITY;
1145     }
1146     return &entity;
1147 }
1148
1149 static size_t convertUTF16EntityToUTF8(const UChar* utf16Entity, size_t numberOfCodeUnits, char* target, size_t targetSize)
1150 {
1151     const char* originalTarget = target;
1152     auto conversionResult = WTF::Unicode::convertUTF16ToUTF8(&utf16Entity, utf16Entity + numberOfCodeUnits, &target, target + targetSize);
1153     if (conversionResult != WTF::Unicode::ConversionOK)
1154         return 0;
1155
1156     // Even though we must pass the length, libxml expects the entity string to be null terminated.
1157     ASSERT(target >= originalTarget + 1);
1158     *target = '\0';
1159     return target - originalTarget;
1160 }
1161
1162 static xmlEntityPtr getXHTMLEntity(const xmlChar* name)
1163 {
1164     UChar utf16DecodedEntity[4];
1165     size_t numberOfCodeUnits = decodeNamedEntityToUCharArray(reinterpret_cast<const char*>(name), utf16DecodedEntity);
1166     if (!numberOfCodeUnits)
1167         return 0;
1168
1169     ASSERT(numberOfCodeUnits <= 4);
1170     size_t entityLengthInUTF8 = convertUTF16EntityToUTF8(utf16DecodedEntity, numberOfCodeUnits,
1171         reinterpret_cast<char*>(sharedXHTMLEntityResult), WTF_ARRAY_LENGTH(sharedXHTMLEntityResult));
1172     if (!entityLengthInUTF8)
1173         return 0;
1174
1175     xmlEntityPtr entity = sharedXHTMLEntity();
1176     entity->length = entityLengthInUTF8;
1177     entity->name = name;
1178     return entity;
1179 }
1180
1181 static void entityDeclarationHandler(void* closure, const xmlChar* name, int type, const xmlChar* publicId, const xmlChar* systemId, xmlChar* content)
1182 {
1183     // Prevent the next call to getEntityHandler() to record the entity expansion depth.
1184     // We're parsing the entity declaration, so there's no need to record anything.
1185     // We only need to record the depth, if we're actually expanding the entity, when it's referenced.
1186     if (hackAroundLibXMLEntityParsingBug())
1187         getParser(closure)->setIsParsingEntityDeclaration(true);
1188     xmlSAX2EntityDecl(closure, name, type, publicId, systemId, content);
1189 }
1190
1191 static xmlEntityPtr getEntityHandler(void* closure, const xmlChar* name)
1192 {
1193     xmlParserCtxtPtr ctxt = static_cast<xmlParserCtxtPtr>(closure);
1194
1195     XMLDocumentParser* parser = getParser(closure);
1196     if (hackAroundLibXMLEntityParsingBug()) {
1197         if (parser->isParsingEntityDeclaration()) {
1198             // We're parsing the entity declarations (not an entity reference), no need to do anything special.
1199             parser->setIsParsingEntityDeclaration(false);
1200             ASSERT(parser->depthTriggeringEntityExpansion() == -1);
1201         } else {
1202             // The entity will be used and eventually expanded. Record the current parser depth
1203             // so the next call to startElementNs() knows that the new element originates from
1204             // an entity declaration.
1205             parser->setDepthTriggeringEntityExpansion(ctxt->depth);
1206         }
1207     }
1208
1209     xmlEntityPtr ent = xmlGetPredefinedEntity(name);
1210     if (ent) {
1211         ent->etype = XML_INTERNAL_PREDEFINED_ENTITY;
1212         return ent;
1213     }
1214
1215     ent = xmlGetDocEntity(ctxt->myDoc, name);
1216     if (!ent && parser->isXHTMLDocument()) {
1217         ent = getXHTMLEntity(name);
1218         if (ent)
1219             ent->etype = XML_INTERNAL_GENERAL_ENTITY;
1220     }
1221
1222     return ent;
1223 }
1224
1225 static void startDocumentHandler(void* closure)
1226 {
1227     xmlParserCtxt* ctxt = static_cast<xmlParserCtxt*>(closure);
1228     switchToUTF16(ctxt);
1229     getParser(closure)->startDocument(ctxt->version, ctxt->encoding, ctxt->standalone);
1230     xmlSAX2StartDocument(closure);
1231 }
1232
1233 static void endDocumentHandler(void* closure)
1234 {
1235     getParser(closure)->endDocument();
1236     xmlSAX2EndDocument(closure);
1237 }
1238
1239 static void internalSubsetHandler(void* closure, const xmlChar* name, const xmlChar* externalID, const xmlChar* systemID)
1240 {
1241     getParser(closure)->internalSubset(name, externalID, systemID);
1242     xmlSAX2InternalSubset(closure, name, externalID, systemID);
1243 }
1244
1245 static void externalSubsetHandler(void* closure, const xmlChar*, const xmlChar* externalId, const xmlChar*)
1246 {
1247     String extId = toString(externalId);
1248     if ((extId == "-//W3C//DTD XHTML 1.0 Transitional//EN")
1249         || (extId == "-//W3C//DTD XHTML 1.1//EN")
1250         || (extId == "-//W3C//DTD XHTML 1.0 Strict//EN")
1251         || (extId == "-//W3C//DTD XHTML 1.0 Frameset//EN")
1252         || (extId == "-//W3C//DTD XHTML Basic 1.0//EN")
1253         || (extId == "-//W3C//DTD XHTML 1.1 plus MathML 2.0//EN")
1254         || (extId == "-//W3C//DTD XHTML 1.1 plus MathML 2.0 plus SVG 1.1//EN")
1255         || (extId == "-//W3C//DTD MathML 2.0//EN")
1256         || (extId == "-//WAPFORUM//DTD XHTML Mobile 1.0//EN")
1257         || (extId == "-//WAPFORUM//DTD XHTML Mobile 1.1//EN")
1258         || (extId == "-//WAPFORUM//DTD XHTML Mobile 1.2//EN"))
1259         getParser(closure)->setIsXHTMLDocument(true); // controls if we replace entities or not.
1260 }
1261
1262 static void ignorableWhitespaceHandler(void*, const xmlChar*, int)
1263 {
1264     // nothing to do, but we need this to work around a crasher
1265     // http://bugzilla.gnome.org/show_bug.cgi?id=172255
1266     // http://bugs.webkit.org/show_bug.cgi?id=5792
1267 }
1268
1269 void XMLDocumentParser::initializeParserContext(const CString& chunk)
1270 {
1271     xmlSAXHandler sax;
1272     memset(&sax, 0, sizeof(sax));
1273
1274     sax.error = normalErrorHandler;
1275     sax.fatalError = fatalErrorHandler;
1276     sax.characters = charactersHandler;
1277     sax.processingInstruction = processingInstructionHandler;
1278     sax.cdataBlock = cdataBlockHandler;
1279     sax.comment = commentHandler;
1280     sax.warning = warningHandler;
1281     sax.startElementNs = startElementNsHandler;
1282     sax.endElementNs = endElementNsHandler;
1283     sax.getEntity = getEntityHandler;
1284     sax.startDocument = startDocumentHandler;
1285     sax.endDocument = endDocumentHandler;
1286     sax.internalSubset = internalSubsetHandler;
1287     sax.externalSubset = externalSubsetHandler;
1288     sax.ignorableWhitespace = ignorableWhitespaceHandler;
1289     sax.entityDecl = entityDeclarationHandler;
1290     sax.initialized = XML_SAX2_MAGIC;
1291     DocumentParser::startParsing();
1292     m_sawError = false;
1293     m_sawCSS = false;
1294     m_sawXSLTransform = false;
1295     m_sawFirstElement = false;
1296
1297     XMLDocumentParserScope scope(&document()->cachedResourceLoader());
1298     if (m_parsingFragment)
1299         m_context = XMLParserContext::createMemoryParser(&sax, this, chunk);
1300     else {
1301         ASSERT(!chunk.data());
1302         m_context = XMLParserContext::createStringParser(&sax, this);
1303     }
1304 }
1305
1306 void XMLDocumentParser::doEnd()
1307 {
1308     if (!isStopped()) {
1309         if (m_context) {
1310             // Tell libxml we're done.
1311             {
1312                 XMLDocumentParserScope scope(&document()->cachedResourceLoader());
1313                 xmlParseChunk(context(), 0, 0, 1);
1314             }
1315
1316             m_context = nullptr;
1317         }
1318     }
1319
1320 #if ENABLE(XSLT)
1321     bool xmlViewerMode = !m_sawError && !m_sawCSS && !m_sawXSLTransform && shouldRenderInXMLTreeViewerMode(*document());
1322     if (xmlViewerMode) {
1323         XMLTreeViewer xmlTreeViewer(*document());
1324         xmlTreeViewer.transformDocumentToTreeView();
1325     } else if (m_sawXSLTransform) {
1326         xmlDocPtr doc = xmlDocPtrForString(document()->cachedResourceLoader(), m_originalSourceForTransform.toString(), document()->url().string());
1327         document()->setTransformSource(makeUnique<TransformSource>(doc));
1328
1329         document()->setParsing(false); // Make the document think it's done, so it will apply XSL stylesheets.
1330         document()->applyPendingXSLTransformsNowIfScheduled();
1331
1332         // styleResolverChanged() call can detach the parser and null out its document.
1333         // In that case, we just bail out.
1334         if (isDetached())
1335             return;
1336
1337         document()->setParsing(true);
1338         DocumentParser::stopParsing();
1339     }
1340 #endif
1341 }
1342
1343 #if ENABLE(XSLT)
1344 static inline const char* nativeEndianUTF16Encoding()
1345 {
1346     const UChar BOM = 0xFEFF;
1347     const unsigned char BOMHighByte = *reinterpret_cast<const unsigned char*>(&BOM);
1348     return BOMHighByte == 0xFF ? "UTF-16LE" : "UTF-16BE";
1349 }
1350
1351 xmlDocPtr xmlDocPtrForString(CachedResourceLoader& cachedResourceLoader, const String& source, const String& url)
1352 {
1353     if (source.isEmpty())
1354         return nullptr;
1355
1356     // Parse in a single chunk into an xmlDocPtr
1357     // FIXME: Hook up error handlers so that a failure to parse the main document results in
1358     // good error messages.
1359
1360     const bool is8Bit = source.is8Bit();
1361     const char* characters = is8Bit ? reinterpret_cast<const char*>(source.characters8()) : reinterpret_cast<const char*>(source.characters16());
1362     size_t sizeInBytes = source.length() * (is8Bit ? sizeof(LChar) : sizeof(UChar));
1363     const char* encoding = is8Bit ? "iso-8859-1" : nativeEndianUTF16Encoding();
1364
1365     XMLDocumentParserScope scope(&cachedResourceLoader, errorFunc);
1366     return xmlReadMemory(characters, sizeInBytes, url.latin1().data(), encoding, XSLT_PARSE_OPTIONS);
1367 }
1368 #endif
1369
1370 TextPosition XMLDocumentParser::textPosition() const
1371 {
1372     xmlParserCtxtPtr context = this->context();
1373     if (!context)
1374         return TextPosition();
1375     return TextPosition(OrdinalNumber::fromOneBasedInt(context->input->line),
1376                         OrdinalNumber::fromOneBasedInt(context->input->col));
1377 }
1378
1379 bool XMLDocumentParser::shouldAssociateConsoleMessagesWithTextPosition() const
1380 {
1381     return !m_parserPaused && !m_requestingScript;
1382 }
1383
1384 void XMLDocumentParser::stopParsing()
1385 {
1386     if (m_sawError)
1387         insertErrorMessageBlock();
1388
1389     DocumentParser::stopParsing();
1390     if (context())
1391         xmlStopParser(context());
1392 }
1393
1394 void XMLDocumentParser::resumeParsing()
1395 {
1396     ASSERT(!isDetached());
1397     ASSERT(m_parserPaused);
1398
1399     m_parserPaused = false;
1400
1401     // First, execute any pending callbacks
1402     while (!m_pendingCallbacks->isEmpty()) {
1403         m_pendingCallbacks->callAndRemoveFirstCallback(this);
1404
1405         // A callback paused the parser
1406         if (m_parserPaused)
1407             return;
1408     }
1409
1410     // There is normally only one string left, so toString() shouldn't copy.
1411     // In any case, the XML parser runs on the main thread and it's OK if
1412     // the passed string has more than one reference.
1413     auto rest = m_pendingSrc.toString();
1414     m_pendingSrc.clear();
1415     append(rest.impl());
1416
1417     // Finally, if finish() has been called and write() didn't result
1418     // in any further callbacks being queued, call end()
1419     if (m_finishCalled && m_pendingCallbacks->isEmpty())
1420         end();
1421 }
1422
1423 bool XMLDocumentParser::appendFragmentSource(const String& chunk)
1424 {
1425     ASSERT(!m_context);
1426     ASSERT(m_parsingFragment);
1427
1428     CString chunkAsUtf8 = chunk.utf8();
1429     
1430     // libxml2 takes an int for a length, and therefore can't handle XML chunks larger than 2 GiB.
1431     if (chunkAsUtf8.length() > INT_MAX)
1432         return false;
1433
1434     initializeParserContext(chunkAsUtf8);
1435     xmlParseContent(context());
1436     endDocument(); // Close any open text nodes.
1437
1438     // FIXME: If this code is actually needed, it should probably move to finish()
1439     // XMLDocumentParserQt has a similar check (m_stream.error() == QXmlStreamReader::PrematureEndOfDocumentError) in doEnd().
1440     // Check if all the chunk has been processed.
1441     long bytesProcessed = xmlByteConsumed(context());
1442     if (bytesProcessed == -1 || ((unsigned long)bytesProcessed) != chunkAsUtf8.length()) {
1443         // FIXME: I don't believe we can hit this case without also having seen an error or a null byte.
1444         // If we hit this ASSERT, we've found a test case which demonstrates the need for this code.
1445         ASSERT(m_sawError || (bytesProcessed >= 0 && !chunkAsUtf8.data()[bytesProcessed]));
1446         return false;
1447     }
1448
1449     // No error if the chunk is well formed or it is not but we have no error.
1450     return context()->wellFormed || !xmlCtxtGetLastError(context());
1451 }
1452
1453 // --------------------------------
1454
1455 using AttributeParseState = Optional<HashMap<String, String>>;
1456
1457 static void attributesStartElementNsHandler(void* closure, const xmlChar* xmlLocalName, const xmlChar* /*xmlPrefix*/, const xmlChar* /*xmlURI*/, int /*numNamespaces*/, const xmlChar** /*namespaces*/, int numAttributes, int /*numDefaulted*/, const xmlChar** libxmlAttributes)
1458 {
1459     if (strcmp(reinterpret_cast<const char*>(xmlLocalName), "attrs") != 0)
1460         return;
1461
1462     auto& state = *static_cast<AttributeParseState*>(static_cast<xmlParserCtxtPtr>(closure)->_private);
1463
1464     state = HashMap<String, String> { };
1465
1466     xmlSAX2Attributes* attributes = reinterpret_cast<xmlSAX2Attributes*>(libxmlAttributes);
1467     for (int i = 0; i < numAttributes; i++) {
1468         String attrLocalName = toString(attributes[i].localname);
1469         int valueLength = (int) (attributes[i].end - attributes[i].value);
1470         String attrValue = toString(attributes[i].value, valueLength);
1471         String attrPrefix = toString(attributes[i].prefix);
1472         String attrQName = attrPrefix.isEmpty() ? attrLocalName : attrPrefix + ":" + attrLocalName;
1473
1474         state->set(attrQName, attrValue);
1475     }
1476 }
1477
1478 Optional<HashMap<String, String>> parseAttributes(const String& string)
1479 {
1480     String parseString = "<?xml version=\"1.0\"?><attrs " + string + " />";
1481
1482     AttributeParseState attributes;
1483
1484     xmlSAXHandler sax;
1485     memset(&sax, 0, sizeof(sax));
1486     sax.startElementNs = attributesStartElementNsHandler;
1487     sax.initialized = XML_SAX2_MAGIC;
1488
1489     auto parser = XMLParserContext::createStringParser(&sax, &attributes);
1490
1491     // FIXME: Can we parse 8-bit strings directly as Latin-1 instead of upconverting to UTF-16?
1492     xmlParseChunk(parser->context(), reinterpret_cast<const char*>(StringView(parseString).upconvertedCharacters().get()), parseString.length() * sizeof(UChar), 1);
1493
1494     return attributes;
1495 }
1496
1497 }