Partially revert 207805 after resolution in URL spec issue 87
[WebKit-https.git] / Tools / TestWebKitAPI / Tests / WebCore / URLParser.cpp
1 /*
2  * Copyright (C) 2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include <WebCore/URLParser.h>
28 #include <wtf/MainThread.h>
29 #include <wtf/text/StringBuilder.h>
30
31 using namespace WebCore;
32
33 namespace TestWebKitAPI {
34
35 class URLParserTest : public testing::Test {
36 public:
37     void SetUp() final {
38         WTF::initializeMainThread();
39     }
40 };
41
42 struct ExpectedParts {
43     String protocol;
44     String user;
45     String password;
46     String host;
47     unsigned short port;
48     String path;
49     String query;
50     String fragment;
51     String string;
52
53     bool isInvalid() const
54     {
55         return protocol.isEmpty()
56             && user.isEmpty()
57             && password.isEmpty()
58             && host.isEmpty()
59             && !port
60             && path.isEmpty()
61             && query.isEmpty()
62             && fragment.isEmpty();
63     }
64 };
65
66 static bool eq(const String& s1, const String& s2)
67 {
68     EXPECT_STREQ(s1.utf8().data(), s2.utf8().data());
69     return s1.utf8() == s2.utf8();
70 }
71
72 static String insertTabAtLocation(const String& string, size_t location)
73 {
74     ASSERT(location <= string.length());
75     return makeString(string.substring(0, location), "\t", string.substring(location));
76 }
77
78 static ExpectedParts invalidParts(const String& urlStringWithTab)
79 {
80     return {"", "", "", "", 0, "" , "", "", urlStringWithTab};
81 }
82
83 enum class TestTabs { No, Yes };
84
85 // Inserting tabs between surrogate pairs changes the encoded value instead of being skipped by the URLParser.
86 const TestTabs testTabsValueForSurrogatePairs = TestTabs::No;
87
88 static void checkURL(const String& urlString, const ExpectedParts& parts, TestTabs testTabs = TestTabs::Yes)
89 {
90     bool wasEnabled = URLParser::enabled();
91     URLParser::setEnabled(true);
92     auto url = URL(URL(), urlString);
93     URLParser::setEnabled(false);
94     auto oldURL = URL(URL(), urlString);
95     URLParser::setEnabled(wasEnabled);
96     
97     EXPECT_TRUE(eq(parts.protocol, url.protocol().toString()));
98     EXPECT_TRUE(eq(parts.user, url.user()));
99     EXPECT_TRUE(eq(parts.password, url.pass()));
100     EXPECT_TRUE(eq(parts.host, url.host()));
101     EXPECT_EQ(parts.port, url.port().valueOr(0));
102     EXPECT_TRUE(eq(parts.path, url.path()));
103     EXPECT_TRUE(eq(parts.query, url.query()));
104     EXPECT_TRUE(eq(parts.fragment, url.fragmentIdentifier()));
105     EXPECT_TRUE(eq(parts.string, url.string()));
106     
107     EXPECT_TRUE(eq(parts.protocol, oldURL.protocol().toString()));
108     EXPECT_TRUE(eq(parts.user, oldURL.user()));
109     EXPECT_TRUE(eq(parts.password, oldURL.pass()));
110     EXPECT_TRUE(eq(parts.host, oldURL.host()));
111     EXPECT_EQ(parts.port, oldURL.port().valueOr(0));
112     EXPECT_TRUE(eq(parts.path, oldURL.path()));
113     EXPECT_TRUE(eq(parts.query, oldURL.query()));
114     EXPECT_TRUE(eq(parts.fragment, oldURL.fragmentIdentifier()));
115     EXPECT_TRUE(eq(parts.string, oldURL.string()));
116     
117     EXPECT_TRUE(URLParser::allValuesEqual(url, oldURL));
118     EXPECT_TRUE(URLParser::internalValuesConsistent(url));
119     EXPECT_TRUE(URLParser::internalValuesConsistent(oldURL));
120
121     if (testTabs == TestTabs::No)
122         return;
123
124     for (size_t i = 0; i < urlString.length(); ++i) {
125         String urlStringWithTab = insertTabAtLocation(urlString, i);
126         checkURL(urlStringWithTab,
127             parts.isInvalid() ? invalidParts(urlStringWithTab) : parts,
128             TestTabs::No);
129     }
130 }
131
132 template<size_t length>
133 static String utf16String(const char16_t (&url)[length])
134 {
135     StringBuilder builder;
136     builder.reserveCapacity(length - 1);
137     for (size_t i = 0; i < length - 1; ++i)
138         builder.append(static_cast<UChar>(url[i]));
139     return builder.toString();
140 }
141
142 TEST_F(URLParserTest, Basic)
143 {
144     checkURL("http://user:pass@webkit.org:123/path?query#fragment", {"http", "user", "pass", "webkit.org", 123, "/path", "query", "fragment", "http://user:pass@webkit.org:123/path?query#fragment"});
145     checkURL("http://user:pass@webkit.org:123/path?query", {"http", "user", "pass", "webkit.org", 123, "/path", "query", "", "http://user:pass@webkit.org:123/path?query"});
146     checkURL("http://user:pass@webkit.org:123/path", {"http", "user", "pass", "webkit.org", 123, "/path", "", "", "http://user:pass@webkit.org:123/path"});
147     checkURL("http://user:pass@webkit.org:123/", {"http", "user", "pass", "webkit.org", 123, "/", "", "", "http://user:pass@webkit.org:123/"});
148     checkURL("http://user:pass@webkit.org:123", {"http", "user", "pass", "webkit.org", 123, "/", "", "", "http://user:pass@webkit.org:123/"});
149     checkURL("http://user:pass@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
150     checkURL("http://user:\t\t\tpass@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
151     checkURL("http://us\ter:pass@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
152     checkURL("http://user:pa\tss@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
153     checkURL("http://user:pass\t@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
154     checkURL("http://\tuser:pass@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
155     checkURL("http://user\t:pass@webkit.org", {"http", "user", "pass", "webkit.org", 0, "/", "", "", "http://user:pass@webkit.org/"});
156     checkURL("http://webkit.org", {"http", "", "", "webkit.org", 0, "/", "", "", "http://webkit.org/"});
157     checkURL("http://127.0.0.1", {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"});
158     checkURL("http://webkit.org/", {"http", "", "", "webkit.org", 0, "/", "", "", "http://webkit.org/"});
159     checkURL("http://webkit.org/path1/path2/index.html", {"http", "", "", "webkit.org", 0, "/path1/path2/index.html", "", "", "http://webkit.org/path1/path2/index.html"});
160     checkURL("about:blank", {"about", "", "", "", 0, "blank", "", "", "about:blank"});
161     checkURL("about:blank?query", {"about", "", "", "", 0, "blank", "query", "", "about:blank?query"});
162     checkURL("about:blank#fragment", {"about", "", "", "", 0, "blank", "", "fragment", "about:blank#fragment"});
163     checkURL("http://[0:f::f:f:0:0]", {"http", "", "", "[0:f::f:f:0:0]", 0, "/", "", "", "http://[0:f::f:f:0:0]/"});
164     checkURL("http://[0:f:0:0:f::]", {"http", "", "", "[0:f:0:0:f::]", 0, "/", "", "", "http://[0:f:0:0:f::]/"});
165     checkURL("http://[::f:0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
166     checkURL("http://[0:f:0:0:f::]:", {"http", "", "", "[0:f:0:0:f::]", 0, "/", "", "", "http://[0:f:0:0:f::]/"});
167     checkURL("http://[0:f:0:0:f::]:\t", {"http", "", "", "[0:f:0:0:f::]", 0, "/", "", "", "http://[0:f:0:0:f::]/"});
168     checkURL("http://[0:f:0:0:f::]\t:", {"http", "", "", "[0:f:0:0:f::]", 0, "/", "", "", "http://[0:f:0:0:f::]/"});
169     checkURL("http://\t[::f:0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
170     checkURL("http://[\t::f:0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
171     checkURL("http://[:\t:f:0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
172     checkURL("http://[::\tf:0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
173     checkURL("http://[::f\t:0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
174     checkURL("http://[::f:\t0:0:f:0:0]", {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"});
175     checkURL("http://example.com/path1/path2/.", {"http", "", "", "example.com", 0, "/path1/path2/", "", "", "http://example.com/path1/path2/"});
176     checkURL("http://example.com/path1/path2/..", {"http", "", "", "example.com", 0, "/path1/", "", "", "http://example.com/path1/"});
177     checkURL("http://example.com/path1/path2/./path3", {"http", "", "", "example.com", 0, "/path1/path2/path3", "", "", "http://example.com/path1/path2/path3"});
178     checkURL("http://example.com/path1/path2/.\\path3", {"http", "", "", "example.com", 0, "/path1/path2/path3", "", "", "http://example.com/path1/path2/path3"});
179     checkURL("http://example.com/path1/path2/../path3", {"http", "", "", "example.com", 0, "/path1/path3", "", "", "http://example.com/path1/path3"});
180     checkURL("http://example.com/path1/path2/..\\path3", {"http", "", "", "example.com", 0, "/path1/path3", "", "", "http://example.com/path1/path3"});
181     checkURL("http://example.com/.", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
182     checkURL("http://example.com/..", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
183     checkURL("http://example.com/./path1", {"http", "", "", "example.com", 0, "/path1", "", "", "http://example.com/path1"});
184     checkURL("http://example.com/../path1", {"http", "", "", "example.com", 0, "/path1", "", "", "http://example.com/path1"});
185     checkURL("http://example.com/../path1/../../path2/path3/../path4", {"http", "", "", "example.com", 0, "/path2/path4", "", "", "http://example.com/path2/path4"});
186     checkURL("http://example.com/path1/.%2", {"http", "", "", "example.com", 0, "/path1/.%2", "", "", "http://example.com/path1/.%2"});
187     checkURL("http://example.com/path1/%2", {"http", "", "", "example.com", 0, "/path1/%2", "", "", "http://example.com/path1/%2"});
188     checkURL("http://example.com/path1/%", {"http", "", "", "example.com", 0, "/path1/%", "", "", "http://example.com/path1/%"});
189     checkURL("http://example.com/path1/.%", {"http", "", "", "example.com", 0, "/path1/.%", "", "", "http://example.com/path1/.%"});
190     checkURL("http://example.com//.", {"http", "", "", "example.com", 0, "//", "", "", "http://example.com//"});
191     checkURL("http://example.com//./", {"http", "", "", "example.com", 0, "//", "", "", "http://example.com//"});
192     checkURL("http://example.com//.//", {"http", "", "", "example.com", 0, "///", "", "", "http://example.com///"});
193     checkURL("http://example.com//..", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
194     checkURL("http://example.com//../", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
195     checkURL("http://example.com//..//", {"http", "", "", "example.com", 0, "//", "", "", "http://example.com//"});
196     checkURL("http://example.com//..", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
197     checkURL("http://example.com/.//", {"http", "", "", "example.com", 0, "//", "", "", "http://example.com//"});
198     checkURL("http://example.com/..//", {"http", "", "", "example.com", 0, "//", "", "", "http://example.com//"});
199     checkURL("http://example.com/./", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
200     checkURL("http://example.com/../", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
201     checkURL("http://example.com/path1/.../path3", {"http", "", "", "example.com", 0, "/path1/.../path3", "", "", "http://example.com/path1/.../path3"});
202     checkURL("http://example.com/path1/...", {"http", "", "", "example.com", 0, "/path1/...", "", "", "http://example.com/path1/..."});
203     checkURL("http://example.com/path1/.../", {"http", "", "", "example.com", 0, "/path1/.../", "", "", "http://example.com/path1/.../"});
204     checkURL("http://example.com/.path1/", {"http", "", "", "example.com", 0, "/.path1/", "", "", "http://example.com/.path1/"});
205     checkURL("http://example.com/..path1/", {"http", "", "", "example.com", 0, "/..path1/", "", "", "http://example.com/..path1/"});
206     checkURL("http://example.com/path1/.path2", {"http", "", "", "example.com", 0, "/path1/.path2", "", "", "http://example.com/path1/.path2"});
207     checkURL("http://example.com/path1/..path2", {"http", "", "", "example.com", 0, "/path1/..path2", "", "", "http://example.com/path1/..path2"});
208     checkURL("http://example.com/path1/path2/.?query", {"http", "", "", "example.com", 0, "/path1/path2/", "query", "", "http://example.com/path1/path2/?query"});
209     checkURL("http://example.com/path1/path2/..?query", {"http", "", "", "example.com", 0, "/path1/", "query", "", "http://example.com/path1/?query"});
210     checkURL("http://example.com/path1/path2/.#fragment", {"http", "", "", "example.com", 0, "/path1/path2/", "", "fragment", "http://example.com/path1/path2/#fragment"});
211     checkURL("http://example.com/path1/path2/..#fragment", {"http", "", "", "example.com", 0, "/path1/", "", "fragment", "http://example.com/path1/#fragment"});
212
213     checkURL("file:", {"file", "", "", "", 0, "/", "", "", "file:///"});
214     checkURL("file:/", {"file", "", "", "", 0, "/", "", "", "file:///"});
215     checkURL("file://", {"file", "", "", "", 0, "/", "", "", "file:///"});
216     checkURL("file:///", {"file", "", "", "", 0, "/", "", "", "file:///"});
217     checkURL("file:////", {"file", "", "", "", 0, "//", "", "", "file:////"}); // This matches Firefox and URL::parse which I believe are correct, but not Chrome.
218     checkURL("file:/path", {"file", "", "", "", 0, "/path", "", "", "file:///path"});
219     checkURL("file://host/path", {"file", "", "", "host", 0, "/path", "", "", "file://host/path"});
220     checkURL("file://host", {"file", "", "", "host", 0, "/", "", "", "file://host/"});
221     checkURL("file://host/", {"file", "", "", "host", 0, "/", "", "", "file://host/"});
222     checkURL("file:///path", {"file", "", "", "", 0, "/path", "", "", "file:///path"});
223     checkURL("file:////path", {"file", "", "", "", 0, "//path", "", "", "file:////path"});
224     checkURL("file://localhost/path", {"file", "", "", "", 0, "/path", "", "", "file:///path"});
225     checkURL("file://localhost/", {"file", "", "", "", 0, "/", "", "", "file:///"});
226     checkURL("file://localhost", {"file", "", "", "", 0, "/", "", "", "file:///"});
227     checkURL("file://lOcAlHoSt", {"file", "", "", "", 0, "/", "", "", "file:///"});
228     checkURL("file://lOcAlHoSt/", {"file", "", "", "", 0, "/", "", "", "file:///"});
229     checkURL("file:/pAtH/", {"file", "", "", "", 0, "/pAtH/", "", "", "file:///pAtH/"});
230     checkURL("file:/pAtH", {"file", "", "", "", 0, "/pAtH", "", "", "file:///pAtH"});
231     checkURL("file:?query", {"file", "", "", "", 0, "/", "query", "", "file:///?query"});
232     checkURL("file:#fragment", {"file", "", "", "", 0, "/", "", "fragment", "file:///#fragment"});
233     checkURL("file:?query#fragment", {"file", "", "", "", 0, "/", "query", "fragment", "file:///?query#fragment"});
234     checkURL("file:#fragment?notquery", {"file", "", "", "", 0, "/", "", "fragment?notquery", "file:///#fragment?notquery"});
235     checkURL("file:/?query", {"file", "", "", "", 0, "/", "query", "", "file:///?query"});
236     checkURL("file:/#fragment", {"file", "", "", "", 0, "/", "", "fragment", "file:///#fragment"});
237     checkURL("file://?query", {"file", "", "", "", 0, "/", "query", "", "file:///?query"});
238     checkURL("file://#fragment", {"file", "", "", "", 0, "/", "", "fragment", "file:///#fragment"});
239     checkURL("file:///?query", {"file", "", "", "", 0, "/", "query", "", "file:///?query"});
240     checkURL("file:///#fragment", {"file", "", "", "", 0, "/", "", "fragment", "file:///#fragment"});
241     checkURL("file:////?query", {"file", "", "", "", 0, "//", "query", "", "file:////?query"});
242     checkURL("file:////#fragment", {"file", "", "", "", 0, "//", "", "fragment", "file:////#fragment"});
243     checkURL("http://host/A b", {"http", "", "", "host", 0, "/A%20b", "", "", "http://host/A%20b"});
244     checkURL("http://host/a%20B", {"http", "", "", "host", 0, "/a%20B", "", "", "http://host/a%20B"});
245     checkURL("http://host?q=@ <>!#fragment", {"http", "", "", "host", 0, "/", "q=@%20%3C%3E!", "fragment", "http://host/?q=@%20%3C%3E!#fragment"});
246     checkURL("http://user:@host", {"http", "user", "", "host", 0, "/", "", "", "http://user@host/"});
247     checkURL("http://user:@\thost", {"http", "user", "", "host", 0, "/", "", "", "http://user@host/"});
248     checkURL("http://user:\t@host", {"http", "user", "", "host", 0, "/", "", "", "http://user@host/"});
249     checkURL("http://user\t:@host", {"http", "user", "", "host", 0, "/", "", "", "http://user@host/"});
250     checkURL("http://use\tr:@host", {"http", "user", "", "host", 0, "/", "", "", "http://user@host/"});
251     checkURL("http://127.0.0.1:10100/path", {"http", "", "", "127.0.0.1", 10100, "/path", "", "", "http://127.0.0.1:10100/path"});
252     checkURL("http://127.0.0.1:/path", {"http", "", "", "127.0.0.1", 0, "/path", "", "", "http://127.0.0.1/path"});
253     checkURL("http://127.0.0.1\t:/path", {"http", "", "", "127.0.0.1", 0, "/path", "", "", "http://127.0.0.1/path"});
254     checkURL("http://127.0.0.1:\t/path", {"http", "", "", "127.0.0.1", 0, "/path", "", "", "http://127.0.0.1/path"});
255     checkURL("http://127.0.0.1:/\tpath", {"http", "", "", "127.0.0.1", 0, "/path", "", "", "http://127.0.0.1/path"});
256     checkURL("http://127.0.0.1:123", {"http", "", "", "127.0.0.1", 123, "/", "", "", "http://127.0.0.1:123/"});
257     checkURL("http://127.0.0.1:", {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"});
258     checkURL("http://[0:f::f:f:0:0]:123/path", {"http", "", "", "[0:f::f:f:0:0]", 123, "/path", "", "", "http://[0:f::f:f:0:0]:123/path"});
259     checkURL("http://[0:f::f:f:0:0]:123", {"http", "", "", "[0:f::f:f:0:0]", 123, "/", "", "", "http://[0:f::f:f:0:0]:123/"});
260     checkURL("http://[0:f:0:0:f:\t:]:123", {"http", "", "", "[0:f:0:0:f::]", 123, "/", "", "", "http://[0:f:0:0:f::]:123/"});
261     checkURL("http://[0:f:0:0:f::\t]:123", {"http", "", "", "[0:f:0:0:f::]", 123, "/", "", "", "http://[0:f:0:0:f::]:123/"});
262     checkURL("http://[0:f:0:0:f::]\t:123", {"http", "", "", "[0:f:0:0:f::]", 123, "/", "", "", "http://[0:f:0:0:f::]:123/"});
263     checkURL("http://[0:f:0:0:f::]:\t123", {"http", "", "", "[0:f:0:0:f::]", 123, "/", "", "", "http://[0:f:0:0:f::]:123/"});
264     checkURL("http://[0:f:0:0:f::]:1\t23", {"http", "", "", "[0:f:0:0:f::]", 123, "/", "", "", "http://[0:f:0:0:f::]:123/"});
265     checkURL("http://[0:f::f:f:0:0]:/path", {"http", "", "", "[0:f::f:f:0:0]", 0, "/path", "", "", "http://[0:f::f:f:0:0]/path"});
266     checkURL("http://[0:f::f:f:0:0]:", {"http", "", "", "[0:f::f:f:0:0]", 0, "/", "", "", "http://[0:f::f:f:0:0]/"});
267     checkURL("http://host:10100/path", {"http", "", "", "host", 10100, "/path", "", "", "http://host:10100/path"});
268     checkURL("http://host:/path", {"http", "", "", "host", 0, "/path", "", "", "http://host/path"});
269     checkURL("http://host:123", {"http", "", "", "host", 123, "/", "", "", "http://host:123/"});
270     checkURL("http://host:", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
271     checkURL("http://hos\tt\n:\t1\n2\t3\t/\npath", {"http", "", "", "host", 123, "/path", "", "", "http://host:123/path"});
272     checkURL("http://user@example.org/path3", {"http", "user", "", "example.org", 0, "/path3", "", "", "http://user@example.org/path3"});
273     checkURL("sc:/pa/pa", {"sc", "", "", "", 0, "/pa/pa", "", "", "sc:/pa/pa"});
274     checkURL("sc:/pa", {"sc", "", "", "", 0, "/pa", "", "", "sc:/pa"});
275     checkURL("sc:/pa/", {"sc", "", "", "", 0, "/pa/", "", "", "sc:/pa/"});
276     checkURL("notspecial:/notuser:notpassword@nothost", {"notspecial", "", "", "", 0, "/notuser:notpassword@nothost", "", "", "notspecial:/notuser:notpassword@nothost"});
277     checkURL("sc://pa/", {"sc", "", "", "pa", 0, "/", "", "", "sc://pa/"});
278     checkURL("sc://\tpa/", {"sc", "", "", "pa", 0, "/", "", "", "sc://pa/"});
279     checkURL("sc:/\t/pa/", {"sc", "", "", "pa", 0, "/", "", "", "sc://pa/"});
280     checkURL("sc:\t//pa/", {"sc", "", "", "pa", 0, "/", "", "", "sc://pa/"});
281     checkURL("http://host   \a   ", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
282     checkURL("notspecial:/a", {"notspecial", "", "", "", 0, "/a", "", "", "notspecial:/a"});
283     checkURL("notspecial:", {"notspecial", "", "", "", 0, "", "", "", "notspecial:"});
284     checkURL("http:/a", {"http", "", "", "a", 0, "/", "", "", "http://a/"});
285     checkURL("http://256../", {"http", "", "", "256..", 0, "/", "", "", "http://256../"});
286     checkURL("http://256..", {"http", "", "", "256..", 0, "/", "", "", "http://256../"});
287     checkURL("http://127..1/", {"http", "", "", "127..1", 0, "/", "", "", "http://127..1/"});
288     checkURL("http://127.a.0.1/", {"http", "", "", "127.a.0.1", 0, "/", "", "", "http://127.a.0.1/"});
289     checkURL("http://127.0.0.1/", {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"});
290     checkURL("http://12\t7.0.0.1/", {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"});
291     checkURL("http://127.\t0.0.1/", {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"});
292     checkURL("http://./", {"http", "", "", ".", 0, "/", "", "", "http://./"});
293     checkURL("http://.", {"http", "", "", ".", 0, "/", "", "", "http://./"});
294     checkURL("notspecial:/a", {"notspecial", "", "", "", 0, "/a", "", "", "notspecial:/a"});
295     checkURL("notspecial:", {"notspecial", "", "", "", 0, "", "", "", "notspecial:"});
296     checkURL("notspecial:/", {"notspecial", "", "", "", 0, "/", "", "", "notspecial:/"});
297     checkURL("data:image/png;base64,encoded-data-follows-here", {"data", "", "", "", 0, "image/png;base64,encoded-data-follows-here", "", "", "data:image/png;base64,encoded-data-follows-here"});
298     checkURL("data:image/png;base64,encoded/data-with-slash", {"data", "", "", "", 0, "image/png;base64,encoded/data-with-slash", "", "", "data:image/png;base64,encoded/data-with-slash"});
299     checkURL("about:~", {"about", "", "", "", 0, "~", "", "", "about:~"});
300     checkURL("https://@test@test@example:800\\path@end", {"", "", "", "", 0, "", "", "", "https://@test@test@example:800\\path@end"});
301     checkURL("http://www.example.com/#a\nb\rc\td", {"http", "", "", "www.example.com", 0, "/", "", "abcd", "http://www.example.com/#abcd"});
302     checkURL("http://[A:b:c:DE:fF:0:1:aC]/", {"http", "", "", "[a:b:c:de:ff:0:1:ac]", 0, "/", "", "", "http://[a:b:c:de:ff:0:1:ac]/"});
303     checkURL("http:////////user:@webkit.org:99?foo", {"http", "user", "", "webkit.org", 99, "/", "foo", "", "http://user@webkit.org:99/?foo"});
304     checkURL("http:////////user:@webkit.org:99#foo", {"http", "user", "", "webkit.org", 99, "/", "", "foo", "http://user@webkit.org:99/#foo"});
305     checkURL("http:////\t////user:@webkit.org:99?foo", {"http", "user", "", "webkit.org", 99, "/", "foo", "", "http://user@webkit.org:99/?foo"});
306     checkURL("http://\t//\\///user:@webkit.org:99?foo", {"http", "user", "", "webkit.org", 99, "/", "foo", "", "http://user@webkit.org:99/?foo"});
307     checkURL("http:/\\user:@webkit.org:99?foo", {"http", "user", "", "webkit.org", 99, "/", "foo", "", "http://user@webkit.org:99/?foo"});
308     checkURL("http://127.0.0.1", {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"});
309     checkURL("http://127.0.0.1.", {"http", "", "", "127.0.0.1.", 0, "/", "", "", "http://127.0.0.1./"});
310     checkURL("http://127.0.0.1./", {"http", "", "", "127.0.0.1.", 0, "/", "", "", "http://127.0.0.1./"});
311     checkURL("http://0x100.0/", {"http", "", "", "0x100.0", 0, "/", "", "", "http://0x100.0/"});
312     checkURL("http://0.0.0x100.0/", {"http", "", "", "0.0.0x100.0", 0, "/", "", "", "http://0.0.0x100.0/"});
313     checkURL("http://0.0.0.0x100/", {"http", "", "", "0.0.0.0x100", 0, "/", "", "", "http://0.0.0.0x100/"});
314     checkURL("http://host:123?", {"http", "", "", "host", 123, "/", "", "", "http://host:123/?"});
315     checkURL("http://host:123?query", {"http", "", "", "host", 123, "/", "query", "", "http://host:123/?query"});
316     checkURL("http://host:123#", {"http", "", "", "host", 123, "/", "", "", "http://host:123/#"});
317     checkURL("http://host:123#fragment", {"http", "", "", "host", 123, "/", "", "fragment", "http://host:123/#fragment"});
318     checkURL("foo:////", {"foo", "", "", "", 0, "////", "", "", "foo:////"});
319     checkURL("foo:///?", {"foo", "", "", "", 0, "///", "", "", "foo:///?"});
320     checkURL("foo:///#", {"foo", "", "", "", 0, "///", "", "", "foo:///#"});
321     checkURL("foo:///", {"foo", "", "", "", 0, "///", "", "", "foo:///"});
322     checkURL("foo://?", {"foo", "", "", "", 0, "//", "", "", "foo://?"});
323     checkURL("foo://#", {"foo", "", "", "", 0, "//", "", "", "foo://#"});
324     checkURL("foo://", {"foo", "", "", "", 0, "//", "", "", "foo://"});
325     checkURL("foo:/?", {"foo", "", "", "", 0, "/", "", "", "foo:/?"});
326     checkURL("foo:/#", {"foo", "", "", "", 0, "/", "", "", "foo:/#"});
327     checkURL("foo:/", {"foo", "", "", "", 0, "/", "", "", "foo:/"});
328     checkURL("foo:?", {"foo", "", "", "", 0, "", "", "", "foo:?"});
329     checkURL("foo:#", {"foo", "", "", "", 0, "", "", "", "foo:#"});
330     checkURL("A://", {"a", "", "", "", 0, "//", "", "", "a://"});
331     checkURL("aA://", {"aa", "", "", "", 0, "//", "", "", "aa://"});
332     checkURL(utf16String(u"foo://host/#ПП\u0007 a</"), {"foo", "", "", "host", 0, "/", "", "%D0%9F%D0%9F%07 a</", "foo://host/#%D0%9F%D0%9F%07 a</"});
333     checkURL(utf16String(u"foo://host/#\u0007 a</"), {"foo", "", "", "host", 0, "/", "", "%07 a</", "foo://host/#%07 a</"});
334     checkURL(utf16String(u"http://host?ß😍#ß😍"), {"http", "", "", "host", 0, "/", "%C3%9F%F0%9F%98%8D", "%C3%9F%F0%9F%98%8D", "http://host/?%C3%9F%F0%9F%98%8D#%C3%9F%F0%9F%98%8D"}, testTabsValueForSurrogatePairs);
335     checkURL(utf16String(u"http://host/path#💩\t💩"), {"http", "", "", "host", 0, "/path", "", "%F0%9F%92%A9%F0%9F%92%A9", "http://host/path#%F0%9F%92%A9%F0%9F%92%A9"}, testTabsValueForSurrogatePairs);
336     checkURL(utf16String(u"http://host/#ПП\u0007 a</"), {"http", "", "", "host", 0, "/", "", "%D0%9F%D0%9F%07 a</", "http://host/#%D0%9F%D0%9F%07 a</"});
337     checkURL(utf16String(u"http://host/#\u0007 a</"), {"http", "", "", "host", 0, "/", "", "%07 a</", "http://host/#%07 a</"});
338
339     // This disagrees with the web platform test for http://:@www.example.com but agrees with Chrome and URL::parse,
340     // and Firefox fails the web platform test differently. Maybe the web platform test ought to be changed.
341     checkURL("http://:@host", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
342 }
343
344 static void checkRelativeURL(const String& urlString, const String& baseURLString, const ExpectedParts& parts, TestTabs testTabs = TestTabs::Yes)
345 {
346     bool wasEnabled = URLParser::enabled();
347     URLParser::setEnabled(true);
348     auto url = URL(URL(URL(), baseURLString), urlString);
349     URLParser::setEnabled(false);
350     auto oldURL = URL(URL(URL(), baseURLString), urlString);
351     URLParser::setEnabled(wasEnabled);
352
353     EXPECT_TRUE(eq(parts.protocol, url.protocol().toString()));
354     EXPECT_TRUE(eq(parts.user, url.user()));
355     EXPECT_TRUE(eq(parts.password, url.pass()));
356     EXPECT_TRUE(eq(parts.host, url.host()));
357     EXPECT_EQ(parts.port, url.port().valueOr(0));
358     EXPECT_TRUE(eq(parts.path, url.path()));
359     EXPECT_TRUE(eq(parts.query, url.query()));
360     EXPECT_TRUE(eq(parts.fragment, url.fragmentIdentifier()));
361     EXPECT_TRUE(eq(parts.string, url.string()));
362
363     EXPECT_TRUE(eq(parts.protocol, oldURL.protocol().toString()));
364     EXPECT_TRUE(eq(parts.user, oldURL.user()));
365     EXPECT_TRUE(eq(parts.password, oldURL.pass()));
366     EXPECT_TRUE(eq(parts.host, oldURL.host()));
367     EXPECT_EQ(parts.port, oldURL.port().valueOr(0));
368     EXPECT_TRUE(eq(parts.path, oldURL.path()));
369     EXPECT_TRUE(eq(parts.query, oldURL.query()));
370     EXPECT_TRUE(eq(parts.fragment, oldURL.fragmentIdentifier()));
371     EXPECT_TRUE(eq(parts.string, oldURL.string()));
372
373     EXPECT_TRUE(URLParser::allValuesEqual(url, oldURL));
374     EXPECT_TRUE(URLParser::internalValuesConsistent(url));
375     EXPECT_TRUE(URLParser::internalValuesConsistent(oldURL));
376     
377     if (testTabs == TestTabs::No)
378         return;
379
380     for (size_t i = 0; i < urlString.length(); ++i) {
381         String urlStringWithTab = insertTabAtLocation(urlString, i);
382         checkRelativeURL(urlStringWithTab,
383             baseURLString,
384             parts.isInvalid() ? invalidParts(urlStringWithTab) : parts,
385             TestTabs::No);
386     }
387 }
388
389 TEST_F(URLParserTest, ParseRelative)
390 {
391     checkRelativeURL("/index.html", "http://webkit.org/path1/path2/", {"http", "", "", "webkit.org", 0, "/index.html", "", "", "http://webkit.org/index.html"});
392     checkRelativeURL("http://whatwg.org/index.html", "http://webkit.org/path1/path2/", {"http", "", "", "whatwg.org", 0, "/index.html", "", "", "http://whatwg.org/index.html"});
393     checkRelativeURL("index.html", "http://webkit.org/path1/path2/page.html?query#fragment", {"http", "", "", "webkit.org", 0, "/path1/path2/index.html", "", "", "http://webkit.org/path1/path2/index.html"});
394     checkRelativeURL("//whatwg.org/index.html", "https://www.webkit.org/path", {"https", "", "", "whatwg.org", 0, "/index.html", "", "", "https://whatwg.org/index.html"});
395     checkRelativeURL("http://example\t.\norg", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/", "", "", "http://example.org/"});
396     checkRelativeURL("test", "file:///path1/path2", {"file", "", "", "", 0, "/path1/test", "", "", "file:///path1/test"});
397     checkRelativeURL(utf16String(u"http://www.foo。bar.com"), "http://other.com/", {"http", "", "", "www.foo.bar.com", 0, "/", "", "", "http://www.foo.bar.com/"});
398     checkRelativeURL(utf16String(u"sc://ñ.test/"), "about:blank", {"sc", "", "", "xn--ida.test", 0, "/", "", "", "sc://xn--ida.test/"});
399     checkRelativeURL("#fragment", "http://host/path", {"http", "", "", "host", 0, "/path", "", "fragment", "http://host/path#fragment"});
400     checkRelativeURL("#fragment", "file:///path", {"file", "", "", "", 0, "/path", "", "fragment", "file:///path#fragment"});
401     checkRelativeURL("#fragment", "file:///path#old", {"file", "", "", "", 0, "/path", "", "fragment", "file:///path#fragment"});
402     checkRelativeURL("#", "file:///path#old", {"file", "", "", "", 0, "/path", "", "", "file:///path#"});
403     checkRelativeURL("  ", "file:///path#old", {"file", "", "", "", 0, "/path", "", "", "file:///path"});
404     checkRelativeURL("#", "file:///path", {"file", "", "", "", 0, "/path", "", "", "file:///path#"});
405     checkRelativeURL("#", "file:///path?query", {"file", "", "", "", 0, "/path", "query", "", "file:///path?query#"});
406     checkRelativeURL("#", "file:///path?query#old", {"file", "", "", "", 0, "/path", "query", "", "file:///path?query#"});
407     checkRelativeURL("?query", "http://host/path", {"http", "", "", "host", 0, "/path", "query", "", "http://host/path?query"});
408     checkRelativeURL("?query#fragment", "http://host/path", {"http", "", "", "host", 0, "/path", "query", "fragment", "http://host/path?query#fragment"});
409     checkRelativeURL("?new", "file:///path?old#fragment", {"file", "", "", "", 0, "/path", "new", "", "file:///path?new"});
410     checkRelativeURL("?", "file:///path?old#fragment", {"file", "", "", "", 0, "/path", "", "", "file:///path?"});
411     checkRelativeURL("?", "file:///path", {"file", "", "", "", 0, "/path", "", "", "file:///path?"});
412     checkRelativeURL("?query", "file:///path", {"file", "", "", "", 0, "/path", "query", "", "file:///path?query"});
413     checkRelativeURL(utf16String(u"?β"), "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "%CE%B2", "", "http://example.org/foo/bar?%CE%B2"});
414     checkRelativeURL("?", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar?"});
415     checkRelativeURL("#", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar#"});
416     checkRelativeURL("?#", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar?#"});
417     checkRelativeURL("#?", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "?", "http://example.org/foo/bar#?"});
418     checkRelativeURL("/", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/", "", "", "http://example.org/"});
419     checkRelativeURL("http://@host", "about:blank", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
420     checkRelativeURL("http://:@host", "about:blank", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
421     checkRelativeURL("http://foo.com/\\@", "http://example.org/foo/bar", {"http", "", "", "foo.com", 0, "//@", "", "", "http://foo.com//@"});
422     checkRelativeURL("\\@", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/@", "", "", "http://example.org/@"});
423     checkRelativeURL("/path3", "http://user@example.org/path1/path2", {"http", "user", "", "example.org", 0, "/path3", "", "", "http://user@example.org/path3"});
424     checkRelativeURL("", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar"});
425     checkRelativeURL("\t", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar"});
426     checkRelativeURL(" ", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar"});
427     checkRelativeURL("  \a  \t\n", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar"});
428     checkRelativeURL(":foo.com\\", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/:foo.com/", "", "", "http://example.org/foo/:foo.com/"});
429     checkRelativeURL("http:/example.com/", "about:blank", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
430     checkRelativeURL("http:example.com/", "about:blank", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
431     checkRelativeURL("http:\\\\foo.com\\", "http://example.org/foo/bar", {"http", "", "", "foo.com", 0, "/", "", "", "http://foo.com/"});
432     checkRelativeURL("http:\\\\foo.com/", "http://example.org/foo/bar", {"http", "", "", "foo.com", 0, "/", "", "", "http://foo.com/"});
433     checkRelativeURL("http:\\\\foo.com", "http://example.org/foo/bar", {"http", "", "", "foo.com", 0, "/", "", "", "http://foo.com/"});
434     checkRelativeURL("http://ExAmPlE.CoM", "http://other.com", {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
435     checkRelativeURL("http:", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "", "http://example.org/foo/bar"});
436     checkRelativeURL("#x", "data:,", {"data", "", "", "", 0, ",", "", "x", "data:,#x"});
437     checkRelativeURL("#x", "about:blank", {"about", "", "", "", 0, "blank", "", "x", "about:blank#x"});
438     checkRelativeURL("  foo.com  ", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/foo.com", "", "", "http://example.org/foo/foo.com"});
439     checkRelativeURL(" \a baz", "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/baz", "", "", "http://example.org/foo/baz"});
440     checkRelativeURL("~", "http://example.org", {"http", "", "", "example.org", 0, "/~", "", "", "http://example.org/~"});
441     checkRelativeURL("notspecial:", "about:blank", {"notspecial", "", "", "", 0, "", "", "", "notspecial:"});
442     checkRelativeURL("notspecial:", "http://host", {"notspecial", "", "", "", 0, "", "", "", "notspecial:"});
443     checkRelativeURL("http:", "http://host", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
444     checkRelativeURL("i", "sc:/pa/po", {"sc", "", "", "", 0, "/pa/i", "", "", "sc:/pa/i"});
445     checkRelativeURL("i    ", "sc:/pa/po", {"sc", "", "", "", 0, "/pa/i", "", "", "sc:/pa/i"});
446     checkRelativeURL("i\t\n  ", "sc:/pa/po", {"sc", "", "", "", 0, "/pa/i", "", "", "sc:/pa/i"});
447     checkRelativeURL("i", "sc://ho/pa", {"sc", "", "", "ho", 0, "/i", "", "", "sc://ho/i"});
448     checkRelativeURL("!", "sc://ho/pa", {"sc", "", "", "ho", 0, "/!", "", "", "sc://ho/!"});
449     checkRelativeURL("!", "sc:/ho/pa", {"sc", "", "", "", 0, "/ho/!", "", "", "sc:/ho/!"});
450     checkRelativeURL("notspecial:/", "about:blank", {"notspecial", "", "", "", 0, "/", "", "", "notspecial:/"});
451     checkRelativeURL("notspecial:/", "http://host", {"notspecial", "", "", "", 0, "/", "", "", "notspecial:/"});
452     checkRelativeURL("foo:/", "http://example.org/foo/bar", {"foo", "", "", "", 0, "/", "", "", "foo:/"});
453     checkRelativeURL("://:0/", "http://webkit.org/", {"http", "", "", "webkit.org", 0, "/://:0/", "", "", "http://webkit.org/://:0/"});
454     checkRelativeURL(String(), "http://webkit.org/", {"http", "", "", "webkit.org", 0, "/", "", "", "http://webkit.org/"});
455     checkRelativeURL("https://@test@test@example:800\\path@end", "http://doesnotmatter/", {"", "", "", "", 0, "", "", "", "https://@test@test@example:800\\path@end"});
456     checkRelativeURL("http://f:0/c", "http://example.org/foo/bar", {"http", "", "", "f", 0, "/c", "", "", "http://f:0/c"});
457     checkRelativeURL(String(), "http://host/#fragment", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
458     checkRelativeURL("", "http://host/#fragment", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
459     checkRelativeURL("  ", "http://host/#fragment", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
460     checkRelativeURL("  ", "http://host/path?query#fra#gment", {"http", "", "", "host", 0, "/path", "query", "", "http://host/path?query"});
461     checkRelativeURL(" \a ", "http://host/#fragment", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
462     checkRelativeURL("foo://", "http://example.org/foo/bar", {"foo", "", "", "", 0, "//", "", "", "foo://"});
463     checkRelativeURL(utf16String(u"#β"), "http://example.org/foo/bar", {"http", "", "", "example.org", 0, "/foo/bar", "", "%CE%B2", "http://example.org/foo/bar#%CE%B2"});
464
465     // The checking of slashes in SpecialAuthoritySlashes needed to get this to pass contradicts what is in the spec,
466     // but it is included in the web platform tests.
467     checkRelativeURL("http:\\\\host\\foo", "about:blank", {"http", "", "", "host", 0, "/foo", "", "", "http://host/foo"});
468 }
469
470 static void checkURLDifferences(const String& urlString, const ExpectedParts& partsNew, const ExpectedParts& partsOld, TestTabs testTabs = TestTabs::Yes)
471 {
472     bool wasEnabled = URLParser::enabled();
473     URLParser::setEnabled(true);
474     auto url = URL(URL(), urlString);
475     URLParser::setEnabled(false);
476     auto oldURL = URL(URL(), urlString);
477     URLParser::setEnabled(wasEnabled);
478
479     EXPECT_TRUE(eq(partsNew.protocol, url.protocol().toString()));
480     EXPECT_TRUE(eq(partsNew.user, url.user()));
481     EXPECT_TRUE(eq(partsNew.password, url.pass()));
482     EXPECT_TRUE(eq(partsNew.host, url.host()));
483     EXPECT_EQ(partsNew.port, url.port().valueOr(0));
484     EXPECT_TRUE(eq(partsNew.path, url.path()));
485     EXPECT_TRUE(eq(partsNew.query, url.query()));
486     EXPECT_TRUE(eq(partsNew.fragment, url.fragmentIdentifier()));
487     EXPECT_TRUE(eq(partsNew.string, url.string()));
488     
489     EXPECT_TRUE(eq(partsOld.protocol, oldURL.protocol().toString()));
490     EXPECT_TRUE(eq(partsOld.user, oldURL.user()));
491     EXPECT_TRUE(eq(partsOld.password, oldURL.pass()));
492     EXPECT_TRUE(eq(partsOld.host, oldURL.host()));
493     EXPECT_EQ(partsOld.port, oldURL.port().valueOr(0));
494     EXPECT_TRUE(eq(partsOld.path, oldURL.path()));
495     EXPECT_TRUE(eq(partsOld.query, oldURL.query()));
496     EXPECT_TRUE(eq(partsOld.fragment, oldURL.fragmentIdentifier()));
497     EXPECT_TRUE(eq(partsOld.string, oldURL.string()));
498     
499     EXPECT_FALSE(URLParser::allValuesEqual(url, oldURL));
500     EXPECT_TRUE(URLParser::internalValuesConsistent(url));
501     EXPECT_TRUE(URLParser::internalValuesConsistent(oldURL));
502     
503     if (testTabs == TestTabs::No)
504         return;
505
506     for (size_t i = 0; i < urlString.length(); ++i) {
507         String urlStringWithTab = insertTabAtLocation(urlString, i);
508         checkURLDifferences(urlStringWithTab,
509             partsNew.isInvalid() ? invalidParts(urlStringWithTab) : partsNew,
510             partsOld.isInvalid() ? invalidParts(urlStringWithTab) : partsOld,
511             TestTabs::No);
512     }
513 }
514
515 static void checkRelativeURLDifferences(const String& urlString, const String& baseURLString, const ExpectedParts& partsNew, const ExpectedParts& partsOld, TestTabs testTabs = TestTabs::Yes)
516 {
517     bool wasEnabled = URLParser::enabled();
518     URLParser::setEnabled(true);
519     auto url = URL(URL(URL(), baseURLString), urlString);
520     URLParser::setEnabled(false);
521     auto oldURL = URL(URL(URL(), baseURLString), urlString);
522     URLParser::setEnabled(wasEnabled);
523
524     EXPECT_TRUE(eq(partsNew.protocol, url.protocol().toString()));
525     EXPECT_TRUE(eq(partsNew.user, url.user()));
526     EXPECT_TRUE(eq(partsNew.password, url.pass()));
527     EXPECT_TRUE(eq(partsNew.host, url.host()));
528     EXPECT_EQ(partsNew.port, url.port().valueOr(0));
529     EXPECT_TRUE(eq(partsNew.path, url.path()));
530     EXPECT_TRUE(eq(partsNew.query, url.query()));
531     EXPECT_TRUE(eq(partsNew.fragment, url.fragmentIdentifier()));
532     EXPECT_TRUE(eq(partsNew.string, url.string()));
533     
534     EXPECT_TRUE(eq(partsOld.protocol, oldURL.protocol().toString()));
535     EXPECT_TRUE(eq(partsOld.user, oldURL.user()));
536     EXPECT_TRUE(eq(partsOld.password, oldURL.pass()));
537     EXPECT_TRUE(eq(partsOld.host, oldURL.host()));
538     EXPECT_EQ(partsOld.port, oldURL.port().valueOr(0));
539     EXPECT_TRUE(eq(partsOld.path, oldURL.path()));
540     EXPECT_TRUE(eq(partsOld.query, oldURL.query()));
541     EXPECT_TRUE(eq(partsOld.fragment, oldURL.fragmentIdentifier()));
542     EXPECT_TRUE(eq(partsOld.string, oldURL.string()));
543     
544     EXPECT_FALSE(URLParser::allValuesEqual(url, oldURL));
545     EXPECT_TRUE(URLParser::internalValuesConsistent(url));
546     EXPECT_TRUE(URLParser::internalValuesConsistent(oldURL));
547
548     if (testTabs == TestTabs::No)
549         return;
550
551     for (size_t i = 0; i < urlString.length(); ++i) {
552         String urlStringWithTab = insertTabAtLocation(urlString, i);
553         checkRelativeURLDifferences(urlStringWithTab, baseURLString,
554             partsNew.isInvalid() ? invalidParts(urlStringWithTab) : partsNew,
555             partsOld.isInvalid() ? invalidParts(urlStringWithTab) : partsOld,
556             TestTabs::No);
557     }
558 }
559
560 // These are differences between the new URLParser and the old URL::parse which make URLParser more standards compliant.
561 TEST_F(URLParserTest, ParserDifferences)
562 {
563     checkURLDifferences("http://127.0.1",
564         {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"},
565         {"http", "", "", "127.0.1", 0, "/", "", "", "http://127.0.1/"});
566     checkURLDifferences("http://011.11.0X11.0x011",
567         {"http", "", "", "9.11.17.17", 0, "/", "", "", "http://9.11.17.17/"},
568         {"http", "", "", "011.11.0x11.0x011", 0, "/", "", "", "http://011.11.0x11.0x011/"});
569     checkURLDifferences("http://[1234:0078:90AB:CdEf:0123:0007:89AB:0000]",
570         {"http", "", "", "[1234:78:90ab:cdef:123:7:89ab:0]", 0, "/", "", "", "http://[1234:78:90ab:cdef:123:7:89ab:0]/"},
571         {"http", "", "", "[1234:0078:90ab:cdef:0123:0007:89ab:0000]", 0, "/", "", "", "http://[1234:0078:90ab:cdef:0123:0007:89ab:0000]/"});
572     checkURLDifferences("http://[0:f:0:0:f:f:0:0]",
573         {"http", "", "", "[0:f::f:f:0:0]", 0, "/", "", "", "http://[0:f::f:f:0:0]/"},
574         {"http", "", "", "[0:f:0:0:f:f:0:0]", 0, "/", "", "", "http://[0:f:0:0:f:f:0:0]/"});
575     checkURLDifferences("http://[0:f:0:0:f:0:0:0]",
576         {"http", "", "", "[0:f:0:0:f::]", 0, "/", "", "", "http://[0:f:0:0:f::]/"},
577         {"http", "", "", "[0:f:0:0:f:0:0:0]", 0, "/", "", "", "http://[0:f:0:0:f:0:0:0]/"});
578     checkURLDifferences("http://[0:0:f:0:0:f:0:0]",
579         {"http", "", "", "[::f:0:0:f:0:0]", 0, "/", "", "", "http://[::f:0:0:f:0:0]/"},
580         {"http", "", "", "[0:0:f:0:0:f:0:0]", 0, "/", "", "", "http://[0:0:f:0:0:f:0:0]/"});
581     checkURLDifferences("http://[a:0:0:0:b:c::d]",
582         {"http", "", "", "[a::b:c:0:d]", 0, "/", "", "", "http://[a::b:c:0:d]/"},
583         {"http", "", "", "[a:0:0:0:b:c::d]", 0, "/", "", "", "http://[a:0:0:0:b:c::d]/"});
584     checkURLDifferences("http://[::7f00:0001]/",
585         {"http", "", "", "[::7f00:1]", 0, "/", "", "", "http://[::7f00:1]/"},
586         {"http", "", "", "[::7f00:0001]", 0, "/", "", "", "http://[::7f00:0001]/"});
587     checkURLDifferences("http://[::7f00:00]/",
588         {"http", "", "", "[::7f00:0]", 0, "/", "", "", "http://[::7f00:0]/"},
589         {"http", "", "", "[::7f00:00]", 0, "/", "", "", "http://[::7f00:00]/"});
590     checkURLDifferences("http://[::0:7f00:0001]/",
591         {"http", "", "", "[::7f00:1]", 0, "/", "", "", "http://[::7f00:1]/"},
592         {"http", "", "", "[::0:7f00:0001]", 0, "/", "", "", "http://[::0:7f00:0001]/"});
593     checkURLDifferences("http://127.00.0.1/",
594         {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"},
595         {"http", "", "", "127.00.0.1", 0, "/", "", "", "http://127.00.0.1/"});
596     checkURLDifferences("http://127.0.0.01/",
597         {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"},
598         {"http", "", "", "127.0.0.01", 0, "/", "", "", "http://127.0.0.01/"});
599     checkURLDifferences("http://example.com/path1/.%2e",
600         {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"},
601         {"http", "", "", "example.com", 0, "/path1/.%2e", "", "", "http://example.com/path1/.%2e"});
602     checkURLDifferences("http://example.com/path1/.%2E",
603         {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"},
604         {"http", "", "", "example.com", 0, "/path1/.%2E", "", "", "http://example.com/path1/.%2E"});
605     checkURLDifferences("http://example.com/path1/.%2E/",
606         {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"},
607         {"http", "", "", "example.com", 0, "/path1/.%2E/", "", "", "http://example.com/path1/.%2E/"});
608     checkURLDifferences("http://example.com/path1/%2e.",
609         {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"},
610         {"http", "", "", "example.com", 0, "/path1/%2e.", "", "", "http://example.com/path1/%2e."});
611     checkURLDifferences("http://example.com/path1/%2E%2e",
612         {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"},
613         {"http", "", "", "example.com", 0, "/path1/%2E%2e", "", "", "http://example.com/path1/%2E%2e"});
614     checkURLDifferences("http://example.com/path1/%2e",
615         {"http", "", "", "example.com", 0, "/path1/", "", "", "http://example.com/path1/"},
616         {"http", "", "", "example.com", 0, "/path1/%2e", "", "", "http://example.com/path1/%2e"});
617     checkURLDifferences("http://example.com/path1/%2E",
618         {"http", "", "", "example.com", 0, "/path1/", "", "", "http://example.com/path1/"},
619         {"http", "", "", "example.com", 0, "/path1/%2E", "", "", "http://example.com/path1/%2E"});
620     checkURLDifferences("http://example.com/path1/%2E/",
621         {"http", "", "", "example.com", 0, "/path1/", "", "", "http://example.com/path1/"},
622         {"http", "", "", "example.com", 0, "/path1/%2E/", "", "", "http://example.com/path1/%2E/"});
623     checkURLDifferences("http://example.com/path1/path2/%2e?query",
624         {"http", "", "", "example.com", 0, "/path1/path2/", "query", "", "http://example.com/path1/path2/?query"},
625         {"http", "", "", "example.com", 0, "/path1/path2/%2e", "query", "", "http://example.com/path1/path2/%2e?query"});
626     checkURLDifferences("http://example.com/path1/path2/%2e%2e?query",
627         {"http", "", "", "example.com", 0, "/path1/", "query", "", "http://example.com/path1/?query"},
628         {"http", "", "", "example.com", 0, "/path1/path2/%2e%2e", "query", "", "http://example.com/path1/path2/%2e%2e?query"});
629     checkURLDifferences("http://example.com/path1/path2/%2e#fragment",
630         {"http", "", "", "example.com", 0, "/path1/path2/", "", "fragment", "http://example.com/path1/path2/#fragment"},
631         {"http", "", "", "example.com", 0, "/path1/path2/%2e", "", "fragment", "http://example.com/path1/path2/%2e#fragment"});
632     checkURLDifferences("http://example.com/path1/path2/%2e%2e#fragment",
633         {"http", "", "", "example.com", 0, "/path1/", "", "fragment", "http://example.com/path1/#fragment"},
634         {"http", "", "", "example.com", 0, "/path1/path2/%2e%2e", "", "fragment", "http://example.com/path1/path2/%2e%2e#fragment"});
635     checkURL("http://example.com/path1/path2/A%2e%2e#fragment", {"http", "", "", "example.com", 0, "/path1/path2/A%2e%2e", "", "fragment", "http://example.com/path1/path2/A%2e%2e#fragment"});
636     checkURLDifferences("file://[0:a:0:0:b:c:0:0]/path",
637         {"file", "", "", "[0:a::b:c:0:0]", 0, "/path", "", "", "file://[0:a::b:c:0:0]/path"},
638         {"file", "", "", "[0:a:0:0:b:c:0:0]", 0, "/path", "", "", "file://[0:a:0:0:b:c:0:0]/path"});
639     checkURLDifferences("http://",
640         {"", "", "", "", 0, "", "", "", "http://"},
641         {"http", "", "", "", 0, "/", "", "", "http:/"});
642     checkRelativeURLDifferences("//", "https://www.webkit.org/path",
643         {"", "", "", "", 0, "", "", "", "//"},
644         {"https", "", "", "", 0, "/", "", "", "https:/"});
645     checkURLDifferences("http://127.0.0.1:65536/path",
646         {"", "", "", "", 0, "", "", "", "http://127.0.0.1:65536/path"},
647         {"http", "", "", "127.0.0.1", 0, "/path", "", "", "http://127.0.0.1:65536/path"});
648     checkURLDifferences("http://host:65536",
649         {"", "", "", "", 0, "", "", "", "http://host:65536"},
650         {"http", "", "", "host", 0, "/", "", "", "http://host:65536/"});
651     checkURLDifferences("http://127.0.0.1:65536",
652         {"", "", "", "", 0, "", "", "", "http://127.0.0.1:65536"},
653         {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1:65536/"});
654     checkURLDifferences("http://[0:f::f:f:0:0]:65536",
655         {"", "", "", "", 0, "", "", "", "http://[0:f::f:f:0:0]:65536"},
656         {"http", "", "", "[0:f::f:f:0:0]", 0, "/", "", "", "http://[0:f::f:f:0:0]:65536/"});
657     checkRelativeURLDifferences(":foo.com\\", "notspecial://example.org/foo/bar",
658         {"notspecial", "", "", "example.org", 0, "/foo/:foo.com\\", "", "", "notspecial://example.org/foo/:foo.com\\"},
659         {"notspecial", "", "", "example.org", 0, "/foo/:foo.com/", "", "", "notspecial://example.org/foo/:foo.com/"});
660     checkURL("sc://pa", {"sc", "", "", "pa", 0, "", "", "", "sc://pa"});
661     checkRelativeURLDifferences("notspecial:\\\\foo.com\\", "http://example.org/foo/bar",
662         {"notspecial", "", "", "", 0, "\\\\foo.com\\", "", "", "notspecial:\\\\foo.com\\"},
663         {"notspecial", "", "", "foo.com", 0, "/", "", "", "notspecial://foo.com/"});
664     checkRelativeURLDifferences("notspecial:\\\\foo.com/", "http://example.org/foo/bar",
665         {"notspecial", "", "", "", 0, "\\\\foo.com/", "", "", "notspecial:\\\\foo.com/"},
666         {"notspecial", "", "", "foo.com", 0, "/", "", "", "notspecial://foo.com/"});
667     checkRelativeURLDifferences("notspecial:\\\\foo.com", "http://example.org/foo/bar",
668         {"notspecial", "", "", "", 0, "\\\\foo.com", "", "", "notspecial:\\\\foo.com"},
669         {"notspecial", "", "", "foo.com", 0, "", "", "", "notspecial://foo.com"});
670     checkURLDifferences("file://notuser:notpassword@test",
671         {"", "", "", "", 0, "", "", "", "file://notuser:notpassword@test"},
672         {"file", "notuser", "notpassword", "test", 0, "/", "", "", "file://notuser:notpassword@test/"});
673     checkURLDifferences("file://notuser:notpassword@test/",
674         {"", "", "", "", 0, "", "", "", "file://notuser:notpassword@test/"},
675         {"file", "notuser", "notpassword", "test", 0, "/", "", "", "file://notuser:notpassword@test/"});
676     checkRelativeURLDifferences("http:/", "about:blank",
677         {"", "", "", "", 0, "", "", "", "http:/"},
678         {"http", "", "", "", 0, "/", "", "", "http:/"});
679     checkRelativeURLDifferences("http:", "about:blank",
680         {"http", "", "", "", 0, "", "", "", "http:"},
681         {"http", "", "", "", 0, "/", "", "", "http:/"});
682     checkRelativeURLDifferences("http:/", "http://host",
683         {"", "", "", "", 0, "", "", "", "http:/"},
684         {"http", "", "", "", 0, "/", "", "", "http:/"});
685     checkURLDifferences("http:/",
686         {"", "", "", "", 0, "", "", "", "http:/"},
687         {"http", "", "", "", 0, "/", "", "", "http:/"});
688     checkURLDifferences("http:",
689         {"http", "", "", "", 0, "", "", "", "http:"},
690         {"http", "", "", "", 0, "/", "", "", "http:/"});
691     checkRelativeURLDifferences("http:/example.com/", "http://example.org/foo/bar",
692         {"http", "", "", "example.org", 0, "/example.com/", "", "", "http://example.org/example.com/"},
693         {"http", "", "", "example.com", 0, "/", "", "", "http://example.com/"});
694
695     // This behavior matches Chrome and Firefox, but not WebKit using URL::parse.
696     // The behavior of URL::parse is clearly wrong because reparsing file://path would make path the host.
697     // The spec is unclear.
698     checkURLDifferences("file:path",
699         {"file", "", "", "", 0, "/path", "", "", "file:///path"},
700         {"file", "", "", "", 0, "path", "", "", "file://path"});
701     checkURLDifferences("file:pAtH",
702         {"file", "", "", "", 0, "/pAtH", "", "", "file:///pAtH"},
703         {"file", "", "", "", 0, "pAtH", "", "", "file://pAtH"});
704     checkURLDifferences("file:pAtH/",
705         {"file", "", "", "", 0, "/pAtH/", "", "", "file:///pAtH/"},
706         {"file", "", "", "", 0, "pAtH/", "", "", "file://pAtH/"});
707     
708     checkURLDifferences("http://host%73",
709         {"http", "", "", "hosts", 0, "/", "", "", "http://hosts/"},
710         {"http", "", "", "host%73", 0, "/", "", "", "http://host%73/"});
711     checkURLDifferences("http://host%53",
712         {"http", "", "", "hosts", 0, "/", "", "", "http://hosts/"},
713         {"http", "", "", "host%53", 0, "/", "", "", "http://host%53/"});
714     checkURLDifferences("http://%",
715         {"", "", "", "", 0, "", "", "", "http://%"},
716         {"http", "", "", "%", 0, "/", "", "", "http://%/"});
717     checkURLDifferences("http://%7",
718         {"", "", "", "", 0, "", "", "", "http://%7"},
719         {"http", "", "", "%7", 0, "/", "", "", "http://%7/"});
720     checkURLDifferences("http://%7s",
721         {"", "", "", "", 0, "", "", "", "http://%7s"},
722         {"http", "", "", "%7s", 0, "/", "", "", "http://%7s/"});
723     checkURLDifferences("http://%73",
724         {"http", "", "", "s", 0, "/", "", "", "http://s/"},
725         {"http", "", "", "%73", 0, "/", "", "", "http://%73/"});
726     checkURLDifferences("http://abcdefg%",
727         {"", "", "", "", 0, "", "", "", "http://abcdefg%"},
728         {"http", "", "", "abcdefg%", 0, "/", "", "", "http://abcdefg%/"});
729     checkURLDifferences("http://abcd%7Xefg",
730         {"", "", "", "", 0, "", "", "", "http://abcd%7Xefg"},
731         {"http", "", "", "abcd%7xefg", 0, "/", "", "", "http://abcd%7xefg/"});
732
733     
734     // URLParser matches Chrome and the spec, but not URL::parse or Firefox.
735     checkURLDifferences(utf16String(u"http://0Xc0.0250.01"),
736         {"http", "", "", "192.168.0.1", 0, "/", "", "", "http://192.168.0.1/"},
737         {"http", "", "", "0xc0.0250.01", 0, "/", "", "", "http://0xc0.0250.01/"});
738
739     checkURL("http://host/path%2e.%2E", {"http", "", "", "host", 0, "/path%2e.%2E", "", "", "http://host/path%2e.%2E"});
740
741     checkRelativeURLDifferences(utf16String(u"http://foo:💩@example.com/bar"), "http://other.com/",
742         {"http", "foo", utf16String(u"💩"), "example.com", 0, "/bar", "", "", "http://foo:%F0%9F%92%A9@example.com/bar"},
743         {"", "", "", "", 0, "", "", "", utf16String(u"http://foo:💩@example.com/bar")}, testTabsValueForSurrogatePairs);
744     checkRelativeURLDifferences("http://&a:foo(b]c@d:2/", "http://example.org/foo/bar",
745         {"http", "&a", "foo(b]c", "d", 2, "/", "", "", "http://&a:foo(b%5Dc@d:2/"},
746         {"", "", "", "", 0, "", "", "", "http://&a:foo(b]c@d:2/"});
747     checkRelativeURLDifferences("http://`{}:`{}@h/`{}?`{}", "http://doesnotmatter/",
748         {"http", "`{}", "`{}", "h", 0, "/%60%7B%7D", "`{}", "", "http://%60%7B%7D:%60%7B%7D@h/%60%7B%7D?`{}"},
749         {"", "", "", "", 0, "", "", "", "http://`{}:`{}@h/`{}?`{}"});
750     checkURLDifferences("http://[0:f::f::f]",
751         {"", "", "", "", 0, "" , "", "", "http://[0:f::f::f]"},
752         {"http", "", "", "[0:f::f::f]", 0, "/" , "", "", "http://[0:f::f::f]/"});
753     checkURLDifferences("http://123",
754         {"http", "", "", "0.0.0.123", 0, "/", "", "", "http://0.0.0.123/"},
755         {"http", "", "", "123", 0, "/", "", "", "http://123/"});
756     checkURLDifferences("http://123.234/",
757         {"http", "", "", "123.0.0.234", 0, "/", "", "", "http://123.0.0.234/"},
758         {"http", "", "", "123.234", 0, "/", "", "", "http://123.234/"});
759     checkURLDifferences("http://123.234.012",
760         {"http", "", "", "123.234.0.10", 0, "/", "", "", "http://123.234.0.10/"},
761         {"http", "", "", "123.234.012", 0, "/", "", "", "http://123.234.012/"});
762     checkURLDifferences("http://123.234.12",
763         {"http", "", "", "123.234.0.12", 0, "/", "", "", "http://123.234.0.12/"},
764         {"http", "", "", "123.234.12", 0, "/", "", "", "http://123.234.12/"});
765     checkRelativeURLDifferences("file:c:\\foo\\bar.html", "file:///tmp/mock/path",
766         {"file", "", "", "", 0, "/c:/foo/bar.html", "", "", "file:///c:/foo/bar.html"},
767         {"file", "", "", "", 0, "/tmp/mock/c:/foo/bar.html", "", "", "file:///tmp/mock/c:/foo/bar.html"});
768     checkRelativeURLDifferences("  File:c|////foo\\bar.html", "file:///tmp/mock/path",
769         {"file", "", "", "", 0, "/c:////foo/bar.html", "", "", "file:///c:////foo/bar.html"},
770         {"file", "", "", "", 0, "/tmp/mock/c|////foo/bar.html", "", "", "file:///tmp/mock/c|////foo/bar.html"});
771     checkRelativeURLDifferences("  Fil\t\n\te\n\t\n:\t\n\tc\t\n\t|\n\t\n/\t\n\t/\n\t\n//foo\\bar.html", "file:///tmp/mock/path",
772         {"file", "", "", "", 0, "/c:////foo/bar.html", "", "", "file:///c:////foo/bar.html"},
773         {"file", "", "", "", 0, "/tmp/mock/c|////foo/bar.html", "", "", "file:///tmp/mock/c|////foo/bar.html"});
774     checkRelativeURLDifferences("C|/foo/bar", "file:///tmp/mock/path",
775         {"file", "", "", "", 0, "/C:/foo/bar", "", "", "file:///C:/foo/bar"},
776         {"file", "", "", "", 0, "/tmp/mock/C|/foo/bar", "", "", "file:///tmp/mock/C|/foo/bar"});
777     checkRelativeURLDifferences("/C|/foo/bar", "file:///tmp/mock/path",
778         {"file", "", "", "", 0, "/C:/foo/bar", "", "", "file:///C:/foo/bar"},
779         {"file", "", "", "", 0, "/C|/foo/bar", "", "", "file:///C|/foo/bar"});
780     checkRelativeURLDifferences("https://@test@test@example:800/", "http://doesnotmatter/",
781         {"https", "@test@test", "", "example", 800, "/", "", "", "https://%40test%40test@example:800/"},
782         {"", "", "", "", 0, "", "", "", "https://@test@test@example:800/"});
783     checkRelativeURLDifferences("https://@test@test@example:800/path@end", "http://doesnotmatter/",
784         {"https", "@test@test", "", "example", 800, "/path@end", "", "", "https://%40test%40test@example:800/path@end"},
785         {"", "", "", "", 0, "", "", "", "https://@test@test@example:800/path@end"});
786     checkURLDifferences("notspecial://@test@test@example:800/path@end",
787         {"notspecial", "@test@test", "", "example", 800, "/path@end", "", "", "notspecial://%40test%40test@example:800/path@end"},
788         {"", "", "", "", 0, "", "", "", "notspecial://@test@test@example:800/path@end"});
789     checkURLDifferences("notspecial://@test@test@example:800\\path@end",
790         {"notspecial", "@test@test@example", "800\\path", "end", 0, "", "", "", "notspecial://%40test%40test%40example:800%5Cpath@end"},
791         {"", "", "", "", 0, "", "", "", "notspecial://@test@test@example:800\\path@end"});
792     checkURLDifferences("http://%48OsT",
793         {"http", "", "", "host", 0, "/", "", "", "http://host/"},
794         {"http", "", "", "%48ost", 0, "/", "", "", "http://%48ost/"});
795     checkURLDifferences("http://h%4FsT",
796         {"http", "", "", "host", 0, "/", "", "", "http://host/"},
797         {"http", "", "", "h%4fst", 0, "/", "", "", "http://h%4fst/"});
798     checkURLDifferences("http://h%4fsT",
799         {"http", "", "", "host", 0, "/", "", "", "http://host/"},
800         {"http", "", "", "h%4fst", 0, "/", "", "", "http://h%4fst/"});
801     checkURLDifferences("http://h%6fsT",
802         {"http", "", "", "host", 0, "/", "", "", "http://host/"},
803         {"http", "", "", "h%6fst", 0, "/", "", "", "http://h%6fst/"});
804     checkURLDifferences("http://host/`",
805         {"http", "", "", "host", 0, "/%60", "", "", "http://host/%60"},
806         {"http", "", "", "host", 0, "/`", "", "", "http://host/`"});
807     checkURLDifferences("http://://",
808         {"", "", "", "", 0, "", "", "", "http://://"},
809         {"http", "", "", "", 0, "//", "", "", "http://://"});
810     checkURLDifferences("http://:123?",
811         {"", "", "", "", 0, "", "", "", "http://:123?"},
812         {"http", "", "", "", 123, "/", "", "", "http://:123/?"});
813     checkURLDifferences("http:/:",
814         {"", "", "", "", 0, "", "", "", "http:/:"},
815         {"http", "", "", "", 0, "/", "", "", "http://:/"});
816     checkURLDifferences("asdf://:",
817         {"", "", "", "", 0, "", "", "", "asdf://:"},
818         {"asdf", "", "", "", 0, "", "", "", "asdf://:"});
819     checkURLDifferences("http://:",
820         {"", "", "", "", 0, "", "", "", "http://:"},
821         {"http", "", "", "", 0, "/", "", "", "http://:/"});
822     checkURLDifferences("http:##foo",
823         {"http", "", "", "", 0, "//", "", "#foo", "http://##foo"},
824         {"http", "", "", "", 0, "/", "", "#foo", "http:/##foo"});
825     checkURLDifferences("http:??bar",
826         {"http", "", "", "", 0, "//", "?bar", "", "http://??bar"},
827         {"http", "", "", "", 0, "/", "?bar", "", "http:/??bar"});
828     checkRelativeURLDifferences("//C|/foo/bar", "file:///tmp/mock/path",
829         {"file", "", "", "", 0, "/C:/foo/bar", "", "", "file:///C:/foo/bar"},
830         {"", "", "", "", 0, "", "", "", "//C|/foo/bar"});
831     checkRelativeURLDifferences("//C:/foo/bar", "file:///tmp/mock/path",
832         {"file", "", "", "", 0, "/C:/foo/bar", "", "", "file:///C:/foo/bar"},
833         {"file", "", "", "c", 0, "/foo/bar", "", "", "file://c/foo/bar"});
834     checkRelativeURLDifferences("//C|?foo/bar", "file:///tmp/mock/path",
835         {"file", "", "", "", 0, "/C:/", "foo/bar", "", "file:///C:/?foo/bar"},
836         {"", "", "", "", 0, "", "", "", "//C|?foo/bar"});
837     checkRelativeURLDifferences("//C|#foo/bar", "file:///tmp/mock/path",
838         {"file", "", "", "", 0, "/C:/", "", "foo/bar", "file:///C:/#foo/bar"},
839         {"", "", "", "", 0, "", "", "", "//C|#foo/bar"});
840     checkURLDifferences("http://0xFFFFFfFF/",
841         {"http", "", "", "255.255.255.255", 0, "/", "", "", "http://255.255.255.255/"},
842         {"http", "", "", "0xffffffff", 0, "/", "", "", "http://0xffffffff/"});
843     checkURLDifferences("http://0000000000000000037777777777/",
844         {"http", "", "", "255.255.255.255", 0, "/", "", "", "http://255.255.255.255/"},
845         {"http", "", "", "0000000000000000037777777777", 0, "/", "", "", "http://0000000000000000037777777777/"});
846     checkURLDifferences("http://4294967295/",
847         {"http", "", "", "255.255.255.255", 0, "/", "", "", "http://255.255.255.255/"},
848         {"http", "", "", "4294967295", 0, "/", "", "", "http://4294967295/"});
849     checkURLDifferences("http://256/",
850         {"http", "", "", "0.0.1.0", 0, "/", "", "", "http://0.0.1.0/"},
851         {"http", "", "", "256", 0, "/", "", "", "http://256/"});
852     checkURLDifferences("http://256./",
853         {"http", "", "", "0.0.1.0", 0, "/", "", "", "http://0.0.1.0/"},
854         {"http", "", "", "256.", 0, "/", "", "", "http://256./"});
855     checkURLDifferences("http://123.256/",
856         {"http", "", "", "123.0.1.0", 0, "/", "", "", "http://123.0.1.0/"},
857         {"http", "", "", "123.256", 0, "/", "", "", "http://123.256/"});
858     checkURLDifferences("http://127.%.0.1/",
859         {"", "", "", "", 0, "", "", "", "http://127.%.0.1/"},
860         {"http", "", "", "127.%.0.1", 0, "/", "", "", "http://127.%.0.1/"});
861     checkURLDifferences("http://[1:2:3:4:5:6:7:8:]/",
862         {"", "", "", "", 0, "", "", "", "http://[1:2:3:4:5:6:7:8:]/"},
863         {"http", "", "", "[1:2:3:4:5:6:7:8:]", 0, "/", "", "", "http://[1:2:3:4:5:6:7:8:]/"});
864     checkURLDifferences("http://[:2:3:4:5:6:7:8:]/",
865         {"", "", "", "", 0, "", "", "", "http://[:2:3:4:5:6:7:8:]/"},
866         {"http", "", "", "[:2:3:4:5:6:7:8:]", 0, "/", "", "", "http://[:2:3:4:5:6:7:8:]/"});
867     checkURLDifferences("http://[1:2:3:4:5:6:7::]/",
868         {"http", "", "", "[1:2:3:4:5:6:7:0]", 0, "/", "", "", "http://[1:2:3:4:5:6:7:0]/"},
869         {"http", "", "", "[1:2:3:4:5:6:7::]", 0, "/", "", "", "http://[1:2:3:4:5:6:7::]/"});
870     checkURLDifferences("http://[1:2:3:4:5:6:7:::]/",
871         {"", "", "", "", 0, "", "", "", "http://[1:2:3:4:5:6:7:::]/"},
872         {"http", "", "", "[1:2:3:4:5:6:7:::]", 0, "/", "", "", "http://[1:2:3:4:5:6:7:::]/"});
873     checkURLDifferences("http://127.0.0.1~/",
874         {"http", "", "", "127.0.0.1~", 0, "/", "", "", "http://127.0.0.1~/"},
875         {"", "", "", "", 0, "", "", "", "http://127.0.0.1~/"});
876     checkURLDifferences("http://127.0.1~/",
877         {"http", "", "", "127.0.1~", 0, "/", "", "", "http://127.0.1~/"},
878         {"", "", "", "", 0, "", "", "", "http://127.0.1~/"});
879     checkURLDifferences("http://127.0.1./",
880         {"http", "", "", "127.0.0.1", 0, "/", "", "", "http://127.0.0.1/"},
881         {"http", "", "", "127.0.1.", 0, "/", "", "", "http://127.0.1./"});
882     checkURLDifferences("http://127.0.1.~/",
883         {"http", "", "", "127.0.1.~", 0, "/", "", "", "http://127.0.1.~/"},
884         {"", "", "", "", 0, "", "", "", "http://127.0.1.~/"});
885     checkURLDifferences("http://127.0.1.~",
886         {"http", "", "", "127.0.1.~", 0, "/", "", "", "http://127.0.1.~/"},
887         {"", "", "", "", 0, "", "", "", "http://127.0.1.~"});
888     checkRelativeURLDifferences("http://f:000/c", "http://example.org/foo/bar",
889         {"http", "", "", "f", 0, "/c", "", "", "http://f:0/c"},
890         {"http", "", "", "f", 0, "/c", "", "", "http://f:000/c"});
891     checkRelativeURLDifferences("http://f:010/c", "http://example.org/foo/bar",
892         {"http", "", "", "f", 10, "/c", "", "", "http://f:10/c"},
893         {"http", "", "", "f", 10, "/c", "", "", "http://f:010/c"});
894     checkURL("notspecial://HoSt", {"notspecial", "", "", "HoSt", 0, "", "", "", "notspecial://HoSt"});
895     checkURLDifferences("notspecial://H%6FSt",
896         {"notspecial", "", "", "HoSt", 0, "", "", "", "notspecial://HoSt"},
897         {"notspecial", "", "", "H%6FSt", 0, "", "", "", "notspecial://H%6FSt"});
898     checkURLDifferences("notspecial://H%4fSt",
899         {"notspecial", "", "", "HOSt", 0, "", "", "", "notspecial://HOSt"},
900         {"notspecial", "", "", "H%4fSt", 0, "", "", "", "notspecial://H%4fSt"});
901     checkURL(utf16String(u"notspecial://H😍ßt"), {"notspecial", "", "", "xn--hsst-qc83c", 0, "", "", "", "notspecial://xn--hsst-qc83c"}, testTabsValueForSurrogatePairs);
902     checkURLDifferences("http://[ffff:aaaa:cccc:eeee:bbbb:dddd:255.255.255.255]/",
903         {"http", "", "", "[ffff:aaaa:cccc:eeee:bbbb:dddd:ffff:ffff]", 0, "/", "", "", "http://[ffff:aaaa:cccc:eeee:bbbb:dddd:ffff:ffff]/"},
904         {"http", "", "", "[ffff:aaaa:cccc:eeee:bbbb:dddd:255.255.255.255]", 0, "/", "", "", "http://[ffff:aaaa:cccc:eeee:bbbb:dddd:255.255.255.255]/"}, TestTabs::No);
905     checkURLDifferences("http://[::123.234.12.210]/",
906         {"http", "", "", "[::7bea:cd2]", 0, "/", "", "", "http://[::7bea:cd2]/"},
907         {"http", "", "", "[::123.234.12.210]", 0, "/", "", "", "http://[::123.234.12.210]/"});
908     checkURLDifferences("http://[::a:255.255.255.255]/",
909         {"http", "", "", "[::a:ffff:ffff]", 0, "/", "", "", "http://[::a:ffff:ffff]/"},
910         {"http", "", "", "[::a:255.255.255.255]", 0, "/", "", "", "http://[::a:255.255.255.255]/"});
911     checkURLDifferences("http://[::0.00.255.255]/",
912         {"", "", "", "", 0, "", "", "", "http://[::0.00.255.255]/"},
913         {"http", "", "", "[::0.00.255.255]", 0, "/", "", "", "http://[::0.00.255.255]/"});
914     checkURLDifferences("http://[::0.0.255.255]/",
915         {"http", "", "", "[::ffff]", 0, "/", "", "", "http://[::ffff]/"},
916         {"http", "", "", "[::0.0.255.255]", 0, "/", "", "", "http://[::0.0.255.255]/"});
917     checkURLDifferences("http://[::0:1.0.255.255]/",
918         {"http", "", "", "[::100:ffff]", 0, "/", "", "", "http://[::100:ffff]/"},
919         {"http", "", "", "[::0:1.0.255.255]", 0, "/", "", "", "http://[::0:1.0.255.255]/"});
920     checkURLDifferences("http://[::A:1.0.255.255]/",
921         {"http", "", "", "[::a:100:ffff]", 0, "/", "", "", "http://[::a:100:ffff]/"},
922         {"http", "", "", "[::a:1.0.255.255]", 0, "/", "", "", "http://[::a:1.0.255.255]/"});
923     checkURLDifferences("http://[:127.0.0.1]",
924         {"", "", "", "", 0, "", "", "", "http://[:127.0.0.1]"},
925         {"http", "", "", "[:127.0.0.1]", 0, "/", "", "", "http://[:127.0.0.1]/"});
926     checkURLDifferences("http://[127.0.0.1]",
927         {"", "", "", "", 0, "", "", "", "http://[127.0.0.1]"},
928         {"http", "", "", "[127.0.0.1]", 0, "/", "", "", "http://[127.0.0.1]/"});
929     checkURLDifferences("http://[a:b:c:d:e:f:127.0.0.1]",
930         {"http", "", "", "[a:b:c:d:e:f:7f00:1]", 0, "/", "", "", "http://[a:b:c:d:e:f:7f00:1]/"},
931         {"http", "", "", "[a:b:c:d:e:f:127.0.0.1]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.0.1]/"});
932     checkURLDifferences("http://[a:b:c:d:e:f:127.0.0.101]",
933         {"http", "", "", "[a:b:c:d:e:f:7f00:65]", 0, "/", "", "", "http://[a:b:c:d:e:f:7f00:65]/"},
934         {"http", "", "", "[a:b:c:d:e:f:127.0.0.101]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.0.101]/"});
935     checkURLDifferences("http://[::a:b:c:d:e:f:127.0.0.1]",
936         {"", "", "", "", 0, "", "", "", "http://[::a:b:c:d:e:f:127.0.0.1]"},
937         {"http", "", "", "[::a:b:c:d:e:f:127.0.0.1]", 0, "/", "", "", "http://[::a:b:c:d:e:f:127.0.0.1]/"});
938     checkURLDifferences("http://[a:b::c:d:e:f:127.0.0.1]",
939         {"", "", "", "", 0, "", "", "", "http://[a:b::c:d:e:f:127.0.0.1]"},
940         {"http", "", "", "[a:b::c:d:e:f:127.0.0.1]", 0, "/", "", "", "http://[a:b::c:d:e:f:127.0.0.1]/"});
941     checkURLDifferences("http://[a:b:c:d:e:127.0.0.1]",
942         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:127.0.0.1]"},
943         {"http", "", "", "[a:b:c:d:e:127.0.0.1]", 0, "/", "", "", "http://[a:b:c:d:e:127.0.0.1]/"});
944     checkURLDifferences("http://[a:b:c:d:e:f:127.0.0.0.1]",
945         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f:127.0.0.0.1]"},
946         {"http", "", "", "[a:b:c:d:e:f:127.0.0.0.1]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.0.0.1]/"});
947     checkURLDifferences("http://[a:b:c:d:e:f:127.0.1]",
948         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f:127.0.1]"},
949         {"http", "", "", "[a:b:c:d:e:f:127.0.1]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.1]/"});
950     checkURLDifferences("http://[a:b:c:d:e:f:127.0.0.011]", // Chrome treats this as octal, Firefox and the spec fail
951         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f:127.0.0.011]"},
952         {"http", "", "", "[a:b:c:d:e:f:127.0.0.011]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.0.011]/"});
953     checkURLDifferences("http://[a:b:c:d:e:f:127.0.00.1]",
954         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f:127.0.00.1]"},
955         {"http", "", "", "[a:b:c:d:e:f:127.0.00.1]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.00.1]/"});
956     checkURLDifferences("http://[a:b:c:d:e:f:127.0.0.1.]",
957         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f:127.0.0.1.]"},
958         {"http", "", "", "[a:b:c:d:e:f:127.0.0.1.]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0.0.1.]/"});
959     checkURLDifferences("http://[a:b:c:d:e:f:127.0..0.1]",
960         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f:127.0..0.1]"},
961         {"http", "", "", "[a:b:c:d:e:f:127.0..0.1]", 0, "/", "", "", "http://[a:b:c:d:e:f:127.0..0.1]/"});
962     checkURLDifferences("http://[a:b:c:d:e:f::127.0.0.1]",
963         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f::127.0.0.1]"},
964         {"http", "", "", "[a:b:c:d:e:f::127.0.0.1]", 0, "/", "", "", "http://[a:b:c:d:e:f::127.0.0.1]/"});
965     checkURLDifferences("http://[a:b:c:d:e::127.0.0.1]",
966         {"http", "", "", "[a:b:c:d:e:0:7f00:1]", 0, "/", "", "", "http://[a:b:c:d:e:0:7f00:1]/"},
967         {"http", "", "", "[a:b:c:d:e::127.0.0.1]", 0, "/", "", "", "http://[a:b:c:d:e::127.0.0.1]/"});
968     checkURLDifferences("http://[a:b:c:d::e:127.0.0.1]",
969         {"http", "", "", "[a:b:c:d:0:e:7f00:1]", 0, "/", "", "", "http://[a:b:c:d:0:e:7f00:1]/"},
970         {"http", "", "", "[a:b:c:d::e:127.0.0.1]", 0, "/", "", "", "http://[a:b:c:d::e:127.0.0.1]/"});
971     checkURLDifferences("http://[a:b:c:d:e:f::127.0.0.]",
972         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f::127.0.0.]"},
973         {"http", "", "", "[a:b:c:d:e:f::127.0.0.]", 0, "/", "", "", "http://[a:b:c:d:e:f::127.0.0.]/"});
974     checkURLDifferences("http://[a:b:c:d:e:f::127.0.0.256]",
975         {"", "", "", "", 0, "", "", "", "http://[a:b:c:d:e:f::127.0.0.256]"},
976         {"http", "", "", "[a:b:c:d:e:f::127.0.0.256]", 0, "/", "", "", "http://[a:b:c:d:e:f::127.0.0.256]/"});
977     checkURLDifferences("http://123456", {"http", "", "", "0.1.226.64", 0, "/", "", "", "http://0.1.226.64/"}, {"http", "", "", "123456", 0, "/", "", "", "http://123456/"});
978     checkURL("asdf://123456", {"asdf", "", "", "123456", 0, "", "", "", "asdf://123456"});
979     checkURLDifferences("http://[0:0:0:0:a:b:c:d]",
980         {"http", "", "", "[::a:b:c:d]", 0, "/", "", "", "http://[::a:b:c:d]/"},
981         {"http", "", "", "[0:0:0:0:a:b:c:d]", 0, "/", "", "", "http://[0:0:0:0:a:b:c:d]/"});
982     checkURLDifferences("asdf://[0:0:0:0:a:b:c:d]",
983         {"asdf", "", "", "[::a:b:c:d]", 0, "", "", "", "asdf://[::a:b:c:d]"},
984         {"asdf", "", "", "[0:0:0:0:a:b:c:d]", 0, "", "", "", "asdf://[0:0:0:0:a:b:c:d]"});
985 }
986
987 TEST_F(URLParserTest, DefaultPort)
988 {
989     checkURL("FtP://host:21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
990     checkURL("ftp://host:21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
991     checkURL("f\ttp://host:21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
992     checkURL("f\ttp://host\t:21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
993     checkURL("f\ttp://host:\t21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
994     checkURL("f\ttp://host:2\t1/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
995     checkURL("f\ttp://host:21\t/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
996     checkURL("ftp://host\t:21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
997     checkURL("ftp://host:\t21/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
998     checkURL("ftp://host:2\t1/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
999     checkURL("ftp://host:21\t/", {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"});
1000     checkURL("ftp://host:22/", {"ftp", "", "", "host", 22, "/", "", "", "ftp://host:22/"});
1001     checkURLDifferences("ftp://host:21",
1002         {"ftp", "", "", "host", 0, "/", "", "", "ftp://host/"},
1003         {"ftp", "", "", "host", 0, "", "", "", "ftp://host"});
1004     checkURLDifferences("ftp://host:22",
1005         {"ftp", "", "", "host", 22, "/", "", "", "ftp://host:22/"},
1006         {"ftp", "", "", "host", 22, "", "", "", "ftp://host:22"});
1007     
1008     checkURL("gOpHeR://host:70/", {"gopher", "", "", "host", 0, "/", "", "", "gopher://host/"});
1009     checkURL("gopher://host:70/", {"gopher", "", "", "host", 0, "/", "", "", "gopher://host/"});
1010     checkURL("gopher://host:71/", {"gopher", "", "", "host", 71, "/", "", "", "gopher://host:71/"});
1011     // Spec, Chrome, Firefox, and URLParser have "/", URL::parse does not.
1012     // Spec, Chrome, URLParser, URL::parse recognize gopher default port, Firefox does not.
1013     checkURLDifferences("gopher://host:70",
1014         {"gopher", "", "", "host", 0, "/", "", "", "gopher://host/"},
1015         {"gopher", "", "", "host", 0, "", "", "", "gopher://host"});
1016     checkURLDifferences("gopher://host:71",
1017         {"gopher", "", "", "host", 71, "/", "", "", "gopher://host:71/"},
1018         {"gopher", "", "", "host", 71, "", "", "", "gopher://host:71"});
1019     
1020     checkURL("hTtP://host:80", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
1021     checkURL("http://host:80", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
1022     checkURL("http://host:80/", {"http", "", "", "host", 0, "/", "", "", "http://host/"});
1023     checkURL("http://host:81", {"http", "", "", "host", 81, "/", "", "", "http://host:81/"});
1024     checkURL("http://host:81/", {"http", "", "", "host", 81, "/", "", "", "http://host:81/"});
1025     
1026     checkURL("hTtPs://host:443", {"https", "", "", "host", 0, "/", "", "", "https://host/"});
1027     checkURL("https://host:443", {"https", "", "", "host", 0, "/", "", "", "https://host/"});
1028     checkURL("https://host:443/", {"https", "", "", "host", 0, "/", "", "", "https://host/"});
1029     checkURL("https://host:444", {"https", "", "", "host", 444, "/", "", "", "https://host:444/"});
1030     checkURL("https://host:444/", {"https", "", "", "host", 444, "/", "", "", "https://host:444/"});
1031     
1032     checkURL("wS://host:80/", {"ws", "", "", "host", 0, "/", "", "", "ws://host/"});
1033     checkURL("ws://host:80/", {"ws", "", "", "host", 0, "/", "", "", "ws://host/"});
1034     checkURL("ws://host:81/", {"ws", "", "", "host", 81, "/", "", "", "ws://host:81/"});
1035     // URLParser matches Chrome and Firefox, but not URL::parse
1036     checkURLDifferences("ws://host:80",
1037         {"ws", "", "", "host", 0, "/", "", "", "ws://host/"},
1038         {"ws", "", "", "host", 0, "", "", "", "ws://host"});
1039     checkURLDifferences("ws://host:81",
1040         {"ws", "", "", "host", 81, "/", "", "", "ws://host:81/"},
1041         {"ws", "", "", "host", 81, "", "", "", "ws://host:81"});
1042     
1043     checkURL("WsS://host:443/", {"wss", "", "", "host", 0, "/", "", "", "wss://host/"});
1044     checkURL("wss://host:443/", {"wss", "", "", "host", 0, "/", "", "", "wss://host/"});
1045     checkURL("wss://host:444/", {"wss", "", "", "host", 444, "/", "", "", "wss://host:444/"});
1046     // URLParser matches Chrome and Firefox, but not URL::parse
1047     checkURLDifferences("wss://host:443",
1048         {"wss", "", "", "host", 0, "/", "", "", "wss://host/"},
1049         {"wss", "", "", "host", 0, "", "", "", "wss://host"});
1050     checkURLDifferences("wss://host:444",
1051         {"wss", "", "", "host", 444, "/", "", "", "wss://host:444/"},
1052         {"wss", "", "", "host", 444, "", "", "", "wss://host:444"});
1053
1054     checkURL("fTpS://host:990/", {"ftps", "", "", "host", 990, "/", "", "", "ftps://host:990/"});
1055     checkURL("ftps://host:990/", {"ftps", "", "", "host", 990, "/", "", "", "ftps://host:990/"});
1056     checkURL("ftps://host:991/", {"ftps", "", "", "host", 991, "/", "", "", "ftps://host:991/"});
1057     checkURL("ftps://host:990", {"ftps", "", "", "host", 990, "", "", "", "ftps://host:990"});
1058     checkURL("ftps://host:991", {"ftps", "", "", "host", 991, "", "", "", "ftps://host:991"});
1059
1060     checkURL("uNkNoWn://host:80/", {"unknown", "", "", "host", 80, "/", "", "", "unknown://host:80/"});
1061     checkURL("unknown://host:80/", {"unknown", "", "", "host", 80, "/", "", "", "unknown://host:80/"});
1062     checkURL("unknown://host:81/", {"unknown", "", "", "host", 81, "/", "", "", "unknown://host:81/"});
1063     checkURL("unknown://host:80", {"unknown", "", "", "host", 80, "", "", "", "unknown://host:80"});
1064     checkURL("unknown://host:81", {"unknown", "", "", "host", 81, "", "", "", "unknown://host:81"});
1065
1066     checkURL("file://host:0", {"file", "", "", "host", 0, "/", "", "", "file://host:0/"});
1067     checkURL("file://host:80", {"file", "", "", "host", 80, "/", "", "", "file://host:80/"});
1068     checkURL("file://host:80/path", {"file", "", "", "host", 80, "/path", "", "", "file://host:80/path"});
1069     checkURLDifferences("file://:80/path",
1070         {"", "", "", "", 0, "", "", "", "file://:80/path"},
1071         {"file", "", "", "", 80, "/path", "", "", "file://:80/path"});
1072     checkURLDifferences("file://:0/path",
1073         {"", "", "", "", 0, "", "", "", "file://:0/path"},
1074         {"file", "", "", "", 0, "/path", "", "", "file://:0/path"});
1075 }
1076     
1077 static void shouldFail(const String& urlString)
1078 {
1079     checkURL(urlString, {"", "", "", "", 0, "", "", "", urlString});
1080 }
1081
1082 static void shouldFail(const String& urlString, const String& baseString)
1083 {
1084     checkRelativeURL(urlString, baseString, {"", "", "", "", 0, "", "", "", urlString});
1085 }
1086
1087 TEST_F(URLParserTest, ParserFailures)
1088 {
1089     shouldFail("    ");
1090     shouldFail("  \a  ");
1091     shouldFail("");
1092     shouldFail(String());
1093     shouldFail("", "about:blank");
1094     shouldFail(String(), "about:blank");
1095     shouldFail("http://127.0.0.1:abc");
1096     shouldFail("http://host:abc");
1097     shouldFail("http://:abc");
1098     shouldFail("http://a:@", "about:blank");
1099     shouldFail("http://:b@", "about:blank");
1100     shouldFail("http://:@", "about:blank");
1101     shouldFail("http://a:@");
1102     shouldFail("http://:b@");
1103     shouldFail("http://@");
1104     shouldFail("http://[0:f::f:f:0:0]:abc");
1105     shouldFail("../i", "sc:sd");
1106     shouldFail("../i", "sc:sd/sd");
1107     shouldFail("/i", "sc:sd");
1108     shouldFail("/i", "sc:sd/sd");
1109     shouldFail("?i", "sc:sd");
1110     shouldFail("?i", "sc:sd/sd");
1111     shouldFail("http://example example.com", "http://other.com/");
1112     shouldFail("http://[www.example.com]/", "about:blank");
1113     shouldFail("http://192.168.0.1 hello", "http://other.com/");
1114     shouldFail("http://[example.com]", "http://other.com/");
1115     shouldFail("i", "sc:sd");
1116     shouldFail("i", "sc:sd/sd");
1117     shouldFail("i");
1118     shouldFail("asdf");
1119     shouldFail("~");
1120     shouldFail("%");
1121     shouldFail("//%");
1122     shouldFail("~", "about:blank");
1123     shouldFail("~~~");
1124     shouldFail("://:0/");
1125     shouldFail("://:0/", "");
1126     shouldFail("://:0/", "about:blank");
1127     shouldFail("about~");
1128     shouldFail("//C:asdf/foo/bar", "file:///tmp/mock/path");
1129     shouldFail("http://[1234::ab#]");
1130     shouldFail("http://[1234::ab/]");
1131     shouldFail("http://[1234::ab?]");
1132     shouldFail("http://[1234::ab@]");
1133     shouldFail("http://[1234::ab~]");
1134     shouldFail("http://[2001::1");
1135     shouldFail("http://[1:2:3:4:5:6:7:8~]/");
1136     shouldFail("http://[a:b:c:d:e:f:g:127.0.0.1]");
1137     shouldFail("http://[a:b:c:d:e:f:g:h:127.0.0.1]");
1138     shouldFail("http://[a:b:c:d:e:f:127.0.0.0x11]"); // Chrome treats this as hex, Firefox and the spec fail
1139     shouldFail("http://[a:b:c:d:e:f:127.0.-0.1]");
1140     shouldFail("asdf://space InHost");
1141     shouldFail("asdf://[0:0:0:0:a:b:c:d");
1142 }
1143
1144 // These are in the spec but not in the web platform tests.
1145 TEST_F(URLParserTest, AdditionalTests)
1146 {
1147     checkURL("about:\a\aabc", {"about", "", "", "", 0, "%07%07abc", "", "", "about:%07%07abc"});
1148     checkURL("notspecial:\t\t\n\t", {"notspecial", "", "", "", 0, "", "", "", "notspecial:"});
1149     checkURL("notspecial\t\t\n\t:\t\t\n\t/\t\t\n\t/\t\t\n\thost", {"notspecial", "", "", "host", 0, "", "", "", "notspecial://host"});
1150     checkRelativeURL("http:", "http://example.org/foo/bar?query#fragment", {"http", "", "", "example.org", 0, "/foo/bar", "query", "", "http://example.org/foo/bar?query"});
1151     checkRelativeURLDifferences("ws:", "http://example.org/foo/bar",
1152         {"ws", "", "", "", 0, "", "", "", "ws:"},
1153         {"ws", "", "", "", 0, "s:", "", "", "ws:s:"});
1154     checkRelativeURL("notspecial:", "http://example.org/foo/bar", {"notspecial", "", "", "", 0, "", "", "", "notspecial:"});
1155
1156     const wchar_t surrogateBegin = 0xD800;
1157     const wchar_t validSurrogateEnd = 0xDD55;
1158     const wchar_t invalidSurrogateEnd = 'A';
1159     checkURL(utf16String<12>({'h', 't', 't', 'p', ':', '/', '/', 'w', '/', surrogateBegin, validSurrogateEnd, '\0'}),
1160         {"http", "", "", "w", 0, "/%F0%90%85%95", "", "", "http://w/%F0%90%85%95"}, testTabsValueForSurrogatePairs);
1161
1162     // URLParser matches Chrome and Firefox but not URL::parse.
1163     checkURLDifferences(utf16String<12>({'h', 't', 't', 'p', ':', '/', '/', 'w', '/', surrogateBegin, invalidSurrogateEnd}),
1164         {"http", "", "", "w", 0, "/%EF%BF%BDA", "", "", "http://w/%EF%BF%BDA"},
1165         {"http", "", "", "w", 0, "/%ED%A0%80A", "", "", "http://w/%ED%A0%80A"});
1166     checkURLDifferences(utf16String<13>({'h', 't', 't', 'p', ':', '/', '/', 'w', '/', '?', surrogateBegin, invalidSurrogateEnd, '\0'}),
1167         {"http", "", "", "w", 0, "/", "%EF%BF%BDA", "", "http://w/?%EF%BF%BDA"},
1168         {"http", "", "", "w", 0, "/", "%ED%A0%80A", "", "http://w/?%ED%A0%80A"});
1169     checkURLDifferences(utf16String<11>({'h', 't', 't', 'p', ':', '/', '/', 'w', '/', surrogateBegin, '\0'}),
1170         {"http", "", "", "w", 0, "/%EF%BF%BD", "", "", "http://w/%EF%BF%BD"},
1171         {"http", "", "", "w", 0, "/%ED%A0%80", "", "", "http://w/%ED%A0%80"});
1172     checkURLDifferences(utf16String<12>({'h', 't', 't', 'p', ':', '/', '/', 'w', '/', '?', surrogateBegin, '\0'}),
1173         {"http", "", "", "w", 0, "/", "%EF%BF%BD", "", "http://w/?%EF%BF%BD"},
1174         {"http", "", "", "w", 0, "/", "%ED%A0%80", "", "http://w/?%ED%A0%80"});
1175     checkURLDifferences(utf16String<13>({'h', 't', 't', 'p', ':', '/', '/', 'w', '/', '?', surrogateBegin, ' ', '\0'}),
1176         {"http", "", "", "w", 0, "/", "%EF%BF%BD", "", "http://w/?%EF%BF%BD"},
1177         {"http", "", "", "w", 0, "/", "%ED%A0%80", "", "http://w/?%ED%A0%80"});
1178     
1179     // FIXME: Write more invalid surrogate pair tests based on feedback from https://bugs.webkit.org/show_bug.cgi?id=162105
1180 }
1181
1182 static void checkURL(const String& urlString, const TextEncoding& encoding, const ExpectedParts& parts, TestTabs testTabs = TestTabs::Yes)
1183 {
1184     URLParser parser(urlString, { }, encoding);
1185     auto url = parser.result();
1186     EXPECT_TRUE(eq(parts.protocol, url.protocol().toString()));
1187     EXPECT_TRUE(eq(parts.user, url.user()));
1188     EXPECT_TRUE(eq(parts.password, url.pass()));
1189     EXPECT_TRUE(eq(parts.host, url.host()));
1190     EXPECT_EQ(parts.port, url.port().valueOr(0));
1191     EXPECT_TRUE(eq(parts.path, url.path()));
1192     EXPECT_TRUE(eq(parts.query, url.query()));
1193     EXPECT_TRUE(eq(parts.fragment, url.fragmentIdentifier()));
1194     EXPECT_TRUE(eq(parts.string, url.string()));
1195
1196     if (testTabs == TestTabs::No)
1197         return;
1198
1199     for (size_t i = 0; i < urlString.length(); ++i) {
1200         String urlStringWithTab = insertTabAtLocation(urlString, i);
1201         checkURL(urlStringWithTab, encoding,
1202             parts.isInvalid() ? invalidParts(urlStringWithTab) : parts,
1203             TestTabs::No);
1204     }
1205 }
1206
1207 static void checkURL(const String& urlString, const String& baseURLString, const TextEncoding& encoding, const ExpectedParts& parts, TestTabs testTabs = TestTabs::Yes)
1208 {
1209     URLParser baseParser(baseURLString, { }, encoding);
1210     URLParser parser(urlString, baseParser.result(), encoding);
1211     auto url = parser.result();
1212     EXPECT_TRUE(eq(parts.protocol, url.protocol().toString()));
1213     EXPECT_TRUE(eq(parts.user, url.user()));
1214     EXPECT_TRUE(eq(parts.password, url.pass()));
1215     EXPECT_TRUE(eq(parts.host, url.host()));
1216     EXPECT_EQ(parts.port, url.port().valueOr(0));
1217     EXPECT_TRUE(eq(parts.path, url.path()));
1218     EXPECT_TRUE(eq(parts.query, url.query()));
1219     EXPECT_TRUE(eq(parts.fragment, url.fragmentIdentifier()));
1220     EXPECT_TRUE(eq(parts.string, url.string()));
1221     
1222     if (testTabs == TestTabs::No)
1223         return;
1224
1225     for (size_t i = 0; i < urlString.length(); ++i) {
1226         String urlStringWithTab = insertTabAtLocation(urlString, i);
1227         checkURL(urlStringWithTab, baseURLString, encoding,
1228             parts.isInvalid() ? invalidParts(urlStringWithTab) : parts,
1229             TestTabs::No);
1230     }
1231 }
1232
1233 TEST_F(URLParserTest, QueryEncoding)
1234 {
1235     checkURL(utf16String(u"http://host?ß😍#ß😍"), UTF8Encoding(), {"http", "", "", "host", 0, "/", "%C3%9F%F0%9F%98%8D", "%C3%9F%F0%9F%98%8D", utf16String(u"http://host/?%C3%9F%F0%9F%98%8D#%C3%9F%F0%9F%98%8D")}, testTabsValueForSurrogatePairs);
1236
1237     TextEncoding latin1(String("latin1"));
1238     checkURL("http://host/?query with%20spaces", latin1, {"http", "", "", "host", 0, "/", "query%20with%20spaces", "", "http://host/?query%20with%20spaces"});
1239     checkURL("http://host/?query", latin1, {"http", "", "", "host", 0, "/", "query", "", "http://host/?query"});
1240     checkURL("http://host/?\tquery", latin1, {"http", "", "", "host", 0, "/", "query", "", "http://host/?query"});
1241     checkURL("http://host/?q\tuery", latin1, {"http", "", "", "host", 0, "/", "query", "", "http://host/?query"});
1242     checkURL("http://host/?query with SpAcEs#fragment", latin1, {"http", "", "", "host", 0, "/", "query%20with%20SpAcEs", "fragment", "http://host/?query%20with%20SpAcEs#fragment"});
1243     checkURL("http://host/?que\rry\t\r\n#fragment", latin1, {"http", "", "", "host", 0, "/", "query", "fragment", "http://host/?query#fragment"});
1244
1245     TextEncoding unrecognized(String("unrecognized invalid encoding name"));
1246     checkURL("http://host/?query", unrecognized, {"http", "", "", "host", 0, "/", "", "", "http://host/?"});
1247     checkURL("http://host/?", unrecognized, {"http", "", "", "host", 0, "/", "", "", "http://host/?"});
1248
1249     TextEncoding iso88591(String("ISO-8859-1"));
1250     String withUmlauts = utf16String<4>({0xDC, 0x430, 0x451, '\0'});
1251     checkURL(makeString("ws://host/path?", withUmlauts), iso88591, {"ws", "", "", "host", 0, "/path", "%C3%9C%D0%B0%D1%91", "", "ws://host/path?%C3%9C%D0%B0%D1%91"});
1252     checkURL(makeString("wss://host/path?", withUmlauts), iso88591, {"wss", "", "", "host", 0, "/path", "%C3%9C%D0%B0%D1%91", "", "wss://host/path?%C3%9C%D0%B0%D1%91"});
1253     checkURL(makeString("asdf://host/path?", withUmlauts), iso88591, {"asdf", "", "", "host", 0, "/path", "%C3%9C%D0%B0%D1%91", "", "asdf://host/path?%C3%9C%D0%B0%D1%91"});
1254     checkURL(makeString("https://host/path?", withUmlauts), iso88591, {"https", "", "", "host", 0, "/path", "%DC%26%231072%3B%26%231105%3B", "", "https://host/path?%DC%26%231072%3B%26%231105%3B"});
1255     checkURL(makeString("gopher://host/path?", withUmlauts), iso88591, {"gopher", "", "", "host", 0, "/path", "%DC%26%231072%3B%26%231105%3B", "", "gopher://host/path?%DC%26%231072%3B%26%231105%3B"});
1256     checkURL(makeString("/path?", withUmlauts, "#fragment"), "ws://example.com/", iso88591, {"ws", "", "", "example.com", 0, "/path", "%C3%9C%D0%B0%D1%91", "fragment", "ws://example.com/path?%C3%9C%D0%B0%D1%91#fragment"});
1257     checkURL(makeString("/path?", withUmlauts, "#fragment"), "wss://example.com/", iso88591, {"wss", "", "", "example.com", 0, "/path", "%C3%9C%D0%B0%D1%91", "fragment", "wss://example.com/path?%C3%9C%D0%B0%D1%91#fragment"});
1258     checkURL(makeString("/path?", withUmlauts, "#fragment"), "asdf://example.com/", iso88591, {"asdf", "", "", "example.com", 0, "/path", "%C3%9C%D0%B0%D1%91", "fragment", "asdf://example.com/path?%C3%9C%D0%B0%D1%91#fragment"});
1259     checkURL(makeString("/path?", withUmlauts, "#fragment"), "https://example.com/", iso88591, {"https", "", "", "example.com", 0, "/path", "%DC%26%231072%3B%26%231105%3B", "fragment", "https://example.com/path?%DC%26%231072%3B%26%231105%3B#fragment"});
1260     checkURL(makeString("/path?", withUmlauts, "#fragment"), "gopher://example.com/", iso88591, {"gopher", "", "", "example.com", 0, "/path", "%DC%26%231072%3B%26%231105%3B", "fragment", "gopher://example.com/path?%DC%26%231072%3B%26%231105%3B#fragment"});
1261     checkURL(makeString("gopher://host/path?", withUmlauts, "#fragment"), "asdf://example.com/?doesntmatter", iso88591, {"gopher", "", "", "host", 0, "/path", "%DC%26%231072%3B%26%231105%3B", "fragment", "gopher://host/path?%DC%26%231072%3B%26%231105%3B#fragment"});
1262     checkURL(makeString("asdf://host/path?", withUmlauts, "#fragment"), "http://example.com/?doesntmatter", iso88591, {"asdf", "", "", "host", 0, "/path", "%C3%9C%D0%B0%D1%91", "fragment", "asdf://host/path?%C3%9C%D0%B0%D1%91#fragment"});
1263
1264     // FIXME: Add more tests with other encodings and things like non-ascii characters, emoji and unmatched surrogate pairs.
1265 }
1266
1267 } // namespace TestWebKitAPI