68552ee3fadf466b14e73f27d28b6e1e40abcc56
[WebKit-https.git] / Source / WebCore / platform / URL.h
1 /*
2  * Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2011, 2012, 2013 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "PlatformExportMacros.h"
29 #include <wtf/Forward.h>
30 #include <wtf/RetainPtr.h>
31 #include <wtf/text/WTFString.h>
32
33 #if USE(CF)
34 typedef const struct __CFURL* CFURLRef;
35 #endif
36
37 #if USE(SOUP)
38 #include "GUniquePtrSoup.h"
39 #endif
40
41 #if USE(FOUNDATION)
42 OBJC_CLASS NSURL;
43 #endif
44
45 namespace WTF {
46 class TextStream;
47 }
48
49 namespace WebCore {
50
51 class TextEncoding;
52 struct URLHash;
53
54 enum ParsedURLStringTag { ParsedURLString };
55
56 class URL {
57 public:
58     // Generates a URL which contains a null string.
59     URL() { invalidate(); }
60
61     // The argument is an absolute URL string. The string is assumed to be output of URL::string() called on a valid
62     // URL object, or indiscernible from such.
63     // It is usually best to avoid repeatedly parsing a string, unless memory saving outweigh the possible slow-downs.
64     WEBCORE_EXPORT URL(ParsedURLStringTag, const String&);
65     explicit URL(WTF::HashTableDeletedValueType) : m_string(WTF::HashTableDeletedValue) { }
66     bool isHashTableDeletedValue() const { return string().isHashTableDeletedValue(); }
67
68     // Resolves the relative URL with the given base URL. If provided, the
69     // TextEncoding is used to encode non-ASCII characers. The base URL can be
70     // null or empty, in which case the relative URL will be interpreted as
71     // absolute.
72     // FIXME: If the base URL is invalid, this always creates an invalid
73     // URL. Instead I think it would be better to treat all invalid base URLs
74     // the same way we treate null and empty base URLs.
75     WEBCORE_EXPORT URL(const URL& base, const String& relative);
76     URL(const URL& base, const String& relative, const TextEncoding&);
77
78     WEBCORE_EXPORT static URL fakeURLWithRelativePart(const String&);
79     WEBCORE_EXPORT static URL fileURLWithFileSystemPath(const String&);
80
81     String strippedForUseAsReferrer() const;
82
83     // FIXME: The above functions should be harmonized so that passing a
84     // base of null or the empty string gives the same result as the
85     // standard String constructor.
86
87     // Makes a deep copy. Helpful only if you need to use a URL on another
88     // thread. Since the underlying StringImpl objects are immutable, there's
89     // no other reason to ever prefer isolatedCopy() over plain old assignment.
90     WEBCORE_EXPORT URL isolatedCopy() const;
91
92     bool isNull() const;
93     bool isEmpty() const;
94     bool isValid() const;
95
96     // Returns true if you can set the host and port for the URL.
97     // Non-hierarchical URLs don't have a host and port.
98     bool canSetHostOrPort() const { return isHierarchical(); }
99
100     bool canSetPathname() const { return isHierarchical(); }
101     bool isHierarchical() const;
102
103     const String& string() const { return m_string; }
104
105     WEBCORE_EXPORT String stringCenterEllipsizedToLength(unsigned length = 1024) const;
106
107     WEBCORE_EXPORT StringView protocol() const;
108     WEBCORE_EXPORT String host() const;
109     WEBCORE_EXPORT std::optional<uint16_t> port() const;
110     WEBCORE_EXPORT String hostAndPort() const;
111     WEBCORE_EXPORT String protocolHostAndPort() const;
112     WEBCORE_EXPORT String user() const;
113     WEBCORE_EXPORT String pass() const;
114     WEBCORE_EXPORT String path() const;
115     WEBCORE_EXPORT String lastPathComponent() const;
116     WEBCORE_EXPORT String query() const;
117     WEBCORE_EXPORT String fragmentIdentifier() const;
118     WEBCORE_EXPORT bool hasFragmentIdentifier() const;
119
120     bool hasUsername() const;
121     bool hasPassword() const;
122     bool hasQuery() const;
123     bool hasFragment() const;
124
125     // Unlike user() and pass(), these functions don't decode escape sequences.
126     // This is necessary for accurate round-tripping, because encoding doesn't encode '%' characters.
127     String encodedUser() const;
128     String encodedPass() const;
129
130     WEBCORE_EXPORT String baseAsString() const;
131
132     WEBCORE_EXPORT String fileSystemPath() const;
133
134     // Returns true if the current URL's protocol is the same as the null-
135     // terminated ASCII argument. The argument must be lower-case.
136     WEBCORE_EXPORT bool protocolIs(const char*) const;
137     bool protocolIs(StringView) const;
138     bool protocolIsBlob() const { return protocolIs("blob"); }
139     bool protocolIsData() const { return protocolIs("data"); }
140     bool protocolIsInHTTPFamily() const;
141     WEBCORE_EXPORT bool isLocalFile() const;
142     WEBCORE_EXPORT bool isBlankURL() const;
143     bool cannotBeABaseURL() const { return m_cannotBeABaseURL; }
144
145     WEBCORE_EXPORT bool setProtocol(const String&);
146     void setHost(const String&);
147
148     void removePort();
149     void setPort(unsigned short);
150
151     // Input is like "foo.com" or "foo.com:8000".
152     void setHostAndPort(const String&);
153
154     void setUser(const String&);
155     void setPass(const String&);
156
157     // If you pass an empty path for HTTP or HTTPS URLs, the resulting path
158     // will be "/".
159     WEBCORE_EXPORT void setPath(const String&);
160
161     // The query may begin with a question mark, or, if not, one will be added
162     // for you. Setting the query to the empty string will leave a "?" in the
163     // URL (with nothing after it). To clear the query, pass a null string.
164     WEBCORE_EXPORT void setQuery(const String&);
165
166     WEBCORE_EXPORT void setFragmentIdentifier(StringView);
167     WEBCORE_EXPORT void removeFragmentIdentifier();
168
169     WEBCORE_EXPORT void removeQueryAndFragmentIdentifier();
170
171     WEBCORE_EXPORT friend bool equalIgnoringFragmentIdentifier(const URL&, const URL&);
172
173     WEBCORE_EXPORT friend bool protocolHostAndPortAreEqual(const URL&, const URL&);
174
175     unsigned hostStart() const;
176     unsigned hostEnd() const;
177
178     unsigned pathStart() const;
179     unsigned pathEnd() const;
180     unsigned pathAfterLastSlash() const;
181
182     operator const String&() const { return string(); }
183
184 #if USE(CF)
185     WEBCORE_EXPORT URL(CFURLRef);
186     WEBCORE_EXPORT RetainPtr<CFURLRef> createCFURL() const;
187 #endif
188
189 #if USE(SOUP)
190     URL(SoupURI*);
191     GUniquePtr<SoupURI> createSoupURI() const;
192 #endif
193
194 #if USE(FOUNDATION)
195     WEBCORE_EXPORT URL(NSURL*);
196     WEBCORE_EXPORT operator NSURL*() const;
197 #endif
198 #ifdef __OBJC__
199     operator NSString*() const { return string(); }
200 #endif
201
202 #ifndef NDEBUG
203     void print() const;
204 #endif
205
206     template <class Encoder> void encode(Encoder&) const;
207     template <class Decoder> static bool decode(Decoder&, URL&);
208     template <class Decoder> static std::optional<URL> decode(Decoder&);
209
210     String serialize(bool omitFragment = false) const;
211
212 private:
213     friend class URLParser;
214     WEBCORE_EXPORT void invalidate();
215     static bool protocolIs(const String&, const char*);
216     void init(const URL&, const String&, const TextEncoding&);
217     void copyToBuffer(Vector<char, 512>& buffer) const;
218
219     // Parses the given URL. The originalString parameter allows for an
220     // optimization: When the source is the same as the fixed-up string,
221     // it will use the passed-in string instead of allocating a new one.
222     void parse(const String&);
223     void parse(const char* url, const String* originalString = 0);
224
225     bool hasPath() const;
226
227     String m_string;
228     bool m_isValid : 1;
229     bool m_protocolIsInHTTPFamily : 1;
230     bool m_cannotBeABaseURL : 1;
231
232     unsigned m_schemeEnd;
233     unsigned m_userStart;
234     unsigned m_userEnd;
235     unsigned m_passwordEnd;
236     unsigned m_hostEnd;
237     unsigned m_portEnd;
238     unsigned m_pathAfterLastSlash;
239     unsigned m_pathEnd;
240     unsigned m_queryEnd;
241 };
242
243 template <class Encoder>
244 void URL::encode(Encoder& encoder) const
245 {
246     encoder << m_string;
247     encoder << static_cast<bool>(m_isValid);
248     if (!m_isValid)
249         return;
250     encoder << static_cast<bool>(m_protocolIsInHTTPFamily);
251     encoder << m_schemeEnd;
252     encoder << m_userStart;
253     encoder << m_userEnd;
254     encoder << m_passwordEnd;
255     encoder << m_hostEnd;
256     encoder << m_portEnd;
257     encoder << m_pathAfterLastSlash;
258     encoder << m_pathEnd;
259     encoder << m_queryEnd;
260 }
261
262 template <class Decoder>
263 bool URL::decode(Decoder& decoder, URL& url)
264 {
265     auto optionalURL = URL::decode(decoder);
266     if (!optionalURL)
267         return false;
268     url = WTFMove(*optionalURL);
269     return true;
270 }
271
272 template <class Decoder>
273 std::optional<URL> URL::decode(Decoder& decoder)
274 {
275     URL url;
276     if (!decoder.decode(url.m_string))
277         return std::nullopt;
278     bool isValid;
279     if (!decoder.decode(isValid))
280         return std::nullopt;
281     url.m_isValid = isValid;
282     if (!isValid)
283         return WTFMove(url);
284     bool protocolIsInHTTPFamily;
285     if (!decoder.decode(protocolIsInHTTPFamily))
286         return std::nullopt;
287     url.m_protocolIsInHTTPFamily = protocolIsInHTTPFamily;
288     if (!decoder.decode(url.m_schemeEnd))
289         return std::nullopt;
290     if (!decoder.decode(url.m_userStart))
291         return std::nullopt;
292     if (!decoder.decode(url.m_userEnd))
293         return std::nullopt;
294     if (!decoder.decode(url.m_passwordEnd))
295         return std::nullopt;
296     if (!decoder.decode(url.m_hostEnd))
297         return std::nullopt;
298     if (!decoder.decode(url.m_portEnd))
299         return std::nullopt;
300     if (!decoder.decode(url.m_pathAfterLastSlash))
301         return std::nullopt;
302     if (!decoder.decode(url.m_pathEnd))
303         return std::nullopt;
304     if (!decoder.decode(url.m_queryEnd))
305         return std::nullopt;
306     return WTFMove(url);
307 }
308
309 bool operator==(const URL&, const URL&);
310 bool operator==(const URL&, const String&);
311 bool operator==(const String&, const URL&);
312 bool operator!=(const URL&, const URL&);
313 bool operator!=(const URL&, const String&);
314 bool operator!=(const String&, const URL&);
315
316 WEBCORE_EXPORT bool equalIgnoringFragmentIdentifier(const URL&, const URL&);
317 WEBCORE_EXPORT bool protocolHostAndPortAreEqual(const URL&, const URL&);
318 WEBCORE_EXPORT bool hostsAreEqual(const URL&, const URL&);
319
320 WEBCORE_EXPORT const URL& blankURL();
321
322 // Functions to do URL operations on strings.
323 // These are operations that aren't faster on a parsed URL.
324 // These are also different from the URL functions in that they don't require the string to be a valid and parsable URL.
325 // This is especially important because valid javascript URLs are not necessarily considered valid by URL.
326
327 WEBCORE_EXPORT bool protocolIs(const String& url, const char* protocol);
328 WEBCORE_EXPORT bool protocolIsJavaScript(const String& url);
329 bool protocolIsJavaScript(StringView url);
330 WEBCORE_EXPORT bool protocolIsInHTTPFamily(const String& url);
331
332 std::optional<uint16_t> defaultPortForProtocol(StringView protocol);
333 WEBCORE_EXPORT bool isDefaultPortForProtocol(uint16_t port, StringView protocol);
334 WEBCORE_EXPORT bool portAllowed(const URL&); // Blacklist ports that should never be used for Web resources.
335
336 WEBCORE_EXPORT void registerDefaultPortForProtocolForTesting(uint16_t port, const String& protocol);
337 WEBCORE_EXPORT void clearDefaultPortForProtocolMapForTesting();
338
339 bool isValidProtocol(const String&);
340
341 String mimeTypeFromDataURL(const String& url);
342 WEBCORE_EXPORT String mimeTypeFromURL(const URL&);
343
344 // Unescapes the given string using URL escaping rules, given an optional
345 // encoding (defaulting to UTF-8 otherwise). DANGER: If the URL has "%00"
346 // in it, the resulting string will have embedded null characters!
347 WEBCORE_EXPORT String decodeURLEscapeSequences(const String&);
348 String decodeURLEscapeSequences(const String&, const TextEncoding&);
349
350 // FIXME: This is a wrong concept to expose, different parts of a URL need different escaping per the URL Standard.
351 WEBCORE_EXPORT String encodeWithURLEscapeSequences(const String&);
352
353 #if PLATFORM(IOS)
354 WEBCORE_EXPORT void enableURLSchemeCanonicalization(bool);
355 #endif
356
357 // Inlines.
358
359 inline bool operator==(const URL& a, const URL& b)
360 {
361     return a.string() == b.string();
362 }
363
364 inline bool operator==(const URL& a, const String& b)
365 {
366     return a.string() == b;
367 }
368
369 inline bool operator==(const String& a, const URL& b)
370 {
371     return a == b.string();
372 }
373
374 inline bool operator!=(const URL& a, const URL& b)
375 {
376     return a.string() != b.string();
377 }
378
379 inline bool operator!=(const URL& a, const String& b)
380 {
381     return a.string() != b;
382 }
383
384 inline bool operator!=(const String& a, const URL& b)
385 {
386     return a != b.string();
387 }
388
389 // Inline versions of some non-GoogleURL functions so we can get inlining
390 // without having to have a lot of ugly ifdefs in the class definition.
391
392 inline bool URL::isNull() const
393 {
394     return m_string.isNull();
395 }
396
397 inline bool URL::isEmpty() const
398 {
399     return m_string.isEmpty();
400 }
401
402 inline bool URL::isValid() const
403 {
404     return m_isValid;
405 }
406
407 inline bool URL::hasPath() const
408 {
409     return m_pathEnd != m_portEnd;
410 }
411
412 inline bool URL::hasUsername() const
413 {
414     return m_userEnd > m_userStart;
415 }
416
417 inline bool URL::hasPassword() const
418 {
419     return m_passwordEnd > (m_userEnd + 1);
420 }
421
422 inline bool URL::hasQuery() const
423 {
424     return m_queryEnd > m_pathEnd;
425 }
426
427 inline bool URL::hasFragment() const
428 {
429     return m_isValid && m_string.length() > m_queryEnd;
430 }
431
432 inline bool URL::protocolIsInHTTPFamily() const
433 {
434     return m_protocolIsInHTTPFamily;
435 }
436
437 inline unsigned URL::hostStart() const
438 {
439     return (m_passwordEnd == m_userStart) ? m_passwordEnd : m_passwordEnd + 1;
440 }
441
442 inline unsigned URL::hostEnd() const
443 {
444     return m_hostEnd;
445 }
446
447 inline unsigned URL::pathStart() const
448 {
449     return m_portEnd;
450 }
451
452 inline unsigned URL::pathEnd() const
453 {
454     return m_pathEnd;
455 }
456
457 inline unsigned URL::pathAfterLastSlash() const
458 {
459     return m_pathAfterLastSlash;
460 }
461
462 WTF::TextStream& operator<<(WTF::TextStream&, const URL&);
463
464 } // namespace WebCore
465
466 namespace WTF {
467
468     // URLHash is the default hash for String
469     template<typename T> struct DefaultHash;
470     template<> struct DefaultHash<WebCore::URL> {
471         typedef WebCore::URLHash Hash;
472     };
473
474 } // namespace WTF