Reduce size of WebCore::URL
[WebKit-https.git] / Source / WebCore / platform / URL.h
1 /*
2  * Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2011, 2012, 2013 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include <wtf/Forward.h>
29 #include <wtf/RetainPtr.h>
30 #include <wtf/text/WTFString.h>
31
32 #if USE(CF)
33 typedef const struct __CFURL* CFURLRef;
34 #endif
35
36 #if USE(SOUP)
37 #include "GUniquePtrSoup.h"
38 #endif
39
40 #if USE(FOUNDATION)
41 OBJC_CLASS NSURL;
42 #endif
43
44 namespace WTF {
45 class TextStream;
46 }
47
48 namespace WebCore {
49
50 class TextEncoding;
51 struct URLHash;
52
53 enum ParsedURLStringTag { ParsedURLString };
54
55 class URL {
56 public:
57     // Generates a URL which contains a null string.
58     URL() { invalidate(); }
59
60     // The argument is an absolute URL string. The string is assumed to be output of URL::string() called on a valid
61     // URL object, or indiscernible from such.
62     // It is usually best to avoid repeatedly parsing a string, unless memory saving outweigh the possible slow-downs.
63     WEBCORE_EXPORT URL(ParsedURLStringTag, const String&);
64     explicit URL(WTF::HashTableDeletedValueType) : m_string(WTF::HashTableDeletedValue) { }
65     bool isHashTableDeletedValue() const { return string().isHashTableDeletedValue(); }
66
67     // Resolves the relative URL with the given base URL. If provided, the
68     // TextEncoding is used to encode non-ASCII characers. The base URL can be
69     // null or empty, in which case the relative URL will be interpreted as
70     // absolute.
71     // FIXME: If the base URL is invalid, this always creates an invalid
72     // URL. Instead I think it would be better to treat all invalid base URLs
73     // the same way we treate null and empty base URLs.
74     WEBCORE_EXPORT URL(const URL& base, const String& relative);
75     URL(const URL& base, const String& relative, const TextEncoding&);
76
77     WEBCORE_EXPORT static URL fakeURLWithRelativePart(const String&);
78     WEBCORE_EXPORT static URL fileURLWithFileSystemPath(const String&);
79
80     String strippedForUseAsReferrer() const;
81
82     // FIXME: The above functions should be harmonized so that passing a
83     // base of null or the empty string gives the same result as the
84     // standard String constructor.
85
86     // Makes a deep copy. Helpful only if you need to use a URL on another
87     // thread. Since the underlying StringImpl objects are immutable, there's
88     // no other reason to ever prefer isolatedCopy() over plain old assignment.
89     WEBCORE_EXPORT URL isolatedCopy() const;
90
91     bool isNull() const;
92     bool isEmpty() const;
93     bool isValid() const;
94
95     // Returns true if you can set the host and port for the URL.
96     // Non-hierarchical URLs don't have a host and port.
97     bool canSetHostOrPort() const { return isHierarchical(); }
98
99     bool canSetPathname() const { return isHierarchical(); }
100     bool isHierarchical() const;
101
102     const String& string() const { return m_string; }
103
104     WEBCORE_EXPORT String stringCenterEllipsizedToLength(unsigned length = 1024) const;
105
106     WEBCORE_EXPORT StringView protocol() const;
107     WEBCORE_EXPORT StringView host() const;
108     WEBCORE_EXPORT std::optional<uint16_t> port() const;
109     WEBCORE_EXPORT String hostAndPort() const;
110     WEBCORE_EXPORT String protocolHostAndPort() const;
111     WEBCORE_EXPORT String user() const;
112     WEBCORE_EXPORT String pass() const;
113     WEBCORE_EXPORT String path() const;
114     WEBCORE_EXPORT String lastPathComponent() const;
115     WEBCORE_EXPORT String query() const;
116     WEBCORE_EXPORT String fragmentIdentifier() const;
117     WEBCORE_EXPORT bool hasFragmentIdentifier() const;
118
119     bool hasUsername() const;
120     bool hasPassword() const;
121     bool hasQuery() const;
122     bool hasFragment() const;
123     bool hasPath() const;
124
125     // Unlike user() and pass(), these functions don't decode escape sequences.
126     // This is necessary for accurate round-tripping, because encoding doesn't encode '%' characters.
127     String encodedUser() const;
128     String encodedPass() const;
129
130     WEBCORE_EXPORT String baseAsString() const;
131
132     WEBCORE_EXPORT String fileSystemPath() const;
133
134     // Returns true if the current URL's protocol is the same as the null-
135     // terminated ASCII argument. The argument must be lower-case.
136     WEBCORE_EXPORT bool protocolIs(const char*) const;
137     bool protocolIs(StringView) const;
138     bool protocolIsBlob() const { return protocolIs("blob"); }
139     bool protocolIsData() const { return protocolIs("data"); }
140     bool protocolIsInHTTPFamily() const;
141     WEBCORE_EXPORT bool isLocalFile() const;
142     WEBCORE_EXPORT bool isBlankURL() const;
143     bool cannotBeABaseURL() const { return m_cannotBeABaseURL; }
144
145     WEBCORE_EXPORT bool isMatchingDomain(const String&) const;
146
147     WEBCORE_EXPORT bool setProtocol(const String&);
148     void setHost(const String&);
149
150     void removePort();
151     void setPort(unsigned short);
152
153     // Input is like "foo.com" or "foo.com:8000".
154     void setHostAndPort(const String&);
155
156     void setUser(const String&);
157     void setPass(const String&);
158
159     // If you pass an empty path for HTTP or HTTPS URLs, the resulting path
160     // will be "/".
161     WEBCORE_EXPORT void setPath(const String&);
162
163     // The query may begin with a question mark, or, if not, one will be added
164     // for you. Setting the query to the empty string will leave a "?" in the
165     // URL (with nothing after it). To clear the query, pass a null string.
166     WEBCORE_EXPORT void setQuery(const String&);
167
168     WEBCORE_EXPORT void setFragmentIdentifier(StringView);
169     WEBCORE_EXPORT void removeFragmentIdentifier();
170
171     WEBCORE_EXPORT void removeQueryAndFragmentIdentifier();
172
173     WEBCORE_EXPORT friend bool equalIgnoringFragmentIdentifier(const URL&, const URL&);
174
175     WEBCORE_EXPORT friend bool protocolHostAndPortAreEqual(const URL&, const URL&);
176
177     unsigned hostStart() const;
178     unsigned hostEnd() const;
179
180     WEBCORE_EXPORT static bool hostIsIPAddress(StringView);
181
182     unsigned pathStart() const;
183     unsigned pathEnd() const;
184     unsigned pathAfterLastSlash() const;
185
186     operator const String&() const { return string(); }
187
188 #if USE(CF)
189     WEBCORE_EXPORT URL(CFURLRef);
190     WEBCORE_EXPORT RetainPtr<CFURLRef> createCFURL() const;
191 #endif
192
193 #if USE(SOUP)
194     URL(SoupURI*);
195     GUniquePtr<SoupURI> createSoupURI() const;
196 #endif
197
198 #if USE(FOUNDATION)
199     WEBCORE_EXPORT URL(NSURL*);
200     WEBCORE_EXPORT operator NSURL*() const;
201 #endif
202 #ifdef __OBJC__
203     operator NSString*() const { return string(); }
204 #endif
205
206 #ifndef NDEBUG
207     void print() const;
208 #endif
209
210     template <class Encoder> void encode(Encoder&) const;
211     template <class Decoder> static bool decode(Decoder&, URL&);
212     template <class Decoder> static std::optional<URL> decode(Decoder&);
213
214 private:
215     friend class URLParser;
216     WEBCORE_EXPORT void invalidate();
217     static bool protocolIs(const String&, const char*);
218     void init(const URL&, const String&, const TextEncoding&);
219     void copyToBuffer(Vector<char, 512>& buffer) const;
220
221     String m_string;
222
223     unsigned m_isValid : 1;
224     unsigned m_protocolIsInHTTPFamily : 1;
225     unsigned m_cannotBeABaseURL : 1;
226
227     // This is out of order to align the bits better. The port is after the host.
228     unsigned m_portLength : 3;
229     static constexpr unsigned maxPortLength = (1 << 3) - 1;
230
231     static constexpr unsigned maxSchemeLength = (1 << 26) - 1;
232     unsigned m_schemeEnd : 26;
233     unsigned m_userStart;
234     unsigned m_userEnd;
235     unsigned m_passwordEnd;
236     unsigned m_hostEnd;
237     unsigned m_pathAfterLastSlash;
238     unsigned m_pathEnd;
239     unsigned m_queryEnd;
240 };
241
242 static_assert(sizeof(URL) == sizeof(String) + 8 * sizeof(unsigned), "URL should stay small");
243
244 template <class Encoder>
245 void URL::encode(Encoder& encoder) const
246 {
247     encoder << m_string;
248 }
249
250 template <class Decoder>
251 bool URL::decode(Decoder& decoder, URL& url)
252 {
253     auto optionalURL = URL::decode(decoder);
254     if (!optionalURL)
255         return false;
256     url = WTFMove(*optionalURL);
257     return true;
258 }
259
260 template <class Decoder>
261 std::optional<URL> URL::decode(Decoder& decoder)
262 {
263     String string;
264     if (!decoder.decode(string))
265         return std::nullopt;
266     return URL(URL(), string);
267 }
268
269 bool operator==(const URL&, const URL&);
270 bool operator==(const URL&, const String&);
271 bool operator==(const String&, const URL&);
272 bool operator!=(const URL&, const URL&);
273 bool operator!=(const URL&, const String&);
274 bool operator!=(const String&, const URL&);
275
276 WEBCORE_EXPORT bool equalIgnoringFragmentIdentifier(const URL&, const URL&);
277 WEBCORE_EXPORT bool equalIgnoringQueryAndFragment(const URL&, const URL&);
278 WEBCORE_EXPORT bool protocolHostAndPortAreEqual(const URL&, const URL&);
279 WEBCORE_EXPORT bool hostsAreEqual(const URL&, const URL&);
280
281 WEBCORE_EXPORT const URL& blankURL();
282
283 // Functions to do URL operations on strings.
284 // These are operations that aren't faster on a parsed URL.
285 // These are also different from the URL functions in that they don't require the string to be a valid and parsable URL.
286 // This is especially important because valid javascript URLs are not necessarily considered valid by URL.
287
288 WEBCORE_EXPORT bool protocolIs(const String& url, const char* protocol);
289 WEBCORE_EXPORT bool protocolIsJavaScript(const String& url);
290 bool protocolIsJavaScript(StringView url);
291 WEBCORE_EXPORT bool protocolIsInHTTPFamily(const String& url);
292
293 std::optional<uint16_t> defaultPortForProtocol(StringView protocol);
294 WEBCORE_EXPORT bool isDefaultPortForProtocol(uint16_t port, StringView protocol);
295 WEBCORE_EXPORT bool portAllowed(const URL&); // Blacklist ports that should never be used for Web resources.
296
297 WEBCORE_EXPORT void registerDefaultPortForProtocolForTesting(uint16_t port, const String& protocol);
298 WEBCORE_EXPORT void clearDefaultPortForProtocolMapForTesting();
299
300 bool isValidProtocol(const String&);
301
302 String mimeTypeFromDataURL(const String& url);
303
304 // Unescapes the given string using URL escaping rules, given an optional
305 // encoding (defaulting to UTF-8 otherwise). DANGER: If the URL has "%00"
306 // in it, the resulting string will have embedded null characters!
307 WEBCORE_EXPORT String decodeURLEscapeSequences(const String&);
308 String decodeURLEscapeSequences(const String&, const TextEncoding&);
309
310 // FIXME: This is a wrong concept to expose, different parts of a URL need different escaping per the URL Standard.
311 WEBCORE_EXPORT String encodeWithURLEscapeSequences(const String&);
312
313 #if PLATFORM(IOS)
314 WEBCORE_EXPORT void enableURLSchemeCanonicalization(bool);
315 #endif
316
317 // Inlines.
318
319 inline bool operator==(const URL& a, const URL& b)
320 {
321     return a.string() == b.string();
322 }
323
324 inline bool operator==(const URL& a, const String& b)
325 {
326     return a.string() == b;
327 }
328
329 inline bool operator==(const String& a, const URL& b)
330 {
331     return a == b.string();
332 }
333
334 inline bool operator!=(const URL& a, const URL& b)
335 {
336     return a.string() != b.string();
337 }
338
339 inline bool operator!=(const URL& a, const String& b)
340 {
341     return a.string() != b;
342 }
343
344 inline bool operator!=(const String& a, const URL& b)
345 {
346     return a != b.string();
347 }
348
349 // Inline versions of some non-GoogleURL functions so we can get inlining
350 // without having to have a lot of ugly ifdefs in the class definition.
351
352 inline bool URL::isNull() const
353 {
354     return m_string.isNull();
355 }
356
357 inline bool URL::isEmpty() const
358 {
359     return m_string.isEmpty();
360 }
361
362 inline bool URL::isValid() const
363 {
364     return m_isValid;
365 }
366
367 inline bool URL::hasPath() const
368 {
369     return m_pathEnd != m_hostEnd + m_portLength;
370 }
371
372 inline bool URL::hasUsername() const
373 {
374     return m_userEnd > m_userStart;
375 }
376
377 inline bool URL::hasPassword() const
378 {
379     return m_passwordEnd > (m_userEnd + 1);
380 }
381
382 inline bool URL::hasQuery() const
383 {
384     return m_queryEnd > m_pathEnd;
385 }
386
387 inline bool URL::hasFragment() const
388 {
389     return m_isValid && m_string.length() > m_queryEnd;
390 }
391
392 inline bool URL::protocolIsInHTTPFamily() const
393 {
394     return m_protocolIsInHTTPFamily;
395 }
396
397 inline unsigned URL::hostStart() const
398 {
399     return (m_passwordEnd == m_userStart) ? m_passwordEnd : m_passwordEnd + 1;
400 }
401
402 inline unsigned URL::hostEnd() const
403 {
404     return m_hostEnd;
405 }
406
407 inline unsigned URL::pathStart() const
408 {
409     return m_hostEnd + m_portLength;
410 }
411
412 inline unsigned URL::pathEnd() const
413 {
414     return m_pathEnd;
415 }
416
417 inline unsigned URL::pathAfterLastSlash() const
418 {
419     return m_pathAfterLastSlash;
420 }
421
422 WTF::TextStream& operator<<(WTF::TextStream&, const URL&);
423
424 } // namespace WebCore
425
426 namespace WTF {
427
428 // URLHash is the default hash for String
429 template<typename T> struct DefaultHash;
430 template<> struct DefaultHash<WebCore::URL> {
431     typedef WebCore::URLHash Hash;
432 };
433
434 } // namespace WTF