Reduce URL size
[WebKit.git] / Source / WebCore / platform / URL.h
1 /*
2  * Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2011, 2012, 2013 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #pragma once
27
28 #include "PlatformExportMacros.h"
29 #include <wtf/Forward.h>
30 #include <wtf/RetainPtr.h>
31 #include <wtf/text/WTFString.h>
32
33 #if USE(CF)
34 typedef const struct __CFURL* CFURLRef;
35 #endif
36
37 #if USE(SOUP)
38 #include "GUniquePtrSoup.h"
39 #endif
40
41 #if USE(FOUNDATION)
42 OBJC_CLASS NSURL;
43 #endif
44
45 namespace WebCore {
46
47 class TextEncoding;
48 struct URLHash;
49
50 enum ParsedURLStringTag { ParsedURLString };
51
52 class URL {
53 public:
54     // Generates a URL which contains a null string.
55     URL() { invalidate(); }
56
57     // The argument is an absolute URL string. The string is assumed to be output of URL::string() called on a valid
58     // URL object, or indiscernible from such.
59     // It is usually best to avoid repeatedly parsing a string, unless memory saving outweigh the possible slow-downs.
60     WEBCORE_EXPORT URL(ParsedURLStringTag, const String&);
61     explicit URL(WTF::HashTableDeletedValueType) : m_string(WTF::HashTableDeletedValue) { }
62     bool isHashTableDeletedValue() const { return string().isHashTableDeletedValue(); }
63
64     // Resolves the relative URL with the given base URL. If provided, the
65     // TextEncoding is used to encode non-ASCII characers. The base URL can be
66     // null or empty, in which case the relative URL will be interpreted as
67     // absolute.
68     // FIXME: If the base URL is invalid, this always creates an invalid
69     // URL. Instead I think it would be better to treat all invalid base URLs
70     // the same way we treate null and empty base URLs.
71     WEBCORE_EXPORT URL(const URL& base, const String& relative);
72     URL(const URL& base, const String& relative, const TextEncoding&);
73
74     static URL fakeURLWithRelativePart(const String&);
75     WEBCORE_EXPORT static URL fileURLWithFileSystemPath(const String&);
76
77     String strippedForUseAsReferrer() const;
78
79     // FIXME: The above functions should be harmonized so that passing a
80     // base of null or the empty string gives the same result as the
81     // standard String constructor.
82
83     // Makes a deep copy. Helpful only if you need to use a URL on another
84     // thread. Since the underlying StringImpl objects are immutable, there's
85     // no other reason to ever prefer isolatedCopy() over plain old assignment.
86     WEBCORE_EXPORT URL isolatedCopy() const;
87
88     bool isNull() const;
89     bool isEmpty() const;
90     bool isValid() const;
91
92     // Returns true if you can set the host and port for the URL.
93     // Non-hierarchical URLs don't have a host and port.
94     bool canSetHostOrPort() const { return isHierarchical(); }
95
96     bool canSetPathname() const { return isHierarchical(); }
97     bool isHierarchical() const;
98
99     const String& string() const { return m_string; }
100
101     WEBCORE_EXPORT String stringCenterEllipsizedToLength(unsigned length = 1024) const;
102
103     WEBCORE_EXPORT StringView protocol() const;
104     WEBCORE_EXPORT String host() const;
105     WEBCORE_EXPORT std::optional<uint16_t> port() const;
106     WEBCORE_EXPORT String hostAndPort() const;
107     WEBCORE_EXPORT String protocolHostAndPort() const;
108     WEBCORE_EXPORT String user() const;
109     WEBCORE_EXPORT String pass() const;
110     WEBCORE_EXPORT String path() const;
111     WEBCORE_EXPORT String lastPathComponent() const;
112     WEBCORE_EXPORT String query() const;
113     WEBCORE_EXPORT String fragmentIdentifier() const;
114     WEBCORE_EXPORT bool hasFragmentIdentifier() const;
115
116     bool hasUsername() const;
117     bool hasPassword() const;
118     bool hasQuery() const;
119     bool hasFragment() const;
120
121     // Unlike user() and pass(), these functions don't decode escape sequences.
122     // This is necessary for accurate round-tripping, because encoding doesn't encode '%' characters.
123     String encodedUser() const;
124     String encodedPass() const;
125
126     WEBCORE_EXPORT String baseAsString() const;
127
128     WEBCORE_EXPORT String fileSystemPath() const;
129
130     // Returns true if the current URL's protocol is the same as the null-
131     // terminated ASCII argument. The argument must be lower-case.
132     WEBCORE_EXPORT bool protocolIs(const char*) const;
133     bool protocolIs(StringView) const;
134     bool protocolIsBlob() const { return protocolIs("blob"); }
135     bool protocolIsData() const { return protocolIs("data"); }
136     bool protocolIsInHTTPFamily() const;
137     WEBCORE_EXPORT bool isLocalFile() const;
138     WEBCORE_EXPORT bool isBlankURL() const;
139     bool cannotBeABaseURL() const { return m_cannotBeABaseURL; }
140
141     WEBCORE_EXPORT bool setProtocol(const String&);
142     void setHost(const String&);
143
144     void removePort();
145     void setPort(unsigned short);
146
147     // Input is like "foo.com" or "foo.com:8000".
148     void setHostAndPort(const String&);
149
150     void setUser(const String&);
151     void setPass(const String&);
152
153     // If you pass an empty path for HTTP or HTTPS URLs, the resulting path
154     // will be "/".
155     WEBCORE_EXPORT void setPath(const String&);
156
157     // The query may begin with a question mark, or, if not, one will be added
158     // for you. Setting the query to the empty string will leave a "?" in the
159     // URL (with nothing after it). To clear the query, pass a null string.
160     void setQuery(const String&);
161
162     void setFragmentIdentifier(StringView);
163     void removeFragmentIdentifier();
164
165     WEBCORE_EXPORT friend bool equalIgnoringFragmentIdentifier(const URL&, const URL&);
166
167     WEBCORE_EXPORT friend bool protocolHostAndPortAreEqual(const URL&, const URL&);
168
169     unsigned hostStart() const;
170     unsigned hostEnd() const;
171
172     unsigned pathStart() const;
173     unsigned pathEnd() const;
174     unsigned pathAfterLastSlash() const;
175
176     operator const String&() const { return string(); }
177
178 #if USE(CF)
179     WEBCORE_EXPORT URL(CFURLRef);
180     WEBCORE_EXPORT RetainPtr<CFURLRef> createCFURL() const;
181 #endif
182
183 #if USE(SOUP)
184     URL(SoupURI*);
185     GUniquePtr<SoupURI> createSoupURI() const;
186 #endif
187
188 #if USE(FOUNDATION)
189     WEBCORE_EXPORT URL(NSURL*);
190     WEBCORE_EXPORT operator NSURL*() const;
191 #endif
192 #ifdef __OBJC__
193     operator NSString*() const { return string(); }
194 #endif
195
196 #ifndef NDEBUG
197     void print() const;
198 #endif
199
200     template <class Encoder> void encode(Encoder&) const;
201     template <class Decoder> static bool decode(Decoder&, URL&);
202
203     String serialize(bool omitFragment = false) const;
204
205 private:
206     friend class URLParser;
207     WEBCORE_EXPORT void invalidate();
208     static bool protocolIs(const String&, const char*);
209     void init(const URL&, const String&, const TextEncoding&);
210     void copyToBuffer(Vector<char, 512>& buffer) const;
211
212     // Parses the given URL. The originalString parameter allows for an
213     // optimization: When the source is the same as the fixed-up string,
214     // it will use the passed-in string instead of allocating a new one.
215     void parse(const String&);
216     void parse(const char* url, const String* originalString = 0);
217
218     bool hasPath() const;
219
220     String m_string;
221     bool m_isValid : 1;
222     bool m_protocolIsInHTTPFamily : 1;
223     bool m_cannotBeABaseURL : 1;
224
225     unsigned m_schemeEnd;
226     unsigned m_userStart;
227     unsigned m_userEnd;
228     unsigned m_passwordEnd;
229     unsigned m_hostEnd;
230     unsigned m_portEnd;
231     unsigned m_pathAfterLastSlash;
232     unsigned m_pathEnd;
233     unsigned m_queryEnd;
234 };
235
236 template <class Encoder>
237 void URL::encode(Encoder& encoder) const
238 {
239     encoder << m_string;
240     encoder << static_cast<bool>(m_isValid);
241     if (!m_isValid)
242         return;
243     encoder << static_cast<bool>(m_protocolIsInHTTPFamily);
244     encoder << m_schemeEnd;
245     encoder << m_userStart;
246     encoder << m_userEnd;
247     encoder << m_passwordEnd;
248     encoder << m_hostEnd;
249     encoder << m_portEnd;
250     encoder << m_pathAfterLastSlash;
251     encoder << m_pathEnd;
252     encoder << m_queryEnd;
253 }
254
255 template <class Decoder>
256 bool URL::decode(Decoder& decoder, URL& url)
257 {
258     if (!decoder.decode(url.m_string))
259         return false;
260     bool isValid;
261     if (!decoder.decode(isValid))
262         return false;
263     url.m_isValid = isValid;
264     if (!isValid)
265         return true;
266     bool protocolIsInHTTPFamily;
267     if (!decoder.decode(protocolIsInHTTPFamily))
268         return false;
269     url.m_protocolIsInHTTPFamily = protocolIsInHTTPFamily;
270     if (!decoder.decode(url.m_schemeEnd))
271         return false;
272     if (!decoder.decode(url.m_userStart))
273         return false;
274     if (!decoder.decode(url.m_userEnd))
275         return false;
276     if (!decoder.decode(url.m_passwordEnd))
277         return false;
278     if (!decoder.decode(url.m_hostEnd))
279         return false;
280     if (!decoder.decode(url.m_portEnd))
281         return false;
282     if (!decoder.decode(url.m_pathAfterLastSlash))
283         return false;
284     if (!decoder.decode(url.m_pathEnd))
285         return false;
286     if (!decoder.decode(url.m_queryEnd))
287         return false;
288     return true;
289 }
290
291 bool operator==(const URL&, const URL&);
292 bool operator==(const URL&, const String&);
293 bool operator==(const String&, const URL&);
294 bool operator!=(const URL&, const URL&);
295 bool operator!=(const URL&, const String&);
296 bool operator!=(const String&, const URL&);
297
298 WEBCORE_EXPORT bool equalIgnoringFragmentIdentifier(const URL&, const URL&);
299 WEBCORE_EXPORT bool protocolHostAndPortAreEqual(const URL&, const URL&);
300 WEBCORE_EXPORT bool hostsAreEqual(const URL&, const URL&);
301
302 WEBCORE_EXPORT const URL& blankURL();
303
304 // Functions to do URL operations on strings.
305 // These are operations that aren't faster on a parsed URL.
306 // These are also different from the URL functions in that they don't require the string to be a valid and parsable URL.
307 // This is especially important because valid javascript URLs are not necessarily considered valid by URL.
308
309 WEBCORE_EXPORT bool protocolIs(const String& url, const char* protocol);
310 WEBCORE_EXPORT bool protocolIsJavaScript(const String& url);
311 bool protocolIsJavaScript(StringView url);
312 WEBCORE_EXPORT bool protocolIsInHTTPFamily(const String& url);
313
314 std::optional<uint16_t> defaultPortForProtocol(StringView protocol);
315 WEBCORE_EXPORT bool isDefaultPortForProtocol(uint16_t port, StringView protocol);
316 WEBCORE_EXPORT bool portAllowed(const URL&); // Blacklist ports that should never be used for Web resources.
317
318 WEBCORE_EXPORT void registerDefaultPortForProtocolForTesting(uint16_t port, const String& protocol);
319 WEBCORE_EXPORT void clearDefaultPortForProtocolMapForTesting();
320
321 bool isValidProtocol(const String&);
322
323 String mimeTypeFromDataURL(const String& url);
324 WEBCORE_EXPORT String mimeTypeFromURL(const URL&);
325
326 // Unescapes the given string using URL escaping rules, given an optional
327 // encoding (defaulting to UTF-8 otherwise). DANGER: If the URL has "%00"
328 // in it, the resulting string will have embedded null characters!
329 WEBCORE_EXPORT String decodeURLEscapeSequences(const String&);
330 String decodeURLEscapeSequences(const String&, const TextEncoding&);
331
332 // FIXME: This is a wrong concept to expose, different parts of a URL need different escaping per the URL Standard.
333 WEBCORE_EXPORT String encodeWithURLEscapeSequences(const String&);
334
335 #if PLATFORM(IOS)
336 WEBCORE_EXPORT void enableURLSchemeCanonicalization(bool);
337 #endif
338
339 // Inlines.
340
341 inline bool operator==(const URL& a, const URL& b)
342 {
343     return a.string() == b.string();
344 }
345
346 inline bool operator==(const URL& a, const String& b)
347 {
348     return a.string() == b;
349 }
350
351 inline bool operator==(const String& a, const URL& b)
352 {
353     return a == b.string();
354 }
355
356 inline bool operator!=(const URL& a, const URL& b)
357 {
358     return a.string() != b.string();
359 }
360
361 inline bool operator!=(const URL& a, const String& b)
362 {
363     return a.string() != b;
364 }
365
366 inline bool operator!=(const String& a, const URL& b)
367 {
368     return a != b.string();
369 }
370
371 // Inline versions of some non-GoogleURL functions so we can get inlining
372 // without having to have a lot of ugly ifdefs in the class definition.
373
374 inline bool URL::isNull() const
375 {
376     return m_string.isNull();
377 }
378
379 inline bool URL::isEmpty() const
380 {
381     return m_string.isEmpty();
382 }
383
384 inline bool URL::isValid() const
385 {
386     return m_isValid;
387 }
388
389 inline bool URL::hasPath() const
390 {
391     return m_pathEnd != m_portEnd;
392 }
393
394 inline bool URL::hasUsername() const
395 {
396     return m_userEnd > m_userStart;
397 }
398
399 inline bool URL::hasPassword() const
400 {
401     return m_passwordEnd > (m_userEnd + 1);
402 }
403
404 inline bool URL::hasQuery() const
405 {
406     return m_queryEnd > m_pathEnd;
407 }
408
409 inline bool URL::hasFragment() const
410 {
411     return m_isValid && m_string.length() > m_queryEnd;
412 }
413
414 inline bool URL::protocolIsInHTTPFamily() const
415 {
416     return m_protocolIsInHTTPFamily;
417 }
418
419 inline unsigned URL::hostStart() const
420 {
421     return (m_passwordEnd == m_userStart) ? m_passwordEnd : m_passwordEnd + 1;
422 }
423
424 inline unsigned URL::hostEnd() const
425 {
426     return m_hostEnd;
427 }
428
429 inline unsigned URL::pathStart() const
430 {
431     return m_portEnd;
432 }
433
434 inline unsigned URL::pathEnd() const
435 {
436     return m_pathEnd;
437 }
438
439 inline unsigned URL::pathAfterLastSlash() const
440 {
441     return m_pathAfterLastSlash;
442 }
443
444 } // namespace WebCore
445
446 namespace WTF {
447
448     // URLHash is the default hash for String
449     template<typename T> struct DefaultHash;
450     template<> struct DefaultHash<WebCore::URL> {
451         typedef WebCore::URLHash Hash;
452     };
453
454 } // namespace WTF