8d88d38b7acbb4128ec5f78cf07e3da631eda50f
[WebKit-https.git] / Source / WebCore / platform / network / ResourceResponseBase.cpp
1 /*
2  * Copyright (C) 2006, 2008, 2016 Apple Inc. All rights reserved.
3  * Copyright (C) 2009 Google Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
15  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
25  */
26
27 #include "config.h"
28 #include "ResourceResponseBase.h"
29
30 #include "CacheValidation.h"
31 #include "HTTPHeaderNames.h"
32 #include "HTTPParsers.h"
33 #include "MIMETypeRegistry.h"
34 #include "ParsedContentRange.h"
35 #include "ResourceResponse.h"
36 #include <wtf/CurrentTime.h>
37 #include <wtf/MathExtras.h>
38 #include <wtf/StdLibExtras.h>
39 #include <wtf/text/StringView.h>
40
41 namespace WebCore {
42
43 bool isScriptAllowedByNosniff(const ResourceResponse& response)
44 {
45     if (parseContentTypeOptionsHeader(response.httpHeaderField(HTTPHeaderName::XContentTypeOptions)) != ContentTypeOptionsNosniff)
46         return true;
47     String mimeType = extractMIMETypeFromMediaType(response.httpHeaderField(HTTPHeaderName::ContentType));
48     return MIMETypeRegistry::isSupportedJavaScriptMIMEType(mimeType);
49 }
50
51 ResourceResponseBase::ResourceResponseBase()
52     : m_isNull(true)
53     , m_expectedContentLength(0)
54     , m_httpStatusCode(0)
55 {
56 }
57
58 ResourceResponseBase::ResourceResponseBase(const URL& url, const String& mimeType, long long expectedLength, const String& textEncodingName)
59     : m_isNull(false)
60     , m_url(url)
61     , m_mimeType(mimeType)
62     , m_expectedContentLength(expectedLength)
63     , m_textEncodingName(textEncodingName)
64     , m_certificateInfo(CertificateInfo()) // Empty but valid for synthetic responses.
65     , m_httpStatusCode(0)
66 {
67 }
68
69 ResourceResponseBase::CrossThreadData ResourceResponseBase::crossThreadData() const
70 {
71     CrossThreadData data;
72
73     data.url = url().isolatedCopy();
74     data.mimeType = mimeType().isolatedCopy();
75     data.expectedContentLength = expectedContentLength();
76     data.textEncodingName = textEncodingName().isolatedCopy();
77
78     data.httpStatusCode = httpStatusCode();
79     data.httpStatusText = httpStatusText().isolatedCopy();
80     data.httpVersion = httpVersion().isolatedCopy();
81
82     data.httpHeaderFields = httpHeaderFields().isolatedCopy();
83     data.networkLoadMetrics = m_networkLoadMetrics.isolatedCopy();
84     data.type = m_type;
85     data.tainting = m_tainting;
86     data.isRedirected = m_isRedirected;
87
88     return data;
89 }
90
91 ResourceResponse ResourceResponseBase::fromCrossThreadData(CrossThreadData&& data)
92 {
93     ResourceResponse response;
94
95     response.setURL(data.url);
96     response.setMimeType(data.mimeType);
97     response.setExpectedContentLength(data.expectedContentLength);
98     response.setTextEncodingName(data.textEncodingName);
99
100     response.setHTTPStatusCode(data.httpStatusCode);
101     response.setHTTPStatusText(data.httpStatusText);
102     response.setHTTPVersion(data.httpVersion);
103
104     response.m_httpHeaderFields = WTFMove(data.httpHeaderFields);
105     response.m_networkLoadMetrics = data.networkLoadMetrics;
106     response.m_type = data.type;
107     response.m_tainting = data.tainting;
108     response.m_isRedirected = data.isRedirected;
109
110     return response;
111 }
112
113 ResourceResponse ResourceResponseBase::filter(const ResourceResponse& response)
114 {
115     if (response.tainting() == Tainting::Opaque) {
116         ResourceResponse opaqueResponse;
117         opaqueResponse.setTainting(Tainting::Opaque);
118         opaqueResponse.setType(Type::Opaque);
119         return opaqueResponse;
120     }
121
122     if (response.tainting() == Tainting::Opaqueredirect) {
123         ResourceResponse opaqueResponse;
124         opaqueResponse.setTainting(Tainting::Opaqueredirect);
125         opaqueResponse.setType(Type::Opaqueredirect);
126         opaqueResponse.setURL(response.url());
127         return opaqueResponse;
128     }
129
130     ResourceResponse filteredResponse = response;
131     // Let's initialize filteredResponse to remove some header fields.
132     filteredResponse.lazyInit(AllFields);
133
134     if (response.tainting() == Tainting::Basic) {
135         filteredResponse.setType(Type::Basic);
136         filteredResponse.m_httpHeaderFields.remove(HTTPHeaderName::SetCookie);
137         filteredResponse.m_httpHeaderFields.remove(HTTPHeaderName::SetCookie2);
138         return filteredResponse;
139     }
140
141     ASSERT(response.tainting() == Tainting::Cors);
142     filteredResponse.setType(Type::Cors);
143
144     HTTPHeaderSet accessControlExposeHeaderSet;
145     parseAccessControlExposeHeadersAllowList(response.httpHeaderField(HTTPHeaderName::AccessControlExposeHeaders), accessControlExposeHeaderSet);
146     filteredResponse.m_httpHeaderFields.uncommonHeaders().removeIf([&](auto& entry) {
147         return !isCrossOriginSafeHeader(entry.key, accessControlExposeHeaderSet);
148     });
149     filteredResponse.m_httpHeaderFields.commonHeaders().removeIf([&](auto& entry) {
150         return !isCrossOriginSafeHeader(entry.key, accessControlExposeHeaderSet);
151     });
152
153     return filteredResponse;
154 }
155
156 // FIXME: Name does not make it clear this is true for HTTPS!
157 bool ResourceResponseBase::isHTTP() const
158 {
159     lazyInit(CommonFieldsOnly);
160
161     return m_url.protocolIsInHTTPFamily();
162 }
163
164 const URL& ResourceResponseBase::url() const
165 {
166     lazyInit(CommonFieldsOnly);
167
168     return m_url;
169 }
170
171 void ResourceResponseBase::setURL(const URL& url)
172 {
173     lazyInit(CommonFieldsOnly);
174     m_isNull = false;
175
176     m_url = url;
177
178     // FIXME: Should invalidate or update platform response if present.
179 }
180
181 const String& ResourceResponseBase::mimeType() const
182 {
183     lazyInit(CommonFieldsOnly);
184
185     return m_mimeType; 
186 }
187
188 void ResourceResponseBase::setMimeType(const String& mimeType)
189 {
190     lazyInit(CommonFieldsOnly);
191     m_isNull = false;
192
193     // FIXME: MIME type is determined by HTTP Content-Type header. We should update the header, so that it doesn't disagree with m_mimeType.
194     m_mimeType = mimeType;
195
196     // FIXME: Should invalidate or update platform response if present.
197 }
198
199 long long ResourceResponseBase::expectedContentLength() const 
200 {
201     lazyInit(CommonFieldsOnly);
202
203     return m_expectedContentLength;
204 }
205
206 void ResourceResponseBase::setExpectedContentLength(long long expectedContentLength)
207 {
208     lazyInit(CommonFieldsOnly);
209     m_isNull = false;
210
211     // FIXME: Content length is determined by HTTP Content-Length header. We should update the header, so that it doesn't disagree with m_expectedContentLength.
212     m_expectedContentLength = expectedContentLength; 
213
214     // FIXME: Should invalidate or update platform response if present.
215 }
216
217 const String& ResourceResponseBase::textEncodingName() const
218 {
219     lazyInit(CommonFieldsOnly);
220
221     return m_textEncodingName;
222 }
223
224 void ResourceResponseBase::setTextEncodingName(const String& encodingName)
225 {
226     lazyInit(CommonFieldsOnly);
227     m_isNull = false;
228
229     // FIXME: Text encoding is determined by HTTP Content-Type header. We should update the header, so that it doesn't disagree with m_textEncodingName.
230     m_textEncodingName = encodingName;
231
232     // FIXME: Should invalidate or update platform response if present.
233 }
234
235 void ResourceResponseBase::includeCertificateInfo() const
236 {
237     if (m_certificateInfo)
238         return;
239     m_certificateInfo = static_cast<const ResourceResponse*>(this)->platformCertificateInfo();
240 }
241
242 String ResourceResponseBase::suggestedFilename() const
243 {
244     return static_cast<const ResourceResponse*>(this)->platformSuggestedFilename();
245 }
246
247 String ResourceResponseBase::sanitizeSuggestedFilename(const String& suggestedFilename)
248 {
249     if (suggestedFilename.isEmpty())
250         return suggestedFilename;
251
252     ResourceResponse response(URL(ParsedURLString, "http://example.com/"), String(), -1, String());
253     response.setHTTPStatusCode(200);
254     String escapedSuggestedFilename = String(suggestedFilename).replace('\\', "\\\\").replace('"', "\\\"");
255     String value = makeString("attachment; filename=\"", escapedSuggestedFilename, '"');
256     response.setHTTPHeaderField(HTTPHeaderName::ContentDisposition, value);
257     return response.suggestedFilename();
258 }
259
260 bool ResourceResponseBase::isSuccessful() const
261 {
262     int code = httpStatusCode();
263     return code >= 200 && code < 300;
264 }
265
266 int ResourceResponseBase::httpStatusCode() const
267 {
268     lazyInit(CommonFieldsOnly);
269
270     return m_httpStatusCode;
271 }
272
273 void ResourceResponseBase::setHTTPStatusCode(int statusCode)
274 {
275     lazyInit(CommonFieldsOnly);
276
277     m_httpStatusCode = statusCode;
278
279     // FIXME: Should invalidate or update platform response if present.
280 }
281
282 const String& ResourceResponseBase::httpStatusText() const 
283 {
284     lazyInit(AllFields);
285
286     return m_httpStatusText; 
287 }
288
289 void ResourceResponseBase::setHTTPStatusText(const String& statusText) 
290 {
291     lazyInit(AllFields);
292
293     m_httpStatusText = statusText; 
294
295     // FIXME: Should invalidate or update platform response if present.
296 }
297
298 const String& ResourceResponseBase::httpVersion() const
299 {
300     lazyInit(AllFields);
301     
302     return m_httpVersion;
303 }
304
305 void ResourceResponseBase::setHTTPVersion(const String& versionText)
306 {
307     lazyInit(AllFields);
308     
309     m_httpVersion = versionText;
310     
311     // FIXME: Should invalidate or update platform response if present.
312 }
313
314 bool ResourceResponseBase::isHTTP09() const
315 {
316     lazyInit(AllFields);
317
318     return m_httpVersion.startsWith("HTTP/0.9");
319 }
320
321 String ResourceResponseBase::httpHeaderField(const String& name) const
322 {
323     lazyInit(CommonFieldsOnly);
324
325     // If we already have the header, just return it instead of consuming memory by grabing all headers.
326     String value = m_httpHeaderFields.get(name);
327     if (!value.isEmpty())        
328         return value;
329
330     lazyInit(AllFields);
331
332     return m_httpHeaderFields.get(name); 
333 }
334
335 String ResourceResponseBase::httpHeaderField(HTTPHeaderName name) const
336 {
337     lazyInit(CommonFieldsOnly);
338
339     // If we already have the header, just return it instead of consuming memory by grabing all headers.
340     String value = m_httpHeaderFields.get(name);
341     if (!value.isEmpty())
342         return value;
343
344     lazyInit(AllFields);
345
346     return m_httpHeaderFields.get(name); 
347 }
348
349 void ResourceResponseBase::updateHeaderParsedState(HTTPHeaderName name)
350 {
351     switch (name) {
352     case HTTPHeaderName::Age:
353         m_haveParsedAgeHeader = false;
354         break;
355
356     case HTTPHeaderName::CacheControl:
357     case HTTPHeaderName::Pragma:
358         m_haveParsedCacheControlHeader = false;
359         break;
360
361     case HTTPHeaderName::Date:
362         m_haveParsedDateHeader = false;
363         break;
364
365     case HTTPHeaderName::Expires:
366         m_haveParsedExpiresHeader = false;
367         break;
368
369     case HTTPHeaderName::LastModified:
370         m_haveParsedLastModifiedHeader = false;
371         break;
372
373     case HTTPHeaderName::ContentRange:
374         m_haveParsedContentRangeHeader = false;
375         break;
376
377     default:
378         break;
379     }
380 }
381
382 void ResourceResponseBase::setHTTPHeaderField(const String& name, const String& value)
383 {
384     lazyInit(AllFields);
385
386     HTTPHeaderName headerName;
387     if (findHTTPHeaderName(name, headerName))
388         updateHeaderParsedState(headerName);
389
390     m_httpHeaderFields.set(name, value);
391
392     // FIXME: Should invalidate or update platform response if present.
393 }
394
395 void ResourceResponseBase::setHTTPHeaderField(HTTPHeaderName name, const String& value)
396 {
397     lazyInit(AllFields);
398
399     updateHeaderParsedState(name);
400
401     m_httpHeaderFields.set(name, value);
402
403     // FIXME: Should invalidate or update platform response if present.
404 }
405
406 void ResourceResponseBase::addHTTPHeaderField(HTTPHeaderName name, const String& value)
407 {
408     lazyInit(AllFields);
409     updateHeaderParsedState(name);
410     m_httpHeaderFields.add(name, value);
411 }
412
413 void ResourceResponseBase::addHTTPHeaderField(const String& name, const String& value)
414 {
415     HTTPHeaderName headerName;
416     if (findHTTPHeaderName(name, headerName))
417         addHTTPHeaderField(headerName, value);
418     else {
419         lazyInit(AllFields);
420         m_httpHeaderFields.add(name, value);
421     }
422 }
423
424 const HTTPHeaderMap& ResourceResponseBase::httpHeaderFields() const
425 {
426     lazyInit(AllFields);
427
428     return m_httpHeaderFields;
429 }
430
431 void ResourceResponseBase::parseCacheControlDirectives() const
432 {
433     ASSERT(!m_haveParsedCacheControlHeader);
434
435     lazyInit(CommonFieldsOnly);
436
437     m_cacheControlDirectives = WebCore::parseCacheControlDirectives(m_httpHeaderFields);
438     m_haveParsedCacheControlHeader = true;
439 }
440     
441 bool ResourceResponseBase::cacheControlContainsNoCache() const
442 {
443     if (!m_haveParsedCacheControlHeader)
444         parseCacheControlDirectives();
445     return m_cacheControlDirectives.noCache;
446 }
447
448 bool ResourceResponseBase::cacheControlContainsNoStore() const
449 {
450     if (!m_haveParsedCacheControlHeader)
451         parseCacheControlDirectives();
452     return m_cacheControlDirectives.noStore;
453 }
454
455 bool ResourceResponseBase::cacheControlContainsMustRevalidate() const
456 {
457     if (!m_haveParsedCacheControlHeader)
458         parseCacheControlDirectives();
459     return m_cacheControlDirectives.mustRevalidate;
460 }
461     
462 bool ResourceResponseBase::cacheControlContainsImmutable() const
463 {
464     if (!m_haveParsedCacheControlHeader)
465         parseCacheControlDirectives();
466     return m_cacheControlDirectives.immutable;
467 }
468
469 bool ResourceResponseBase::hasCacheValidatorFields() const
470 {
471     lazyInit(CommonFieldsOnly);
472
473     return !m_httpHeaderFields.get(HTTPHeaderName::LastModified).isEmpty() || !m_httpHeaderFields.get(HTTPHeaderName::ETag).isEmpty();
474 }
475
476 std::optional<std::chrono::microseconds> ResourceResponseBase::cacheControlMaxAge() const
477 {
478     if (!m_haveParsedCacheControlHeader)
479         parseCacheControlDirectives();
480     return m_cacheControlDirectives.maxAge;
481 }
482
483 static std::optional<std::chrono::system_clock::time_point> parseDateValueInHeader(const HTTPHeaderMap& headers, HTTPHeaderName headerName)
484 {
485     String headerValue = headers.get(headerName);
486     if (headerValue.isEmpty())
487         return { };
488     // This handles all date formats required by RFC2616:
489     // Sun, 06 Nov 1994 08:49:37 GMT  ; RFC 822, updated by RFC 1123
490     // Sunday, 06-Nov-94 08:49:37 GMT ; RFC 850, obsoleted by RFC 1036
491     // Sun Nov  6 08:49:37 1994       ; ANSI C's asctime() format
492     return parseHTTPDate(headerValue);
493 }
494
495 std::optional<std::chrono::system_clock::time_point> ResourceResponseBase::date() const
496 {
497     lazyInit(CommonFieldsOnly);
498
499     if (!m_haveParsedDateHeader) {
500         m_date = parseDateValueInHeader(m_httpHeaderFields, HTTPHeaderName::Date);
501         m_haveParsedDateHeader = true;
502     }
503     return m_date;
504 }
505
506 std::optional<std::chrono::microseconds> ResourceResponseBase::age() const
507 {
508     using namespace std::chrono;
509
510     lazyInit(CommonFieldsOnly);
511
512     if (!m_haveParsedAgeHeader) {
513         String headerValue = m_httpHeaderFields.get(HTTPHeaderName::Age);
514         bool ok;
515         double ageDouble = headerValue.toDouble(&ok);
516         if (ok)
517             m_age = duration_cast<microseconds>(duration<double>(ageDouble));
518         m_haveParsedAgeHeader = true;
519     }
520     return m_age;
521 }
522
523 std::optional<std::chrono::system_clock::time_point> ResourceResponseBase::expires() const
524 {
525     lazyInit(CommonFieldsOnly);
526
527     if (!m_haveParsedExpiresHeader) {
528         m_expires = parseDateValueInHeader(m_httpHeaderFields, HTTPHeaderName::Expires);
529         m_haveParsedExpiresHeader = true;
530     }
531     return m_expires;
532 }
533
534 std::optional<std::chrono::system_clock::time_point> ResourceResponseBase::lastModified() const
535 {
536     lazyInit(CommonFieldsOnly);
537
538     if (!m_haveParsedLastModifiedHeader) {
539         m_lastModified = parseDateValueInHeader(m_httpHeaderFields, HTTPHeaderName::LastModified);
540 #if PLATFORM(COCOA)
541         // CFNetwork converts malformed dates into Epoch so we need to treat Epoch as
542         // an invalid value (rdar://problem/22352838).
543         const std::chrono::system_clock::time_point epoch;
544         if (m_lastModified && m_lastModified.value() == epoch)
545             m_lastModified = std::nullopt;
546 #endif
547         m_haveParsedLastModifiedHeader = true;
548     }
549     return m_lastModified;
550 }
551
552 static ParsedContentRange parseContentRangeInHeader(const HTTPHeaderMap& headers)
553 {
554     String contentRangeValue = headers.get(HTTPHeaderName::ContentRange);
555     if (contentRangeValue.isEmpty())
556         return ParsedContentRange();
557
558     return ParsedContentRange(contentRangeValue);
559 }
560
561 ParsedContentRange& ResourceResponseBase::contentRange() const
562 {
563     lazyInit(CommonFieldsOnly);
564
565     if (!m_haveParsedContentRangeHeader) {
566         m_contentRange = parseContentRangeInHeader(m_httpHeaderFields);
567         m_haveParsedContentRangeHeader = true;
568     }
569
570     return m_contentRange;
571 }
572
573 bool ResourceResponseBase::isAttachment() const
574 {
575     lazyInit(AllFields);
576
577     auto value = m_httpHeaderFields.get(HTTPHeaderName::ContentDisposition);
578     return equalLettersIgnoringASCIICase(value.left(value.find(';')).stripWhiteSpace(), "attachment");
579 }
580
581 bool ResourceResponseBase::isAttachmentWithFilename() const
582 {
583     lazyInit(AllFields);
584
585     String contentDisposition = m_httpHeaderFields.get(HTTPHeaderName::ContentDisposition);
586     if (contentDisposition.isNull())
587         return false;
588
589     if (!equalLettersIgnoringASCIICase(contentDisposition.left(contentDisposition.find(';')).stripWhiteSpace(), "attachment"))
590         return false;
591
592     String filename = filenameFromHTTPContentDisposition(contentDisposition);
593     return !filename.isNull();
594 }
595
596 ResourceResponseBase::Source ResourceResponseBase::source() const
597 {
598     lazyInit(AllFields);
599
600     return m_source;
601 }
602
603 void ResourceResponseBase::lazyInit(InitLevel initLevel) const
604 {
605     const_cast<ResourceResponse*>(static_cast<const ResourceResponse*>(this))->platformLazyInit(initLevel);
606 }
607
608 bool ResourceResponseBase::compare(const ResourceResponse& a, const ResourceResponse& b)
609 {
610     if (a.isNull() != b.isNull())
611         return false;  
612     if (a.url() != b.url())
613         return false;
614     if (a.mimeType() != b.mimeType())
615         return false;
616     if (a.expectedContentLength() != b.expectedContentLength())
617         return false;
618     if (a.textEncodingName() != b.textEncodingName())
619         return false;
620     if (a.suggestedFilename() != b.suggestedFilename())
621         return false;
622     if (a.httpStatusCode() != b.httpStatusCode())
623         return false;
624     if (a.httpStatusText() != b.httpStatusText())
625         return false;
626     if (a.httpHeaderFields() != b.httpHeaderFields())
627         return false;
628     if (a.deprecatedNetworkLoadMetrics() != b.deprecatedNetworkLoadMetrics())
629         return false;
630     return ResourceResponse::platformCompare(a, b);
631 }
632
633 }