[Cache API] Ensure ResourceResponse is not null when redirected/tainting/type fields...
[WebKit-https.git] / Source / WebCore / platform / network / ResourceResponseBase.cpp
1 /*
2  * Copyright (C) 2006, 2008, 2016 Apple Inc. All rights reserved.
3  * Copyright (C) 2009 Google Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
15  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
25  */
26
27 #include "config.h"
28 #include "ResourceResponseBase.h"
29
30 #include "CacheValidation.h"
31 #include "HTTPHeaderNames.h"
32 #include "HTTPParsers.h"
33 #include "MIMETypeRegistry.h"
34 #include "ParsedContentRange.h"
35 #include "ResourceResponse.h"
36 #include <wtf/CurrentTime.h>
37 #include <wtf/MathExtras.h>
38 #include <wtf/StdLibExtras.h>
39 #include <wtf/text/StringView.h>
40
41 namespace WebCore {
42
43 bool isScriptAllowedByNosniff(const ResourceResponse& response)
44 {
45     if (parseContentTypeOptionsHeader(response.httpHeaderField(HTTPHeaderName::XContentTypeOptions)) != ContentTypeOptionsNosniff)
46         return true;
47     String mimeType = extractMIMETypeFromMediaType(response.httpHeaderField(HTTPHeaderName::ContentType));
48     return MIMETypeRegistry::isSupportedJavaScriptMIMEType(mimeType);
49 }
50
51 ResourceResponseBase::ResourceResponseBase()
52     : m_isNull(true)
53     , m_expectedContentLength(0)
54     , m_httpStatusCode(0)
55 {
56 }
57
58 ResourceResponseBase::ResourceResponseBase(const URL& url, const String& mimeType, long long expectedLength, const String& textEncodingName)
59     : m_isNull(false)
60     , m_url(url)
61     , m_mimeType(mimeType)
62     , m_expectedContentLength(expectedLength)
63     , m_textEncodingName(textEncodingName)
64     , m_certificateInfo(CertificateInfo()) // Empty but valid for synthetic responses.
65     , m_httpStatusCode(0)
66 {
67 }
68
69 ResourceResponseBase::CrossThreadData ResourceResponseBase::crossThreadData() const
70 {
71     CrossThreadData data;
72
73     data.url = url().isolatedCopy();
74     data.mimeType = mimeType().isolatedCopy();
75     data.expectedContentLength = expectedContentLength();
76     data.textEncodingName = textEncodingName().isolatedCopy();
77
78     data.httpStatusCode = httpStatusCode();
79     data.httpStatusText = httpStatusText().isolatedCopy();
80     data.httpVersion = httpVersion().isolatedCopy();
81
82     data.httpHeaderFields = httpHeaderFields().isolatedCopy();
83     data.networkLoadMetrics = m_networkLoadMetrics.isolatedCopy();
84     data.type = m_type;
85     data.tainting = m_tainting;
86     data.isRedirected = m_isRedirected;
87
88     return data;
89 }
90
91 ResourceResponse ResourceResponseBase::fromCrossThreadData(CrossThreadData&& data)
92 {
93     ResourceResponse response;
94
95     response.setURL(data.url);
96     response.setMimeType(data.mimeType);
97     response.setExpectedContentLength(data.expectedContentLength);
98     response.setTextEncodingName(data.textEncodingName);
99
100     response.setHTTPStatusCode(data.httpStatusCode);
101     response.setHTTPStatusText(data.httpStatusText);
102     response.setHTTPVersion(data.httpVersion);
103
104     response.m_httpHeaderFields = WTFMove(data.httpHeaderFields);
105     response.m_networkLoadMetrics = data.networkLoadMetrics;
106     response.m_type = data.type;
107     response.m_tainting = data.tainting;
108     response.m_isRedirected = data.isRedirected;
109
110     return response;
111 }
112
113 ResourceResponse ResourceResponseBase::filter(const ResourceResponse& response)
114 {
115     if (response.tainting() == Tainting::Opaque) {
116         ResourceResponse opaqueResponse;
117         opaqueResponse.setTainting(Tainting::Opaque);
118         opaqueResponse.setType(Type::Opaque);
119         return opaqueResponse;
120     }
121
122     if (response.tainting() == Tainting::Opaqueredirect) {
123         ResourceResponse opaqueResponse;
124         opaqueResponse.setTainting(Tainting::Opaqueredirect);
125         opaqueResponse.setType(Type::Opaqueredirect);
126         opaqueResponse.setURL(response.url());
127         return opaqueResponse;
128     }
129
130     ResourceResponse filteredResponse = response;
131     // Let's initialize filteredResponse to remove some header fields.
132     filteredResponse.lazyInit(AllFields);
133
134     if (response.tainting() == Tainting::Basic) {
135         filteredResponse.setType(Type::Basic);
136         filteredResponse.m_httpHeaderFields.remove(HTTPHeaderName::SetCookie);
137         filteredResponse.m_httpHeaderFields.remove(HTTPHeaderName::SetCookie2);
138         return filteredResponse;
139     }
140
141     ASSERT(response.tainting() == Tainting::Cors);
142     filteredResponse.setType(Type::Cors);
143
144     HTTPHeaderSet accessControlExposeHeaderSet;
145     parseAccessControlExposeHeadersAllowList(response.httpHeaderField(HTTPHeaderName::AccessControlExposeHeaders), accessControlExposeHeaderSet);
146     filteredResponse.m_httpHeaderFields.uncommonHeaders().removeIf([&](auto& entry) {
147         return !isCrossOriginSafeHeader(entry.key, accessControlExposeHeaderSet);
148     });
149     filteredResponse.m_httpHeaderFields.commonHeaders().removeIf([&](auto& entry) {
150         return !isCrossOriginSafeHeader(entry.key, accessControlExposeHeaderSet);
151     });
152
153     return filteredResponse;
154 }
155
156 // FIXME: Name does not make it clear this is true for HTTPS!
157 bool ResourceResponseBase::isHTTP() const
158 {
159     lazyInit(CommonFieldsOnly);
160
161     return m_url.protocolIsInHTTPFamily();
162 }
163
164 const URL& ResourceResponseBase::url() const
165 {
166     lazyInit(CommonFieldsOnly);
167
168     return m_url;
169 }
170
171 void ResourceResponseBase::setURL(const URL& url)
172 {
173     lazyInit(CommonFieldsOnly);
174     m_isNull = false;
175
176     m_url = url;
177
178     // FIXME: Should invalidate or update platform response if present.
179 }
180
181 const String& ResourceResponseBase::mimeType() const
182 {
183     lazyInit(CommonFieldsOnly);
184
185     return m_mimeType; 
186 }
187
188 void ResourceResponseBase::setMimeType(const String& mimeType)
189 {
190     lazyInit(CommonFieldsOnly);
191     m_isNull = false;
192
193     // FIXME: MIME type is determined by HTTP Content-Type header. We should update the header, so that it doesn't disagree with m_mimeType.
194     m_mimeType = mimeType;
195
196     // FIXME: Should invalidate or update platform response if present.
197 }
198
199 long long ResourceResponseBase::expectedContentLength() const 
200 {
201     lazyInit(CommonFieldsOnly);
202
203     return m_expectedContentLength;
204 }
205
206 void ResourceResponseBase::setExpectedContentLength(long long expectedContentLength)
207 {
208     lazyInit(CommonFieldsOnly);
209     m_isNull = false;
210
211     // FIXME: Content length is determined by HTTP Content-Length header. We should update the header, so that it doesn't disagree with m_expectedContentLength.
212     m_expectedContentLength = expectedContentLength; 
213
214     // FIXME: Should invalidate or update platform response if present.
215 }
216
217 const String& ResourceResponseBase::textEncodingName() const
218 {
219     lazyInit(CommonFieldsOnly);
220
221     return m_textEncodingName;
222 }
223
224 void ResourceResponseBase::setTextEncodingName(const String& encodingName)
225 {
226     lazyInit(CommonFieldsOnly);
227     m_isNull = false;
228
229     // FIXME: Text encoding is determined by HTTP Content-Type header. We should update the header, so that it doesn't disagree with m_textEncodingName.
230     m_textEncodingName = encodingName;
231
232     // FIXME: Should invalidate or update platform response if present.
233 }
234
235 void ResourceResponseBase::setType(Type type)
236 {
237     m_isNull = false;
238     m_type = type;
239 }
240
241 void ResourceResponseBase::includeCertificateInfo() const
242 {
243     if (m_certificateInfo)
244         return;
245     m_certificateInfo = static_cast<const ResourceResponse*>(this)->platformCertificateInfo();
246 }
247
248 String ResourceResponseBase::suggestedFilename() const
249 {
250     return static_cast<const ResourceResponse*>(this)->platformSuggestedFilename();
251 }
252
253 String ResourceResponseBase::sanitizeSuggestedFilename(const String& suggestedFilename)
254 {
255     if (suggestedFilename.isEmpty())
256         return suggestedFilename;
257
258     ResourceResponse response(URL(ParsedURLString, "http://example.com/"), String(), -1, String());
259     response.setHTTPStatusCode(200);
260     String escapedSuggestedFilename = String(suggestedFilename).replace('\\', "\\\\").replace('"', "\\\"");
261     String value = makeString("attachment; filename=\"", escapedSuggestedFilename, '"');
262     response.setHTTPHeaderField(HTTPHeaderName::ContentDisposition, value);
263     return response.suggestedFilename();
264 }
265
266 bool ResourceResponseBase::isSuccessful() const
267 {
268     int code = httpStatusCode();
269     return code >= 200 && code < 300;
270 }
271
272 int ResourceResponseBase::httpStatusCode() const
273 {
274     lazyInit(CommonFieldsOnly);
275
276     return m_httpStatusCode;
277 }
278
279 void ResourceResponseBase::setHTTPStatusCode(int statusCode)
280 {
281     lazyInit(CommonFieldsOnly);
282
283     m_httpStatusCode = statusCode;
284
285     // FIXME: Should invalidate or update platform response if present.
286 }
287
288 const String& ResourceResponseBase::httpStatusText() const 
289 {
290     lazyInit(AllFields);
291
292     return m_httpStatusText; 
293 }
294
295 void ResourceResponseBase::setHTTPStatusText(const String& statusText) 
296 {
297     lazyInit(AllFields);
298
299     m_httpStatusText = statusText; 
300
301     // FIXME: Should invalidate or update platform response if present.
302 }
303
304 const String& ResourceResponseBase::httpVersion() const
305 {
306     lazyInit(AllFields);
307     
308     return m_httpVersion;
309 }
310
311 void ResourceResponseBase::setHTTPVersion(const String& versionText)
312 {
313     lazyInit(AllFields);
314     
315     m_httpVersion = versionText;
316     
317     // FIXME: Should invalidate or update platform response if present.
318 }
319
320 bool ResourceResponseBase::isHTTP09() const
321 {
322     lazyInit(AllFields);
323
324     return m_httpVersion.startsWith("HTTP/0.9");
325 }
326
327 String ResourceResponseBase::httpHeaderField(const String& name) const
328 {
329     lazyInit(CommonFieldsOnly);
330
331     // If we already have the header, just return it instead of consuming memory by grabing all headers.
332     String value = m_httpHeaderFields.get(name);
333     if (!value.isEmpty())        
334         return value;
335
336     lazyInit(AllFields);
337
338     return m_httpHeaderFields.get(name); 
339 }
340
341 String ResourceResponseBase::httpHeaderField(HTTPHeaderName name) const
342 {
343     lazyInit(CommonFieldsOnly);
344
345     // If we already have the header, just return it instead of consuming memory by grabing all headers.
346     String value = m_httpHeaderFields.get(name);
347     if (!value.isEmpty())
348         return value;
349
350     lazyInit(AllFields);
351
352     return m_httpHeaderFields.get(name); 
353 }
354
355 void ResourceResponseBase::updateHeaderParsedState(HTTPHeaderName name)
356 {
357     switch (name) {
358     case HTTPHeaderName::Age:
359         m_haveParsedAgeHeader = false;
360         break;
361
362     case HTTPHeaderName::CacheControl:
363     case HTTPHeaderName::Pragma:
364         m_haveParsedCacheControlHeader = false;
365         break;
366
367     case HTTPHeaderName::Date:
368         m_haveParsedDateHeader = false;
369         break;
370
371     case HTTPHeaderName::Expires:
372         m_haveParsedExpiresHeader = false;
373         break;
374
375     case HTTPHeaderName::LastModified:
376         m_haveParsedLastModifiedHeader = false;
377         break;
378
379     case HTTPHeaderName::ContentRange:
380         m_haveParsedContentRangeHeader = false;
381         break;
382
383     default:
384         break;
385     }
386 }
387
388 void ResourceResponseBase::setHTTPHeaderField(const String& name, const String& value)
389 {
390     lazyInit(AllFields);
391
392     HTTPHeaderName headerName;
393     if (findHTTPHeaderName(name, headerName))
394         updateHeaderParsedState(headerName);
395
396     m_httpHeaderFields.set(name, value);
397
398     // FIXME: Should invalidate or update platform response if present.
399 }
400
401 void ResourceResponseBase::setHTTPHeaderField(HTTPHeaderName name, const String& value)
402 {
403     lazyInit(AllFields);
404
405     updateHeaderParsedState(name);
406
407     m_httpHeaderFields.set(name, value);
408
409     // FIXME: Should invalidate or update platform response if present.
410 }
411
412 void ResourceResponseBase::addHTTPHeaderField(HTTPHeaderName name, const String& value)
413 {
414     lazyInit(AllFields);
415     updateHeaderParsedState(name);
416     m_httpHeaderFields.add(name, value);
417 }
418
419 void ResourceResponseBase::addHTTPHeaderField(const String& name, const String& value)
420 {
421     HTTPHeaderName headerName;
422     if (findHTTPHeaderName(name, headerName))
423         addHTTPHeaderField(headerName, value);
424     else {
425         lazyInit(AllFields);
426         m_httpHeaderFields.add(name, value);
427     }
428 }
429
430 const HTTPHeaderMap& ResourceResponseBase::httpHeaderFields() const
431 {
432     lazyInit(AllFields);
433
434     return m_httpHeaderFields;
435 }
436
437 void ResourceResponseBase::parseCacheControlDirectives() const
438 {
439     ASSERT(!m_haveParsedCacheControlHeader);
440
441     lazyInit(CommonFieldsOnly);
442
443     m_cacheControlDirectives = WebCore::parseCacheControlDirectives(m_httpHeaderFields);
444     m_haveParsedCacheControlHeader = true;
445 }
446     
447 bool ResourceResponseBase::cacheControlContainsNoCache() const
448 {
449     if (!m_haveParsedCacheControlHeader)
450         parseCacheControlDirectives();
451     return m_cacheControlDirectives.noCache;
452 }
453
454 bool ResourceResponseBase::cacheControlContainsNoStore() const
455 {
456     if (!m_haveParsedCacheControlHeader)
457         parseCacheControlDirectives();
458     return m_cacheControlDirectives.noStore;
459 }
460
461 bool ResourceResponseBase::cacheControlContainsMustRevalidate() const
462 {
463     if (!m_haveParsedCacheControlHeader)
464         parseCacheControlDirectives();
465     return m_cacheControlDirectives.mustRevalidate;
466 }
467     
468 bool ResourceResponseBase::cacheControlContainsImmutable() const
469 {
470     if (!m_haveParsedCacheControlHeader)
471         parseCacheControlDirectives();
472     return m_cacheControlDirectives.immutable;
473 }
474
475 bool ResourceResponseBase::hasCacheValidatorFields() const
476 {
477     lazyInit(CommonFieldsOnly);
478
479     return !m_httpHeaderFields.get(HTTPHeaderName::LastModified).isEmpty() || !m_httpHeaderFields.get(HTTPHeaderName::ETag).isEmpty();
480 }
481
482 std::optional<std::chrono::microseconds> ResourceResponseBase::cacheControlMaxAge() const
483 {
484     if (!m_haveParsedCacheControlHeader)
485         parseCacheControlDirectives();
486     return m_cacheControlDirectives.maxAge;
487 }
488
489 static std::optional<std::chrono::system_clock::time_point> parseDateValueInHeader(const HTTPHeaderMap& headers, HTTPHeaderName headerName)
490 {
491     String headerValue = headers.get(headerName);
492     if (headerValue.isEmpty())
493         return { };
494     // This handles all date formats required by RFC2616:
495     // Sun, 06 Nov 1994 08:49:37 GMT  ; RFC 822, updated by RFC 1123
496     // Sunday, 06-Nov-94 08:49:37 GMT ; RFC 850, obsoleted by RFC 1036
497     // Sun Nov  6 08:49:37 1994       ; ANSI C's asctime() format
498     return parseHTTPDate(headerValue);
499 }
500
501 std::optional<std::chrono::system_clock::time_point> ResourceResponseBase::date() const
502 {
503     lazyInit(CommonFieldsOnly);
504
505     if (!m_haveParsedDateHeader) {
506         m_date = parseDateValueInHeader(m_httpHeaderFields, HTTPHeaderName::Date);
507         m_haveParsedDateHeader = true;
508     }
509     return m_date;
510 }
511
512 std::optional<std::chrono::microseconds> ResourceResponseBase::age() const
513 {
514     using namespace std::chrono;
515
516     lazyInit(CommonFieldsOnly);
517
518     if (!m_haveParsedAgeHeader) {
519         String headerValue = m_httpHeaderFields.get(HTTPHeaderName::Age);
520         bool ok;
521         double ageDouble = headerValue.toDouble(&ok);
522         if (ok)
523             m_age = duration_cast<microseconds>(duration<double>(ageDouble));
524         m_haveParsedAgeHeader = true;
525     }
526     return m_age;
527 }
528
529 std::optional<std::chrono::system_clock::time_point> ResourceResponseBase::expires() const
530 {
531     lazyInit(CommonFieldsOnly);
532
533     if (!m_haveParsedExpiresHeader) {
534         m_expires = parseDateValueInHeader(m_httpHeaderFields, HTTPHeaderName::Expires);
535         m_haveParsedExpiresHeader = true;
536     }
537     return m_expires;
538 }
539
540 std::optional<std::chrono::system_clock::time_point> ResourceResponseBase::lastModified() const
541 {
542     lazyInit(CommonFieldsOnly);
543
544     if (!m_haveParsedLastModifiedHeader) {
545         m_lastModified = parseDateValueInHeader(m_httpHeaderFields, HTTPHeaderName::LastModified);
546 #if PLATFORM(COCOA)
547         // CFNetwork converts malformed dates into Epoch so we need to treat Epoch as
548         // an invalid value (rdar://problem/22352838).
549         const std::chrono::system_clock::time_point epoch;
550         if (m_lastModified && m_lastModified.value() == epoch)
551             m_lastModified = std::nullopt;
552 #endif
553         m_haveParsedLastModifiedHeader = true;
554     }
555     return m_lastModified;
556 }
557
558 static ParsedContentRange parseContentRangeInHeader(const HTTPHeaderMap& headers)
559 {
560     String contentRangeValue = headers.get(HTTPHeaderName::ContentRange);
561     if (contentRangeValue.isEmpty())
562         return ParsedContentRange();
563
564     return ParsedContentRange(contentRangeValue);
565 }
566
567 ParsedContentRange& ResourceResponseBase::contentRange() const
568 {
569     lazyInit(CommonFieldsOnly);
570
571     if (!m_haveParsedContentRangeHeader) {
572         m_contentRange = parseContentRangeInHeader(m_httpHeaderFields);
573         m_haveParsedContentRangeHeader = true;
574     }
575
576     return m_contentRange;
577 }
578
579 bool ResourceResponseBase::isAttachment() const
580 {
581     lazyInit(AllFields);
582
583     auto value = m_httpHeaderFields.get(HTTPHeaderName::ContentDisposition);
584     return equalLettersIgnoringASCIICase(value.left(value.find(';')).stripWhiteSpace(), "attachment");
585 }
586
587 bool ResourceResponseBase::isAttachmentWithFilename() const
588 {
589     lazyInit(AllFields);
590
591     String contentDisposition = m_httpHeaderFields.get(HTTPHeaderName::ContentDisposition);
592     if (contentDisposition.isNull())
593         return false;
594
595     if (!equalLettersIgnoringASCIICase(contentDisposition.left(contentDisposition.find(';')).stripWhiteSpace(), "attachment"))
596         return false;
597
598     String filename = filenameFromHTTPContentDisposition(contentDisposition);
599     return !filename.isNull();
600 }
601
602 ResourceResponseBase::Source ResourceResponseBase::source() const
603 {
604     lazyInit(AllFields);
605
606     return m_source;
607 }
608
609 void ResourceResponseBase::lazyInit(InitLevel initLevel) const
610 {
611     const_cast<ResourceResponse*>(static_cast<const ResourceResponse*>(this))->platformLazyInit(initLevel);
612 }
613
614 bool ResourceResponseBase::compare(const ResourceResponse& a, const ResourceResponse& b)
615 {
616     if (a.isNull() != b.isNull())
617         return false;  
618     if (a.url() != b.url())
619         return false;
620     if (a.mimeType() != b.mimeType())
621         return false;
622     if (a.expectedContentLength() != b.expectedContentLength())
623         return false;
624     if (a.textEncodingName() != b.textEncodingName())
625         return false;
626     if (a.suggestedFilename() != b.suggestedFilename())
627         return false;
628     if (a.httpStatusCode() != b.httpStatusCode())
629         return false;
630     if (a.httpStatusText() != b.httpStatusText())
631         return false;
632     if (a.httpHeaderFields() != b.httpHeaderFields())
633         return false;
634     if (a.deprecatedNetworkLoadMetrics() != b.deprecatedNetworkLoadMetrics())
635         return false;
636     return ResourceResponse::platformCompare(a, b);
637 }
638
639 }