[WTF] Import std::optional reference implementation as WTF::Optional
[WebKit-https.git] / Source / WebCore / platform / network / CacheValidation.cpp
1 /*
2  * Copyright (C) 2014-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "CacheValidation.h"
28
29 #include "CookiesStrategy.h"
30 #include "HTTPHeaderMap.h"
31 #include "NetworkStorageSession.h"
32 #include "PlatformCookieJar.h"
33 #include "PlatformStrategies.h"
34 #include "ResourceRequest.h"
35 #include "ResourceResponse.h"
36 #include <wtf/CurrentTime.h>
37 #include <wtf/text/StringView.h>
38
39 namespace WebCore {
40
41 // These response headers are not copied from a revalidated response to the
42 // cached response headers. For compatibility, this list is based on Chromium's
43 // net/http/http_response_headers.cc.
44 const char* const headersToIgnoreAfterRevalidation[] = {
45     "allow",
46     "connection",
47     "etag",
48     "keep-alive",
49     "last-modified"
50     "proxy-authenticate",
51     "proxy-connection",
52     "trailer",
53     "transfer-encoding",
54     "upgrade",
55     "www-authenticate",
56     "x-frame-options",
57     "x-xss-protection",
58 };
59
60 // Some header prefixes mean "Don't copy this header from a 304 response.".
61 // Rather than listing all the relevant headers, we can consolidate them into
62 // this list, also grabbed from Chromium's net/http/http_response_headers.cc.
63 const char* const headerPrefixesToIgnoreAfterRevalidation[] = {
64     "content-",
65     "x-content-",
66     "x-webkit-"
67 };
68
69 static inline bool shouldUpdateHeaderAfterRevalidation(const String& header)
70 {
71     for (auto& headerToIgnore : headersToIgnoreAfterRevalidation) {
72         if (equalIgnoringASCIICase(header, headerToIgnore))
73             return false;
74     }
75     for (size_t i = 0; i < WTF_ARRAY_LENGTH(headerPrefixesToIgnoreAfterRevalidation); i++) {
76         if (header.startsWith(headerPrefixesToIgnoreAfterRevalidation[i], false))
77             return false;
78     }
79     return true;
80 }
81
82 void updateResponseHeadersAfterRevalidation(ResourceResponse& response, const ResourceResponse& validatingResponse)
83 {
84     // Freshening stored response upon validation:
85     // http://tools.ietf.org/html/rfc7234#section-4.3.4
86     for (const auto& header : validatingResponse.httpHeaderFields()) {
87         // Entity headers should not be sent by servers when generating a 304
88         // response; misconfigured servers send them anyway. We shouldn't allow
89         // such headers to update the original request. We'll base this on the
90         // list defined by RFC2616 7.1, with a few additions for extension headers
91         // we care about.
92         if (!shouldUpdateHeaderAfterRevalidation(header.key))
93             continue;
94         response.setHTTPHeaderField(header.key, header.value);
95     }
96 }
97
98 std::chrono::microseconds computeCurrentAge(const ResourceResponse& response, std::chrono::system_clock::time_point responseTime)
99 {
100     using namespace std::chrono;
101
102     // Age calculation:
103     // http://tools.ietf.org/html/rfc7234#section-4.2.3
104     // No compensation for latency as that is not terribly important in practice.
105     auto dateValue = response.date();
106     auto apparentAge = dateValue ? std::max(0us, duration_cast<microseconds>(responseTime - *dateValue)) : 0us;
107     auto ageValue = response.age().value_or(0us);
108     auto correctedInitialAge = std::max(apparentAge, ageValue);
109     auto residentTime = duration_cast<microseconds>(system_clock::now() - responseTime);
110     return correctedInitialAge + residentTime;
111 }
112
113 std::chrono::microseconds computeFreshnessLifetimeForHTTPFamily(const ResourceResponse& response, std::chrono::system_clock::time_point responseTime)
114 {
115     using namespace std::chrono;
116     ASSERT(response.url().protocolIsInHTTPFamily());
117
118     // Freshness Lifetime:
119     // http://tools.ietf.org/html/rfc7234#section-4.2.1
120     auto maxAge = response.cacheControlMaxAge();
121     if (maxAge)
122         return *maxAge;
123
124     auto date = response.date();
125     auto effectiveDate = date.value_or(responseTime);
126     if (auto expires = response.expires())
127         return duration_cast<microseconds>(*expires - effectiveDate);
128
129     // Implicit lifetime.
130     switch (response.httpStatusCode()) {
131     case 301: // Moved Permanently
132     case 410: // Gone
133         // These are semantically permanent and so get long implicit lifetime.
134         return 365 * 24h;
135     default:
136         // Heuristic Freshness:
137         // http://tools.ietf.org/html/rfc7234#section-4.2.2
138         if (auto lastModified = response.lastModified())
139             return duration_cast<microseconds>((effectiveDate - *lastModified) * 0.1);
140         return 0us;
141     }
142 }
143
144 void updateRedirectChainStatus(RedirectChainCacheStatus& redirectChainCacheStatus, const ResourceResponse& response)
145 {
146     using namespace std::chrono;
147
148     if (redirectChainCacheStatus.status == RedirectChainCacheStatus::NotCachedRedirection)
149         return;
150     if (response.cacheControlContainsNoStore() || response.cacheControlContainsNoCache() || response.cacheControlContainsMustRevalidate()) {
151         redirectChainCacheStatus.status = RedirectChainCacheStatus::NotCachedRedirection;
152         return;
153     }
154
155     redirectChainCacheStatus.status = RedirectChainCacheStatus::CachedRedirection;
156     auto responseTimestamp = system_clock::now();
157     // Store the nearest end of cache validity date
158     auto endOfValidity = responseTimestamp + computeFreshnessLifetimeForHTTPFamily(response, responseTimestamp) - computeCurrentAge(response, responseTimestamp);
159     redirectChainCacheStatus.endOfValidity = std::min(redirectChainCacheStatus.endOfValidity, endOfValidity);
160 }
161
162 bool redirectChainAllowsReuse(RedirectChainCacheStatus redirectChainCacheStatus, ReuseExpiredRedirectionOrNot reuseExpiredRedirection)
163 {
164     switch (redirectChainCacheStatus.status) {
165     case RedirectChainCacheStatus::NoRedirection:
166         return true;
167     case RedirectChainCacheStatus::NotCachedRedirection:
168         return false;
169     case RedirectChainCacheStatus::CachedRedirection:
170         return reuseExpiredRedirection || std::chrono::system_clock::now() <= redirectChainCacheStatus.endOfValidity;
171     }
172     ASSERT_NOT_REACHED();
173     return false;
174 }
175
176 inline bool isCacheHeaderSeparator(UChar c)
177 {
178     // http://tools.ietf.org/html/rfc7230#section-3.2.6
179     switch (c) {
180     case '(':
181     case ')':
182     case '<':
183     case '>':
184     case '@':
185     case ',':
186     case ';':
187     case ':':
188     case '\\':
189     case '"':
190     case '/':
191     case '[':
192     case ']':
193     case '?':
194     case '=':
195     case '{':
196     case '}':
197     case ' ':
198     case '\t':
199         return true;
200     default:
201         return false;
202     }
203 }
204
205 inline bool isControlCharacterOrSpace(UChar character)
206 {
207     return character <= ' ' || character == 127;
208 }
209
210 inline StringView trimToNextSeparator(StringView string)
211 {
212     return string.substring(0, string.find(isCacheHeaderSeparator));
213 }
214
215 static Vector<std::pair<String, String>> parseCacheHeader(const String& header)
216 {
217     Vector<std::pair<String, String>> result;
218
219     String safeHeaderString = header.removeCharacters(isControlCharacterOrSpace);
220     StringView safeHeader = safeHeaderString;
221     unsigned max = safeHeader.length();
222     unsigned pos = 0;
223     while (pos < max) {
224         size_t nextCommaPosition = safeHeader.find(',', pos);
225         size_t nextEqualSignPosition = safeHeader.find('=', pos);
226         if (nextEqualSignPosition == notFound && nextCommaPosition == notFound) {
227             // Add last directive to map with empty string as value
228             result.append({ trimToNextSeparator(safeHeader.substring(pos, max - pos)).toString(), emptyString() });
229             return result;
230         }
231         if (nextCommaPosition != notFound && (nextCommaPosition < nextEqualSignPosition || nextEqualSignPosition == notFound)) {
232             // Add directive to map with empty string as value
233             result.append({ trimToNextSeparator(safeHeader.substring(pos, nextCommaPosition - pos)).toString(), emptyString() });
234             pos += nextCommaPosition - pos + 1;
235             continue;
236         }
237         // Get directive name, parse right hand side of equal sign, then add to map
238         String directive = trimToNextSeparator(safeHeader.substring(pos, nextEqualSignPosition - pos)).toString();
239         pos += nextEqualSignPosition - pos + 1;
240
241         StringView value = safeHeader.substring(pos, max - pos);
242         if (value[0] == '"') {
243             // The value is a quoted string
244             size_t nextDoubleQuotePosition = value.find('"', 1);
245             if (nextDoubleQuotePosition == notFound) {
246                 // Parse error; just use the rest as the value
247                 result.append({ directive, trimToNextSeparator(value.substring(1)).toString() });
248                 return result;
249             }
250             // Store the value as a quoted string without quotes
251             result.append({ directive, value.substring(1, nextDoubleQuotePosition - 1).toString() });
252             pos += (safeHeader.find('"', pos) - pos) + nextDoubleQuotePosition + 1;
253             // Move past next comma, if there is one
254             size_t nextCommaPosition2 = safeHeader.find(',', pos);
255             if (nextCommaPosition2 == notFound)
256                 return result; // Parse error if there is anything left with no comma
257             pos += nextCommaPosition2 - pos + 1;
258             continue;
259         }
260         // The value is a token until the next comma
261         size_t nextCommaPosition2 = value.find(',');
262         if (nextCommaPosition2 == notFound) {
263             // The rest is the value; no change to value needed
264             result.append({ directive, trimToNextSeparator(value).toString() });
265             return result;
266         }
267         // The value is delimited by the next comma
268         result.append({ directive, trimToNextSeparator(value.substring(0, nextCommaPosition2)).toString() });
269         pos += (safeHeader.find(',', pos) - pos) + 1;
270     }
271     return result;
272 }
273
274 CacheControlDirectives parseCacheControlDirectives(const HTTPHeaderMap& headers)
275 {
276     using namespace std::chrono;
277
278     CacheControlDirectives result;
279
280     String cacheControlValue = headers.get(HTTPHeaderName::CacheControl);
281     if (!cacheControlValue.isEmpty()) {
282         auto directives = parseCacheHeader(cacheControlValue);
283
284         size_t directivesSize = directives.size();
285         for (size_t i = 0; i < directivesSize; ++i) {
286             // A no-cache directive with a value is only meaningful for proxy caches.
287             // It should be ignored by a browser level cache.
288             // http://tools.ietf.org/html/rfc7234#section-5.2.2.2
289             if (equalLettersIgnoringASCIICase(directives[i].first, "no-cache") && directives[i].second.isEmpty())
290                 result.noCache = true;
291             else if (equalLettersIgnoringASCIICase(directives[i].first, "no-store"))
292                 result.noStore = true;
293             else if (equalLettersIgnoringASCIICase(directives[i].first, "must-revalidate"))
294                 result.mustRevalidate = true;
295             else if (equalLettersIgnoringASCIICase(directives[i].first, "max-age")) {
296                 if (result.maxAge) {
297                     // First max-age directive wins if there are multiple ones.
298                     continue;
299                 }
300                 bool ok;
301                 double maxAge = directives[i].second.toDouble(&ok);
302                 if (ok)
303                     result.maxAge = duration_cast<microseconds>(duration<double>(maxAge));
304             } else if (equalLettersIgnoringASCIICase(directives[i].first, "max-stale")) {
305                 // https://tools.ietf.org/html/rfc7234#section-5.2.1.2
306                 if (result.maxStale) {
307                     // First max-stale directive wins if there are multiple ones.
308                     continue;
309                 }
310                 if (directives[i].second.isEmpty()) {
311                     // if no value is assigned to max-stale, then the client is willing to accept a stale response of any age.
312                     result.maxStale = microseconds::max();
313                     continue;
314                 }
315                 bool ok;
316                 double maxStale = directives[i].second.toDouble(&ok);
317                 if (ok)
318                     result.maxStale = duration_cast<microseconds>(duration<double>(maxStale));
319             }
320         }
321     }
322
323     if (!result.noCache) {
324         // Handle Pragma: no-cache
325         // This is deprecated and equivalent to Cache-control: no-cache
326         // Don't bother tokenizing the value, it is not important
327         String pragmaValue = headers.get(HTTPHeaderName::Pragma);
328
329         result.noCache = pragmaValue.contains("no-cache", false);
330     }
331
332     return result;
333 }
334
335 static String headerValueForVary(const ResourceRequest& request, const String& headerName, SessionID sessionID)
336 {
337     // Explicit handling for cookies is needed because they are added magically by the networking layer.
338     // FIXME: The value might have changed between making the request and retrieving the cookie here.
339     // We could fetch the cookie when making the request but that seems overkill as the case is very rare and it
340     // is a blocking operation. This should be sufficient to cover reasonable cases.
341     if (headerName == httpHeaderNameString(HTTPHeaderName::Cookie)) {
342         auto* cookieStrategy = platformStrategies() ? platformStrategies()->cookiesStrategy() : nullptr;
343         if (!cookieStrategy) {
344             ASSERT(sessionID == SessionID::defaultSessionID());
345             return cookieRequestHeaderFieldValue(NetworkStorageSession::defaultStorageSession(), request.firstPartyForCookies(), request.url());
346         }
347         return cookieStrategy->cookieRequestHeaderFieldValue(sessionID, request.firstPartyForCookies(), request.url());
348     }
349     return request.httpHeaderField(headerName);
350 }
351
352 Vector<std::pair<String, String>> collectVaryingRequestHeaders(const WebCore::ResourceRequest& request, const WebCore::ResourceResponse& response, SessionID sessionID)
353 {
354     String varyValue = response.httpHeaderField(WebCore::HTTPHeaderName::Vary);
355     if (varyValue.isEmpty())
356         return { };
357     Vector<String> varyingHeaderNames;
358     varyValue.split(',', /*allowEmptyEntries*/ false, varyingHeaderNames);
359     Vector<std::pair<String, String>> varyingRequestHeaders;
360     varyingRequestHeaders.reserveCapacity(varyingHeaderNames.size());
361     for (auto& varyHeaderName : varyingHeaderNames) {
362         String headerName = varyHeaderName.stripWhiteSpace();
363         String headerValue = headerValueForVary(request, headerName, sessionID);
364         varyingRequestHeaders.append(std::make_pair(headerName, headerValue));
365     }
366     return varyingRequestHeaders;
367 }
368
369 bool verifyVaryingRequestHeaders(const Vector<std::pair<String, String>>& varyingRequestHeaders, const WebCore::ResourceRequest& request, SessionID sessionID)
370 {
371     for (auto& varyingRequestHeader : varyingRequestHeaders) {
372         // FIXME: Vary: * in response would ideally trigger a cache delete instead of a store.
373         if (varyingRequestHeader.first == "*")
374             return false;
375         String headerValue = headerValueForVary(request, varyingRequestHeader.first, sessionID);
376         if (headerValue != varyingRequestHeader.second)
377             return false;
378     }
379     return true;
380 }
381
382 }