Fix problems with cross-origin redirects
[WebKit-https.git] / Source / WebCore / loader / DocumentThreadableLoader.cpp
1 /*
2  * Copyright (C) 2011, 2012 Google Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions are
6  * met:
7  *
8  *     * Redistributions of source code must retain the above copyright
9  * notice, this list of conditions and the following disclaimer.
10  *     * Redistributions in binary form must reproduce the above
11  * copyright notice, this list of conditions and the following disclaimer
12  * in the documentation and/or other materials provided with the
13  * distribution.
14  *     * Neither the name of Google Inc. nor the names of its
15  * contributors may be used to endorse or promote products derived from
16  * this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #include "config.h"
32 #include "DocumentThreadableLoader.h"
33
34 #include "CachedRawResource.h"
35 #include "CachedResourceLoader.h"
36 #include "CachedResourceRequest.h"
37 #include "CachedResourceRequestInitiators.h"
38 #include "CrossOriginAccessControl.h"
39 #include "CrossOriginPreflightResultCache.h"
40 #include "Document.h"
41 #include "Frame.h"
42 #include "FrameLoader.h"
43 #include "InspectorInstrumentation.h"
44 #include "ProgressTracker.h"
45 #include "ResourceError.h"
46 #include "ResourceRequest.h"
47 #include "SchemeRegistry.h"
48 #include "SecurityOrigin.h"
49 #include "SubresourceLoader.h"
50 #include "ThreadableLoaderClient.h"
51 #include <wtf/Assertions.h>
52 #include <wtf/Ref.h>
53
54 namespace WebCore {
55
56 void DocumentThreadableLoader::loadResourceSynchronously(Document& document, const ResourceRequest& request, ThreadableLoaderClient& client, const ThreadableLoaderOptions& options)
57 {
58     // The loader will be deleted as soon as this function exits.
59     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadSynchronously, request, options));
60     ASSERT(loader->hasOneRef());
61 }
62
63 PassRefPtr<DocumentThreadableLoader> DocumentThreadableLoader::create(Document& document, ThreadableLoaderClient& client, const ResourceRequest& request, const ThreadableLoaderOptions& options)
64 {
65     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadAsynchronously, request, options));
66     if (!loader->m_resource)
67         loader = nullptr;
68     return loader.release();
69 }
70
71 DocumentThreadableLoader::DocumentThreadableLoader(Document& document, ThreadableLoaderClient& client, BlockingBehavior blockingBehavior, const ResourceRequest& request, const ThreadableLoaderOptions& options)
72     : m_client(&client)
73     , m_document(document)
74     , m_options(options)
75     , m_sameOriginRequest(securityOrigin()->canRequest(request.url()))
76     , m_simpleRequest(true)
77     , m_async(blockingBehavior == LoadAsynchronously)
78 {
79     // Setting an outgoing referer is only supported in the async code path.
80     ASSERT(m_async || request.httpReferrer().isEmpty());
81
82     if (m_sameOriginRequest || m_options.crossOriginRequestPolicy == AllowCrossOriginRequests) {
83         loadRequest(request, DoSecurityCheck);
84         return;
85     }
86
87     if (m_options.crossOriginRequestPolicy == DenyCrossOriginRequests) {
88         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url(), "Cross origin requests are not supported."));
89         return;
90     }
91
92     makeCrossOriginAccessRequest(request);
93 }
94
95 void DocumentThreadableLoader::makeCrossOriginAccessRequest(const ResourceRequest& request)
96 {
97     ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
98
99     auto crossOriginRequest = std::make_unique<ResourceRequest>(request);
100     updateRequestForAccessControl(*crossOriginRequest, securityOrigin(), m_options.allowCredentials());
101
102     if ((m_options.preflightPolicy == ConsiderPreflight && isSimpleCrossOriginAccessRequest(crossOriginRequest->httpMethod(), crossOriginRequest->httpHeaderFields())) || m_options.preflightPolicy == PreventPreflight)
103         makeSimpleCrossOriginAccessRequest(*crossOriginRequest);
104     else {
105         m_simpleRequest = false;
106         m_actualRequest = WTFMove(crossOriginRequest);
107
108         if (CrossOriginPreflightResultCache::singleton().canSkipPreflight(securityOrigin()->toString(), m_actualRequest->url(), m_options.allowCredentials(), m_actualRequest->httpMethod(), m_actualRequest->httpHeaderFields()))
109             preflightSuccess();
110         else
111             makeCrossOriginAccessRequestWithPreflight(*m_actualRequest);
112     }
113 }
114
115 void DocumentThreadableLoader::makeSimpleCrossOriginAccessRequest(const ResourceRequest& request)
116 {
117     ASSERT(m_options.preflightPolicy != ForcePreflight);
118     ASSERT(m_options.preflightPolicy == PreventPreflight || isSimpleCrossOriginAccessRequest(request.httpMethod(), request.httpHeaderFields()));
119
120     // Cross-origin requests are only allowed for HTTP and registered schemes. We would catch this when checking response headers later, but there is no reason to send a request that's guaranteed to be denied.
121     if (!SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())) {
122         m_client->didFailAccessControlCheck(ResourceError(errorDomainWebKitInternal, 0, request.url(), "Cross origin requests are only supported for HTTP."));
123         return;
124     }
125
126     loadRequest(request, DoSecurityCheck);
127 }
128
129 void DocumentThreadableLoader::makeCrossOriginAccessRequestWithPreflight(const ResourceRequest& request)
130 {
131     ResourceRequest preflightRequest = createAccessControlPreflightRequest(request, securityOrigin());
132     loadRequest(preflightRequest, DoSecurityCheck);
133 }
134
135 DocumentThreadableLoader::~DocumentThreadableLoader()
136 {
137     if (m_resource)
138         m_resource->removeClient(this);
139 }
140
141 void DocumentThreadableLoader::cancel()
142 {
143     Ref<DocumentThreadableLoader> protect(*this);
144
145     // Cancel can re-enter and m_resource might be null here as a result.
146     if (m_client && m_resource) {
147         // FIXME: This error is sent to the client in didFail(), so it should not be an internal one. Use FrameLoaderClient::cancelledError() instead.
148         ResourceError error(errorDomainWebKitInternal, 0, m_resource->url(), "Load cancelled");
149         error.setIsCancellation(true);
150         didFail(m_resource->identifier(), error);
151     }
152     clearResource();
153     m_client = nullptr;
154 }
155
156 void DocumentThreadableLoader::setDefersLoading(bool value)
157 {
158     if (m_resource)
159         m_resource->setDefersLoading(value);
160 }
161
162 void DocumentThreadableLoader::clearResource()
163 {
164     // Script can cancel and restart a request reentrantly within removeClient(),
165     // which could lead to calling CachedResource::removeClient() multiple times for
166     // this DocumentThreadableLoader. Save off a copy of m_resource and clear it to
167     // prevent the reentrancy.
168     if (CachedResourceHandle<CachedRawResource> resource = m_resource) {
169         m_resource = nullptr;
170         resource->removeClient(this);
171     }
172 }
173
174 void DocumentThreadableLoader::redirectReceived(CachedResource* resource, ResourceRequest& request, const ResourceResponse& redirectResponse)
175 {
176     ASSERT(m_client);
177     ASSERT_UNUSED(resource, resource == m_resource);
178
179     Ref<DocumentThreadableLoader> protect(*this);
180     // Allow same origin requests to continue after allowing clients to audit the redirect.
181     if (isAllowedRedirect(request.url()))
182         return;
183
184     // When using access control, only simple cross origin requests are allowed to redirect. The new request URL must have a supported
185     // scheme and not contain the userinfo production. In addition, the redirect response must pass the access control check if the
186     // original request was not same-origin.
187     if (m_options.crossOriginRequestPolicy == UseAccessControl) {
188         bool allowRedirect = false;
189         if (m_simpleRequest) {
190             String accessControlErrorDescription;
191             allowRedirect = SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())
192                             && request.url().user().isEmpty()
193                             && request.url().pass().isEmpty()
194                             && (m_sameOriginRequest || passesAccessControlCheck(redirectResponse, m_options.allowCredentials(), securityOrigin(), accessControlErrorDescription));
195         }
196
197         if (allowRedirect) {
198             if (m_resource)
199                 clearResource();
200
201             RefPtr<SecurityOrigin> originalOrigin = SecurityOrigin::createFromString(redirectResponse.url());
202             RefPtr<SecurityOrigin> requestOrigin = SecurityOrigin::createFromString(request.url());
203             // If the original request wasn't same-origin, then if the request URL origin is not same origin with the original URL origin,
204             // set the source origin to a globally unique identifier. (If the original request was same-origin, the origin of the new request
205             // should be the original URL origin.)
206             if (!m_sameOriginRequest && !originalOrigin->isSameSchemeHostPort(requestOrigin.get()))
207                 m_options.securityOrigin = SecurityOrigin::createUnique();
208             // Force any subsequent request to use these checks.
209             m_sameOriginRequest = false;
210
211             // Since the request is no longer same-origin, if the user didn't request credentials in
212             // the first place, update our state so we neither request them nor expect they must be allowed.
213             if (m_options.credentialRequest() == ClientDidNotRequestCredentials)
214                 m_options.setAllowCredentials(DoNotAllowStoredCredentials);
215
216             // Remove any headers that may have been added by the network layer that cause access control to fail.
217             request.clearHTTPContentType();
218             request.clearHTTPReferrer();
219             request.clearHTTPOrigin();
220             request.clearHTTPUserAgent();
221             request.clearHTTPAccept();
222             request.clearHTTPAcceptEncoding();
223             makeCrossOriginAccessRequest(request);
224             return;
225         }
226     }
227
228     m_client->didFailRedirectCheck();
229     request = ResourceRequest();
230 }
231
232 void DocumentThreadableLoader::dataSent(CachedResource* resource, unsigned long long bytesSent, unsigned long long totalBytesToBeSent)
233 {
234     ASSERT(m_client);
235     ASSERT_UNUSED(resource, resource == m_resource);
236     m_client->didSendData(bytesSent, totalBytesToBeSent);
237 }
238
239 void DocumentThreadableLoader::responseReceived(CachedResource* resource, const ResourceResponse& response)
240 {
241     ASSERT_UNUSED(resource, resource == m_resource);
242     didReceiveResponse(m_resource->identifier(), response);
243 }
244
245 void DocumentThreadableLoader::didReceiveResponse(unsigned long identifier, const ResourceResponse& response)
246 {
247     ASSERT(m_client);
248
249     String accessControlErrorDescription;
250     if (m_actualRequest) {
251         DocumentLoader* loader = m_document.frame()->loader().documentLoader();
252         InspectorInstrumentationCookie cookie = InspectorInstrumentation::willReceiveResourceResponse(m_document.frame());
253         InspectorInstrumentation::didReceiveResourceResponse(cookie, identifier, loader, response, 0);
254
255         if (!passesAccessControlCheck(response, m_options.allowCredentials(), securityOrigin(), accessControlErrorDescription)) {
256             preflightFailure(identifier, response.url(), accessControlErrorDescription);
257             return;
258         }
259
260         StoredCredentials allowCredentials = m_options.allowCredentials();
261         auto preflightResult = std::make_unique<CrossOriginPreflightResultCacheItem>(allowCredentials);
262         if (!preflightResult->parse(response, accessControlErrorDescription)
263             || !preflightResult->allowsCrossOriginMethod(m_actualRequest->httpMethod(), accessControlErrorDescription)
264             || !preflightResult->allowsCrossOriginHeaders(m_actualRequest->httpHeaderFields(), accessControlErrorDescription)) {
265             preflightFailure(identifier, response.url(), accessControlErrorDescription);
266             return;
267         }
268
269         CrossOriginPreflightResultCache::singleton().appendEntry(securityOrigin()->toString(), m_actualRequest->url(), WTFMove(preflightResult));
270     } else {
271         if (!m_sameOriginRequest && m_options.crossOriginRequestPolicy == UseAccessControl) {
272             if (!passesAccessControlCheck(response, m_options.allowCredentials(), securityOrigin(), accessControlErrorDescription)) {
273                 m_client->didFailAccessControlCheck(ResourceError(errorDomainWebKitInternal, 0, response.url(), accessControlErrorDescription));
274                 return;
275             }
276         }
277
278         m_client->didReceiveResponse(identifier, response);
279     }
280 }
281
282 void DocumentThreadableLoader::dataReceived(CachedResource* resource, const char* data, int dataLength)
283 {
284     ASSERT_UNUSED(resource, resource == m_resource);
285     didReceiveData(m_resource->identifier(), data, dataLength);
286 }
287
288 void DocumentThreadableLoader::didReceiveData(unsigned long identifier, const char* data, int dataLength)
289 {
290     ASSERT(m_client);
291
292     // Preflight data should be invisible to clients.
293     if (m_actualRequest) {
294         InspectorInstrumentation::didReceiveData(m_document.frame(), identifier, 0, 0, dataLength);
295         return;
296     }
297
298     m_client->didReceiveData(data, dataLength);
299 }
300
301 void DocumentThreadableLoader::notifyFinished(CachedResource* resource)
302 {
303     ASSERT(m_client);
304     ASSERT_UNUSED(resource, resource == m_resource);
305         
306     if (m_resource->errorOccurred())
307         didFail(m_resource->identifier(), m_resource->resourceError());
308     else
309         didFinishLoading(m_resource->identifier(), m_resource->loadFinishTime());
310 }
311
312 void DocumentThreadableLoader::didFinishLoading(unsigned long identifier, double finishTime)
313 {
314     if (m_actualRequest) {
315         InspectorInstrumentation::didFinishLoading(m_document.frame(), m_document.frame()->loader().documentLoader(), identifier, finishTime);
316
317         ASSERT(!m_sameOriginRequest);
318         ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
319         preflightSuccess();
320     } else
321         m_client->didFinishLoading(identifier, finishTime);
322 }
323
324 void DocumentThreadableLoader::didFail(unsigned long identifier, const ResourceError& error)
325 {
326     if (m_actualRequest)
327         InspectorInstrumentation::didFailLoading(m_document.frame(), m_document.frame()->loader().documentLoader(), identifier, error);
328
329     m_client->didFail(error);
330 }
331
332 void DocumentThreadableLoader::preflightSuccess()
333 {
334     std::unique_ptr<ResourceRequest> actualRequest;
335     actualRequest.swap(m_actualRequest);
336
337     actualRequest->setHTTPOrigin(securityOrigin()->toString());
338
339     clearResource();
340
341     // It should be ok to skip the security check since we already asked about the preflight request.
342     loadRequest(*actualRequest, SkipSecurityCheck);
343 }
344
345 void DocumentThreadableLoader::preflightFailure(unsigned long identifier, const URL& url, const String& errorDescription)
346 {
347     ResourceError error(errorDomainWebKitInternal, 0, url, errorDescription);
348     if (m_actualRequest)
349         InspectorInstrumentation::didFailLoading(m_document.frame(), m_document.frame()->loader().documentLoader(), identifier, error);
350
351     m_actualRequest = nullptr; // Prevent didFinishLoading() from bypassing access check.
352     m_client->didFailAccessControlCheck(error);
353 }
354
355 void DocumentThreadableLoader::loadRequest(const ResourceRequest& request, SecurityCheckPolicy securityCheck)
356 {
357     // Any credential should have been removed from the cross-site requests.
358     const URL& requestURL = request.url();
359     m_options.setSecurityCheck(securityCheck);
360     ASSERT(m_sameOriginRequest || requestURL.user().isEmpty());
361     ASSERT(m_sameOriginRequest || requestURL.pass().isEmpty());
362
363     if (m_async) {
364         ThreadableLoaderOptions options = m_options;
365         options.setClientCredentialPolicy(DoNotAskClientForCrossOriginCredentials);
366         if (m_actualRequest) {
367             // Don't sniff content or send load callbacks for the preflight request.
368             options.setSendLoadCallbacks(DoNotSendCallbacks);
369             options.setSniffContent(DoNotSniffContent);
370             // Keep buffering the data for the preflight request.
371             options.setDataBufferingPolicy(BufferData);
372         }
373
374         CachedResourceRequest newRequest(request, options);
375 #if ENABLE(RESOURCE_TIMING)
376         newRequest.setInitiator(m_options.initiator);
377 #endif
378         ASSERT(!m_resource);
379         m_resource = m_document.cachedResourceLoader().requestRawResource(newRequest);
380         if (m_resource)
381             m_resource->addClient(this);
382
383         return;
384     }
385     
386     // FIXME: ThreadableLoaderOptions.sniffContent is not supported for synchronous requests.
387     RefPtr<SharedBuffer> data;
388     ResourceError error;
389     ResourceResponse response;
390     unsigned long identifier = std::numeric_limits<unsigned long>::max();
391     if (m_document.frame())
392         identifier = m_document.frame()->loader().loadResourceSynchronously(request, m_options.allowCredentials(), m_options.clientCredentialPolicy(), error, response, data);
393
394     if (!error.isNull() && response.httpStatusCode() <= 0) {
395         if (requestURL.isLocalFile()) {
396             // We don't want XMLHttpRequest to raise an exception for file:// resources, see <rdar://problem/4962298>.
397             // FIXME: XMLHttpRequest quirks should be in XMLHttpRequest code, not in DocumentThreadableLoader.cpp.
398             didReceiveResponse(identifier, response);
399             didFinishLoading(identifier, 0.0);
400             return;
401         }
402         m_client->didFail(error);
403         return;
404     }
405
406     // FIXME: FrameLoader::loadSynchronously() does not tell us whether a redirect happened or not, so we guess by comparing the
407     // request and response URLs. This isn't a perfect test though, since a server can serve a redirect to the same URL that was
408     // requested. Also comparing the request and response URLs as strings will fail if the requestURL still has its credentials.
409     if (requestURL != response.url() && !isAllowedRedirect(response.url())) {
410         m_client->didFailRedirectCheck();
411         return;
412     }
413
414     didReceiveResponse(identifier, response);
415
416     if (data)
417         didReceiveData(identifier, data->data(), data->size());
418     didFinishLoading(identifier, 0.0);
419 }
420
421 bool DocumentThreadableLoader::isAllowedRedirect(const URL& url)
422 {
423     if (m_options.crossOriginRequestPolicy == AllowCrossOriginRequests)
424         return true;
425
426     return m_sameOriginRequest && securityOrigin()->canRequest(url);
427 }
428
429 bool DocumentThreadableLoader::isXMLHttpRequest() const
430 {
431     return m_options.initiator == cachedResourceRequestInitiators().xmlhttprequest;
432 }
433
434 SecurityOrigin* DocumentThreadableLoader::securityOrigin() const
435 {
436     return m_options.securityOrigin ? m_options.securityOrigin.get() : m_document.securityOrigin();
437 }
438
439 } // namespace WebCore