cross-origin XMLHttpRequest doesn't work with redirect
[WebKit-https.git] / Source / WebCore / loader / DocumentThreadableLoader.cpp
1 /*
2  * Copyright (C) 2011, 2012 Google Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions are
6  * met:
7  *
8  *     * Redistributions of source code must retain the above copyright
9  * notice, this list of conditions and the following disclaimer.
10  *     * Redistributions in binary form must reproduce the above
11  * copyright notice, this list of conditions and the following disclaimer
12  * in the documentation and/or other materials provided with the
13  * distribution.
14  *     * Neither the name of Google Inc. nor the names of its
15  * contributors may be used to endorse or promote products derived from
16  * this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #include "config.h"
32 #include "DocumentThreadableLoader.h"
33
34 #include "CachedRawResource.h"
35 #include "CachedResourceLoader.h"
36 #include "CrossOriginAccessControl.h"
37 #include "CrossOriginPreflightResultCache.h"
38 #include "Document.h"
39 #include "DocumentThreadableLoaderClient.h"
40 #include "Frame.h"
41 #include "FrameLoader.h"
42 #include "ResourceError.h"
43 #include "ResourceRequest.h"
44 #include "SchemeRegistry.h"
45 #include "SecurityOrigin.h"
46 #include "ThreadableLoaderClient.h"
47 #include <wtf/Assertions.h>
48 #include <wtf/UnusedParam.h>
49
50 #if ENABLE(INSPECTOR)
51 #include "InspectorInstrumentation.h"
52 #include "ProgressTracker.h"
53 #endif
54
55 namespace WebCore {
56
57 void DocumentThreadableLoader::loadResourceSynchronously(Document* document, const ResourceRequest& request, ThreadableLoaderClient& client, const ThreadableLoaderOptions& options)
58 {
59     // The loader will be deleted as soon as this function exits.
60     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, &client, LoadSynchronously, request, options));
61     ASSERT(loader->hasOneRef());
62 }
63
64 PassRefPtr<DocumentThreadableLoader> DocumentThreadableLoader::create(Document* document, ThreadableLoaderClient* client, const ResourceRequest& request, const ThreadableLoaderOptions& options)
65 {
66     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadAsynchronously, request, options));
67     if (!loader->m_resource)
68         loader = 0;
69     return loader.release();
70 }
71
72 DocumentThreadableLoader::DocumentThreadableLoader(Document* document, ThreadableLoaderClient* client, BlockingBehavior blockingBehavior, const ResourceRequest& request, const ThreadableLoaderOptions& options)
73     : m_client(client)
74     , m_document(document)
75     , m_options(options)
76     , m_sameOriginRequest(securityOrigin()->canRequest(request.url()))
77     , m_simpleRequest(true)
78     , m_async(blockingBehavior == LoadAsynchronously)
79 #if ENABLE(INSPECTOR)
80     , m_preflightRequestIdentifier(0)
81 #endif
82 {
83     ASSERT(document);
84     ASSERT(client);
85     // Setting an outgoing referer is only supported in the async code path.
86     ASSERT(m_async || request.httpReferrer().isEmpty());
87
88     makeRequest(request);
89 }
90
91 void DocumentThreadableLoader::makeRequest(const ResourceRequest& request)
92 {
93     if (m_sameOriginRequest || m_options.crossOriginRequestPolicy == AllowCrossOriginRequests) {
94         loadRequest(request, DoSecurityCheck);
95         return;
96     }
97
98     if (m_options.crossOriginRequestPolicy == DenyCrossOriginRequests) {
99         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are not supported."));
100         return;
101     }
102
103     ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
104
105     OwnPtr<ResourceRequest> crossOriginRequest = adoptPtr(new ResourceRequest(request));
106     updateRequestForAccessControl(*crossOriginRequest, securityOrigin(), m_options.allowCredentials);
107
108     if ((m_options.preflightPolicy == ConsiderPreflight && isSimpleCrossOriginAccessRequest(crossOriginRequest->httpMethod(), crossOriginRequest->httpHeaderFields())) || m_options.preflightPolicy == PreventPreflight)
109         makeSimpleCrossOriginAccessRequest(*crossOriginRequest);
110     else {
111         m_simpleRequest = false;
112         m_actualRequest = crossOriginRequest.release();
113
114         if (CrossOriginPreflightResultCache::shared().canSkipPreflight(securityOrigin()->toString(), m_actualRequest->url(), m_options.allowCredentials, m_actualRequest->httpMethod(), m_actualRequest->httpHeaderFields()))
115             preflightSuccess();
116         else
117             makeCrossOriginAccessRequestWithPreflight(*m_actualRequest);
118     }
119 }
120
121 void DocumentThreadableLoader::makeSimpleCrossOriginAccessRequest(const ResourceRequest& request)
122 {
123     ASSERT(m_options.preflightPolicy != ForcePreflight);
124     ASSERT(m_options.preflightPolicy == PreventPreflight || isSimpleCrossOriginAccessRequest(request.httpMethod(), request.httpHeaderFields()));
125
126     // Cross-origin requests are only allowed for HTTP and registered schemes. We would catch this when checking response headers later, but there is no reason to send a request that's guaranteed to be denied.
127     if (!SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())) {
128         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are only supported for HTTP."));
129         return;
130     }
131
132     loadRequest(request, DoSecurityCheck);
133 }
134
135 void DocumentThreadableLoader::makeCrossOriginAccessRequestWithPreflight(const ResourceRequest& request)
136 {
137     ResourceRequest preflightRequest = createAccessControlPreflightRequest(request, securityOrigin(), m_options.allowCredentials);
138     loadRequest(preflightRequest, DoSecurityCheck);
139 }
140
141 DocumentThreadableLoader::~DocumentThreadableLoader()
142 {
143     if (m_resource)
144         m_resource->removeClient(this);
145 }
146
147 void DocumentThreadableLoader::cancel()
148 {
149     if (m_client) {
150         ResourceError error(errorDomainWebKitInternal, 0, m_resource->url(), "Load cancelled");
151         error.setIsCancellation(true);
152         didFail(error);
153     }
154     clearResource();
155     m_client = 0;
156 }
157
158 void DocumentThreadableLoader::setDefersLoading(bool value)
159 {
160     if (m_resource)
161         m_resource->setDefersLoading(value);
162 }
163
164 void DocumentThreadableLoader::clearResource()
165 {
166     if (m_resource) {
167         m_resource->removeClient(this);
168         m_resource = 0;
169     }
170 }
171
172 void DocumentThreadableLoader::redirectReceived(CachedResource* resource, ResourceRequest& request, const ResourceResponse& redirectResponse)
173 {
174     ASSERT(m_client);
175     ASSERT_UNUSED(resource, resource == m_resource);
176
177     RefPtr<DocumentThreadableLoader> protect(this);
178     bool allowRedirect = false;
179     if (m_options.crossOriginRequestPolicy == UseAccessControl) {
180         // When using access control, only simple cross origin requests are allowed to redirect. The new request URL must have a supported
181         // scheme and not contain the userinfo production. In addition, the redirect response must pass the access control check.
182         if (m_simpleRequest) {
183             String accessControlErrorDescription;
184             allowRedirect = SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())
185                             && request.url().user().isEmpty()
186                             && request.url().pass().isEmpty()
187                             && passesAccessControlCheck(redirectResponse, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription);
188         }
189     } else
190         allowRedirect = isAllowedRedirect(request.url());
191
192     if (allowRedirect) {
193         if (m_options.crossOriginRequestPolicy == UseAccessControl) {
194             if (m_resource)
195                 clearResource();
196
197             RefPtr<SecurityOrigin> originalOrigin = SecurityOrigin::createFromString(redirectResponse.url());
198             RefPtr<SecurityOrigin> requestOrigin = SecurityOrigin::createFromString(request.url());
199             // If the request URL origin is not same origin with the original URL origin, set source origin to a globally unique identifier.
200             if (!originalOrigin->isSameSchemeHostPort(requestOrigin.get()))
201                 m_options.securityOrigin = SecurityOrigin::createUnique();
202             m_sameOriginRequest = securityOrigin()->canRequest(request.url());
203
204             // Remove any headers that may have been added by the network layer that cause access control to fail.
205             request.clearHTTPContentType();
206             request.clearHTTPReferrer();
207             request.clearHTTPOrigin();
208             request.clearHTTPUserAgent();
209             request.clearHTTPAccept();
210             makeRequest(request);
211         } else {
212             // If not using access control, allow clients to audit the redirect.
213             if (m_client->isDocumentThreadableLoaderClient())
214                 static_cast<DocumentThreadableLoaderClient*>(m_client)->willSendRequest(request, redirectResponse);
215         }
216     } else {
217         m_client->didFailRedirectCheck();
218         request = ResourceRequest();
219     }
220 }
221
222 void DocumentThreadableLoader::dataSent(CachedResource* resource, unsigned long long bytesSent, unsigned long long totalBytesToBeSent)
223 {
224     ASSERT(m_client);
225     ASSERT_UNUSED(resource, resource == m_resource);
226     m_client->didSendData(bytesSent, totalBytesToBeSent);
227 }
228
229 void DocumentThreadableLoader::responseReceived(CachedResource* resource, const ResourceResponse& response)
230 {
231     ASSERT_UNUSED(resource, resource == m_resource);
232     didReceiveResponse(m_resource->identifier(), response);
233 }
234
235 void DocumentThreadableLoader::didReceiveResponse(unsigned long identifier, const ResourceResponse& response)
236 {
237     ASSERT(m_client);
238
239 #if ENABLE(INSPECTOR)
240     if (m_preflightRequestIdentifier) {
241         DocumentLoader* loader = m_document->frame()->loader()->documentLoader();
242         InspectorInstrumentationCookie cookie = InspectorInstrumentation::willReceiveResourceResponse(m_document->frame(), m_preflightRequestIdentifier, response);
243         InspectorInstrumentation::didReceiveResourceResponse(cookie, m_preflightRequestIdentifier, loader, response);
244     }
245 #endif
246
247     String accessControlErrorDescription;
248     if (m_actualRequest) {
249         if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
250             preflightFailure(response.url(), accessControlErrorDescription);
251             return;
252         }
253
254         OwnPtr<CrossOriginPreflightResultCacheItem> preflightResult = adoptPtr(new CrossOriginPreflightResultCacheItem(m_options.allowCredentials));
255         if (!preflightResult->parse(response, accessControlErrorDescription)
256             || !preflightResult->allowsCrossOriginMethod(m_actualRequest->httpMethod(), accessControlErrorDescription)
257             || !preflightResult->allowsCrossOriginHeaders(m_actualRequest->httpHeaderFields(), accessControlErrorDescription)) {
258             preflightFailure(response.url(), accessControlErrorDescription);
259             return;
260         }
261
262         CrossOriginPreflightResultCache::shared().appendEntry(securityOrigin()->toString(), m_actualRequest->url(), preflightResult.release());
263     } else {
264         if (!m_sameOriginRequest && m_options.crossOriginRequestPolicy == UseAccessControl) {
265             if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
266                 m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, response.url().string(), accessControlErrorDescription));
267                 return;
268             }
269         }
270
271         m_client->didReceiveResponse(identifier, response);
272     }
273 }
274
275 void DocumentThreadableLoader::dataReceived(CachedResource* resource, const char* data, int dataLength)
276 {
277     ASSERT(m_client);
278     ASSERT_UNUSED(resource, resource == m_resource);
279
280 #if ENABLE(INSPECTOR)
281     if (m_preflightRequestIdentifier)
282         InspectorInstrumentation::didReceiveData(m_document->frame(), m_preflightRequestIdentifier, 0, 0, dataLength);
283 #endif
284
285     // Preflight data should be invisible to clients.
286     if (m_actualRequest)
287         return;
288
289     m_client->didReceiveData(data, dataLength);
290 }
291
292 void DocumentThreadableLoader::notifyFinished(CachedResource* resource)
293 {
294     ASSERT(m_client);
295     ASSERT_UNUSED(resource, resource == m_resource);
296         
297     if (m_resource && (m_resource->errorOccurred() || m_resource->wasCanceled())) {
298         ResourceError error("Network Request Failed", 0, m_resource->url(), "Resource failed to load");
299         if (m_resource->wasCanceled())
300             error.setIsCancellation(true);
301         didFail(error);
302     } else
303         didFinishLoading(m_resource->identifier(), m_resource->loadFinishTime());
304 }
305
306 void DocumentThreadableLoader::didFinishLoading(unsigned long identifier, double finishTime)
307 {
308 #if ENABLE(INSPECTOR)
309     if (m_preflightRequestIdentifier)
310         InspectorInstrumentation::didFinishLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), m_preflightRequestIdentifier, finishTime);
311 #endif
312
313     if (m_actualRequest) {
314         ASSERT(!m_sameOriginRequest);
315         ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
316         preflightSuccess();
317     } else
318         m_client->didFinishLoading(identifier, finishTime);
319 }
320
321 void DocumentThreadableLoader::didFail(const ResourceError& error)
322 {
323 #if ENABLE(INSPECTOR)
324     if (m_preflightRequestIdentifier)
325         InspectorInstrumentation::didFailLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), m_preflightRequestIdentifier, error);
326 #endif
327
328     m_client->didFail(error);
329 }
330
331 void DocumentThreadableLoader::preflightSuccess()
332 {
333     OwnPtr<ResourceRequest> actualRequest;
334     actualRequest.swap(m_actualRequest);
335
336     actualRequest->setHTTPOrigin(securityOrigin()->toString());
337
338     clearResource();
339
340     // It should be ok to skip the security check since we already asked about the preflight request.
341     loadRequest(*actualRequest, SkipSecurityCheck);
342 }
343
344 void DocumentThreadableLoader::preflightFailure(const String& url, const String& errorDescription)
345 {
346     m_actualRequest = nullptr; // Prevent didFinishLoading() from bypassing access check.
347     m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, url, errorDescription));
348 }
349
350 void DocumentThreadableLoader::loadRequest(const ResourceRequest& request, SecurityCheckPolicy securityCheck)
351 {
352     // Any credential should have been removed from the cross-site requests.
353     const KURL& requestURL = request.url();
354     m_options.securityCheck = securityCheck;
355     ASSERT(m_sameOriginRequest || requestURL.user().isEmpty());
356     ASSERT(m_sameOriginRequest || requestURL.pass().isEmpty());
357
358     if (m_async) {
359         ThreadableLoaderOptions options = m_options;
360         options.crossOriginCredentialPolicy = DoNotAskClientForCrossOriginCredentials;
361         if (m_actualRequest) {
362             // Don't sniff content or send load callbacks for the preflight request.
363             options.sendLoadCallbacks = DoNotSendCallbacks;
364             options.sniffContent = DoNotSniffContent;
365             // Keep buffering the data for the preflight request.
366             options.shouldBufferData = BufferData;
367         }
368
369         ResourceRequest newRequest(request);
370 #if ENABLE(INSPECTOR)
371         if (m_actualRequest) {
372             // Because willSendRequest only gets called during redirects, we initialize the identifier and the first willSendRequest here.
373             m_preflightRequestIdentifier = m_document->frame()->page()->progress()->createUniqueIdentifier();
374             ResourceResponse redirectResponse = ResourceResponse();
375             InspectorInstrumentation::willSendRequest(m_document->frame(), m_preflightRequestIdentifier, m_document->frame()->loader()->documentLoader(), newRequest, redirectResponse);
376         }
377 #endif
378         ASSERT(!m_resource);
379         m_resource = m_document->cachedResourceLoader()->requestRawResource(newRequest, options);
380         if (m_resource)
381             m_resource->addClient(this);
382         return;
383     }
384     
385     // FIXME: ThreadableLoaderOptions.sniffContent is not supported for synchronous requests.
386     Vector<char> data;
387     ResourceError error;
388     ResourceResponse response;
389     unsigned long identifier = std::numeric_limits<unsigned long>::max();
390     if (m_document->frame())
391         identifier = m_document->frame()->loader()->loadResourceSynchronously(request, m_options.allowCredentials, error, response, data);
392
393     // No exception for file:/// resources, see <rdar://problem/4962298>.
394     // Also, if we have an HTTP response, then it wasn't a network error in fact.
395     if (!error.isNull() && !requestURL.isLocalFile() && response.httpStatusCode() <= 0) {
396         m_client->didFail(error);
397         return;
398     }
399
400     // FIXME: FrameLoader::loadSynchronously() does not tell us whether a redirect happened or not, so we guess by comparing the
401     // request and response URLs. This isn't a perfect test though, since a server can serve a redirect to the same URL that was
402     // requested. Also comparing the request and response URLs as strings will fail if the requestURL still has its credentials.
403     if (requestURL != response.url() && !isAllowedRedirect(response.url())) {
404         m_client->didFailRedirectCheck();
405         return;
406     }
407
408     didReceiveResponse(identifier, response);
409
410     const char* bytes = static_cast<const char*>(data.data());
411     int len = static_cast<int>(data.size());
412     dataReceived(0, bytes, len);
413
414     didFinishLoading(identifier, 0.0);
415 }
416
417 bool DocumentThreadableLoader::isAllowedRedirect(const KURL& url)
418 {
419     if (m_options.crossOriginRequestPolicy == AllowCrossOriginRequests)
420         return true;
421
422     return m_sameOriginRequest && securityOrigin()->canRequest(url);
423 }
424
425 SecurityOrigin* DocumentThreadableLoader::securityOrigin() const
426 {
427     return m_options.securityOrigin ? m_options.securityOrigin.get() : m_document->securityOrigin();
428 }
429
430 } // namespace WebCore