REGRESSION: We see authentication challenge sheets for favicon requests.
[WebKit-https.git] / Source / WebCore / loader / DocumentThreadableLoader.cpp
1 /*
2  * Copyright (C) 2011, 2012 Google Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions are
6  * met:
7  *
8  *     * Redistributions of source code must retain the above copyright
9  * notice, this list of conditions and the following disclaimer.
10  *     * Redistributions in binary form must reproduce the above
11  * copyright notice, this list of conditions and the following disclaimer
12  * in the documentation and/or other materials provided with the
13  * distribution.
14  *     * Neither the name of Google Inc. nor the names of its
15  * contributors may be used to endorse or promote products derived from
16  * this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #include "config.h"
32 #include "DocumentThreadableLoader.h"
33
34 #include "CachedRawResource.h"
35 #include "CachedResourceLoader.h"
36 #include "CachedResourceRequest.h"
37 #include "CrossOriginAccessControl.h"
38 #include "CrossOriginPreflightResultCache.h"
39 #include "Document.h"
40 #include "DocumentThreadableLoaderClient.h"
41 #include "Frame.h"
42 #include "FrameLoader.h"
43 #include "InspectorInstrumentation.h"
44 #include "ResourceError.h"
45 #include "ResourceRequest.h"
46 #include "SchemeRegistry.h"
47 #include "SecurityOrigin.h"
48 #include "SubresourceLoader.h"
49 #include "ThreadableLoaderClient.h"
50 #include <wtf/Assertions.h>
51 #include <wtf/UnusedParam.h>
52
53 #if ENABLE(INSPECTOR)
54 #include "ProgressTracker.h"
55 #endif
56
57 namespace WebCore {
58
59 void DocumentThreadableLoader::loadResourceSynchronously(Document* document, const ResourceRequest& request, ThreadableLoaderClient& client, const ThreadableLoaderOptions& options)
60 {
61     // The loader will be deleted as soon as this function exits.
62     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, &client, LoadSynchronously, request, options));
63     ASSERT(loader->hasOneRef());
64 }
65
66 PassRefPtr<DocumentThreadableLoader> DocumentThreadableLoader::create(Document* document, ThreadableLoaderClient* client, const ResourceRequest& request, const ThreadableLoaderOptions& options)
67 {
68     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadAsynchronously, request, options));
69     if (!loader->m_resource)
70         loader = 0;
71     return loader.release();
72 }
73
74 DocumentThreadableLoader::DocumentThreadableLoader(Document* document, ThreadableLoaderClient* client, BlockingBehavior blockingBehavior, const ResourceRequest& request, const ThreadableLoaderOptions& options)
75     : m_client(client)
76     , m_document(document)
77     , m_options(options)
78     , m_sameOriginRequest(securityOrigin()->canRequest(request.url()))
79     , m_simpleRequest(true)
80     , m_async(blockingBehavior == LoadAsynchronously)
81 {
82     ASSERT(document);
83     ASSERT(client);
84     // Setting an outgoing referer is only supported in the async code path.
85     ASSERT(m_async || request.httpReferrer().isEmpty());
86
87     if (m_sameOriginRequest || m_options.crossOriginRequestPolicy == AllowCrossOriginRequests) {
88         loadRequest(request, DoSecurityCheck);
89         return;
90     }
91
92     if (m_options.crossOriginRequestPolicy == DenyCrossOriginRequests) {
93         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are not supported."));
94         return;
95     }
96
97     makeCrossOriginAccessRequest(request);
98 }
99
100 void DocumentThreadableLoader::makeCrossOriginAccessRequest(const ResourceRequest& request)
101 {
102     ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
103
104     OwnPtr<ResourceRequest> crossOriginRequest = adoptPtr(new ResourceRequest(request));
105     updateRequestForAccessControl(*crossOriginRequest, securityOrigin(), m_options.allowCredentials);
106
107     if ((m_options.preflightPolicy == ConsiderPreflight && isSimpleCrossOriginAccessRequest(crossOriginRequest->httpMethod(), crossOriginRequest->httpHeaderFields())) || m_options.preflightPolicy == PreventPreflight)
108         makeSimpleCrossOriginAccessRequest(*crossOriginRequest);
109     else {
110         m_simpleRequest = false;
111         m_actualRequest = crossOriginRequest.release();
112
113         if (CrossOriginPreflightResultCache::shared().canSkipPreflight(securityOrigin()->toString(), m_actualRequest->url(), m_options.allowCredentials, m_actualRequest->httpMethod(), m_actualRequest->httpHeaderFields()))
114             preflightSuccess();
115         else
116             makeCrossOriginAccessRequestWithPreflight(*m_actualRequest);
117     }
118 }
119
120 void DocumentThreadableLoader::makeSimpleCrossOriginAccessRequest(const ResourceRequest& request)
121 {
122     ASSERT(m_options.preflightPolicy != ForcePreflight);
123     ASSERT(m_options.preflightPolicy == PreventPreflight || isSimpleCrossOriginAccessRequest(request.httpMethod(), request.httpHeaderFields()));
124
125     // Cross-origin requests are only allowed for HTTP and registered schemes. We would catch this when checking response headers later, but there is no reason to send a request that's guaranteed to be denied.
126     if (!SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())) {
127         m_client->didFailAccessControlCheck(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are only supported for HTTP."));
128         return;
129     }
130
131     loadRequest(request, DoSecurityCheck);
132 }
133
134 void DocumentThreadableLoader::makeCrossOriginAccessRequestWithPreflight(const ResourceRequest& request)
135 {
136     ResourceRequest preflightRequest = createAccessControlPreflightRequest(request, securityOrigin());
137     loadRequest(preflightRequest, DoSecurityCheck);
138 }
139
140 DocumentThreadableLoader::~DocumentThreadableLoader()
141 {
142     if (m_resource)
143         m_resource->removeClient(this);
144 }
145
146 void DocumentThreadableLoader::cancel()
147 {
148     RefPtr<DocumentThreadableLoader> protect(this);
149
150     // Cancel can re-enter and m_resource might be null here as a result.
151     if (m_client && m_resource) {
152         // FIXME: This error is sent to the client in didFail(), so it should not be an internal one. Use FrameLoaderClient::cancelledError() instead.
153         ResourceError error(errorDomainWebKitInternal, 0, m_resource->url(), "Load cancelled");
154         error.setIsCancellation(true);
155         didFail(m_resource->identifier(), error);
156     }
157     clearResource();
158     m_client = 0;
159 }
160
161 void DocumentThreadableLoader::setDefersLoading(bool value)
162 {
163     if (m_resource)
164         m_resource->setDefersLoading(value);
165 }
166
167 void DocumentThreadableLoader::clearResource()
168 {
169     // Script can cancel and restart a request reentrantly within removeClient(),
170     // which could lead to calling CachedResource::removeClient() multiple times for
171     // this DocumentThreadableLoader. Save off a copy of m_resource and clear it to
172     // prevent the reentrancy.
173     if (CachedResourceHandle<CachedRawResource> resource = m_resource) {
174         m_resource = 0;
175         resource->removeClient(this);
176     }
177 }
178
179 void DocumentThreadableLoader::redirectReceived(CachedResource* resource, ResourceRequest& request, const ResourceResponse& redirectResponse)
180 {
181     ASSERT(m_client);
182     ASSERT_UNUSED(resource, resource == m_resource);
183
184     RefPtr<DocumentThreadableLoader> protect(this);
185     // Allow same origin requests to continue after allowing clients to audit the redirect.
186     if (isAllowedRedirect(request.url())) {
187         if (m_client->isDocumentThreadableLoaderClient())
188             static_cast<DocumentThreadableLoaderClient*>(m_client)->willSendRequest(request, redirectResponse);
189         return;
190     }
191
192     // When using access control, only simple cross origin requests are allowed to redirect. The new request URL must have a supported
193     // scheme and not contain the userinfo production. In addition, the redirect response must pass the access control check.
194     if (m_options.crossOriginRequestPolicy == UseAccessControl) {
195         bool allowRedirect = false;
196         if (m_simpleRequest) {
197             String accessControlErrorDescription;
198             allowRedirect = SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())
199                             && request.url().user().isEmpty()
200                             && request.url().pass().isEmpty()
201                             && passesAccessControlCheck(redirectResponse, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription);
202         }
203
204         if (allowRedirect) {
205             if (m_resource)
206                 clearResource();
207
208             RefPtr<SecurityOrigin> originalOrigin = SecurityOrigin::createFromString(redirectResponse.url());
209             RefPtr<SecurityOrigin> requestOrigin = SecurityOrigin::createFromString(request.url());
210             // If the request URL origin is not same origin with the original URL origin, set source origin to a globally unique identifier.
211             if (!originalOrigin->isSameSchemeHostPort(requestOrigin.get()))
212                 m_options.securityOrigin = SecurityOrigin::createUnique();
213             // Force any subsequent requests to use these checks.
214             m_sameOriginRequest = false;
215
216             // Remove any headers that may have been added by the network layer that cause access control to fail.
217             request.clearHTTPContentType();
218             request.clearHTTPReferrer();
219             request.clearHTTPOrigin();
220             request.clearHTTPUserAgent();
221             request.clearHTTPAccept();
222             makeCrossOriginAccessRequest(request);
223             return;
224         }
225     }
226
227     m_client->didFailRedirectCheck();
228     request = ResourceRequest();
229 }
230
231 void DocumentThreadableLoader::dataSent(CachedResource* resource, unsigned long long bytesSent, unsigned long long totalBytesToBeSent)
232 {
233     ASSERT(m_client);
234     ASSERT_UNUSED(resource, resource == m_resource);
235     m_client->didSendData(bytesSent, totalBytesToBeSent);
236 }
237
238 void DocumentThreadableLoader::responseReceived(CachedResource* resource, const ResourceResponse& response)
239 {
240     ASSERT_UNUSED(resource, resource == m_resource);
241     didReceiveResponse(m_resource->identifier(), response);
242 }
243
244 void DocumentThreadableLoader::didReceiveResponse(unsigned long identifier, const ResourceResponse& response)
245 {
246     ASSERT(m_client);
247
248     String accessControlErrorDescription;
249     if (m_actualRequest) {
250 #if ENABLE(INSPECTOR)
251         DocumentLoader* loader = m_document->frame()->loader()->documentLoader();
252         InspectorInstrumentationCookie cookie = InspectorInstrumentation::willReceiveResourceResponse(m_document->frame(), identifier, response);
253         InspectorInstrumentation::didReceiveResourceResponse(cookie, identifier, loader, response, 0);
254 #endif
255
256         if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
257             preflightFailure(identifier, response.url(), accessControlErrorDescription);
258             return;
259         }
260
261         OwnPtr<CrossOriginPreflightResultCacheItem> preflightResult = adoptPtr(new CrossOriginPreflightResultCacheItem(m_options.allowCredentials));
262         if (!preflightResult->parse(response, accessControlErrorDescription)
263             || !preflightResult->allowsCrossOriginMethod(m_actualRequest->httpMethod(), accessControlErrorDescription)
264             || !preflightResult->allowsCrossOriginHeaders(m_actualRequest->httpHeaderFields(), accessControlErrorDescription)) {
265             preflightFailure(identifier, response.url(), accessControlErrorDescription);
266             return;
267         }
268
269         CrossOriginPreflightResultCache::shared().appendEntry(securityOrigin()->toString(), m_actualRequest->url(), preflightResult.release());
270     } else {
271         if (!m_sameOriginRequest && m_options.crossOriginRequestPolicy == UseAccessControl) {
272             if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
273                 m_client->didFailAccessControlCheck(ResourceError(errorDomainWebKitInternal, 0, response.url().string(), accessControlErrorDescription));
274                 return;
275             }
276         }
277
278         m_client->didReceiveResponse(identifier, response);
279     }
280 }
281
282 void DocumentThreadableLoader::dataReceived(CachedResource* resource, const char* data, int dataLength)
283 {
284     ASSERT_UNUSED(resource, resource == m_resource);
285     didReceiveData(m_resource->identifier(), data, dataLength);
286 }
287
288 void DocumentThreadableLoader::didReceiveData(unsigned long identifier, const char* data, int dataLength)
289 {
290     ASSERT(m_client);
291
292     // Preflight data should be invisible to clients.
293     if (m_actualRequest) {
294 #if ENABLE(INSPECTOR)
295         InspectorInstrumentation::didReceiveData(m_document->frame(), identifier, 0, 0, dataLength);
296 #endif
297         return;
298     }
299
300     m_client->didReceiveData(data, dataLength);
301 }
302
303 void DocumentThreadableLoader::notifyFinished(CachedResource* resource)
304 {
305     ASSERT(m_client);
306     ASSERT_UNUSED(resource, resource == m_resource);
307         
308     if (m_resource->errorOccurred())
309         didFail(m_resource->identifier(), m_resource->resourceError());
310     else
311         didFinishLoading(m_resource->identifier(), m_resource->loadFinishTime());
312 }
313
314 void DocumentThreadableLoader::didFinishLoading(unsigned long identifier, double finishTime)
315 {
316     if (m_actualRequest) {
317 #if ENABLE(INSPECTOR)
318         InspectorInstrumentation::didFinishLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), identifier, finishTime);
319 #endif
320         ASSERT(!m_sameOriginRequest);
321         ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
322         preflightSuccess();
323     } else
324         m_client->didFinishLoading(identifier, finishTime);
325 }
326
327 void DocumentThreadableLoader::didFail(unsigned long identifier, const ResourceError& error)
328 {
329 #if ENABLE(INSPECTOR)
330     if (m_actualRequest)
331         InspectorInstrumentation::didFailLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), identifier, error);
332 #endif
333
334     m_client->didFail(error);
335 }
336
337 void DocumentThreadableLoader::preflightSuccess()
338 {
339     OwnPtr<ResourceRequest> actualRequest;
340     actualRequest.swap(m_actualRequest);
341
342     actualRequest->setHTTPOrigin(securityOrigin()->toString());
343
344     clearResource();
345
346     // It should be ok to skip the security check since we already asked about the preflight request.
347     loadRequest(*actualRequest, SkipSecurityCheck);
348 }
349
350 void DocumentThreadableLoader::preflightFailure(unsigned long identifier, const String& url, const String& errorDescription)
351 {
352     ResourceError error(errorDomainWebKitInternal, 0, url, errorDescription);
353 #if ENABLE(INSPECTOR)
354     if (m_actualRequest)
355         InspectorInstrumentation::didFailLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), identifier, error);
356 #endif
357     m_actualRequest = nullptr; // Prevent didFinishLoading() from bypassing access check.
358     m_client->didFailAccessControlCheck(error);
359 }
360
361 void DocumentThreadableLoader::loadRequest(const ResourceRequest& request, SecurityCheckPolicy securityCheck)
362 {
363     // Any credential should have been removed from the cross-site requests.
364     const KURL& requestURL = request.url();
365     m_options.securityCheck = securityCheck;
366     ASSERT(m_sameOriginRequest || requestURL.user().isEmpty());
367     ASSERT(m_sameOriginRequest || requestURL.pass().isEmpty());
368
369     if (m_async) {
370         ThreadableLoaderOptions options = m_options;
371         options.clientCredentialPolicy = DoNotAskClientForCrossOriginCredentials;
372         if (m_actualRequest) {
373             // Don't sniff content or send load callbacks for the preflight request.
374             options.sendLoadCallbacks = DoNotSendCallbacks;
375             options.sniffContent = DoNotSniffContent;
376             // Keep buffering the data for the preflight request.
377             options.dataBufferingPolicy = BufferData;
378         }
379
380         CachedResourceRequest newRequest(request, options);
381 #if ENABLE(RESOURCE_TIMING)
382         newRequest.setInitiator(m_options.initiator);
383 #endif
384         ASSERT(!m_resource);
385         m_resource = m_document->cachedResourceLoader()->requestRawResource(newRequest);
386         if (m_resource) {
387 #if ENABLE(INSPECTOR)
388             if (m_resource->loader()) {
389                 unsigned long identifier = m_resource->loader()->identifier();
390                 InspectorInstrumentation::documentThreadableLoaderStartedLoadingForClient(m_document, identifier, m_client);
391             }
392 #endif
393             m_resource->addClient(this);
394         }
395         return;
396     }
397     
398     // FIXME: ThreadableLoaderOptions.sniffContent is not supported for synchronous requests.
399     Vector<char> data;
400     ResourceError error;
401     ResourceResponse response;
402     unsigned long identifier = std::numeric_limits<unsigned long>::max();
403     if (m_document->frame())
404         identifier = m_document->frame()->loader()->loadResourceSynchronously(request, m_options.allowCredentials, m_options.clientCredentialPolicy, error, response, data);
405
406     InspectorInstrumentation::documentThreadableLoaderStartedLoadingForClient(m_document, identifier, m_client);
407
408     // No exception for file:/// resources, see <rdar://problem/4962298>.
409     // Also, if we have an HTTP response, then it wasn't a network error in fact.
410     if (!error.isNull() && !requestURL.isLocalFile() && response.httpStatusCode() <= 0) {
411         m_client->didFail(error);
412         return;
413     }
414
415     // FIXME: FrameLoader::loadSynchronously() does not tell us whether a redirect happened or not, so we guess by comparing the
416     // request and response URLs. This isn't a perfect test though, since a server can serve a redirect to the same URL that was
417     // requested. Also comparing the request and response URLs as strings will fail if the requestURL still has its credentials.
418     if (requestURL != response.url() && !isAllowedRedirect(response.url())) {
419         m_client->didFailRedirectCheck();
420         return;
421     }
422
423     didReceiveResponse(identifier, response);
424
425     const char* bytes = static_cast<const char*>(data.data());
426     int len = static_cast<int>(data.size());
427     didReceiveData(identifier, bytes, len);
428
429     didFinishLoading(identifier, 0.0);
430 }
431
432 bool DocumentThreadableLoader::isAllowedRedirect(const KURL& url)
433 {
434     if (m_options.crossOriginRequestPolicy == AllowCrossOriginRequests)
435         return true;
436
437     return m_sameOriginRequest && securityOrigin()->canRequest(url);
438 }
439
440 SecurityOrigin* DocumentThreadableLoader::securityOrigin() const
441 {
442     return m_options.securityOrigin ? m_options.securityOrigin.get() : m_document->securityOrigin();
443 }
444
445 } // namespace WebCore