2011-07-05 Vsevolod Vlasov <vsevik@chromium.org>
[WebKit-https.git] / Source / WebCore / loader / DocumentThreadableLoader.cpp
1 /*
2  * Copyright (C) 2011 Google Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions are
6  * met:
7  *
8  *     * Redistributions of source code must retain the above copyright
9  * notice, this list of conditions and the following disclaimer.
10  *     * Redistributions in binary form must reproduce the above
11  * copyright notice, this list of conditions and the following disclaimer
12  * in the documentation and/or other materials provided with the
13  * distribution.
14  *     * Neither the name of Google Inc. nor the names of its
15  * contributors may be used to endorse or promote products derived from
16  * this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #include "config.h"
32 #include "DocumentThreadableLoader.h"
33
34 #include "AuthenticationChallenge.h"
35 #include "CrossOriginAccessControl.h"
36 #include "CrossOriginPreflightResultCache.h"
37 #include "Document.h"
38 #include "DocumentThreadableLoaderClient.h"
39 #include "Frame.h"
40 #include "FrameLoader.h"
41 #include "ResourceHandle.h"
42 #include "ResourceLoadScheduler.h"
43 #include "ResourceRequest.h"
44 #include "SecurityOrigin.h"
45 #include "SubresourceLoader.h"
46 #include "ThreadableLoaderClient.h"
47 #include <wtf/UnusedParam.h>
48
49 #if ENABLE(INSPECTOR)
50 #include "InspectorInstrumentation.h"
51 #include "ProgressTracker.h"
52 #endif
53
54 namespace WebCore {
55
56 void DocumentThreadableLoader::loadResourceSynchronously(Document* document, const ResourceRequest& request, ThreadableLoaderClient& client, const ThreadableLoaderOptions& options)
57 {
58     // The loader will be deleted as soon as this function exits.
59     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, &client, LoadSynchronously, request, options));
60     ASSERT(loader->hasOneRef());
61 }
62
63 PassRefPtr<DocumentThreadableLoader> DocumentThreadableLoader::create(Document* document, ThreadableLoaderClient* client, const ResourceRequest& request, const ThreadableLoaderOptions& options)
64 {
65     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadAsynchronously, request, options));
66     if (!loader->m_loader)
67         loader = 0;
68     return loader.release();
69 }
70
71 DocumentThreadableLoader::DocumentThreadableLoader(Document* document, ThreadableLoaderClient* client, BlockingBehavior blockingBehavior, const ResourceRequest& request, const ThreadableLoaderOptions& options)
72     : m_client(client)
73     , m_document(document)
74     , m_options(options)
75     , m_sameOriginRequest(securityOrigin()->canRequest(request.url()))
76     , m_async(blockingBehavior == LoadAsynchronously)
77 #if ENABLE(INSPECTOR)
78     , m_preflightRequestIdentifier(0)
79 #endif
80 {
81     ASSERT(document);
82     ASSERT(client);
83     // Setting an outgoing referer is only supported in the async code path.
84     ASSERT(m_async || request.httpReferrer().isEmpty());
85
86     if (m_sameOriginRequest || m_options.crossOriginRequestPolicy == AllowCrossOriginRequests) {
87         loadRequest(request, DoSecurityCheck);
88         return;
89     }
90
91     if (m_options.crossOriginRequestPolicy == DenyCrossOriginRequests) {
92         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are not supported."));
93         return;
94     }
95     
96     ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
97
98     OwnPtr<ResourceRequest> crossOriginRequest = adoptPtr(new ResourceRequest(request));
99     updateRequestForAccessControl(*crossOriginRequest, securityOrigin(), m_options.allowCredentials);
100
101     if (!m_options.forcePreflight && isSimpleCrossOriginAccessRequest(crossOriginRequest->httpMethod(), crossOriginRequest->httpHeaderFields()))
102         makeSimpleCrossOriginAccessRequest(*crossOriginRequest);
103     else {
104         m_actualRequest = crossOriginRequest.release();
105
106         if (CrossOriginPreflightResultCache::shared().canSkipPreflight(securityOrigin()->toString(), m_actualRequest->url(), m_options.allowCredentials, m_actualRequest->httpMethod(), m_actualRequest->httpHeaderFields()))
107             preflightSuccess();
108         else
109             makeCrossOriginAccessRequestWithPreflight(*m_actualRequest);
110     }
111 }
112
113 void DocumentThreadableLoader::makeSimpleCrossOriginAccessRequest(const ResourceRequest& request)
114 {
115     ASSERT(isSimpleCrossOriginAccessRequest(request.httpMethod(), request.httpHeaderFields()));
116
117     // Cross-origin requests are only defined for HTTP. We would catch this when checking response headers later, but there is no reason to send a request that's guaranteed to be denied.
118     // FIXME: Consider allowing simple CORS requests to non-HTTP URLs.
119     if (!request.url().protocolInHTTPFamily()) {
120         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are only supported for HTTP."));
121         return;
122     }
123
124     loadRequest(request, DoSecurityCheck);
125 }
126
127 void DocumentThreadableLoader::makeCrossOriginAccessRequestWithPreflight(const ResourceRequest& request)
128 {
129     ResourceRequest preflightRequest = createAccessControlPreflightRequest(request, securityOrigin(), m_options.allowCredentials);
130     loadRequest(preflightRequest, DoSecurityCheck);
131 }
132
133 DocumentThreadableLoader::~DocumentThreadableLoader()
134 {
135     if (m_loader)
136         m_loader->clearClient();
137 }
138
139 void DocumentThreadableLoader::cancel()
140 {
141     if (!m_loader)
142         return;
143
144     m_loader->cancel();
145     m_loader->clearClient();
146     m_loader = 0;
147     m_client = 0;
148 }
149
150 void DocumentThreadableLoader::setDefersLoading(bool value)
151 {
152     if (m_loader)
153         m_loader->setDefersLoading(value);
154 }
155
156 void DocumentThreadableLoader::willSendRequest(SubresourceLoader* loader, ResourceRequest& request, const ResourceResponse& redirectResponse)
157 {
158     ASSERT(m_client);
159     ASSERT_UNUSED(loader, loader == m_loader);
160
161     if (!isAllowedRedirect(request.url())) {
162         RefPtr<DocumentThreadableLoader> protect(this);
163         m_client->didFailRedirectCheck();
164         request = ResourceRequest();
165     } else {
166         if (m_client->isDocumentThreadableLoaderClient())
167             static_cast<DocumentThreadableLoaderClient*>(m_client)->willSendRequest(request, redirectResponse);
168     }
169 }
170
171 void DocumentThreadableLoader::didSendData(SubresourceLoader* loader, unsigned long long bytesSent, unsigned long long totalBytesToBeSent)
172 {
173     ASSERT(m_client);
174     ASSERT_UNUSED(loader, loader == m_loader);
175
176     m_client->didSendData(bytesSent, totalBytesToBeSent);
177 }
178
179 void DocumentThreadableLoader::didReceiveResponse(SubresourceLoader* loader, const ResourceResponse& response)
180 {
181     ASSERT(loader == m_loader);
182     didReceiveResponse(loader->identifier(), response);
183 }
184
185 void DocumentThreadableLoader::didReceiveResponse(unsigned long identifier, const ResourceResponse& response)
186 {
187     ASSERT(m_client);
188
189 #if ENABLE(INSPECTOR)
190     if (m_preflightRequestIdentifier) {
191         DocumentLoader* loader = m_document->frame()->loader()->documentLoader();
192         InspectorInstrumentationCookie cookie = InspectorInstrumentation::willReceiveResourceResponse(m_document->frame(), m_preflightRequestIdentifier, response);
193         InspectorInstrumentation::didReceiveResourceResponse(cookie, m_preflightRequestIdentifier, loader, response);
194     }
195 #endif
196
197     String accessControlErrorDescription;
198     if (m_actualRequest) {
199         if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
200             preflightFailure(response.url(), accessControlErrorDescription);
201             return;
202         }
203
204         OwnPtr<CrossOriginPreflightResultCacheItem> preflightResult = adoptPtr(new CrossOriginPreflightResultCacheItem(m_options.allowCredentials));
205         if (!preflightResult->parse(response, accessControlErrorDescription)
206             || !preflightResult->allowsCrossOriginMethod(m_actualRequest->httpMethod(), accessControlErrorDescription)
207             || !preflightResult->allowsCrossOriginHeaders(m_actualRequest->httpHeaderFields(), accessControlErrorDescription)) {
208             preflightFailure(response.url(), accessControlErrorDescription);
209             return;
210         }
211
212         CrossOriginPreflightResultCache::shared().appendEntry(securityOrigin()->toString(), m_actualRequest->url(), preflightResult.release());
213     } else {
214         if (!m_sameOriginRequest && m_options.crossOriginRequestPolicy == UseAccessControl) {
215             if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
216                 m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, response.url().string(), accessControlErrorDescription));
217                 return;
218             }
219         }
220
221         m_client->didReceiveResponse(identifier, response);
222     }
223 }
224
225 void DocumentThreadableLoader::didReceiveData(SubresourceLoader* loader, const char* data, int dataLength)
226 {
227     ASSERT(m_client);
228     ASSERT_UNUSED(loader, loader == m_loader);
229
230 #if ENABLE(INSPECTOR)
231     if (m_preflightRequestIdentifier)
232         InspectorInstrumentation::didReceiveData(m_document->frame(), m_preflightRequestIdentifier, 0, 0, dataLength);
233 #endif
234
235     // Preflight data should be invisible to clients.
236     if (m_actualRequest)
237         return;
238
239     m_client->didReceiveData(data, dataLength);
240 }
241
242 void DocumentThreadableLoader::didReceiveCachedMetadata(SubresourceLoader* loader, const char* data, int dataLength)
243 {
244     ASSERT(m_client);
245     ASSERT_UNUSED(loader, loader == m_loader);
246
247     // Preflight data should be invisible to clients.
248     if (m_actualRequest)
249         return;
250
251     m_client->didReceiveCachedMetadata(data, dataLength);
252 }
253
254 void DocumentThreadableLoader::didFinishLoading(SubresourceLoader* loader, double finishTime)
255 {
256     ASSERT(loader == m_loader);
257     ASSERT(m_client);
258     didFinishLoading(loader->identifier(), finishTime);
259 }
260
261 void DocumentThreadableLoader::didFinishLoading(unsigned long identifier, double finishTime)
262 {
263 #if ENABLE(INSPECTOR)
264     if (m_preflightRequestIdentifier)
265         InspectorInstrumentation::didFinishLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), m_preflightRequestIdentifier, finishTime);
266 #endif
267
268     if (m_actualRequest) {
269         ASSERT(!m_sameOriginRequest);
270         ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
271         preflightSuccess();
272     } else
273         m_client->didFinishLoading(identifier, finishTime);
274 }
275
276 void DocumentThreadableLoader::didFail(SubresourceLoader* loader, const ResourceError& error)
277 {
278     ASSERT(m_client);
279     // m_loader may be null if we arrive here via SubresourceLoader::create in the ctor
280     ASSERT_UNUSED(loader, loader == m_loader || !m_loader);
281
282 #if ENABLE(INSPECTOR)
283     if (m_preflightRequestIdentifier)
284         InspectorInstrumentation::didFailLoading(m_document->frame(), m_document->frame()->loader()->documentLoader(), m_preflightRequestIdentifier, error);
285 #endif
286
287     m_client->didFail(error);
288 }
289
290 bool DocumentThreadableLoader::getShouldUseCredentialStorage(SubresourceLoader* loader, bool& shouldUseCredentialStorage)
291 {
292     ASSERT_UNUSED(loader, loader == m_loader || !m_loader);
293
294     if (!m_options.allowCredentials) {
295         shouldUseCredentialStorage = false;
296         return true;
297     }
298
299     return false; // Only FrameLoaderClient can ultimately permit credential use.
300 }
301
302 void DocumentThreadableLoader::didReceiveAuthenticationChallenge(SubresourceLoader* loader, const AuthenticationChallenge& challenge)
303 {
304     ASSERT(loader == m_loader);
305     // Users are not prompted for credentials for cross-origin requests.
306     if (!m_sameOriginRequest) {
307 #if PLATFORM(MAC) || USE(CFNETWORK) || USE(CURL)
308         loader->handle()->receivedRequestToContinueWithoutCredential(challenge);
309 #else
310         // These platforms don't provide a way to continue without credentials, cancel the load altogether.
311         UNUSED_PARAM(challenge);
312         RefPtr<DocumentThreadableLoader> protect(this);
313         m_client->didFail(loader->blockedError());
314         cancel();
315 #endif
316     }
317 }
318
319 void DocumentThreadableLoader::receivedCancellation(SubresourceLoader* loader, const AuthenticationChallenge& challenge)
320 {
321     ASSERT(m_client);
322     ASSERT_UNUSED(loader, loader == m_loader);
323     m_client->didReceiveAuthenticationCancellation(loader->identifier(), challenge.failureResponse());
324 }
325
326 void DocumentThreadableLoader::preflightSuccess()
327 {
328     OwnPtr<ResourceRequest> actualRequest;
329     actualRequest.swap(m_actualRequest);
330
331     actualRequest->setHTTPOrigin(securityOrigin()->toString());
332
333     // It should be ok to skip the security check since we already asked about the preflight request.
334     loadRequest(*actualRequest, SkipSecurityCheck);
335 }
336
337 void DocumentThreadableLoader::preflightFailure(const String& url, const String& errorDescription)
338 {
339     m_actualRequest = nullptr; // Prevent didFinishLoading() from bypassing access check.
340     m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, url, errorDescription));
341 }
342
343 void DocumentThreadableLoader::loadRequest(const ResourceRequest& request, SecurityCheckPolicy securityCheck)
344 {
345     // Any credential should have been removed from the cross-site requests.
346     const KURL& requestURL = request.url();
347     ASSERT(m_sameOriginRequest || requestURL.user().isEmpty());
348     ASSERT(m_sameOriginRequest || requestURL.pass().isEmpty());
349
350     if (m_async) {
351         // Don't sniff content or send load callbacks for the preflight request.
352         bool sendLoadCallbacks = m_options.sendLoadCallbacks && !m_actualRequest;
353         bool sniffContent = m_options.sniffContent && !m_actualRequest;
354         // Keep buffering the data for the preflight request.
355         bool shouldBufferData = m_options.shouldBufferData || m_actualRequest;
356
357 #if ENABLE(INSPECTOR)
358         if (m_actualRequest) {
359             ResourceRequest newRequest(request);
360             // Because willSendRequest only gets called during redirects, we initialize the identifier and the first willSendRequest here.
361             m_preflightRequestIdentifier = m_document->frame()->page()->progress()->createUniqueIdentifier();
362             ResourceResponse redirectResponse = ResourceResponse();
363             InspectorInstrumentation::willSendRequest(m_document->frame(), m_preflightRequestIdentifier, m_document->frame()->loader()->documentLoader(), newRequest, redirectResponse);
364         }
365 #endif
366
367         // Clear the loader so that any callbacks from SubresourceLoader::create will not have the old loader.
368         m_loader = 0;
369         m_loader = resourceLoadScheduler()->scheduleSubresourceLoad(m_document->frame(), this, request, ResourceLoadPriorityMedium, securityCheck, sendLoadCallbacks,
370                                                                     sniffContent, shouldBufferData);
371         return;
372     }
373     
374     // FIXME: ThreadableLoaderOptions.sniffContent is not supported for synchronous requests.
375     StoredCredentials storedCredentials = m_options.allowCredentials ? AllowStoredCredentials : DoNotAllowStoredCredentials;
376
377     Vector<char> data;
378     ResourceError error;
379     ResourceResponse response;
380     unsigned long identifier = std::numeric_limits<unsigned long>::max();
381     if (m_document->frame())
382         identifier = m_document->frame()->loader()->loadResourceSynchronously(request, storedCredentials, error, response, data);
383
384     // No exception for file:/// resources, see <rdar://problem/4962298>.
385     // Also, if we have an HTTP response, then it wasn't a network error in fact.
386     if (!error.isNull() && !requestURL.isLocalFile() && response.httpStatusCode() <= 0) {
387         m_client->didFail(error);
388         return;
389     }
390
391     // FIXME: FrameLoader::loadSynchronously() does not tell us whether a redirect happened or not, so we guess by comparing the
392     // request and response URLs. This isn't a perfect test though, since a server can serve a redirect to the same URL that was
393     // requested. Also comparing the request and response URLs as strings will fail if the requestURL still has its credentials.
394     if (requestURL != response.url() && !isAllowedRedirect(response.url())) {
395         m_client->didFailRedirectCheck();
396         return;
397     }
398
399     didReceiveResponse(identifier, response);
400
401     const char* bytes = static_cast<const char*>(data.data());
402     int len = static_cast<int>(data.size());
403     didReceiveData(0, bytes, len);
404
405     didFinishLoading(identifier, 0.0);
406 }
407
408 bool DocumentThreadableLoader::isAllowedRedirect(const KURL& url)
409 {
410     if (m_options.crossOriginRequestPolicy == AllowCrossOriginRequests)
411         return true;
412
413     // FIXME: We need to implement access control for each redirect. This will require some refactoring though, because the code
414     // that processes redirects doesn't know about access control and expects a synchronous answer from its client about whether
415     // a redirect should proceed.
416     return m_sameOriginRequest && securityOrigin()->canRequest(url);
417 }
418
419 SecurityOrigin* DocumentThreadableLoader::securityOrigin() const
420 {
421     return m_options.securityOrigin ? m_options.securityOrigin.get() : m_document->securityOrigin();
422 }
423
424 } // namespace WebCore