http/tests/security/xss-DENIED-xsl-document-redirect.xml fails with NetworkProcess
[WebKit-https.git] / Source / WebCore / loader / DocumentThreadableLoader.cpp
1 /*
2  * Copyright (C) 2011, 2012 Google Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions are
6  * met:
7  *
8  *     * Redistributions of source code must retain the above copyright
9  * notice, this list of conditions and the following disclaimer.
10  *     * Redistributions in binary form must reproduce the above
11  * copyright notice, this list of conditions and the following disclaimer
12  * in the documentation and/or other materials provided with the
13  * distribution.
14  *     * Neither the name of Google Inc. nor the names of its
15  * contributors may be used to endorse or promote products derived from
16  * this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29  */
30
31 #include "config.h"
32 #include "DocumentThreadableLoader.h"
33
34 #include "CachedRawResource.h"
35 #include "CachedResourceLoader.h"
36 #include "CachedResourceRequest.h"
37 #include "CrossOriginAccessControl.h"
38 #include "CrossOriginPreflightResultCache.h"
39 #include "Document.h"
40 #include "DocumentThreadableLoaderClient.h"
41 #include "Frame.h"
42 #include "FrameLoader.h"
43 #include "InspectorInstrumentation.h"
44 #include "ResourceError.h"
45 #include "ResourceRequest.h"
46 #include "SchemeRegistry.h"
47 #include "SecurityOrigin.h"
48 #include "SubresourceLoader.h"
49 #include "ThreadableLoaderClient.h"
50 #include <wtf/Assertions.h>
51 #include <wtf/Ref.h>
52
53 #if ENABLE(INSPECTOR)
54 #include "ProgressTracker.h"
55 #endif
56
57 namespace WebCore {
58
59 void DocumentThreadableLoader::loadResourceSynchronously(Document& document, const ResourceRequest& request, ThreadableLoaderClient& client, const ThreadableLoaderOptions& options)
60 {
61     // The loader will be deleted as soon as this function exits.
62     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadSynchronously, request, options));
63     ASSERT(loader->hasOneRef());
64 }
65
66 PassRefPtr<DocumentThreadableLoader> DocumentThreadableLoader::create(Document& document, ThreadableLoaderClient& client, const ResourceRequest& request, const ThreadableLoaderOptions& options)
67 {
68     RefPtr<DocumentThreadableLoader> loader = adoptRef(new DocumentThreadableLoader(document, client, LoadAsynchronously, request, options));
69     if (!loader->m_resource)
70         loader = 0;
71     return loader.release();
72 }
73
74 DocumentThreadableLoader::DocumentThreadableLoader(Document& document, ThreadableLoaderClient& client, BlockingBehavior blockingBehavior, const ResourceRequest& request, const ThreadableLoaderOptions& options)
75     : m_client(&client)
76     , m_document(document)
77     , m_options(options)
78     , m_sameOriginRequest(securityOrigin()->canRequest(request.url()))
79     , m_simpleRequest(true)
80     , m_async(blockingBehavior == LoadAsynchronously)
81 {
82     // Setting an outgoing referer is only supported in the async code path.
83     ASSERT(m_async || request.httpReferrer().isEmpty());
84
85     if (m_sameOriginRequest || m_options.crossOriginRequestPolicy == AllowCrossOriginRequests) {
86         loadRequest(request, DoSecurityCheck);
87         return;
88     }
89
90     if (m_options.crossOriginRequestPolicy == DenyCrossOriginRequests) {
91         m_client->didFail(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are not supported."));
92         return;
93     }
94
95     makeCrossOriginAccessRequest(request);
96 }
97
98 void DocumentThreadableLoader::makeCrossOriginAccessRequest(const ResourceRequest& request)
99 {
100     ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
101
102     OwnPtr<ResourceRequest> crossOriginRequest = adoptPtr(new ResourceRequest(request));
103     updateRequestForAccessControl(*crossOriginRequest, securityOrigin(), m_options.allowCredentials);
104
105     if ((m_options.preflightPolicy == ConsiderPreflight && isSimpleCrossOriginAccessRequest(crossOriginRequest->httpMethod(), crossOriginRequest->httpHeaderFields())) || m_options.preflightPolicy == PreventPreflight)
106         makeSimpleCrossOriginAccessRequest(*crossOriginRequest);
107     else {
108         m_simpleRequest = false;
109         m_actualRequest = crossOriginRequest.release();
110
111         if (CrossOriginPreflightResultCache::shared().canSkipPreflight(securityOrigin()->toString(), m_actualRequest->url(), m_options.allowCredentials, m_actualRequest->httpMethod(), m_actualRequest->httpHeaderFields()))
112             preflightSuccess();
113         else
114             makeCrossOriginAccessRequestWithPreflight(*m_actualRequest);
115     }
116 }
117
118 void DocumentThreadableLoader::makeSimpleCrossOriginAccessRequest(const ResourceRequest& request)
119 {
120     ASSERT(m_options.preflightPolicy != ForcePreflight);
121     ASSERT(m_options.preflightPolicy == PreventPreflight || isSimpleCrossOriginAccessRequest(request.httpMethod(), request.httpHeaderFields()));
122
123     // Cross-origin requests are only allowed for HTTP and registered schemes. We would catch this when checking response headers later, but there is no reason to send a request that's guaranteed to be denied.
124     if (!SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())) {
125         m_client->didFailAccessControlCheck(ResourceError(errorDomainWebKitInternal, 0, request.url().string(), "Cross origin requests are only supported for HTTP."));
126         return;
127     }
128
129     loadRequest(request, DoSecurityCheck);
130 }
131
132 void DocumentThreadableLoader::makeCrossOriginAccessRequestWithPreflight(const ResourceRequest& request)
133 {
134     ResourceRequest preflightRequest = createAccessControlPreflightRequest(request, securityOrigin());
135     loadRequest(preflightRequest, DoSecurityCheck);
136 }
137
138 DocumentThreadableLoader::~DocumentThreadableLoader()
139 {
140     if (m_resource)
141         m_resource->removeClient(this);
142 }
143
144 void DocumentThreadableLoader::cancel()
145 {
146     Ref<DocumentThreadableLoader> protect(*this);
147
148     // Cancel can re-enter and m_resource might be null here as a result.
149     if (m_client && m_resource) {
150         // FIXME: This error is sent to the client in didFail(), so it should not be an internal one. Use FrameLoaderClient::cancelledError() instead.
151         ResourceError error(errorDomainWebKitInternal, 0, m_resource->url(), "Load cancelled");
152         error.setIsCancellation(true);
153         didFail(m_resource->identifier(), error);
154     }
155     clearResource();
156     m_client = 0;
157 }
158
159 void DocumentThreadableLoader::setDefersLoading(bool value)
160 {
161     if (m_resource)
162         m_resource->setDefersLoading(value);
163 }
164
165 void DocumentThreadableLoader::clearResource()
166 {
167     // Script can cancel and restart a request reentrantly within removeClient(),
168     // which could lead to calling CachedResource::removeClient() multiple times for
169     // this DocumentThreadableLoader. Save off a copy of m_resource and clear it to
170     // prevent the reentrancy.
171     if (CachedResourceHandle<CachedRawResource> resource = m_resource) {
172         m_resource = 0;
173         resource->removeClient(this);
174     }
175 }
176
177 void DocumentThreadableLoader::redirectReceived(CachedResource* resource, ResourceRequest& request, const ResourceResponse& redirectResponse)
178 {
179     ASSERT(m_client);
180     ASSERT_UNUSED(resource, resource == m_resource);
181
182     Ref<DocumentThreadableLoader> protect(*this);
183     // Allow same origin requests to continue after allowing clients to audit the redirect.
184     if (isAllowedRedirect(request.url())) {
185         if (m_client->isDocumentThreadableLoaderClient())
186             static_cast<DocumentThreadableLoaderClient*>(m_client)->willSendRequest(request, redirectResponse);
187         return;
188     }
189
190     // When using access control, only simple cross origin requests are allowed to redirect. The new request URL must have a supported
191     // scheme and not contain the userinfo production. In addition, the redirect response must pass the access control check.
192     if (m_options.crossOriginRequestPolicy == UseAccessControl) {
193         bool allowRedirect = false;
194         if (m_simpleRequest) {
195             String accessControlErrorDescription;
196             allowRedirect = SchemeRegistry::shouldTreatURLSchemeAsCORSEnabled(request.url().protocol())
197                             && request.url().user().isEmpty()
198                             && request.url().pass().isEmpty()
199                             && passesAccessControlCheck(redirectResponse, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription);
200         }
201
202         if (allowRedirect) {
203             if (m_resource)
204                 clearResource();
205
206             RefPtr<SecurityOrigin> originalOrigin = SecurityOrigin::createFromString(redirectResponse.url());
207             RefPtr<SecurityOrigin> requestOrigin = SecurityOrigin::createFromString(request.url());
208             // If the request URL origin is not same origin with the original URL origin, set source origin to a globally unique identifier.
209             if (!originalOrigin->isSameSchemeHostPort(requestOrigin.get()))
210                 m_options.securityOrigin = SecurityOrigin::createUnique();
211             // Force any subsequent requests to use these checks.
212             m_sameOriginRequest = false;
213
214             // Remove any headers that may have been added by the network layer that cause access control to fail.
215             request.clearHTTPContentType();
216             request.clearHTTPReferrer();
217             request.clearHTTPOrigin();
218             request.clearHTTPUserAgent();
219             request.clearHTTPAccept();
220             makeCrossOriginAccessRequest(request);
221             return;
222         }
223     }
224
225     m_client->didFailRedirectCheck();
226     request = ResourceRequest();
227 }
228
229 void DocumentThreadableLoader::dataSent(CachedResource* resource, unsigned long long bytesSent, unsigned long long totalBytesToBeSent)
230 {
231     ASSERT(m_client);
232     ASSERT_UNUSED(resource, resource == m_resource);
233     m_client->didSendData(bytesSent, totalBytesToBeSent);
234 }
235
236 void DocumentThreadableLoader::responseReceived(CachedResource* resource, const ResourceResponse& response)
237 {
238     ASSERT_UNUSED(resource, resource == m_resource);
239     didReceiveResponse(m_resource->identifier(), response);
240 }
241
242 void DocumentThreadableLoader::didReceiveResponse(unsigned long identifier, const ResourceResponse& response)
243 {
244     ASSERT(m_client);
245
246     String accessControlErrorDescription;
247     if (m_actualRequest) {
248 #if ENABLE(INSPECTOR)
249         DocumentLoader* loader = m_document.frame()->loader().documentLoader();
250         InspectorInstrumentationCookie cookie = InspectorInstrumentation::willReceiveResourceResponse(m_document.frame(), identifier, response);
251         InspectorInstrumentation::didReceiveResourceResponse(cookie, identifier, loader, response, 0);
252 #endif
253
254         if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
255             preflightFailure(identifier, response.url(), accessControlErrorDescription);
256             return;
257         }
258
259         StoredCredentials allowCredentials = m_options.allowCredentials;
260         auto preflightResult = std::make_unique<CrossOriginPreflightResultCacheItem>(allowCredentials);
261         if (!preflightResult->parse(response, accessControlErrorDescription)
262             || !preflightResult->allowsCrossOriginMethod(m_actualRequest->httpMethod(), accessControlErrorDescription)
263             || !preflightResult->allowsCrossOriginHeaders(m_actualRequest->httpHeaderFields(), accessControlErrorDescription)) {
264             preflightFailure(identifier, response.url(), accessControlErrorDescription);
265             return;
266         }
267
268         CrossOriginPreflightResultCache::shared().appendEntry(securityOrigin()->toString(), m_actualRequest->url(), std::move(preflightResult));
269     } else {
270         if (!m_sameOriginRequest && m_options.crossOriginRequestPolicy == UseAccessControl) {
271             if (!passesAccessControlCheck(response, m_options.allowCredentials, securityOrigin(), accessControlErrorDescription)) {
272                 m_client->didFailAccessControlCheck(ResourceError(errorDomainWebKitInternal, 0, response.url().string(), accessControlErrorDescription));
273                 return;
274             }
275         }
276
277         m_client->didReceiveResponse(identifier, response);
278     }
279 }
280
281 void DocumentThreadableLoader::dataReceived(CachedResource* resource, const char* data, int dataLength)
282 {
283     ASSERT_UNUSED(resource, resource == m_resource);
284     didReceiveData(m_resource->identifier(), data, dataLength);
285 }
286
287 void DocumentThreadableLoader::didReceiveData(unsigned long identifier, const char* data, int dataLength)
288 {
289     ASSERT(m_client);
290
291     // Preflight data should be invisible to clients.
292     if (m_actualRequest) {
293 #if ENABLE(INSPECTOR)
294         InspectorInstrumentation::didReceiveData(m_document.frame(), identifier, 0, 0, dataLength);
295 #else
296         UNUSED_PARAM(identifier);
297 #endif
298         return;
299     }
300
301     m_client->didReceiveData(data, dataLength);
302 }
303
304 void DocumentThreadableLoader::notifyFinished(CachedResource* resource)
305 {
306     ASSERT(m_client);
307     ASSERT_UNUSED(resource, resource == m_resource);
308         
309     if (m_resource->errorOccurred())
310         didFail(m_resource->identifier(), m_resource->resourceError());
311     else
312         didFinishLoading(m_resource->identifier(), m_resource->loadFinishTime());
313 }
314
315 void DocumentThreadableLoader::didFinishLoading(unsigned long identifier, double finishTime)
316 {
317     if (m_actualRequest) {
318 #if ENABLE(INSPECTOR)
319         InspectorInstrumentation::didFinishLoading(m_document.frame(), m_document.frame()->loader().documentLoader(), identifier, finishTime);
320 #endif
321         ASSERT(!m_sameOriginRequest);
322         ASSERT(m_options.crossOriginRequestPolicy == UseAccessControl);
323         preflightSuccess();
324     } else
325         m_client->didFinishLoading(identifier, finishTime);
326 }
327
328 void DocumentThreadableLoader::didFail(unsigned long identifier, const ResourceError& error)
329 {
330 #if ENABLE(INSPECTOR)
331     if (m_actualRequest)
332         InspectorInstrumentation::didFailLoading(m_document.frame(), m_document.frame()->loader().documentLoader(), identifier, error);
333 #else
334     UNUSED_PARAM(identifier);
335 #endif
336
337     m_client->didFail(error);
338 }
339
340 void DocumentThreadableLoader::preflightSuccess()
341 {
342     OwnPtr<ResourceRequest> actualRequest;
343     actualRequest.swap(m_actualRequest);
344
345     actualRequest->setHTTPOrigin(securityOrigin()->toString());
346
347     clearResource();
348
349     // It should be ok to skip the security check since we already asked about the preflight request.
350     loadRequest(*actualRequest, SkipSecurityCheck);
351 }
352
353 void DocumentThreadableLoader::preflightFailure(unsigned long identifier, const String& url, const String& errorDescription)
354 {
355     ResourceError error(errorDomainWebKitInternal, 0, url, errorDescription);
356 #if ENABLE(INSPECTOR)
357     if (m_actualRequest)
358         InspectorInstrumentation::didFailLoading(m_document.frame(), m_document.frame()->loader().documentLoader(), identifier, error);
359 #else
360     UNUSED_PARAM(identifier);
361 #endif
362     m_actualRequest = nullptr; // Prevent didFinishLoading() from bypassing access check.
363     m_client->didFailAccessControlCheck(error);
364 }
365
366 void DocumentThreadableLoader::loadRequest(const ResourceRequest& request, SecurityCheckPolicy securityCheck)
367 {
368     // Any credential should have been removed from the cross-site requests.
369     const URL& requestURL = request.url();
370     m_options.securityCheck = securityCheck;
371     ASSERT(m_sameOriginRequest || requestURL.user().isEmpty());
372     ASSERT(m_sameOriginRequest || requestURL.pass().isEmpty());
373
374     if (m_async) {
375         ThreadableLoaderOptions options = m_options;
376         options.clientCredentialPolicy = DoNotAskClientForCrossOriginCredentials;
377         if (m_actualRequest) {
378             // Don't sniff content or send load callbacks for the preflight request.
379             options.sendLoadCallbacks = DoNotSendCallbacks;
380             options.sniffContent = DoNotSniffContent;
381             // Keep buffering the data for the preflight request.
382             options.dataBufferingPolicy = BufferData;
383         }
384
385         CachedResourceRequest newRequest(request, options);
386 #if ENABLE(RESOURCE_TIMING)
387         newRequest.setInitiator(m_options.initiator);
388 #endif
389         ASSERT(!m_resource);
390         m_resource = m_document.cachedResourceLoader()->requestRawResource(newRequest);
391         if (m_resource) {
392 #if ENABLE(INSPECTOR)
393             if (m_resource->loader()) {
394                 unsigned long identifier = m_resource->loader()->identifier();
395                 InspectorInstrumentation::documentThreadableLoaderStartedLoadingForClient(&m_document, identifier, m_client);
396             }
397 #endif
398             m_resource->addClient(this);
399         }
400         return;
401     }
402     
403     // FIXME: ThreadableLoaderOptions.sniffContent is not supported for synchronous requests.
404     Vector<char> data;
405     ResourceError error;
406     ResourceResponse response;
407     unsigned long identifier = std::numeric_limits<unsigned long>::max();
408     if (m_document.frame())
409         identifier = m_document.frame()->loader().loadResourceSynchronously(request, m_options.allowCredentials, m_options.clientCredentialPolicy, error, response, data);
410
411     InspectorInstrumentation::documentThreadableLoaderStartedLoadingForClient(&m_document, identifier, m_client);
412
413     if (!error.isNull() && response.httpStatusCode() <= 0) {
414         if (requestURL.isLocalFile()) {
415             // We don't want XMLHttpRequest to raise an exception for file:// resources, see <rdar://problem/4962298>.
416             // FIXME: XMLHttpRequest quirks should be in XMLHttpRequest code, not in DocumentThreadableLoader.cpp.
417             didReceiveResponse(identifier, response);
418             didFinishLoading(identifier, 0.0);
419             return;
420         }
421         m_client->didFail(error);
422         return;
423     }
424
425     // FIXME: FrameLoader::loadSynchronously() does not tell us whether a redirect happened or not, so we guess by comparing the
426     // request and response URLs. This isn't a perfect test though, since a server can serve a redirect to the same URL that was
427     // requested. Also comparing the request and response URLs as strings will fail if the requestURL still has its credentials.
428     if (requestURL != response.url() && !isAllowedRedirect(response.url())) {
429         m_client->didFailRedirectCheck();
430         return;
431     }
432
433     didReceiveResponse(identifier, response);
434
435     const char* bytes = static_cast<const char*>(data.data());
436     int len = static_cast<int>(data.size());
437     didReceiveData(identifier, bytes, len);
438
439     didFinishLoading(identifier, 0.0);
440 }
441
442 bool DocumentThreadableLoader::isAllowedRedirect(const URL& url)
443 {
444     if (m_options.crossOriginRequestPolicy == AllowCrossOriginRequests)
445         return true;
446
447     return m_sameOriginRequest && securityOrigin()->canRequest(url);
448 }
449
450 SecurityOrigin* DocumentThreadableLoader::securityOrigin() const
451 {
452     return m_options.securityOrigin ? m_options.securityOrigin.get() : m_document.securityOrigin();
453 }
454
455 } // namespace WebCore