be1134c4fa752a446a2c917e2453cf4ef8324e62
[WebKit-https.git] / Source / WebKit2 / NetworkProcess / NetworkResourceLoader.cpp
1 /*
2  * Copyright (C) 2012 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "NetworkResourceLoader.h"
28
29 #if ENABLE(NETWORK_PROCESS)
30
31 #include "AuthenticationManager.h"
32 #include "DataReference.h"
33 #include "Logging.h"
34 #include "NetworkConnectionToWebProcess.h"
35 #include "NetworkProcess.h"
36 #include "NetworkProcessConnectionMessages.h"
37 #include "NetworkResourceLoadParameters.h"
38 #include "PlatformCertificateInfo.h"
39 #include "RemoteNetworkingContext.h"
40 #include "ShareableResource.h"
41 #include "SharedMemory.h"
42 #include "WebCoreArgumentCoders.h"
43 #include "WebErrors.h"
44 #include "WebResourceLoaderMessages.h"
45 #include <WebCore/NotImplemented.h>
46 #include <WebCore/ResourceBuffer.h>
47 #include <WebCore/ResourceHandle.h>
48 #include <wtf/CurrentTime.h>
49 #include <wtf/MainThread.h>
50
51 using namespace WebCore;
52
53 namespace WebKit {
54
55 NetworkResourceLoader::NetworkResourceLoader(const NetworkResourceLoadParameters& loadParameters, NetworkConnectionToWebProcess* connection)
56     : SchedulableLoader(loadParameters, connection)
57     , m_bytesReceived(0)
58     , m_handleConvertedToDownload(false)
59 {
60     ASSERT(isMainThread());
61 }
62
63 NetworkResourceLoader::~NetworkResourceLoader()
64 {
65     ASSERT(isMainThread());
66     ASSERT(!m_handle);
67 }
68
69 void NetworkResourceLoader::start()
70 {
71     ASSERT(isMainThread());
72
73     // Explicit ref() balanced by a deref() in NetworkResourceLoader::resourceHandleStopped()
74     ref();
75     
76     // FIXME (NetworkProcess): Create RemoteNetworkingContext with actual settings.
77     m_networkingContext = RemoteNetworkingContext::create(false, false, inPrivateBrowsingMode(), shouldClearReferrerOnHTTPSToHTTPRedirect());
78
79     consumeSandboxExtensions();
80
81     // FIXME (NetworkProcess): Pass an actual value for defersLoading
82     m_handle = ResourceHandle::create(m_networkingContext.get(), request(), this, false /* defersLoading */, contentSniffingPolicy() == SniffContent);
83 }
84
85 void NetworkResourceLoader::cleanup()
86 {
87     ASSERT(isMainThread());
88
89     if (FormData* formData = request().httpBody())
90         formData->removeGeneratedFilesIfNeeded();
91
92     // Tell the scheduler about this finished loader soon so it can start more network requests.
93     NetworkProcess::shared().networkResourceLoadScheduler().scheduleRemoveLoader(this);
94
95     if (m_handle) {
96         // Explicit deref() balanced by a ref() in NetworkResourceLoader::start()
97         // This might cause the NetworkResourceLoader to be destroyed and therefore we do it last.
98         m_handle = 0;
99         deref();
100     }
101 }
102
103 template<typename U> bool NetworkResourceLoader::sendAbortingOnFailure(const U& message, unsigned messageSendFlags)
104 {
105     bool result = messageSenderConnection()->send(message, messageSenderDestinationID(), messageSendFlags);
106     if (!result)
107         abort();
108     return result;
109 }
110
111 void NetworkResourceLoader::didConvertHandleToDownload()
112 {
113     ASSERT(m_handle);
114     m_handleConvertedToDownload = true;
115 }
116
117 void NetworkResourceLoader::abort()
118 {
119     ASSERT(isMainThread());
120
121     if (m_handle && !m_handleConvertedToDownload)
122         m_handle->cancel();
123
124     cleanup();
125 }
126
127 void NetworkResourceLoader::didReceiveResponseAsync(ResourceHandle* handle, const ResourceResponse& response)
128 {
129     ASSERT_UNUSED(handle, handle == m_handle);
130
131     // FIXME (NetworkProcess): Cache the response.
132     if (FormData* formData = request().httpBody())
133         formData->removeGeneratedFilesIfNeeded();
134
135     sendAbortingOnFailure(Messages::WebResourceLoader::DidReceiveResponseWithCertificateInfo(response, PlatformCertificateInfo(response), isLoadingMainResource()));
136
137     // m_handle will be 0 if the request got aborted above.
138     if (!m_handle)
139         return;
140
141     if (!isLoadingMainResource()) {
142         // For main resources, the web process is responsible for sending back a NetworkResourceLoader::ContinueDidReceiveResponse message.
143         m_handle->continueDidReceiveResponse();
144     }
145 }
146
147 void NetworkResourceLoader::didReceiveData(ResourceHandle*, const char* data, int length, int encodedDataLength)
148 {
149     // The NetworkProcess should never get a didReceiveData callback.
150     // We should always be using didReceiveBuffer.
151     ASSERT_NOT_REACHED();
152 }
153
154 void NetworkResourceLoader::didReceiveBuffer(ResourceHandle* handle, PassRefPtr<SharedBuffer> buffer, int encodedDataLength)
155 {
156     ASSERT_UNUSED(handle, handle == m_handle);
157
158     // FIXME (NetworkProcess): For the memory cache we'll also need to cache the response data here.
159     // Such buffering will need to be thread safe, as this callback is happening on a background thread.
160     
161     m_bytesReceived += buffer->size();
162     
163 #if __MAC_OS_X_VERSION_MIN_REQUIRED >= 1090
164     ShareableResource::Handle shareableResourceHandle;
165     tryGetShareableHandleFromSharedBuffer(shareableResourceHandle, buffer.get());
166     if (!shareableResourceHandle.isNull()) {
167         // Since we're delivering this resource by ourselves all at once, we'll abort the resource handle since we don't need anymore callbacks from ResourceHandle.
168         abort();
169         send(Messages::WebResourceLoader::DidReceiveResource(shareableResourceHandle, currentTime()));
170         return;
171     }
172 #endif // __MAC_OS_X_VERSION_MIN_REQUIRED >= 1090
173
174     CoreIPC::DataReference dataReference(reinterpret_cast<const uint8_t*>(buffer->data()), buffer->size());
175     sendAbortingOnFailure(Messages::WebResourceLoader::DidReceiveData(dataReference, encodedDataLength));
176 }
177
178 void NetworkResourceLoader::didFinishLoading(ResourceHandle* handle, double finishTime)
179 {
180     ASSERT_UNUSED(handle, handle == m_handle);
181
182     // FIXME (NetworkProcess): For the memory cache we'll need to update the finished status of the cached resource here.
183     // Such bookkeeping will need to be thread safe, as this callback is happening on a background thread.
184     invalidateSandboxExtensions();
185     send(Messages::WebResourceLoader::DidFinishResourceLoad(finishTime));
186     
187     cleanup();
188 }
189
190 void NetworkResourceLoader::didFail(ResourceHandle* handle, const ResourceError& error)
191 {
192     ASSERT_UNUSED(handle, handle == m_handle);
193
194     // FIXME (NetworkProcess): For the memory cache we'll need to update the finished status of the cached resource here.
195     // Such bookkeeping will need to be thread safe, as this callback is happening on a background thread.
196     invalidateSandboxExtensions();
197     send(Messages::WebResourceLoader::DidFailResourceLoad(error));
198     cleanup();
199 }
200
201 void NetworkResourceLoader::willSendRequestAsync(ResourceHandle* handle, const ResourceRequest& request, const ResourceResponse& redirectResponse)
202 {
203     ASSERT_UNUSED(handle, handle == m_handle);
204
205     // We only expect to get the willSendRequest callback from ResourceHandle as the result of a redirect.
206     ASSERT(!redirectResponse.isNull());
207     ASSERT(isMainThread());
208
209     m_suggestedRequestForWillSendRequest = request;
210
211     // This message is DispatchMessageEvenWhenWaitingForSyncReply to avoid a situation where the NetworkProcess is deadlocked waiting for 6 connections
212     // to complete while the WebProcess is waiting for a 7th to complete.
213     sendAbortingOnFailure(Messages::WebResourceLoader::WillSendRequest(request, redirectResponse), CoreIPC::DispatchMessageEvenWhenWaitingForSyncReply);
214 }
215
216 void NetworkResourceLoader::continueWillSendRequest(const ResourceRequest& newRequest)
217 {
218     m_suggestedRequestForWillSendRequest.updateFromDelegatePreservingOldHTTPBody(newRequest.nsURLRequest(DoNotUpdateHTTPBody));
219
220     RunLoop::main()->dispatch(bind(&NetworkResourceLoadScheduler::receivedRedirect, &NetworkProcess::shared().networkResourceLoadScheduler(), this, m_suggestedRequestForWillSendRequest.url()));
221     m_handle->continueWillSendRequest(m_suggestedRequestForWillSendRequest);
222
223     m_suggestedRequestForWillSendRequest = ResourceRequest();
224 }
225
226 void NetworkResourceLoader::continueDidReceiveResponse()
227 {
228     // FIXME: Remove this check once BlobResourceHandle implements didReceiveResponseAsync correctly.
229     // Currently, it does not wait for response, so the load is likely to finish before continueDidReceiveResponse.
230     if (!m_handle)
231         return;
232
233     m_handle->continueDidReceiveResponse();
234 }
235
236 void NetworkResourceLoader::didSendData(ResourceHandle* handle, unsigned long long bytesSent, unsigned long long totalBytesToBeSent)
237 {
238     ASSERT_UNUSED(handle, handle == m_handle);
239
240     send(Messages::WebResourceLoader::DidSendData(bytesSent, totalBytesToBeSent));
241 }
242
243 void NetworkResourceLoader::wasBlocked(ResourceHandle* handle)
244 {
245     ASSERT_UNUSED(handle, handle == m_handle);
246
247     didFail(handle, WebKit::blockedError(request()));
248 }
249
250 void NetworkResourceLoader::cannotShowURL(ResourceHandle* handle)
251 {
252     ASSERT_UNUSED(handle, handle == m_handle);
253
254     didFail(handle, WebKit::cannotShowURLError(request()));
255 }
256
257 bool NetworkResourceLoader::shouldUseCredentialStorage(ResourceHandle* handle)
258 {
259     ASSERT_UNUSED(handle, handle == m_handle || !m_handle); // m_handle will be 0 if called from ResourceHandle::start().
260
261     // When the WebProcess is handling loading a client is consulted each time this shouldUseCredentialStorage question is asked.
262     // In NetworkProcess mode we ask the WebProcess client up front once and then reuse the cached answer.
263
264     // We still need this sync version, because ResourceHandle itself uses it internally, even when the delegate uses an async one.
265
266     return allowStoredCredentials() == AllowStoredCredentials;
267 }
268
269 void NetworkResourceLoader::shouldUseCredentialStorageAsync(ResourceHandle* handle)
270 {
271     ASSERT_UNUSED(handle, handle == m_handle);
272
273     handle->continueShouldUseCredentialStorage(shouldUseCredentialStorage(handle));
274 }
275
276 void NetworkResourceLoader::didReceiveAuthenticationChallenge(ResourceHandle* handle, const AuthenticationChallenge& challenge)
277 {
278     ASSERT_UNUSED(handle, handle == m_handle);
279
280     // FIXME (http://webkit.org/b/115291): Since we go straight to the UI process for authentication we don't get WebCore's
281     // cross-origin check before asking the client for credentials.
282     // Therefore we are too permissive in the case where the ClientCredentialPolicy is DoNotAskClientForCrossOriginCredentials.
283     if (clientCredentialPolicy() == DoNotAskClientForAnyCredentials) {
284         challenge.authenticationClient()->receivedRequestToContinueWithoutCredential(challenge);
285         return;
286     }
287
288     NetworkProcess::shared().authenticationManager().didReceiveAuthenticationChallenge(webPageID(), webFrameID(), challenge);
289 }
290
291 void NetworkResourceLoader::didCancelAuthenticationChallenge(ResourceHandle* handle, const AuthenticationChallenge& challenge)
292 {
293     ASSERT_UNUSED(handle, handle == m_handle);
294
295     // This function is probably not needed (see <rdar://problem/8960124>).
296     notImplemented();
297 }
298
299 CoreIPC::Connection* NetworkResourceLoader::messageSenderConnection()
300 {
301     return connectionToWebProcess()->connection();
302 }
303
304 uint64_t NetworkResourceLoader::messageSenderDestinationID()
305 {
306     return identifier();
307 }
308
309 #if USE(PROTECTION_SPACE_AUTH_CALLBACK)
310 void NetworkResourceLoader::canAuthenticateAgainstProtectionSpaceAsync(ResourceHandle* handle, const ProtectionSpace& protectionSpace)
311 {
312     ASSERT(isMainThread());
313     ASSERT_UNUSED(handle, handle == m_handle);
314
315     // This message is DispatchMessageEvenWhenWaitingForSyncReply to avoid a situation where the NetworkProcess is deadlocked
316     // waiting for 6 connections to complete while the WebProcess is waiting for a 7th to complete.
317     sendAbortingOnFailure(Messages::WebResourceLoader::CanAuthenticateAgainstProtectionSpace(protectionSpace), CoreIPC::DispatchMessageEvenWhenWaitingForSyncReply);
318 }
319
320 void NetworkResourceLoader::continueCanAuthenticateAgainstProtectionSpace(bool result)
321 {
322     m_handle->continueCanAuthenticateAgainstProtectionSpace(result);
323 }
324
325 #endif
326
327 #if USE(NETWORK_CFDATA_ARRAY_CALLBACK)
328 bool NetworkResourceLoader::supportsDataArray()
329 {
330     notImplemented();
331     return false;
332 }
333
334 void NetworkResourceLoader::didReceiveDataArray(ResourceHandle*, CFArrayRef)
335 {
336     ASSERT_NOT_REACHED();
337     notImplemented();
338 }
339 #endif
340
341 #if PLATFORM(MAC)
342 void NetworkResourceLoader::willStopBufferingData(ResourceHandle*, const char*, int)
343 {
344     notImplemented();
345 }
346 #endif // PLATFORM(MAC)
347
348 } // namespace WebKit
349
350 #endif // ENABLE(NETWORK_PROCESS)