XMLHttpRequest should not sniff content encoding
[WebKit-https.git] / Source / WebKit / WebProcess / Network / WebLoaderStrategy.cpp
1 /*
2  * Copyright (C) 2012, 2015 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "WebLoaderStrategy.h"
28
29 #include "DataReference.h"
30 #include "HangDetectionDisabler.h"
31 #include "Logging.h"
32 #include "NetworkConnectionToWebProcessMessages.h"
33 #include "NetworkProcessConnection.h"
34 #include "NetworkResourceLoadParameters.h"
35 #include "SessionTracker.h"
36 #include "WebCompiledContentRuleList.h"
37 #include "WebCoreArgumentCoders.h"
38 #include "WebErrors.h"
39 #include "WebFrame.h"
40 #include "WebFrameLoaderClient.h"
41 #include "WebFrameNetworkingContext.h"
42 #include "WebPage.h"
43 #include "WebPageProxyMessages.h"
44 #include "WebProcess.h"
45 #include "WebResourceLoader.h"
46 #include "WebServiceWorkerProvider.h"
47 #include "WebURLSchemeHandlerProxy.h"
48 #include "WebURLSchemeTaskProxy.h"
49 #include <WebCore/ApplicationCacheHost.h>
50 #include <WebCore/CachedResource.h>
51 #include <WebCore/ContentSecurityPolicy.h>
52 #include <WebCore/DiagnosticLoggingClient.h>
53 #include <WebCore/DiagnosticLoggingKeys.h>
54 #include <WebCore/Document.h>
55 #include <WebCore/DocumentLoader.h>
56 #include <WebCore/FetchOptions.h>
57 #include <WebCore/Frame.h>
58 #include <WebCore/FrameLoader.h>
59 #include <WebCore/NetscapePlugInStreamLoader.h>
60 #include <WebCore/PlatformStrategies.h>
61 #include <WebCore/ReferrerPolicy.h>
62 #include <WebCore/ResourceLoader.h>
63 #include <WebCore/SecurityOrigin.h>
64 #include <WebCore/Settings.h>
65 #include <WebCore/SubresourceLoader.h>
66 #include <WebCore/UserContentProvider.h>
67 #include <pal/SessionID.h>
68 #include <wtf/text/CString.h>
69
70 #if USE(QUICK_LOOK)
71 #include <WebCore/QuickLook.h>
72 #endif
73
74 using namespace WebCore;
75
76 #define RELEASE_LOG_IF_ALLOWED(permissionChecker, fmt, ...) RELEASE_LOG_IF(permissionChecker.isAlwaysOnLoggingAllowed(), Network, "%p - WebLoaderStrategy::" fmt, this, ##__VA_ARGS__)
77 #define RELEASE_LOG_ERROR_IF_ALLOWED(permissionChecker, fmt, ...) RELEASE_LOG_ERROR_IF(permissionChecker.isAlwaysOnLoggingAllowed(), Network, "%p - WebLoaderStrategy::" fmt, this, ##__VA_ARGS__)
78
79 namespace WebKit {
80
81 WebLoaderStrategy::WebLoaderStrategy()
82     : m_internallyFailedLoadTimer(RunLoop::main(), this, &WebLoaderStrategy::internallyFailedLoadTimerFired)
83 {
84 }
85
86 WebLoaderStrategy::~WebLoaderStrategy()
87 {
88 }
89
90 RefPtr<SubresourceLoader> WebLoaderStrategy::loadResource(Frame& frame, CachedResource& resource, const ResourceRequest& request, const ResourceLoaderOptions& options)
91 {
92     RefPtr<SubresourceLoader> loader = SubresourceLoader::create(frame, resource, request, options);
93     if (loader)
94         scheduleLoad(*loader, &resource, frame.document()->referrerPolicy() == ReferrerPolicy::NoReferrerWhenDowngrade);
95     else
96         RELEASE_LOG_IF_ALLOWED(frame, "loadResource: Unable to create SubresourceLoader (frame = %p", &frame);
97     return loader;
98 }
99
100 RefPtr<NetscapePlugInStreamLoader> WebLoaderStrategy::schedulePluginStreamLoad(Frame& frame, NetscapePlugInStreamLoaderClient& client, const ResourceRequest& request)
101 {
102     RefPtr<NetscapePlugInStreamLoader> loader = NetscapePlugInStreamLoader::create(frame, client, request);
103     if (loader)
104         scheduleLoad(*loader, 0, frame.document()->referrerPolicy() == ReferrerPolicy::NoReferrerWhenDowngrade);
105     return loader;
106 }
107
108 static Seconds maximumBufferingTime(CachedResource* resource)
109 {
110     if (!resource)
111         return 0_s;
112
113     switch (resource->type()) {
114     case CachedResource::Beacon:
115     case CachedResource::CSSStyleSheet:
116     case CachedResource::Script:
117 #if ENABLE(SVG_FONTS)
118     case CachedResource::SVGFontResource:
119 #endif
120     case CachedResource::FontResource:
121         return Seconds::infinity();
122     case CachedResource::ImageResource:
123         return 500_ms;
124     case CachedResource::MediaResource:
125         return 50_ms;
126     case CachedResource::MainResource:
127     case CachedResource::Icon:
128     case CachedResource::RawResource:
129     case CachedResource::SVGDocumentResource:
130 #if ENABLE(LINK_PREFETCH)
131     case CachedResource::LinkPrefetch:
132     case CachedResource::LinkSubresource:
133 #endif
134 #if ENABLE(VIDEO_TRACK)
135     case CachedResource::TextTrackResource:
136 #endif
137 #if ENABLE(XSLT)
138     case CachedResource::XSLStyleSheet:
139 #endif
140         return 0_s;
141     }
142
143     ASSERT_NOT_REACHED();
144     return 0_s;
145 }
146
147 void WebLoaderStrategy::scheduleLoad(ResourceLoader& resourceLoader, CachedResource* resource, bool shouldClearReferrerOnHTTPSToHTTPRedirect)
148 {
149     ResourceLoadIdentifier identifier = resourceLoader.identifier();
150     ASSERT(identifier);
151
152     auto& frameLoaderClient = resourceLoader.frameLoader()->client();
153
154     WebResourceLoader::TrackingParameters trackingParameters;
155     trackingParameters.pageID = frameLoaderClient.pageID();
156     trackingParameters.frameID = frameLoaderClient.frameID();
157     trackingParameters.resourceID = identifier;
158     auto sessionID = frameLoaderClient.sessionID();
159
160 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
161     // If the DocumentLoader schedules this as an archive resource load,
162     // then we should remember the ResourceLoader in our records but not schedule it in the NetworkProcess.
163     if (resourceLoader.documentLoader()->scheduleArchiveLoad(resourceLoader, resourceLoader.request())) {
164         LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be handled as an archive resource.", resourceLoader.url().string().utf8().data());
165         RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: URL will be handled as an archive resource (frame = %p, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), trackingParameters.pageID, trackingParameters.frameID, identifier);
166         m_webResourceLoaders.set(identifier, WebResourceLoader::create(resourceLoader, trackingParameters));
167         return;
168     }
169 #endif
170
171     if (resourceLoader.documentLoader()->applicationCacheHost().maybeLoadResource(resourceLoader, resourceLoader.request(), resourceLoader.request().url())) {
172         LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be loaded from application cache.", resourceLoader.url().string().utf8().data());
173         RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: URL will be loaded from application cache (frame = %p, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), trackingParameters.pageID, trackingParameters.frameID, identifier);
174         m_webResourceLoaders.set(identifier, WebResourceLoader::create(resourceLoader, trackingParameters));
175         return;
176     }
177
178     if (resourceLoader.request().url().protocolIsData()) {
179         LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be loaded as data.", resourceLoader.url().string().utf8().data());
180         RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: URL will be loaded as data (frame = %p, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), trackingParameters.pageID, trackingParameters.frameID, identifier);
181         startLocalLoad(resourceLoader);
182         return;
183     }
184
185 #if USE(QUICK_LOOK)
186     if (isQuickLookPreviewURL(resourceLoader.request().url())) {
187         LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be handled as a QuickLook resource.", resourceLoader.url().string().utf8().data());
188         RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: URL will be handled as a QuickLook resource (frame = %p, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), trackingParameters.pageID, trackingParameters.frameID, identifier);
189         startLocalLoad(resourceLoader);
190         return;
191     }
192 #endif
193
194 #if USE(SOUP)
195     // For apps that call g_resource_load in a web extension.
196     // https://blogs.gnome.org/alexl/2012/01/26/resources-in-glib/
197     if (resourceLoader.request().url().protocolIs("resource")) {
198         LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be handled as a GResource.", resourceLoader.url().string().utf8().data());
199         RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: URL will be handled as a GResource (frame = %p, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), trackingParameters.pageID, trackingParameters.frameID, identifier);
200         startLocalLoad(resourceLoader);
201         return;
202     }
203 #endif
204
205     auto* webFrameLoaderClient = toWebFrameLoaderClient(resourceLoader.frameLoader()->client());
206     auto* webFrame = webFrameLoaderClient ? webFrameLoaderClient->webFrame() : nullptr;
207     auto* webPage = webFrame ? webFrame->page() : nullptr;
208     if (webPage) {
209         if (auto* handler = webPage->urlSchemeHandlerForScheme(resourceLoader.request().url().protocol().toStringWithoutCopying())) {
210             LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, URL '%s' will be handled by a UIProcess URL scheme handler.", resourceLoader.url().string().utf8().data());
211             RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: URL will be handled by a UIProcess URL scheme handler (frame = %p, resourceID = %" PRIu64 ")", resourceLoader.frame(), identifier);
212
213             handler->startNewTask(resourceLoader);
214             return;
215         }
216     }
217
218 #if ENABLE(SERVICE_WORKER)
219     WebServiceWorkerProvider::singleton().handleFetch(resourceLoader, resource, sessionID, [trackingParameters, sessionID, shouldClearReferrerOnHTTPSToHTTPRedirect, maximumBufferingTime = maximumBufferingTime(resource), resourceLoader = makeRef(resourceLoader)] (ServiceWorkerClientFetch::Result result) mutable {
220         if (result != ServiceWorkerClientFetch::Result::Unhandled)
221             return;
222
223         LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be scheduled through ServiceWorker handle fetch algorithm", resourceLoader->url().string().latin1().data());
224         WebProcess::singleton().webLoaderStrategy().scheduleLoadFromNetworkProcess(resourceLoader.get(), resourceLoader->originalRequest(), trackingParameters, sessionID, shouldClearReferrerOnHTTPSToHTTPRedirect, maximumBufferingTime);
225     });
226 #else
227     LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be scheduled through ServiceWorker handle fetch algorithm", resourceLoader.url().string().latin1().data());
228     scheduleLoadFromNetworkProcess(resourceLoader, resourceLoader.request(), trackingParameters, sessionID, shouldClearReferrerOnHTTPSToHTTPRedirect, maximumBufferingTime(resource));
229 #endif
230 }
231
232 void WebLoaderStrategy::scheduleLoadFromNetworkProcess(ResourceLoader& resourceLoader, const ResourceRequest& request, const WebResourceLoader::TrackingParameters& trackingParameters, PAL::SessionID sessionID, bool shouldClearReferrerOnHTTPSToHTTPRedirect, Seconds maximumBufferingTime)
233 {
234     ResourceLoadIdentifier identifier = resourceLoader.identifier();
235     ASSERT(identifier);
236
237     LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::scheduleLoad, url '%s' will be scheduled with the NetworkProcess with priority %d", resourceLoader.url().string().latin1().data(), static_cast<int>(resourceLoader.request().priority()));
238
239     ContentSniffingPolicy contentSniffingPolicy = resourceLoader.shouldSniffContent() ? SniffContent : DoNotSniffContent;
240     ContentEncodingSniffingPolicy contentEncodingSniffingPolicy = resourceLoader.shouldSniffContentEncoding() ? ContentEncodingSniffingPolicy::Sniff : ContentEncodingSniffingPolicy::DoNotSniff;
241     StoredCredentialsPolicy storedCredentialsPolicy = resourceLoader.shouldUseCredentialStorage() ? StoredCredentialsPolicy::Use : StoredCredentialsPolicy::DoNotUse;
242
243     NetworkResourceLoadParameters loadParameters;
244     loadParameters.identifier = identifier;
245     loadParameters.webPageID = trackingParameters.pageID;
246     loadParameters.webFrameID = trackingParameters.frameID;
247     loadParameters.sessionID = sessionID;
248     loadParameters.request = request;
249     loadParameters.contentSniffingPolicy = contentSniffingPolicy;
250     loadParameters.contentEncodingSniffingPolicy = contentEncodingSniffingPolicy;
251     loadParameters.storedCredentialsPolicy = storedCredentialsPolicy;
252     // If there is no WebFrame then this resource cannot be authenticated with the client.
253     loadParameters.clientCredentialPolicy = (loadParameters.webFrameID && loadParameters.webPageID && resourceLoader.isAllowedToAskUserForCredentials()) ? ClientCredentialPolicy::MayAskClientForCredentials : ClientCredentialPolicy::CannotAskClientForCredentials;
254     loadParameters.shouldClearReferrerOnHTTPSToHTTPRedirect = shouldClearReferrerOnHTTPSToHTTPRedirect;
255     loadParameters.defersLoading = resourceLoader.defersLoading();
256     loadParameters.needsCertificateInfo = resourceLoader.shouldIncludeCertificateInfo();
257     loadParameters.maximumBufferingTime = maximumBufferingTime;
258     loadParameters.derivedCachedDataTypesToRetrieve = resourceLoader.options().derivedCachedDataTypesToRetrieve;
259
260     ASSERT((loadParameters.webPageID && loadParameters.webFrameID) || loadParameters.clientCredentialPolicy == ClientCredentialPolicy::CannotAskClientForCredentials);
261
262     RELEASE_LOG_IF_ALLOWED(resourceLoader, "scheduleLoad: Resource is being scheduled with the NetworkProcess (frame = %p, priority = %d, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), static_cast<int>(resourceLoader.request().priority()), loadParameters.webPageID, loadParameters.webFrameID, loadParameters.identifier);
263     if (!WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::ScheduleResourceLoad(loadParameters), 0)) {
264         RELEASE_LOG_ERROR_IF_ALLOWED(resourceLoader, "scheduleLoad: Unable to schedule resource with the NetworkProcess (frame = %p, priority = %d, pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", resourceLoader.frame(), static_cast<int>(resourceLoader.request().priority()), loadParameters.webPageID, loadParameters.webFrameID, loadParameters.identifier);
265         // We probably failed to schedule this load with the NetworkProcess because it had crashed.
266         // This load will never succeed so we will schedule it to fail asynchronously.
267         scheduleInternallyFailedLoad(resourceLoader);
268         return;
269     }
270
271     m_webResourceLoaders.set(identifier, WebResourceLoader::create(resourceLoader, trackingParameters));
272 }
273
274 void WebLoaderStrategy::scheduleInternallyFailedLoad(WebCore::ResourceLoader& resourceLoader)
275 {
276     m_internallyFailedResourceLoaders.add(&resourceLoader);
277     m_internallyFailedLoadTimer.startOneShot(0_s);
278 }
279
280 void WebLoaderStrategy::internallyFailedLoadTimerFired()
281 {
282     for (auto& resourceLoader : copyToVector(m_internallyFailedResourceLoaders))
283         resourceLoader->didFail(internalError(resourceLoader->url()));
284 }
285
286 void WebLoaderStrategy::startLocalLoad(WebCore::ResourceLoader& resourceLoader)
287 {
288     resourceLoader.start();
289     m_webResourceLoaders.set(resourceLoader.identifier(), WebResourceLoader::create(resourceLoader, { }));
290 }
291
292 void WebLoaderStrategy::addURLSchemeTaskProxy(WebURLSchemeTaskProxy& task)
293 {
294     auto result = m_urlSchemeTasks.add(task.identifier(), &task);
295     ASSERT_UNUSED(result, result.isNewEntry);
296 }
297
298 void WebLoaderStrategy::removeURLSchemeTaskProxy(WebURLSchemeTaskProxy& task)
299 {
300     m_urlSchemeTasks.remove(task.identifier());
301 }
302
303 void WebLoaderStrategy::remove(ResourceLoader* resourceLoader)
304 {
305     ASSERT(resourceLoader);
306     LOG(NetworkScheduling, "(WebProcess) WebLoaderStrategy::remove, url '%s'", resourceLoader->url().string().utf8().data());
307
308     if (auto task = m_urlSchemeTasks.take(resourceLoader->identifier())) {
309         ASSERT(!m_internallyFailedResourceLoaders.contains(resourceLoader));
310         task->stopLoading();
311         return;
312     }
313
314     if (m_internallyFailedResourceLoaders.contains(resourceLoader)) {
315         m_internallyFailedResourceLoaders.remove(resourceLoader);
316         return;
317     }
318     
319     ResourceLoadIdentifier identifier = resourceLoader->identifier();
320     if (!identifier) {
321         LOG_ERROR("WebLoaderStrategy removing a ResourceLoader that has no identifier.");
322         return;
323     }
324
325 #if ENABLE(SERVICE_WORKER)
326     if (WebServiceWorkerProvider::singleton().cancelFetch(identifier))
327         return;
328 #endif
329
330     RefPtr<WebResourceLoader> loader = m_webResourceLoaders.take(identifier);
331     // Loader may not be registered if we created it, but haven't scheduled yet (a bundle client can decide to cancel such request via willSendRequest).
332     if (!loader)
333         return;
334
335     WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::RemoveLoadIdentifier(identifier), 0);
336
337     // It's possible that this WebResourceLoader might be just about to message back to the NetworkProcess (e.g. ContinueWillSendRequest)
338     // but there's no point in doing so anymore.
339     loader->detachFromCoreLoader();
340 }
341
342 void WebLoaderStrategy::setDefersLoading(ResourceLoader* resourceLoader, bool defers)
343 {
344     ResourceLoadIdentifier identifier = resourceLoader->identifier();
345     WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::SetDefersLoading(identifier, defers), 0);
346 }
347
348 void WebLoaderStrategy::crossOriginRedirectReceived(ResourceLoader*, const URL&)
349 {
350     // We handle cross origin redirects entirely within the NetworkProcess.
351     // We override this call in the WebProcess to make it a no-op.
352 }
353
354 void WebLoaderStrategy::servePendingRequests(ResourceLoadPriority)
355 {
356     // This overrides the base class version.
357     // We don't need to do anything as this is handled by the network process.
358 }
359
360 void WebLoaderStrategy::suspendPendingRequests()
361 {
362     // Network process does keep requests in pending state.
363 }
364
365 void WebLoaderStrategy::resumePendingRequests()
366 {
367     // Network process does keep requests in pending state.
368 }
369
370 void WebLoaderStrategy::networkProcessCrashed()
371 {
372     RELEASE_LOG_ERROR(Network, "WebLoaderStrategy::networkProcessCrashed: failing all pending resource loaders");
373
374     for (auto& loader : m_webResourceLoaders)
375         scheduleInternallyFailedLoad(*loader.value->resourceLoader());
376
377     m_webResourceLoaders.clear();
378
379     auto pingLoadCompletionHandlers = WTFMove(m_pingLoadCompletionHandlers);
380     for (auto& pingLoadCompletionHandler : pingLoadCompletionHandlers.values())
381         pingLoadCompletionHandler(internalError(URL()), { });
382
383     auto preconnectCompletionHandlers = WTFMove(m_preconnectCompletionHandlers);
384     for (auto& preconnectCompletionHandler : preconnectCompletionHandlers.values())
385         preconnectCompletionHandler(internalError(URL()));
386 }
387
388 void WebLoaderStrategy::loadResourceSynchronously(NetworkingContext* context, unsigned long resourceLoadIdentifier, const ResourceRequest& request, StoredCredentialsPolicy storedCredentialsPolicy, ClientCredentialPolicy clientCredentialPolicy, ResourceError& error, ResourceResponse& response, Vector<char>& data)
389 {
390     WebFrameNetworkingContext* webContext = static_cast<WebFrameNetworkingContext*>(context);
391     // FIXME: Some entities in WebCore use WebCore's "EmptyFrameLoaderClient" instead of having a proper WebFrameLoaderClient.
392     // EmptyFrameLoaderClient shouldn't exist and everything should be using a WebFrameLoaderClient,
393     // but in the meantime we have to make sure not to mis-cast.
394     WebFrameLoaderClient* webFrameLoaderClient = webContext->webFrameLoaderClient();
395     WebFrame* webFrame = webFrameLoaderClient ? webFrameLoaderClient->webFrame() : 0;
396     WebPage* webPage = webFrame ? webFrame->page() : 0;
397
398     NetworkResourceLoadParameters loadParameters;
399     loadParameters.identifier = resourceLoadIdentifier;
400     loadParameters.webPageID = webPage ? webPage->pageID() : 0;
401     loadParameters.webFrameID = webFrame ? webFrame->frameID() : 0;
402     loadParameters.sessionID = webPage ? webPage->sessionID() : PAL::SessionID::defaultSessionID();
403     loadParameters.request = request;
404     loadParameters.contentSniffingPolicy = SniffContent;
405     loadParameters.contentEncodingSniffingPolicy = ContentEncodingSniffingPolicy::Sniff;
406     loadParameters.storedCredentialsPolicy = storedCredentialsPolicy;
407     loadParameters.clientCredentialPolicy = clientCredentialPolicy;
408     loadParameters.shouldClearReferrerOnHTTPSToHTTPRedirect = context->shouldClearReferrerOnHTTPSToHTTPRedirect();
409
410     data.shrink(0);
411
412     HangDetectionDisabler hangDetectionDisabler;
413
414     if (!WebProcess::singleton().networkConnection().connection().sendSync(Messages::NetworkConnectionToWebProcess::PerformSynchronousLoad(loadParameters), Messages::NetworkConnectionToWebProcess::PerformSynchronousLoad::Reply(error, response, data), 0)) {
415         RELEASE_LOG_ERROR_IF_ALLOWED(loadParameters.sessionID, "loadResourceSynchronously: failed sending synchronous network process message (pageID = %" PRIu64 ", frameID = %" PRIu64 ", resourceID = %" PRIu64 ")", loadParameters.webPageID, loadParameters.webFrameID, loadParameters.identifier);
416         if (auto* page = webPage->corePage())
417             page->diagnosticLoggingClient().logDiagnosticMessage(WebCore::DiagnosticLoggingKeys::internalErrorKey(), WebCore::DiagnosticLoggingKeys::synchronousMessageFailedKey(), WebCore::ShouldSample::No);
418         response = ResourceResponse();
419         error = internalError(request.url());
420     }
421 }
422
423 static uint64_t generateLoadIdentifier()
424 {
425     static uint64_t identifier = 0;
426     return ++identifier;
427 }
428
429 void WebLoaderStrategy::startPingLoad(Frame& frame, ResourceRequest& request, const HTTPHeaderMap& originalRequestHeaders, const FetchOptions& options, PingLoadCompletionHandler&& completionHandler)
430 {
431     // It's possible that call to createPingHandle might be made during initial empty Document creation before a NetworkingContext exists.
432     // It is not clear that we should send ping loads during that process anyways.
433     auto* networkingContext = frame.loader().networkingContext();
434     if (!networkingContext) {
435         if (completionHandler)
436             completionHandler(internalError(request.url()), { });
437         return;
438     }
439
440     WebFrameNetworkingContext* webContext = static_cast<WebFrameNetworkingContext*>(networkingContext);
441     WebFrameLoaderClient* webFrameLoaderClient = webContext->webFrameLoaderClient();
442
443     auto* document = frame.document();
444     if (!document) {
445         if (completionHandler)
446             completionHandler(internalError(request.url()), { });
447         return;
448     }
449     
450     NetworkResourceLoadParameters loadParameters;
451     loadParameters.identifier = generateLoadIdentifier();
452     loadParameters.request = request;
453     loadParameters.sourceOrigin = &document->securityOrigin();
454     loadParameters.sessionID = webFrameLoaderClient ? webFrameLoaderClient->sessionID() : PAL::SessionID::defaultSessionID();
455     loadParameters.storedCredentialsPolicy = options.credentials == FetchOptions::Credentials::Omit ? StoredCredentialsPolicy::DoNotUse : StoredCredentialsPolicy::Use;
456     loadParameters.mode = options.mode;
457     loadParameters.shouldFollowRedirects = options.redirect == FetchOptions::Redirect::Follow;
458     loadParameters.shouldClearReferrerOnHTTPSToHTTPRedirect = networkingContext->shouldClearReferrerOnHTTPSToHTTPRedirect();
459     if (!document->shouldBypassMainWorldContentSecurityPolicy()) {
460         if (auto * contentSecurityPolicy = document->contentSecurityPolicy())
461             loadParameters.cspResponseHeaders = contentSecurityPolicy->responseHeaders();
462     }
463
464 #if ENABLE(CONTENT_EXTENSIONS)
465     loadParameters.mainDocumentURL = document->topDocument().url();
466
467     if (auto* documentLoader = frame.loader().documentLoader()) {
468         if (auto* page = frame.page()) {
469             page->userContentProvider().forEachContentExtension([&loadParameters](const String& identifier, ContentExtensions::ContentExtension& contentExtension) {
470                 loadParameters.contentRuleLists.append(std::make_pair(identifier, static_cast<const WebCompiledContentRuleList&>(contentExtension.compiledExtension()).data()));
471             }, *documentLoader);
472         }
473     }
474 #endif
475
476     if (completionHandler)
477         m_pingLoadCompletionHandlers.add(loadParameters.identifier, WTFMove(completionHandler));
478
479     WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::LoadPing(WTFMove(loadParameters), originalRequestHeaders), 0);
480 }
481
482 void WebLoaderStrategy::didFinishPingLoad(uint64_t pingLoadIdentifier, ResourceError&& error, ResourceResponse&& response)
483 {
484     if (auto completionHandler = m_pingLoadCompletionHandlers.take(pingLoadIdentifier))
485         completionHandler(WTFMove(error), WTFMove(response));
486 }
487
488 void WebLoaderStrategy::preconnectTo(NetworkingContext& context, const WebCore::URL& url, StoredCredentialsPolicy storedCredentialsPolicy, PreconnectCompletionHandler&& completionHandler)
489 {
490     uint64_t preconnectionIdentifier = generateLoadIdentifier();
491     auto addResult = m_preconnectCompletionHandlers.add(preconnectionIdentifier, WTFMove(completionHandler));
492     ASSERT_UNUSED(addResult, addResult.isNewEntry);
493
494     auto& webContext = static_cast<WebFrameNetworkingContext&>(context);
495     auto* webFrameLoaderClient = webContext.webFrameLoaderClient();
496     if (!webFrameLoaderClient) {
497         completionHandler(internalError(url));
498         return;
499     }
500     auto* webFrame = webFrameLoaderClient->webFrame();
501     if (!webFrame) {
502         completionHandler(internalError(url));
503         return;
504     }
505     auto* webPage = webFrame->page();
506     if (!webPage) {
507         completionHandler(internalError(url));
508         return;
509     }
510
511     NetworkResourceLoadParameters parameters;
512     parameters.request = ResourceRequest { url };
513     parameters.webPageID = webPage ? webPage->pageID() : 0;
514     parameters.webFrameID = webFrame ? webFrame->frameID() : 0;
515     parameters.sessionID = webPage ? webPage->sessionID() : PAL::SessionID::defaultSessionID();
516     parameters.storedCredentialsPolicy = storedCredentialsPolicy;
517     parameters.shouldPreconnectOnly = PreconnectOnly::Yes;
518
519     WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::PreconnectTo(preconnectionIdentifier, WTFMove(parameters)), 0);
520 }
521
522 void WebLoaderStrategy::didFinishPreconnection(uint64_t preconnectionIdentifier, ResourceError&& error)
523 {
524     if (auto completionHandler = m_preconnectCompletionHandlers.take(preconnectionIdentifier))
525         completionHandler(WTFMove(error));
526 }
527
528 void WebLoaderStrategy::storeDerivedDataToCache(const SHA1::Digest& bodyHash, const String& type, const String& partition, WebCore::SharedBuffer& data)
529 {
530     NetworkCache::DataKey key { partition, type, bodyHash };
531     IPC::SharedBufferDataReference dataReference { &data };
532     WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::StoreDerivedDataToCache(key, dataReference), 0);
533 }
534
535 void WebLoaderStrategy::setCaptureExtraNetworkLoadMetricsEnabled(bool enabled)
536 {
537     WebProcess::singleton().networkConnection().connection().send(Messages::NetworkConnectionToWebProcess::SetCaptureExtraNetworkLoadMetricsEnabled(enabled), 0);
538 }
539
540 } // namespace WebKit