8b869f769253d2705d19c17bf8c2ba0ad6a99c18
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentRuleListResults.h"
49 #include "ContentSecurityPolicy.h"
50 #include "CustomHeaderFields.h"
51 #include "DOMWindow.h"
52 #include "DatabaseManager.h"
53 #include "DiagnosticLoggingClient.h"
54 #include "DiagnosticLoggingKeys.h"
55 #include "Document.h"
56 #include "DocumentLoader.h"
57 #include "Editor.h"
58 #include "EditorClient.h"
59 #include "Element.h"
60 #include "Event.h"
61 #include "EventHandler.h"
62 #include "EventNames.h"
63 #include "FloatRect.h"
64 #include "FormState.h"
65 #include "FormSubmission.h"
66 #include "Frame.h"
67 #include "FrameLoadRequest.h"
68 #include "FrameLoaderClient.h"
69 #include "FrameNetworkingContext.h"
70 #include "FrameTree.h"
71 #include "FrameView.h"
72 #include "GCController.h"
73 #include "HTMLFormElement.h"
74 #include "HTMLInputElement.h"
75 #include "HTMLNames.h"
76 #include "HTMLObjectElement.h"
77 #include "HTMLParserIdioms.h"
78 #include "HTTPHeaderNames.h"
79 #include "HTTPParsers.h"
80 #include "HistoryController.h"
81 #include "HistoryItem.h"
82 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
83 #include "InspectorController.h"
84 #include "InspectorInstrumentation.h"
85 #include "LinkLoader.h"
86 #include "LoadTiming.h"
87 #include "LoaderStrategy.h"
88 #include "Logging.h"
89 #include "MemoryCache.h"
90 #include "MemoryRelease.h"
91 #include "NavigationDisabler.h"
92 #include "NavigationScheduler.h"
93 #include "Node.h"
94 #include "Page.h"
95 #include "PageCache.h"
96 #include "PageTransitionEvent.h"
97 #include "PerformanceLogging.h"
98 #include "PlatformStrategies.h"
99 #include "PluginData.h"
100 #include "PluginDocument.h"
101 #include "PolicyChecker.h"
102 #include "ProgressTracker.h"
103 #include "ResourceHandle.h"
104 #include "ResourceLoadInfo.h"
105 #include "ResourceLoadObserver.h"
106 #include "ResourceRequest.h"
107 #include "SVGDocument.h"
108 #include "SVGLocatable.h"
109 #include "SVGNames.h"
110 #include "SVGViewElement.h"
111 #include "SVGViewSpec.h"
112 #include "ScriptController.h"
113 #include "ScriptSourceCode.h"
114 #include "ScrollAnimator.h"
115 #include "SecurityOrigin.h"
116 #include "SecurityPolicy.h"
117 #include "SegmentedString.h"
118 #include "SerializedScriptValue.h"
119 #include "Settings.h"
120 #include "ShouldTreatAsContinuingLoad.h"
121 #include "StyleTreeResolver.h"
122 #include "SubframeLoader.h"
123 #include "SubresourceLoader.h"
124 #include "TextResourceDecoder.h"
125 #include "UserContentController.h"
126 #include "UserGestureIndicator.h"
127 #include "WindowFeatures.h"
128 #include "XMLDocumentParser.h"
129 #include <dom/ScriptDisallowedScope.h>
130 #include <wtf/CompletionHandler.h>
131 #include <wtf/URL.h>
132 #include <wtf/Ref.h>
133 #include <wtf/SetForScope.h>
134 #include <wtf/StdLibExtras.h>
135 #include <wtf/SystemTracing.h>
136 #include <wtf/text/CString.h>
137 #include <wtf/text/WTFString.h>
138
139 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
140 #include "Archive.h"
141 #endif
142
143 #if ENABLE(DATA_DETECTION)
144 #include "DataDetection.h"
145 #endif
146
147 #if PLATFORM(IOS_FAMILY)
148 #include "DocumentType.h"
149 #include "ResourceLoader.h"
150 #include "RuntimeApplicationChecks.h"
151 #endif
152
153 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
154
155 namespace WebCore {
156
157 using namespace HTMLNames;
158 using namespace SVGNames;
159
160 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
161
162 bool isBackForwardLoadType(FrameLoadType type)
163 {
164     switch (type) {
165     case FrameLoadType::Standard:
166     case FrameLoadType::Reload:
167     case FrameLoadType::ReloadFromOrigin:
168     case FrameLoadType::ReloadExpiredOnly:
169     case FrameLoadType::Same:
170     case FrameLoadType::RedirectWithLockedBackForwardList:
171     case FrameLoadType::Replace:
172         return false;
173     case FrameLoadType::Back:
174     case FrameLoadType::Forward:
175     case FrameLoadType::IndexedBackForward:
176         return true;
177     }
178     ASSERT_NOT_REACHED();
179     return false;
180 }
181
182 bool isReload(FrameLoadType type)
183 {
184     switch (type) {
185     case FrameLoadType::Reload:
186     case FrameLoadType::ReloadFromOrigin:
187     case FrameLoadType::ReloadExpiredOnly:
188         return true;
189     case FrameLoadType::Standard:
190     case FrameLoadType::Same:
191     case FrameLoadType::RedirectWithLockedBackForwardList:
192     case FrameLoadType::Replace:
193     case FrameLoadType::Back:
194     case FrameLoadType::Forward:
195     case FrameLoadType::IndexedBackForward:
196         return false;
197     }
198     ASSERT_NOT_REACHED();
199     return false;
200 }
201
202 // This is not in the FrameLoader class to emphasize that it does not depend on
203 // private FrameLoader data, and to avoid increasing the number of public functions
204 // with access to private data.  Since only this .cpp file needs it, making it
205 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
206 // API simpler.
207 //
208 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
209 {
210     return frame.document() && frame.document()->isSandboxed(mask);
211 }
212
213 struct ForbidPromptsScope {
214     ForbidPromptsScope(Page* page) : m_page(page)
215     {
216         if (!m_page)
217             return;
218         m_page->forbidPrompts();
219     }
220
221     ~ForbidPromptsScope()
222     {
223         if (!m_page)
224             return;
225         m_page->allowPrompts();
226     }
227
228     Page* m_page;
229 };
230
231 class FrameLoader::FrameProgressTracker {
232     WTF_MAKE_FAST_ALLOCATED;
233 public:
234     explicit FrameProgressTracker(Frame& frame)
235         : m_frame(frame)
236         , m_inProgress(false)
237     {
238     }
239
240     ~FrameProgressTracker()
241     {
242         if (m_inProgress && m_frame.page())
243             m_frame.page()->progress().progressCompleted(m_frame);
244     }
245
246     void progressStarted()
247     {
248         ASSERT(m_frame.page());
249         if (!m_inProgress)
250             m_frame.page()->progress().progressStarted(m_frame);
251         m_inProgress = true;
252     }
253
254     void progressCompleted()
255     {
256         ASSERT(m_inProgress);
257         ASSERT(m_frame.page());
258         m_inProgress = false;
259         m_frame.page()->progress().progressCompleted(m_frame);
260         platformStrategies()->loaderStrategy()->pageLoadCompleted(*m_frame.page());
261     }
262
263 private:
264     Frame& m_frame;
265     bool m_inProgress;
266 };
267
268 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
269     : m_frame(frame)
270     , m_client(client)
271     , m_policyChecker(makeUnique<PolicyChecker>(frame))
272     , m_history(makeUnique<HistoryController>(frame))
273     , m_notifier(frame)
274     , m_subframeLoader(makeUnique<SubframeLoader>(frame))
275     , m_mixedContentChecker(frame)
276     , m_state(FrameStateProvisional)
277     , m_loadType(FrameLoadType::Standard)
278     , m_quickRedirectComing(false)
279     , m_sentRedirectNotification(false)
280     , m_inStopAllLoaders(false)
281     , m_isExecutingJavaScriptFormAction(false)
282     , m_didCallImplicitClose(true)
283     , m_wasUnloadEventEmitted(false)
284     , m_isComplete(false)
285     , m_needsClear(false)
286     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
287     , m_shouldCallCheckCompleted(false)
288     , m_shouldCallCheckLoadComplete(false)
289     , m_opener(nullptr)
290     , m_loadingFromCachedPage(false)
291     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
292     , m_loadsSynchronously(false)
293     , m_forcedSandboxFlags(SandboxNone)
294 {
295 }
296
297 FrameLoader::~FrameLoader()
298 {
299     setOpener(nullptr);
300
301     for (auto& frame : m_openedFrames)
302         frame->loader().m_opener = nullptr;
303
304     m_client.frameLoaderDestroyed();
305
306     if (m_networkingContext)
307         m_networkingContext->invalidate();
308 }
309
310 void FrameLoader::init()
311 {
312     // This somewhat odd set of steps gives the frame an initial empty document.
313     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
314     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
315     m_provisionalDocumentLoader->startLoadingMainResource();
316
317     Ref<Frame> protect(m_frame);
318     m_frame.document()->cancelParsing();
319     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
320
321     m_networkingContext = m_client.createNetworkingContext();
322     m_progressTracker = makeUnique<FrameProgressTracker>(m_frame);
323 }
324
325 void FrameLoader::initForSynthesizedDocument(const URL&)
326 {
327     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
328     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
329
330     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
331     loader->attachToFrame(m_frame);
332     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
333     loader->setCommitted(true);
334     setDocumentLoader(loader.ptr());
335
336     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
337     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
338     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
339     m_client.transitionToCommittedForNewPage();
340
341     m_didCallImplicitClose = true;
342     m_isComplete = true;
343     m_state = FrameStateComplete;
344     m_needsClear = true;
345
346     m_networkingContext = m_client.createNetworkingContext();
347     m_progressTracker = makeUnique<FrameProgressTracker>(m_frame);
348 }
349
350 void FrameLoader::setDefersLoading(bool defers)
351 {
352     if (m_documentLoader)
353         m_documentLoader->setDefersLoading(defers);
354     if (m_provisionalDocumentLoader)
355         m_provisionalDocumentLoader->setDefersLoading(defers);
356     if (m_policyDocumentLoader)
357         m_policyDocumentLoader->setDefersLoading(defers);
358     history().setDefersLoading(defers);
359
360     if (!defers) {
361         m_frame.navigationScheduler().startTimer();
362         startCheckCompleteTimer();
363     }
364 }
365
366 void FrameLoader::checkContentPolicy(const ResourceResponse& response, PolicyCheckIdentifier identifier, ContentPolicyDecisionFunction&& function)
367 {
368     if (!activeDocumentLoader()) {
369         // Load was cancelled
370         function(PolicyAction::Ignore, identifier);
371         return;
372     }
373
374     // FIXME: Validate the policy check identifier.
375     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), identifier, activeDocumentLoader()->downloadAttribute(), WTFMove(function));
376 }
377
378 void FrameLoader::changeLocation(FrameLoadRequest&& request)
379 {
380     urlSelected(WTFMove(request), nullptr);
381 }
382
383 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo, Optional<AdClickAttribution>&& adClickAttribution)
384 {
385     auto* frame = lexicalFrameFromCommonVM();
386     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
387
388     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
389     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent, WTFMove(adClickAttribution));
390 }
391
392 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent, Optional<AdClickAttribution>&& adClickAttribution)
393 {
394     RELEASE_LOG_IF_ALLOWED("urlSelected: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
395
396     Ref<Frame> protect(m_frame);
397
398     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
399         return;
400
401     if (frameRequest.frameName().isEmpty())
402         frameRequest.setFrameName(m_frame.document()->baseTarget());
403
404     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
405     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
406
407     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { }, WTFMove(adClickAttribution));
408 }
409
410 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
411 {
412     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
413
414     // FIXME: Find a good spot for these.
415     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
416
417     if (!m_frame.page())
418         return;
419
420     if (submission->action().isEmpty())
421         return;
422
423     if (isDocumentSandboxed(m_frame, SandboxForms)) {
424         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
425         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
426         return;
427     }
428
429     if (WTF::protocolIsJavaScript(submission->action())) {
430         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
431             return;
432         m_isExecutingJavaScriptFormAction = true;
433         Ref<Frame> protect(m_frame);
434         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
435         m_isExecutingJavaScriptFormAction = false;
436         return;
437     }
438
439     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
440     if (!targetFrame) {
441         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
442             return;
443
444         // FIXME: targetFrame can be null for two distinct reasons:
445         // 1. The frame was not found by name, so we should try opening a new window.
446         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
447         // Continuing form submission makes no sense in the latter case.
448         // There is a repeat check after timer fires, so this is not a correctness issue.
449
450         targetFrame = &m_frame;
451     } else
452         submission->clearTarget();
453
454     if (!targetFrame->page())
455         return;
456
457     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
458
459     // We do not want to submit more than one form from the same page, nor do we want to submit a single
460     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
461     // The flag is reset in each time we start dispatching a new mouse or key down event, and
462     // also in setView since this part may get reused for a page from the back/forward cache.
463     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
464
465     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
466     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
467     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
468
469     if (m_frame.tree().isDescendantOf(targetFrame)) {
470         if (m_submittedFormURL == submission->requestURL())
471             return;
472         m_submittedFormURL = submission->requestURL();
473     }
474
475     submission->setReferrer(outgoingReferrer());
476     submission->setOrigin(outgoingOrigin());
477
478     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
479 }
480
481 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
482 {
483     if (m_frame.document() && m_frame.document()->parser())
484         m_frame.document()->parser()->stopParsing();
485
486     if (unloadEventPolicy != UnloadEventPolicyNone)
487         dispatchUnloadEvents(unloadEventPolicy);
488
489     m_isComplete = true; // to avoid calling completed() in finishedParsing()
490     m_didCallImplicitClose = true; // don't want that one either
491
492     if (m_frame.document() && m_frame.document()->parsing()) {
493         finishedParsing();
494         m_frame.document()->setParsing(false);
495     }
496
497     if (auto* document = m_frame.document()) {
498         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
499         DatabaseManager::singleton().stopDatabases(*document, nullptr);
500     }
501
502     policyChecker().stopCheck();
503
504     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
505     m_frame.navigationScheduler().cancel();
506 }
507
508 void FrameLoader::stop()
509 {
510     // http://bugs.webkit.org/show_bug.cgi?id=10854
511     // The frame's last ref may be removed and it will be deleted by checkCompleted().
512     Ref<Frame> protect(m_frame);
513
514     if (DocumentParser* parser = m_frame.document()->parser()) {
515         parser->stopParsing();
516         parser->finish();
517     }
518 }
519
520 void FrameLoader::willTransitionToCommitted()
521 {
522     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
523
524     if (m_frame.editor().hasComposition()) {
525         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
526         m_frame.editor().confirmComposition();
527         if (EditorClient* editorClient = m_frame.editor().client()) {
528             editorClient->respondToChangedSelection(&m_frame);
529             editorClient->discardedComposition(&m_frame);
530         }
531     }
532 }
533
534 bool FrameLoader::closeURL()
535 {
536     history().saveDocumentState();
537
538     Document* currentDocument = m_frame.document();
539     UnloadEventPolicy unloadEventPolicy;
540     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
541         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
542         unloadEventPolicy = UnloadEventPolicyNone;
543     } else {
544         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
545         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
546     }
547
548     stopLoading(unloadEventPolicy);
549     
550     m_frame.editor().clearUndoRedoOperations();
551     return true;
552 }
553
554 bool FrameLoader::didOpenURL()
555 {
556     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
557         // A redirect was scheduled before the document was created.
558         // This can happen when one frame changes another frame's location.
559         return false;
560     }
561
562     m_frame.navigationScheduler().cancel();
563     m_frame.editor().clearLastEditCommand();
564
565     m_isComplete = false;
566     m_didCallImplicitClose = false;
567
568     // If we are still in the process of initializing an empty document then
569     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
570     // since it may cause clients to attempt to render the frame.
571     if (!m_stateMachine.creatingInitialEmptyDocument()) {
572         DOMWindow* window = m_frame.document()->domWindow();
573         window->setStatus(String());
574         window->setDefaultStatus(String());
575     }
576
577     started();
578
579     return true;
580 }
581
582 void FrameLoader::didExplicitOpen()
583 {
584     m_isComplete = false;
585     m_didCallImplicitClose = false;
586
587     // Calling document.open counts as committing the first real document load.
588     if (!m_stateMachine.committedFirstRealDocumentLoad())
589         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
590
591     m_client.dispatchDidExplicitOpen(m_frame.document() ? m_frame.document()->url() : URL());
592     
593     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
594     // from a subsequent window.document.open / window.document.write call. 
595     // Canceling redirection here works for all cases because document.open 
596     // implicitly precedes document.write.
597     m_frame.navigationScheduler().cancel();
598 }
599
600
601 void FrameLoader::cancelAndClear()
602 {
603     m_frame.navigationScheduler().cancel();
604
605     if (!m_isComplete)
606         closeURL();
607
608     clear(m_frame.document(), false);
609     m_frame.script().updatePlatformScriptObjects();
610 }
611
612 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
613 {
614     if (!frame.isMainFrame())
615         return false;
616
617     if (frame.loader().opener())
618         return false;
619
620     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
621 }
622
623 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView, WTF::Function<void()>&& handleDOMWindowCreation)
624 {
625     m_frame.editor().clear();
626
627     bool neededClear = m_needsClear;
628     m_needsClear = false;
629
630     if (neededClear && m_frame.document()->pageCacheState() != Document::InPageCache) {
631         m_frame.document()->cancelParsing();
632         m_frame.document()->stopActiveDOMObjects();
633         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
634         m_frame.document()->prepareForDestruction();
635         if (hadLivingRenderTree)
636             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
637     }
638
639     if (handleDOMWindowCreation)
640         handleDOMWindowCreation();
641
642     if (!neededClear)
643         return;
644     
645     // Do this after detaching the document so that the unload event works.
646     if (clearWindowProperties) {
647         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
648         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
649         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
650
651         if (shouldClearWindowName(m_frame, *newDocument))
652             m_frame.tree().setName(nullAtom());
653     }
654
655     m_frame.selection().prepareForDestruction();
656     m_frame.eventHandler().clear();
657
658     if (clearFrameView && m_frame.view())
659         m_frame.view()->clear();
660
661     // Do not drop the document before the ScriptController and view are cleared
662     // as some destructors might still try to access the document.
663     m_frame.setDocument(nullptr);
664
665     subframeLoader().clear();
666
667     if (clearWindowProperties)
668         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
669
670     if (clearScriptObjects)
671         m_frame.script().clearScriptObjects();
672
673     m_frame.script().enableEval();
674
675     m_frame.navigationScheduler().clear();
676
677     m_checkTimer.stop();
678     m_shouldCallCheckCompleted = false;
679     m_shouldCallCheckLoadComplete = false;
680
681     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
682         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
683 }
684
685 void FrameLoader::receivedFirstData()
686 {
687     dispatchDidCommitLoad(WTF::nullopt);
688     dispatchDidClearWindowObjectsInAllWorlds();
689     dispatchGlobalObjectAvailableInAllWorlds();
690
691     if (!m_documentLoader)
692         return;
693
694     auto& documentLoader = *m_documentLoader;
695     auto& title = documentLoader.title();
696     if (!title.string.isNull())
697         m_client.dispatchDidReceiveTitle(title);
698
699     ASSERT(m_frame.document());
700     auto& document = *m_frame.document();
701
702     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
703
704     double delay;
705     String urlString;
706     if (!parseMetaHTTPEquivRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
707         return;
708     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
709     if (!WTF::protocolIsJavaScript(completedURL))
710         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
711     else {
712         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
713         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
714     }
715 }
716
717 void FrameLoader::setOutgoingReferrer(const URL& url)
718 {
719     m_outgoingReferrer = url.strippedForUseAsReferrer();
720 }
721
722 void FrameLoader::didBeginDocument(bool dispatch)
723 {
724     m_needsClear = true;
725     m_isComplete = false;
726     m_didCallImplicitClose = false;
727     m_frame.document()->setReadyState(Document::Loading);
728
729     if (m_pendingStateObject) {
730         m_frame.document()->statePopped(*m_pendingStateObject);
731         m_pendingStateObject = nullptr;
732     }
733
734     if (dispatch)
735         dispatchDidClearWindowObjectsInAllWorlds();
736
737     updateFirstPartyForCookies();
738     m_frame.document()->initContentSecurityPolicy();
739
740     const Settings& settings = m_frame.settings();
741     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
742     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
743
744     if (m_documentLoader) {
745         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
746         if (!dnsPrefetchControl.isEmpty())
747             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
748
749         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
750
751         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
752         if (!referrerPolicy.isNull())
753             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
754
755         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
756         if (!headerContentLanguage.isEmpty()) {
757             size_t commaIndex = headerContentLanguage.find(',');
758             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
759             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
760             if (!headerContentLanguage.isEmpty())
761                 m_frame.document()->setContentLanguage(headerContentLanguage);
762         }
763     }
764
765     history().restoreDocumentState();
766 }
767
768 void FrameLoader::finishedParsing()
769 {
770     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
771
772     m_frame.injectUserScripts(InjectAtDocumentEnd);
773
774     if (m_stateMachine.creatingInitialEmptyDocument())
775         return;
776
777     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
778     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
779     // Null-checking the FrameView indicates whether or not we're in the destructor.
780     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
781
782     m_client.dispatchDidFinishDocumentLoad();
783
784     scrollToFragmentWithParentBoundary(m_frame.document()->url());
785
786     checkCompleted();
787
788     if (!m_frame.view())
789         return; // We are being destroyed by something checkCompleted called.
790
791     // Check if the scrollbars are really needed for the content.
792     // If not, remove them, relayout, and repaint.
793     m_frame.view()->restoreScrollbar();
794 }
795
796 void FrameLoader::loadDone(LoadCompletionType type)
797 {
798     if (type == LoadCompletionType::Finish)
799         checkCompleted();
800     else
801         scheduleCheckCompleted();
802 }
803
804 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
805 {
806     if (type == LoadCompletionType::Finish)
807         checkLoadComplete();
808     else
809         scheduleCheckLoadComplete();
810 }
811
812 bool FrameLoader::allChildrenAreComplete() const
813 {
814     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
815         if (!child->loader().m_isComplete)
816             return false;
817     }
818     return true;
819 }
820
821 bool FrameLoader::allAncestorsAreComplete() const
822 {
823     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
824         if (!ancestor->loader().m_isComplete)
825             return false;
826     }
827     return true;
828 }
829
830 void FrameLoader::checkCompleted()
831 {
832     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
833     m_shouldCallCheckCompleted = false;
834
835     // Have we completed before?
836     if (m_isComplete)
837         return;
838     
839 #if ENABLE(VIDEO)
840     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
841     if (HTMLMediaElement::isRunningDestructor()) {
842         ASSERT_NOT_REACHED();
843         scheduleCheckCompleted();
844         return;
845     }
846 #endif
847
848     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
849     //        https://bugs.webkit.org/show_bug.cgi?id=171729
850     if (m_frame.document()->inRenderTreeUpdate()) {
851         scheduleCheckCompleted();
852         return;
853     }
854
855     // Are we still parsing?
856     if (m_frame.document()->parsing())
857         return;
858
859     // Still waiting for images/scripts?
860     if (m_frame.document()->cachedResourceLoader().requestCount())
861         return;
862
863     // Still waiting for elements that don't go through a FrameLoader?
864     if (m_frame.document()->isDelayingLoadEvent())
865         return;
866
867     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
868     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
869         return;
870
871     // Any frame that hasn't completed yet?
872     if (!allChildrenAreComplete())
873         return;
874
875     // Important not to protect earlier in this function, because earlier parts
876     // of this function can be called in the frame's destructor, and it's not legal
877     // to ref an object while it's being destroyed.
878     Ref<Frame> protect(m_frame);
879
880     // OK, completed.
881     m_isComplete = true;
882     m_requestedHistoryItem = nullptr;
883     m_frame.document()->setReadyState(Document::Complete);
884
885 #if PLATFORM(IOS_FAMILY)
886     if (m_frame.document()->url().isEmpty()) {
887         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
888         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
889         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
890         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
891         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
892         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
893         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
894     }
895 #endif
896
897     checkCallImplicitClose(); // if we didn't do it before
898
899     m_frame.navigationScheduler().startTimer();
900
901     completed();
902     if (m_frame.page())
903         checkLoadComplete();
904 }
905
906 void FrameLoader::checkTimerFired()
907 {
908     checkCompletenessNow();
909 }
910
911 void FrameLoader::checkCompletenessNow()
912 {
913     Ref<Frame> protect(m_frame);
914
915     if (Page* page = m_frame.page()) {
916         if (page->defersLoading())
917             return;
918     }
919     if (m_shouldCallCheckCompleted)
920         checkCompleted();
921     if (m_shouldCallCheckLoadComplete)
922         checkLoadComplete();
923 }
924
925 void FrameLoader::startCheckCompleteTimer()
926 {
927     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
928         return;
929     if (m_checkTimer.isActive())
930         return;
931     m_checkTimer.startOneShot(0_s);
932 }
933
934 void FrameLoader::scheduleCheckCompleted()
935 {
936     m_shouldCallCheckCompleted = true;
937     startCheckCompleteTimer();
938 }
939
940 void FrameLoader::scheduleCheckLoadComplete()
941 {
942     m_shouldCallCheckLoadComplete = true;
943     startCheckCompleteTimer();
944 }
945
946 void FrameLoader::checkCallImplicitClose()
947 {
948     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
949         return;
950
951     if (!allChildrenAreComplete())
952         return; // still got a frame running -> too early
953
954     m_didCallImplicitClose = true;
955     m_wasUnloadEventEmitted = false;
956     m_frame.document()->implicitClose();
957 }
958
959 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
960 {
961     RELEASE_LOG_IF_ALLOWED("loadURLIntoChildFrame: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
962
963     ASSERT(childFrame);
964
965 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
966     if (auto activeLoader = activeDocumentLoader()) {
967         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
968             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
969             return;
970         }
971     }
972 #endif
973
974     // If we're moving in the back/forward list, we might want to replace the content
975     // of this child frame with whatever was there at that point.
976     auto* parentItem = history().currentItem();
977     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
978         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
979             childFrame->loader().m_requestedHistoryItem = childItem;
980             childFrame->loader().loadDifferentDocumentItem(*childItem, nullptr, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
981             return;
982         }
983     }
984
985     auto* lexicalFrame = lexicalFrameFromCommonVM();
986     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
987
988     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
989     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, WTF::nullopt, [] { });
990 }
991
992 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
993
994 void FrameLoader::loadArchive(Ref<Archive>&& archive)
995 {
996     RELEASE_LOG_IF_ALLOWED("loadArchive: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
997
998     ArchiveResource* mainResource = archive->mainResource();
999     ASSERT(mainResource);
1000     if (!mainResource)
1001         return;
1002
1003     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1004     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1005     
1006     ResourceRequest request(mainResource->url());
1007
1008     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1009     documentLoader->setArchive(WTFMove(archive));
1010     load(documentLoader.get());
1011 }
1012
1013 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1014
1015 String FrameLoader::outgoingReferrer() const
1016 {
1017     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1018     // for why we walk the parent chain for srcdoc documents.
1019     Frame* frame = &m_frame;
1020     while (frame && frame->document()->isSrcdocDocument()) {
1021         frame = frame->tree().parent();
1022         // Srcdoc documents cannot be top-level documents, by definition,
1023         // because they need to be contained in iframes with the srcdoc.
1024         ASSERT(frame);
1025     }
1026     if (!frame)
1027         return emptyString();
1028     return frame->loader().m_outgoingReferrer;
1029 }
1030
1031 String FrameLoader::outgoingOrigin() const
1032 {
1033     return m_frame.document()->securityOrigin().toString();
1034 }
1035
1036 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1037 {
1038     if (m_submittedFormURL.isEmpty())
1039         return true;
1040
1041     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1042     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1043 }
1044
1045 Frame* FrameLoader::opener()
1046 {
1047     return m_opener;
1048 }
1049
1050 void FrameLoader::setOpener(Frame* opener)
1051 {
1052     if (m_opener && !opener)
1053         m_client.didDisownOpener();
1054
1055     if (m_opener) {
1056         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1057         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1058         openerFrameLoader.m_openedFrames.remove(&m_frame);
1059     }
1060     if (opener) {
1061         opener->loader().m_openedFrames.add(&m_frame);
1062         if (auto* page = m_frame.page())
1063             page->setOpenedByDOMWithOpener();
1064     }
1065     m_opener = opener;
1066
1067     if (m_frame.document())
1068         m_frame.document()->initSecurityContext();
1069 }
1070
1071 // FIXME: This does not belong in FrameLoader!
1072 void FrameLoader::handleFallbackContent()
1073 {
1074     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1075     if (!is<HTMLObjectElement>(owner))
1076         return;
1077     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1078 }
1079
1080 void FrameLoader::provisionalLoadStarted()
1081 {
1082     if (m_stateMachine.firstLayoutDone())
1083         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1084     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1085     m_client.provisionalLoadStarted();
1086
1087     if (m_frame.isMainFrame()) {
1088         tracePoint(MainResourceLoadDidStartProvisional);
1089
1090         if (auto* page = m_frame.page())
1091             page->didStartProvisionalLoad();
1092     }
1093 }
1094
1095 void FrameLoader::resetMultipleFormSubmissionProtection()
1096 {
1097     m_submittedFormURL = URL();
1098 }
1099
1100 void FrameLoader::updateFirstPartyForCookies()
1101 {
1102     if (m_frame.tree().parent())
1103         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1104     else
1105         setFirstPartyForCookies(m_frame.document()->url());
1106 }
1107
1108 void FrameLoader::setFirstPartyForCookies(const URL& url)
1109 {
1110     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1111         frame->document()->setFirstPartyForCookies(url);
1112
1113     RegistrableDomain registrableDomain(url);
1114     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1115         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomain.matches(frame->document()->url()))
1116             frame->document()->setSiteForCookies(url);
1117     }
1118 }
1119
1120 // This does the same kind of work that didOpenURL does, except it relies on the fact
1121 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1122 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1123 {
1124     RELEASE_LOG_IF_ALLOWED("loadInSameDocument: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1125
1126     // If we have a state object, we cannot also be a new navigation.
1127     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1128
1129     // Update the data source's request with the new URL to fake the URL change
1130     URL oldURL = m_frame.document()->url();
1131     m_frame.document()->setURL(url);
1132     setOutgoingReferrer(url);
1133     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1134     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1135         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1136         // based on the current request. Must also happen before we openURL and displace the 
1137         // scroll position, since adding the BF item will save away scroll state.
1138         
1139         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1140         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1141         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1142         // though its load is not yet done.  I think this all works out OK, for one because
1143         // we have already saved away the scroll and doc state for the long slow load,
1144         // but it's not an obvious case.
1145
1146         history().updateBackForwardListForFragmentScroll();
1147     }
1148     
1149     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1150     
1151     history().updateForSameDocumentNavigation();
1152
1153     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1154     if (hashChange)
1155         m_frame.eventHandler().stopAutoscrollTimer();
1156     
1157     // It's important to model this as a load that starts and immediately finishes.
1158     // Otherwise, the parent frame may think we never finished loading.
1159     started();
1160
1161     if (auto* ownerElement = m_frame.ownerElement()) {
1162         auto* ownerRenderer = ownerElement->renderer();
1163         auto* view = m_frame.view();
1164         if (is<RenderWidget>(ownerRenderer) && view)
1165             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1166     }
1167
1168     // We need to scroll to the fragment whether or not a hash change occurred, since
1169     // the user might have scrolled since the previous navigation.
1170     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1171     
1172     m_isComplete = false;
1173     checkCompleted();
1174
1175     if (isNewNavigation) {
1176         // This will clear previousItem from the rest of the frame tree that didn't
1177         // doing any loading. We need to make a pass on this now, since for fragment
1178         // navigation we'll not go through a real load and reach Completed state.
1179         checkLoadComplete();
1180     }
1181
1182     m_client.dispatchDidNavigateWithinPage();
1183
1184     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1185     m_client.dispatchDidPopStateWithinPage();
1186     
1187     if (hashChange) {
1188         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1189         m_client.dispatchDidChangeLocationWithinPage();
1190     }
1191     
1192     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1193     m_client.didFinishLoad();
1194 }
1195
1196 bool FrameLoader::isComplete() const
1197 {
1198     return m_isComplete;
1199 }
1200
1201 void FrameLoader::completed()
1202 {
1203     Ref<Frame> protect(m_frame);
1204
1205     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1206         descendant->navigationScheduler().startTimer();
1207
1208     if (Frame* parent = m_frame.tree().parent())
1209         parent->loader().checkCompleted();
1210
1211     if (m_frame.view())
1212         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1213 }
1214
1215 void FrameLoader::started()
1216 {
1217     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1218         frame->loader().m_isComplete = false;
1219 }
1220
1221 void FrameLoader::prepareForLoadStart()
1222 {
1223     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1224
1225     m_progressTracker->progressStarted();
1226     m_client.dispatchDidStartProvisionalLoad();
1227
1228     if (AXObjectCache::accessibilityEnabled()) {
1229         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1230             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1231             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1232         }
1233     }
1234 }
1235
1236 void FrameLoader::setupForReplace()
1237 {
1238     m_client.revertToProvisionalState(m_documentLoader.get());
1239     setState(FrameStateProvisional);
1240     m_provisionalDocumentLoader = m_documentLoader;
1241     m_documentLoader = nullptr;
1242     detachChildren();
1243 }
1244
1245 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution)
1246 {
1247     RELEASE_LOG_IF_ALLOWED("loadFrameRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1248
1249     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1250     auto protectFrame = makeRef(m_frame);
1251
1252     URL url = request.resourceRequest().url();
1253
1254     ASSERT(m_frame.document());
1255     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1256         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1257         return;
1258     }
1259
1260     String argsReferrer = request.resourceRequest().httpReferrer();
1261     if (argsReferrer.isEmpty())
1262         argsReferrer = outgoingReferrer();
1263
1264     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1265     if (request.shouldSendReferrer() == NeverSendReferrer)
1266         referrer = String();
1267
1268     FrameLoadType loadType;
1269     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1270         loadType = FrameLoadType::Reload;
1271     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1272         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1273     else
1274         loadType = FrameLoadType::Standard;
1275
1276     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1277         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1278         // load if frame names have changed.
1279         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1280         if (!sourceFrame)
1281             sourceFrame = &m_frame;
1282         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1283         if (targetFrame && targetFrame != sourceFrame) {
1284             if (Page* page = targetFrame->page())
1285                 page->chrome().focus();
1286         }
1287     };
1288
1289     if (request.resourceRequest().httpMethod() == "POST")
1290         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1291     else
1292         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(adClickAttribution), WTFMove(completionHandler));
1293 }
1294
1295 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1296 {
1297     if (UserGestureIndicator::processingUserGesture())
1298         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1299
1300     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1301         return propagatedPolicy;
1302
1303     if (!currentFrame.isMainFrame())
1304         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1305
1306     return propagatedPolicy;
1307 }
1308
1309 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1310 {
1311     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1312 }
1313
1314 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1315 {
1316     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1317 }
1318
1319 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1320 {
1321     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1322 }
1323
1324 bool FrameLoader::isNavigationAllowed() const
1325 {
1326     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && !m_frame.script().willReplaceWithResultOfExecutingJavascriptURL() && NavigationDisabler::isNavigationAllowed(m_frame);
1327 }
1328
1329 bool FrameLoader::isStopLoadingAllowed() const
1330 {
1331     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1332 }
1333
1334 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution, CompletionHandler<void()>&& completionHandler)
1335 {
1336     RELEASE_LOG_IF_ALLOWED("loadURL: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1337
1338     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1339     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1340         return;
1341
1342     Ref<Frame> protect(m_frame);
1343
1344     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1345     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1346     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1347     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1348     LockHistory lockHistory = frameLoadRequest.lockHistory();
1349     bool isFormSubmission = formState;
1350
1351     const URL& newURL = frameLoadRequest.resourceRequest().url();
1352     ResourceRequest request(newURL);
1353     if (!referrer.isEmpty()) {
1354         request.setHTTPReferrer(referrer);
1355         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1356         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1357     }
1358     if (&m_frame.tree().top() != &m_frame)
1359         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1360
1361     addExtraFieldsToRequest(request, newLoadType, true);
1362     if (isReload(newLoadType))
1363         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1364
1365     ASSERT(newLoadType != FrameLoadType::Same);
1366
1367     // The search for a target frame is done earlier in the case of form submission.
1368     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1369     if (targetFrame && targetFrame != &m_frame) {
1370         frameLoadRequest.setFrameName("_self");
1371         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), WTFMove(adClickAttribution), completionHandlerCaller.release());
1372         return;
1373     }
1374
1375     if (!isNavigationAllowed())
1376         return;
1377
1378     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1379     action.setLockHistory(lockHistory);
1380     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1381     if (adClickAttribution && m_frame.isMainFrame())
1382         action.setAdClickAttribution(WTFMove(*adClickAttribution));
1383
1384     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1385         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1386         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1387             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1388             completionHandler();
1389         });
1390         return;
1391     }
1392
1393     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1394
1395     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1396     const String& httpMethod = request.httpMethod();
1397     
1398     // Make sure to do scroll to fragment processing even if the URL is
1399     // exactly the same so pages with '#' links and DHTML side effects
1400     // work properly.
1401     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1402         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1403         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1404         policyChecker().stopCheck();
1405         policyChecker().setLoadType(newLoadType);
1406         RELEASE_ASSERT(!isBackForwardLoadType(newLoadType) || history().provisionalItem());
1407         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1408             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1409         }, PolicyDecisionMode::Synchronous);
1410         return;
1411     }
1412
1413     // Must grab this now, since this load may stop the previous load and clear this flag.
1414     bool isRedirect = m_quickRedirectComing;
1415 #if USE(SYSTEM_PREVIEW)
1416     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1417     if (isSystemPreview)
1418         request.setSystemPreviewInfo(frameLoadRequest.systemPreviewInfo());
1419 #endif
1420     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, frameLoadRequest.downloadAttribute(), [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1421         if (isRedirect) {
1422             m_quickRedirectComing = false;
1423             if (m_provisionalDocumentLoader)
1424                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1425             else if (m_policyDocumentLoader)
1426                 m_policyDocumentLoader->setIsClientRedirect(true);
1427         } else if (sameURL && !isReload(newLoadType)) {
1428             // Example of this case are sites that reload the same URL with a different cookie
1429             // driving the generated content, or a master frame with links that drive a target
1430             // frame, where the user has clicked on the same link repeatedly.
1431             m_loadType = FrameLoadType::Same;
1432         }
1433         completionHandler();
1434     });
1435 }
1436
1437 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1438 {
1439     if (!shouldTreatURLAsSrcdocDocument(url))
1440         return SubstituteData();
1441     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1442     ASSERT(!srcdoc.isNull());
1443     CString encodedSrcdoc = srcdoc.string().utf8();
1444
1445     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1446     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1447 }
1448
1449 void FrameLoader::load(FrameLoadRequest&& request)
1450 {
1451     RELEASE_LOG_IF_ALLOWED("load (FrameLoadRequest): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1452
1453     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1454         return;
1455
1456     if (!request.frameName().isEmpty()) {
1457         Frame* frame = findFrameForNavigation(request.frameName());
1458         if (frame) {
1459             request.setShouldCheckNewWindowPolicy(false);
1460             if (&frame->loader() != this) {
1461                 frame->loader().load(WTFMove(request));
1462                 return;
1463             }
1464         }
1465     }
1466
1467     if (request.shouldCheckNewWindowPolicy()) {
1468         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1469         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1470             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1471         });
1472
1473         return;
1474     }
1475
1476     if (!request.hasSubstituteData())
1477         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1478
1479     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1480     loader->setAllowsWebArchiveForMainFrame(request.isRequestFromClientOrUserInput());
1481     addSameSiteInfoToRequestIfNeeded(loader->request());
1482     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1483
1484     if (request.shouldTreatAsContinuingLoad()) {
1485         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1486         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1487             loader->setIsClientRedirect(true);
1488             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1489         }
1490     }
1491
1492     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, request.shouldTreatAsContinuingLoad() ? LoadContinuingState::ContinuingWithRequest : LoadContinuingState::NotContinuing);
1493     load(loader.get());
1494 }
1495
1496 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, const String& downloadAttribute, CompletionHandler<void()>&& completionHandler)
1497 {
1498     RELEASE_LOG_IF_ALLOWED("loadWithNavigationAction: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1499
1500     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1501     loader->setDownloadAttribute(downloadAttribute);
1502     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1503
1504     if (lockHistory == LockHistory::Yes && m_documentLoader)
1505         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1506
1507     loader->setTriggeringAction(WTFMove(action));
1508     if (m_documentLoader)
1509         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1510
1511     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1512 }
1513
1514 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1515 {
1516     RELEASE_LOG_IF_ALLOWED("load (DocumentLoader): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1517
1518     ResourceRequest& r = newDocumentLoader.request();
1519     addExtraFieldsToMainResourceRequest(r);
1520     FrameLoadType type;
1521
1522     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1523         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1524         type = FrameLoadType::Same;
1525     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1526         type = m_loadType;
1527     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || shouldTreatCurrentLoadAsContinuingLoad()))
1528         type = FrameLoadType::RedirectWithLockedBackForwardList;
1529     else
1530         type = FrameLoadType::Standard;
1531
1532     if (m_documentLoader)
1533         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1534     
1535     // When we loading alternate content for an unreachable URL that we're
1536     // visiting in the history list, we treat it as a reload so the history list 
1537     // is appropriately maintained.
1538     //
1539     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1540     // shouldn't a more explicit type of reload be defined, that means roughly 
1541     // "load without affecting history" ? 
1542     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1543         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1544         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1545         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1546         history().saveDocumentAndScrollState();
1547
1548         ASSERT(type == FrameLoadType::Standard);
1549         type = FrameLoadType::Reload;
1550     }
1551
1552     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1553 }
1554
1555 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1556 {
1557     RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1558
1559     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1560     Ref<Frame> protect(m_frame);
1561
1562     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1563
1564     ASSERT(m_client.hasWebView());
1565
1566     // Unfortunately the view must be non-nil, this is ultimately due
1567     // to parser requiring a FrameView.  We should fix this dependency.
1568
1569     ASSERT(m_frame.view());
1570
1571     if (!isNavigationAllowed())
1572         return;
1573
1574     if (m_frame.document())
1575         m_previousURL = m_frame.document()->url();
1576
1577     const URL& newURL = loader->request().url();
1578
1579     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1580     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1581     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1582         m_shouldReportResourceTimingToParentFrame = false;
1583
1584     // Log main frame navigation types.
1585     if (m_frame.isMainFrame()) {
1586         if (auto* page = m_frame.page()) {
1587             RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: main frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1588             page->mainFrameLoadStarted(newURL, type);
1589             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1590         }
1591     }
1592
1593     policyChecker().setLoadType(type);
1594     RELEASE_ASSERT(!isBackForwardLoadType(type) || history().provisionalItem());
1595     bool isFormSubmission = formState;
1596
1597     const String& httpMethod = loader->request().httpMethod();
1598
1599     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1600         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1601         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1602
1603         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1604         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1605         policyChecker().stopCheck();
1606         RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1607         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1608             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1609         }, PolicyDecisionMode::Synchronous);
1610         return;
1611     }
1612
1613     if (Frame* parent = m_frame.tree().parent())
1614         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1615
1616     policyChecker().stopCheck();
1617     setPolicyDocumentLoader(loader);
1618     if (loader->triggeringAction().isEmpty())
1619         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1620
1621     if (Element* ownerElement = m_frame.ownerElement()) {
1622         // We skip dispatching the beforeload event if we've already
1623         // committed a real document load because the event would leak
1624         // subsequent activity by the frame which the parent frame isn't
1625         // supposed to learn. For example, if the child frame navigated to
1626         // a new URL, the parent frame shouldn't learn the URL.
1627         if (!m_stateMachine.committedFirstRealDocumentLoad()
1628             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1629             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::IgnoreLoad, allowNavigationToInvalidURL);
1630             return;
1631         }
1632     }
1633
1634     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1635
1636     if (shouldTreatCurrentLoadAsContinuingLoad()) {
1637         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::ContinueLoad, allowNavigationToInvalidURL);
1638         return;
1639     }
1640
1641     RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1642     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, NavigationPolicyDecision navigationPolicyDecision) mutable {
1643         continueLoadAfterNavigationPolicy(request, formState.get(), navigationPolicyDecision, allowNavigationToInvalidURL);
1644         completionHandler();
1645     }, PolicyDecisionMode::Asynchronous);
1646 }
1647
1648 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1649 {
1650     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1651         return;
1652
1653     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1654     m_provisionalDocumentLoader->stopLoading();
1655     setProvisionalDocumentLoader(nullptr);
1656 }
1657
1658 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1659 {
1660     ASSERT(!url.isEmpty());
1661     if (!frame)
1662         return;
1663
1664     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1665 }
1666
1667 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1668 {
1669     ASSERT(!url.isEmpty());
1670     if (!frame)
1671         return;
1672     
1673     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1674 }
1675
1676 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1677 {
1678     if (!frame)
1679         return;
1680
1681     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1682 }
1683
1684 const ResourceRequest& FrameLoader::initialRequest() const
1685 {
1686     return activeDocumentLoader()->originalRequest();
1687 }
1688
1689 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1690 {
1691 #if PLATFORM(IOS_FAMILY)
1692     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1693     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1694     if (IOSApplication::isMobileStore())
1695         return m_client.shouldLoadMediaElementURL(url);
1696 #endif
1697
1698     ResourceRequest request(url);
1699     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1700
1701     unsigned long identifier;
1702     ResourceError error;
1703     requestFromDelegate(request, identifier, error);
1704     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1705
1706     url = request.url();
1707
1708     return error.isNull();
1709 }
1710
1711 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1712 {
1713     URL unreachableURL = docLoader.unreachableURL();
1714
1715     if (unreachableURL.isEmpty())
1716         return false;
1717
1718     if (!isBackForwardLoadType(policyChecker().loadType()))
1719         return false;
1720
1721     // We only treat unreachableURLs specially during the delegate callbacks
1722     // for provisional load errors and navigation policy decisions. The former
1723     // case handles well-formed URLs that can't be loaded, and the latter
1724     // case handles malformed URLs and unknown schemes. Loading alternate content
1725     // at other times behaves like a standard load.
1726     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1727         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1728
1729     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1730 }
1731
1732 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1733 {
1734     if (!m_documentLoader)
1735         return;
1736
1737     RELEASE_LOG_IF_ALLOWED("reloadWithOverrideEncoding: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1738
1739     ResourceRequest request = m_documentLoader->request();
1740     URL unreachableURL = m_documentLoader->unreachableURL();
1741     if (!unreachableURL.isEmpty())
1742         request.setURL(unreachableURL);
1743
1744     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1745     // We should ask the user for confirmation in this case.
1746     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1747
1748     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1749     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1750
1751     setPolicyDocumentLoader(loader.ptr());
1752
1753     loader->setOverrideEncoding(encoding);
1754
1755     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1756 }
1757
1758 void FrameLoader::reload(OptionSet<ReloadOption> options)
1759 {
1760     if (!m_documentLoader)
1761         return;
1762
1763     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1764     // Reloading in this case will lose the current contents (see 4151001).
1765     if (m_documentLoader->request().url().isEmpty())
1766         return;
1767
1768     RELEASE_LOG_IF_ALLOWED("reload: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1769
1770     // Replace error-page URL with the URL we were trying to reach.
1771     ResourceRequest initialRequest = m_documentLoader->request();
1772     URL unreachableURL = m_documentLoader->unreachableURL();
1773     if (!unreachableURL.isEmpty())
1774         initialRequest.setURL(unreachableURL);
1775
1776     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1777     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1778     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1779     loader->setAllowsWebArchiveForMainFrame(m_documentLoader->allowsWebArchiveForMainFrame());
1780     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1781
1782     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1783     
1784     ResourceRequest& request = loader->request();
1785
1786     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1787     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1788
1789     addSameSiteInfoToRequestIfNeeded(request);
1790
1791     // If we're about to re-post, set up action so the application can warn the user.
1792     if (request.httpMethod() == "POST")
1793         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1794
1795     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1796
1797     auto frameLoadTypeForReloadOptions = [] (auto options) {
1798         if (options & ReloadOption::FromOrigin)
1799             return FrameLoadType::ReloadFromOrigin;
1800         if (options & ReloadOption::ExpiredOnly)
1801             return FrameLoadType::ReloadExpiredOnly;
1802         return FrameLoadType::Reload;
1803     };
1804     
1805     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1806 }
1807
1808 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy, StopLoadingPolicy stopLoadingPolicy)
1809 {
1810     if (m_frame.document() && m_frame.document()->pageCacheState() == Document::InPageCache)
1811         return;
1812
1813     if (stopLoadingPolicy == StopLoadingPolicy::PreventDuringUnloadEvents && !isStopLoadingAllowed())
1814         return;
1815
1816     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1817     if (m_inStopAllLoaders)
1818         return;
1819
1820     // This method might dispatch events.
1821     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1822
1823     // Calling stopLoading() on the provisional document loader can blow away
1824     // the frame from underneath.
1825     Ref<Frame> protect(m_frame);
1826
1827     m_inStopAllLoaders = true;
1828
1829     policyChecker().stopCheck();
1830
1831     // If no new load is in progress, we should clear the provisional item from history
1832     // before we call stopLoading.
1833     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1834         history().setProvisionalItem(nullptr);
1835
1836     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1837         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1838     if (m_provisionalDocumentLoader)
1839         m_provisionalDocumentLoader->stopLoading();
1840     if (m_documentLoader)
1841         m_documentLoader->stopLoading();
1842
1843     setProvisionalDocumentLoader(nullptr);
1844
1845     m_inStopAllLoaders = false;    
1846 }
1847
1848 void FrameLoader::stopForPageCache()
1849 {
1850     // Make sure there are no scheduled loads or policy checks.
1851     policyChecker().stopCheck();
1852     m_frame.navigationScheduler().cancel();
1853
1854     // Stop provisional loads in subframes (The one in the main frame is about to be committed).
1855     if (!m_frame.isMainFrame()) {
1856         if (m_provisionalDocumentLoader)
1857             m_provisionalDocumentLoader->stopLoading();
1858         setProvisionalDocumentLoader(nullptr);
1859     }
1860
1861     // Stop current loads.
1862     if (m_documentLoader)
1863         m_documentLoader->stopLoading();
1864
1865     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1866         child->loader().stopForPageCache();
1867 }
1868
1869 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1870 {
1871     stopAllLoaders();
1872
1873     if (!m_checkTimer.isActive())
1874         return;
1875
1876     m_checkTimer.stop();
1877     m_checkingLoadCompleteForDetachment = true;
1878     checkCompletenessNow();
1879     m_checkingLoadCompleteForDetachment = false;
1880 }
1881
1882 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1883 {
1884     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1885     Ref<Frame> protectedFrame(m_frame);
1886
1887     stopAllLoaders();
1888
1889 #if PLATFORM(IOS_FAMILY)
1890     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1891     // but haven't laid out/painted yet.
1892     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1893     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1894         m_frame.view()->layoutContext().layout();
1895 #endif
1896
1897     if (deferCheckLoadComplete)
1898         scheduleCheckLoadComplete();
1899     else if (m_frame.page())
1900         checkLoadComplete();
1901 }
1902
1903 DocumentLoader* FrameLoader::activeDocumentLoader() const
1904 {
1905     if (m_state == FrameStateProvisional)
1906         return m_provisionalDocumentLoader.get();
1907     return m_documentLoader.get();
1908 }
1909
1910 bool FrameLoader::isLoading() const
1911 {
1912     DocumentLoader* docLoader = activeDocumentLoader();
1913     if (!docLoader)
1914         return false;
1915     return docLoader->isLoading();
1916 }
1917
1918 bool FrameLoader::frameHasLoaded() const
1919 {
1920     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1921 }
1922
1923 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1924 {
1925     if (!loader && !m_documentLoader)
1926         return;
1927
1928     if (loader == m_documentLoader)
1929         return;
1930     
1931     ASSERT(loader != m_documentLoader);
1932     ASSERT(!loader || loader->frameLoader() == this);
1933
1934     m_client.prepareForDataSourceReplacement();
1935     detachChildren();
1936
1937     // detachChildren() can trigger this frame's unload event, and therefore
1938     // script can run and do just about anything. For example, an unload event that calls
1939     // document.write("") on its parent frame can lead to a recursive detachChildren()
1940     // invocation for this frame. In that case, we can end up at this point with a
1941     // loader that hasn't been deleted but has been detached from its frame. Such a
1942     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1943     // state if we try to use it.
1944     if (loader && !loader->frame())
1945         return;
1946
1947     if (m_documentLoader)
1948         m_documentLoader->detachFromFrame();
1949
1950     m_documentLoader = loader;
1951 }
1952
1953 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1954 {
1955     if (m_policyDocumentLoader == loader)
1956         return;
1957
1958     if (loader)
1959         loader->attachToFrame(m_frame);
1960     if (m_policyDocumentLoader
1961             && m_policyDocumentLoader != m_provisionalDocumentLoader
1962             && m_policyDocumentLoader != m_documentLoader)
1963         m_policyDocumentLoader->detachFromFrame();
1964
1965     m_policyDocumentLoader = loader;
1966 }
1967
1968 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1969 {
1970     ASSERT(!loader || !m_provisionalDocumentLoader);
1971     ASSERT(!loader || loader->frameLoader() == this);
1972
1973     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1974         m_provisionalDocumentLoader->detachFromFrame();
1975
1976     m_provisionalDocumentLoader = loader;
1977 }
1978
1979 void FrameLoader::setState(FrameState newState)
1980 {
1981     FrameState oldState = m_state;
1982     m_state = newState;
1983     
1984     if (newState == FrameStateProvisional)
1985         provisionalLoadStarted();
1986     else if (newState == FrameStateComplete) {
1987         frameLoadCompleted();
1988         if (m_documentLoader)
1989             m_documentLoader->stopRecordingResponses();
1990         if (m_frame.isMainFrame() && oldState != newState) {
1991             RELEASE_LOG_IF_ALLOWED("setState: main frame load completed (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1992             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1993         }
1994     }
1995 }
1996
1997 void FrameLoader::clearProvisionalLoad()
1998 {
1999     setProvisionalDocumentLoader(nullptr);
2000     m_progressTracker->progressCompleted();
2001     setState(FrameStateComplete);
2002 }
2003
2004 void FrameLoader::commitProvisionalLoad()
2005 {
2006     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2007     Ref<Frame> protect(m_frame);
2008
2009     std::unique_ptr<CachedPage> cachedPage;
2010     if (m_loadingFromCachedPage && history().provisionalItem())
2011         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
2012
2013     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
2014         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
2015         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
2016
2017     willTransitionToCommitted();
2018
2019     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
2020         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
2021         // We are doing this here because we know for sure that a new page is about to be loaded.
2022         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
2023         
2024         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
2025     }
2026
2027     if (m_loadType != FrameLoadType::Replace)
2028         closeOldDataSources();
2029
2030     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2031         m_client.makeRepresentation(pdl.get());
2032
2033     transitionToCommitted(cachedPage.get());
2034
2035     if (pdl && m_documentLoader) {
2036         // Check if the destination page is allowed to access the previous page's timing information.
2037         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2038         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2039     }
2040
2041     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2042     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2043     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2044     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2045     if (m_sentRedirectNotification)
2046         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2047     
2048     if (cachedPage && cachedPage->document()) {
2049 #if PLATFORM(IOS_FAMILY)
2050         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2051         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2052         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2053 #endif
2054         willRestoreFromCachedPage();
2055
2056         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2057         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2058         ResourceError mainResouceError;
2059         unsigned long mainResourceIdentifier;
2060         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2061         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2062         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2063
2064         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2065
2066         dispatchDidCommitLoad(hasInsecureContent);
2067
2068         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2069         cachedPage->restore(*m_frame.page());
2070
2071 #if PLATFORM(IOS_FAMILY)
2072         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2073         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2074 #endif
2075         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2076
2077         auto& title = m_documentLoader->title();
2078         if (!title.string.isNull())
2079             m_client.dispatchDidReceiveTitle(title);
2080
2081         // Send remaining notifications for the main resource.
2082         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2083             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2084
2085         checkCompleted();
2086     } else
2087         didOpenURL();
2088
2089     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2090         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2091
2092     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2093         history().updateForClientRedirect();
2094
2095     if (m_loadingFromCachedPage) {
2096         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2097         if (auto* page = m_frame.page())
2098             page->chrome().didReceiveDocType(m_frame);
2099         m_frame.document()->resume(ReasonForSuspension::PageCache);
2100
2101         // Force a layout to update view size and thereby update scrollbars.
2102 #if PLATFORM(IOS_FAMILY)
2103         if (!m_client.forceLayoutOnRestoreFromPageCache())
2104             m_frame.view()->forceLayout();
2105 #else
2106         m_frame.view()->forceLayout();
2107 #endif
2108
2109         // Main resource delegates were already sent, so we skip the first response here.
2110         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2111             const auto& response = m_documentLoader->responses()[i];
2112             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2113             ResourceError error;
2114             unsigned long identifier;
2115             ResourceRequest request(response.url());
2116             requestFromDelegate(request, identifier, error);
2117             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2118             // However, with today's computers and networking speeds, this won't happen in practice.
2119             // Could be an issue with a giant local file.
2120             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2121         }
2122
2123         // FIXME: Why only this frame and not parent frames?
2124         checkLoadCompleteForThisFrame();
2125     }
2126 }
2127
2128 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2129 {
2130     ASSERT(m_client.hasWebView());
2131     ASSERT(m_state == FrameStateProvisional);
2132
2133     if (m_state != FrameStateProvisional)
2134         return;
2135
2136     if (FrameView* view = m_frame.view()) {
2137         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2138             scrollAnimator->cancelAnimations();
2139     }
2140
2141     m_client.setCopiesOnScroll();
2142     history().updateForCommit();
2143
2144     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2145     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2146     // or the two will stomp each other.
2147     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2148     if (m_documentLoader)
2149         closeURL();
2150     if (pdl != m_provisionalDocumentLoader)
2151         return;
2152
2153     if (m_documentLoader)
2154         m_documentLoader->stopLoadingSubresources();
2155     if (m_documentLoader)
2156         m_documentLoader->stopLoadingPlugIns();
2157
2158     // Setting our document loader invokes the unload event handler of our child frames.
2159     // Script can do anything. If the script initiates a new load, we need to abandon the
2160     // current load or the two will stomp each other.
2161     setDocumentLoader(m_provisionalDocumentLoader.get());
2162     if (pdl != m_provisionalDocumentLoader)
2163         return;
2164     setProvisionalDocumentLoader(nullptr);
2165
2166     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2167     setState(FrameStateCommittedPage);
2168
2169     // Handle adding the URL to the back/forward list.
2170     DocumentLoader* dl = m_documentLoader.get();
2171
2172     switch (m_loadType) {
2173     case FrameLoadType::Forward:
2174     case FrameLoadType::Back:
2175     case FrameLoadType::IndexedBackForward:
2176         if (m_frame.page()) {
2177             // If the first load within a frame is a navigation within a back/forward list that was attached
2178             // without any of the items being loaded then we need to update the history in a similar manner as
2179             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2180             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2181                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2182
2183             history().updateForBackForwardNavigation();
2184
2185             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2186             if (history().currentItem() && !cachedPage)
2187                 m_pendingStateObject = history().currentItem()->stateObject();
2188
2189             // Create a document view for this document, or used the cached view.
2190             if (cachedPage) {
2191                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2192                 ASSERT(cachedDocumentLoader);
2193                 cachedDocumentLoader->attachToFrame(m_frame);
2194                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2195             } else
2196                 m_client.transitionToCommittedForNewPage();
2197         }
2198         break;
2199
2200     case FrameLoadType::Reload:
2201     case FrameLoadType::ReloadFromOrigin:
2202     case FrameLoadType::ReloadExpiredOnly:
2203     case FrameLoadType::Same:
2204     case FrameLoadType::Replace:
2205         history().updateForReload();
2206         m_client.transitionToCommittedForNewPage();
2207         break;
2208
2209     case FrameLoadType::Standard:
2210         history().updateForStandardLoad();
2211         if (m_frame.view())
2212             m_frame.view()->setScrollbarsSuppressed(true);
2213         m_client.transitionToCommittedForNewPage();
2214         break;
2215
2216     case FrameLoadType::RedirectWithLockedBackForwardList:
2217         history().updateForRedirectWithLockedBackForwardList();
2218         m_client.transitionToCommittedForNewPage();
2219         break;
2220     }
2221
2222     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2223
2224     // Tell the client we've committed this URL.
2225     ASSERT(m_frame.view());
2226
2227     if (m_stateMachine.creatingInitialEmptyDocument())
2228         return;
2229
2230     if (!m_stateMachine.committedFirstRealDocumentLoad())
2231         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2232 }
2233
2234 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2235 {
2236     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2237     // the redirect succeeded.  We should either rename this API, or add a new method, like
2238     // -webView:didFinishClientRedirectForFrame:
2239     m_client.dispatchDidCancelClientRedirect();
2240
2241     if (newLoadInProgress == NewLoadInProgress::No)
2242         m_quickRedirectComing = false;
2243
2244     m_sentRedirectNotification = false;
2245 }
2246
2247 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2248 {
2249     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2250     
2251     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2252     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2253     m_sentRedirectNotification = true;
2254     
2255     // If a "quick" redirect comes in, we set a special mode so we treat the next
2256     // load as part of the original navigation. If we don't have a document loader, we have
2257     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2258     // Loads triggered by JavaScript form submissions never count as quick redirects.
2259     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2260 }
2261
2262 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2263 {
2264     // This function implements the rule: "Don't reload if navigating by fragment within
2265     // the same URL, but do reload if going to a new URL or to the same URL with no
2266     // fragment identifier at all."
2267     if (!destinationURL.hasFragmentIdentifier())
2268         return true;
2269     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2270 }
2271
2272 void FrameLoader::closeOldDataSources()
2273 {
2274     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2275     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2276     // use a recursive algorithm here.
2277     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2278         child->loader().closeOldDataSources();
2279     
2280     if (m_documentLoader)
2281         m_client.dispatchWillClose();
2282
2283     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2284 }
2285
2286 void FrameLoader::willRestoreFromCachedPage()
2287 {
2288     ASSERT(!m_frame.tree().parent());
2289     ASSERT(m_frame.page());
2290     ASSERT(m_frame.isMainFrame());
2291
2292     m_frame.navigationScheduler().cancel();
2293
2294     // We still have to close the previous part page.
2295     closeURL();
2296     
2297     // Delete old status bar messages (if it _was_ activated on last URL).
2298     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2299         DOMWindow* window = m_frame.document()->domWindow();
2300         window->setStatus(String());
2301         window->setDefaultStatus(String());
2302     }
2303 }
2304
2305 void FrameLoader::open(CachedFrameBase& cachedFrame)
2306 {
2307     m_isComplete = false;
2308     
2309     // Don't re-emit the load event.
2310     m_didCallImplicitClose = true;
2311
2312     URL url = cachedFrame.url();
2313
2314     // FIXME: I suspect this block of code doesn't do anything.
2315     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2316         url.setPath("/");
2317
2318     started();
2319     auto document = makeRef(*cachedFrame.document());
2320     ASSERT(document->domWindow());
2321
2322     clear(document.ptr(), true, true, cachedFrame.isMainFrame());
2323
2324     document->attachToCachedFrame(cachedFrame);
2325     document->setPageCacheState(Document::NotInPageCache);
2326
2327     m_needsClear = true;
2328     m_isComplete = false;
2329     m_didCallImplicitClose = false;
2330     setOutgoingReferrer(url);
2331
2332     FrameView* view = cachedFrame.view();
2333     
2334     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2335     ASSERT(view);
2336     view->setWasScrolledByUser(false);
2337
2338     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2339     m_frame.setView(view);
2340
2341     // Use the previous ScrollView's frame rect.
2342     if (previousViewFrameRect)
2343         view->setFrameRect(previousViewFrameRect.value());
2344
2345
2346     // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2347     // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2348     // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2349     Style::PostResolutionCallbackDisabler disabler(document.get());
2350     WidgetHierarchyUpdatesSuspensionScope suspendWidgetHierarchyUpdates;
2351     NavigationDisabler disableNavigation { &m_frame };
2352     
2353     m_frame.setDocument(document.copyRef());
2354
2355     document->domWindow()->resumeFromPageCache();
2356
2357     updateFirstPartyForCookies();
2358
2359     cachedFrame.restore();
2360 }
2361
2362 bool FrameLoader::isHostedByObjectElement() const
2363 {
2364     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2365     return owner && owner->hasTagName(objectTag);
2366 }
2367
2368 bool FrameLoader::isReplacing() const
2369 {
2370     return m_loadType == FrameLoadType::Replace;
2371 }
2372
2373 void FrameLoader::setReplacing()
2374 {
2375     m_loadType = FrameLoadType::Replace;
2376 }
2377
2378 bool FrameLoader::subframeIsLoading() const
2379 {
2380     // It's most likely that the last added frame is the last to load so we walk backwards.
2381     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2382         FrameLoader& childLoader = child->loader();
2383         DocumentLoader* documentLoader = childLoader.documentLoader();
2384         if (documentLoader && documentLoader->isLoadingInAPISense())
2385             return true;
2386         documentLoader = childLoader.provisionalDocumentLoader();
2387         if (documentLoader && documentLoader->isLoadingInAPISense())
2388             return true;
2389         documentLoader = childLoader.policyDocumentLoader();
2390         if (documentLoader)
2391             return true;
2392     }
2393     return false;
2394 }
2395
2396 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2397 {
2398     m_client.willChangeTitle(loader);
2399 }
2400
2401 FrameLoadType FrameLoader::loadType() const
2402 {
2403     return m_loadType;
2404 }
2405     
2406 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2407 {
2408     if (Page* page = m_frame.page()) {
2409         if (page->isResourceCachingDisabled())
2410             return CachePolicyReload;
2411     }
2412
2413     if (m_isComplete)
2414         return CachePolicyVerify;
2415
2416     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2417         return CachePolicyReload;
2418
2419     if (Frame* parentFrame = m_frame.tree().parent()) {
2420         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2421         if (parentCachePolicy != CachePolicyVerify)
2422             return parentCachePolicy;
2423     }
2424     
2425     switch (m_loadType) {
2426     case FrameLoadType::Reload:
2427         return CachePolicyRevalidate;
2428     case FrameLoadType::Back:
2429     case FrameLoadType::Forward:
2430     case FrameLoadType::IndexedBackForward:
2431         return CachePolicyHistoryBuffer;
2432     case FrameLoadType::ReloadFromOrigin:
2433         ASSERT_NOT_REACHED(); // Already handled above.
2434         return CachePolicyReload;
2435     case FrameLoadType::RedirectWithLockedBackForwardList:
2436     case FrameLoadType::Replace:
2437     case FrameLoadType::Same:
2438     case FrameLoadType::Standard:
2439         return CachePolicyVerify;
2440     case FrameLoadType::ReloadExpiredOnly:
2441         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2442         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2443             return CachePolicyReload;
2444         return CachePolicyVerify;
2445     }
2446
2447     RELEASE_ASSERT_NOT_REACHED();
2448     return CachePolicyVerify;
2449 }
2450
2451 void FrameLoader::dispatchDidFailProvisionalLoad(DocumentLoader& provisionalDocumentLoader, const ResourceError& error)
2452 {
2453     m_provisionalLoadErrorBeingHandledURL = provisionalDocumentLoader.url();
2454
2455 #if ENABLE(CONTENT_FILTERING)
2456     auto contentFilter = provisionalDocumentLoader.contentFilter();
2457     auto contentFilterWillContinueLoading = false;
2458 #endif
2459
2460     auto willContinueLoading = WillContinueLoading::No;
2461     if (history().provisionalItem())
2462         willContinueLoading = WillContinueLoading::Yes;
2463 #if ENABLE(CONTENT_FILTERING)
2464     if (contentFilter && contentFilter->willHandleProvisionalLoadFailure(error)) {
2465         willContinueLoading = WillContinueLoading::Yes;
2466         contentFilterWillContinueLoading = true;
2467     }
2468 #endif
2469
2470     m_client.dispatchDidFailProvisionalLoad(error, willContinueLoading);
2471
2472 #if ENABLE(CONTENT_FILTERING)
2473     if (contentFilterWillContinueLoading)
2474         contentFilter->handleProvisionalLoadFailure(error);
2475 #endif
2476
2477     m_provisionalLoadErrorBeingHandledURL = { };
2478 }
2479
2480 void FrameLoader::checkLoadCompleteForThisFrame()
2481 {
2482     ASSERT(m_client.hasWebView());
2483
2484     // FIXME: Should this check be done in checkLoadComplete instead of here?
2485     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2486     if (m_frame.document()->isDelayingLoadEvent())
2487         return;
2488
2489     switch (m_state) {
2490         case FrameStateProvisional: {
2491             // FIXME: Prohibiting any provisional load failures from being sent to clients
2492             // while handling provisional load failures is too heavy. For example, the current
2493             // load will fail to cancel another ongoing load. That might prevent clients' page
2494             // load state being handled properly.
2495             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2496                 return;
2497
2498             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2499             if (!pdl)
2500                 return;
2501                 
2502             // If we've received any errors we may be stuck in the provisional state and actually complete.
2503             const ResourceError& error = pdl->mainDocumentError();
2504             if (error.isNull())
2505                 return;
2506
2507             // Check all children first.
2508             RefPtr<HistoryItem> item;
2509             if (Page* page = m_frame.page())
2510                 if (isBackForwardLoadType(loadType()))
2511                     // Reset the back forward list to the last committed history item at the top level.
2512                     item = page->mainFrame().loader().history().currentItem();
2513                 
2514             // Only reset if we aren't already going to a new provisional item.
2515             bool shouldReset = !history().provisionalItem();
2516             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2517                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Failed provisional load (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2518
2519                 dispatchDidFailProvisionalLoad(*pdl, error);
2520                 ASSERT(!pdl->isLoading());
2521
2522                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2523                 if (isReplacing() && !m_documentLoader.get())
2524                     setDocumentLoader(m_provisionalDocumentLoader.get());
2525
2526                 // Finish resetting the load state, but only if another load hasn't been started by the
2527                 // delegate callback.
2528                 if (pdl == m_provisionalDocumentLoader)
2529                     clearProvisionalLoad();
2530                 else if (activeDocumentLoader()) {
2531                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2532                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2533                         shouldReset = false;
2534                 }
2535             }
2536             if (shouldReset && item)
2537                 if (Page* page = m_frame.page()) {
2538                     page->backForward().setCurrentItem(*item);
2539                 }
2540             return;
2541         }
2542         
2543         case FrameStateCommittedPage: {
2544             if (!m_documentLoader)
2545                 return;
2546             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2547                 return;
2548
2549             setState(FrameStateComplete);
2550
2551             // FIXME: Is this subsequent work important if we already navigated away?
2552             // Maybe there are bugs because of that, or extra work we can skip because
2553             // the new page is ready.
2554
2555             m_client.forceLayoutForNonHTML();
2556              
2557             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2558             if (m_frame.page()) {
2559                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2560                     history().restoreScrollPositionAndViewState();
2561             }
2562
2563             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2564                 return;
2565
2566             m_progressTracker->progressCompleted();
2567             Page* page = m_frame.page();
2568             if (page) {
2569                 if (m_frame.isMainFrame()) {
2570                     tracePoint(MainResourceLoadDidEnd);
2571                     page->didFinishLoad();
2572                 }
2573             }
2574
2575             const ResourceError& error = m_documentLoader->mainDocumentError();
2576
2577             AXObjectCache::AXLoadingEvent loadingEvent;
2578             if (!error.isNull()) {
2579                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2580                 m_client.dispatchDidFailLoad(error);
2581                 loadingEvent = AXObjectCache::AXLoadingFailed;
2582             } else {
2583                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2584 #if ENABLE(DATA_DETECTION)
2585                 auto* document = m_frame.document();
2586                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2587                     if (auto* documentElement = document->documentElement()) {
2588                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2589                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2590                         if (m_frame.isMainFrame())
2591                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2592                     }
2593                 }
2594 #endif
2595                 m_client.dispatchDidFinishLoad();
2596                 loadingEvent = AXObjectCache::AXLoadingFinished;
2597             }
2598
2599             // Notify accessibility.
2600             if (auto* document = m_frame.document()) {
2601                 if (AXObjectCache* cache = document->existingAXObjectCache())
2602                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2603             }
2604
2605             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2606             // from its Page and also might have caused Page to be deleted.
2607             // Don't assume 'page' is still available to use.
2608             if (m_frame.isMainFrame() && m_frame.page()) {
2609                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2610                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2611             }
2612
2613             return;
2614         }
2615         
2616         case FrameStateComplete:
2617             m_loadType = FrameLoadType::Standard;
2618             frameLoadCompleted();
2619             return;
2620     }
2621
2622     ASSERT_NOT_REACHED();
2623 }
2624
2625 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2626 {
2627     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2628     // The originalURL is defined as the URL of the page where the download was initiated.
2629     URL originalURL;
2630     auto* initiator = m_frame.document();
2631     if (initiator) {
2632         originalURL = initiator->firstPartyForCookies();
2633         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2634         // In this case, we need to set the originalURL to this document's opener's main document URL.
2635         if (originalURL.isEmpty() && opener() && opener()->document()) {
2636             originalURL = opener()->document()->firstPartyForCookies();
2637             initiator = opener()->document();
2638         }
2639     }
2640     // If the originalURL is the same as the requested URL, we are processing a download
2641     // initiated directly without a page and do not need to specify the originalURL.
2642     if (originalURL == request.url())
2643         request.setFirstPartyForCookies(URL());
2644     else
2645         request.setFirstPartyForCookies(originalURL);
2646     addSameSiteInfoToRequestIfNeeded(request, initiator);
2647 }
2648
2649 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2650 {
2651     ASSERT(m_frame.isMainFrame());
2652
2653     m_client.dispatchDidReachLayoutMilestone(milestones);
2654 }
2655
2656 void FrameLoader::didFirstLayout()
2657 {
2658 #if PLATFORM(IOS_FAMILY)
2659     // Only send layout-related delegate callbacks synchronously for the main frame to
2660     // avoid reentering layout for the main frame while delivering a layout-related delegate
2661     // callback for a subframe.
2662     if (&m_frame != &m_frame.page()->mainFrame())
2663         return;
2664 #endif
2665     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2666         history().restoreScrollPositionAndViewState();
2667
2668     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2669         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2670 }
2671
2672 void FrameLoader::frameLoadCompleted()
2673 {
2674     // Note: Can be called multiple times.
2675
2676     m_client.frameLoadCompleted();
2677
2678     history().updateForFrameLoadCompleted();
2679
2680     // After a canceled provisional load, firstLayoutDone is false.
2681     // Reset it to true if we're displaying a page.
2682     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2683         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2684 }
2685
2686 void FrameLoader::detachChildren()
2687 {
2688     // detachChildren() will fire the unload event in each subframe and the
2689     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2690     // this event is being fired in its subframes:
2691     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2692     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2693
2694     // detachChildren() will fire the unload event in each subframe and the
2695     // HTML specification states that navigations should be prevented during the prompt to unload algorithm:
2696     // https://html.spec.whatwg.org/multipage/browsing-the-web.html#navigate
2697     std::unique_ptr<NavigationDisabler> navigationDisabler;
2698     if (m_frame.isMainFrame())
2699         navigationDisabler = makeUnique<NavigationDisabler>(&m_frame);
2700
2701     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2702     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2703     // allow loading of subframes at this point.
2704     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2705
2706     Vector<Ref<Frame>, 16> childrenToDetach;
2707     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2708     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2709         childrenToDetach.uncheckedAppend(*child);
2710     for (auto& child : childrenToDetach)
2711         child->loader().detachFromParent();
2712 }
2713
2714 void FrameLoader::closeAndRemoveChild(Frame& child)
2715 {
2716     child.tree().detachFromParent();
2717
2718     child.setView(nullptr);
2719     if (child.ownerElement() && child.page())
2720         child.page()->decrementSubframeCount();
2721     child.willDetachPage();
2722     child.detachFromPage();
2723
2724     m_frame.tree().removeChild(child);
2725 }
2726
2727 // Called every time a resource is completely loaded or an error is received.
2728 void FrameLoader::checkLoadComplete()
2729 {
2730     m_shouldCallCheckLoadComplete = false;
2731
2732     if (!m_frame.page())
2733         return;
2734
2735     ASSERT(m_client.hasWebView());
2736     
2737     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2738     // is currently needed in order to null out the previous history item for all frames.
2739     Vector<Ref<Frame>, 16> frames;
2740     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2741         frames.append(*frame);
2742
2743     // To process children before their parents, iterate the vector backwards.
2744     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2745         if ((*frame)->page())
2746             (*frame)->loader().checkLoadCompleteForThisFrame();
2747     }
2748 }
2749
2750 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2751 {
2752     if (!recurse)
2753         return m_frame.document()->cachedResourceLoader().requestCount();
2754
2755     int count = 0;
2756     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2757         count += frame->document()->cachedResourceLoader().requestCount();
2758     return count;
2759 }
2760
2761 String FrameLoader::userAgent(const URL& url) const
2762 {
2763     String userAgent;
2764
2765     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader())
2766         userAgent = documentLoader->customUserAgent();
2767
2768     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2769
2770     if (!userAgent.isEmpty())
2771         return userAgent;
2772
2773     return m_client.userAgent(url);
2774 }
2775
2776 String FrameLoader::userAgentForJavaScript(const URL& url) const
2777 {
2778     String userAgent;
2779
2780     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2781         if (m_frame.settings().needsSiteSpecificQuirks())
2782             userAgent = documentLoader->customJavaScriptUserAgentAsSiteSpecificQuirks();
2783         if (userAgent.isEmpty())
2784             userAgent = documentLoader->customUserAgent();
2785     }
2786
2787     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2788
2789     if (!userAgent.isEmpty())
2790         return userAgent;
2791
2792     return m_client.userAgent(url);
2793 }
2794     
2795 String FrameLoader::navigatorPlatform() const
2796 {
2797     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2798         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2799         if (!customNavigatorPlatform.isEmpty())
2800             return customNavigatorPlatform;
2801     }
2802     return String();
2803 }
2804
2805 void FrameLoader::dispatchOnloadEvents()
2806 {
2807     m_client.dispatchDidDispatchOnloadEvents();
2808
2809     if (documentLoader())
2810         documentLoader()->dispatchOnloadEvents();
2811 }
2812
2813 void FrameLoader::frameDetached()
2814 {
2815     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2816     Ref<Frame> protectedFrame(m_frame);
2817
2818     if (m_checkTimer.isActive()) {
2819         m_checkTimer.stop();
2820         checkCompletenessNow();
2821     }
2822
2823     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2824         stopAllLoadersAndCheckCompleteness();
2825         m_frame.document()->stopActiveDOMObjects();
2826     }
2827
2828     detachFromParent();
2829 }
2830
2831 void FrameLoader::detachFromParent()
2832 {
2833     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2834     Ref<Frame> protect(m_frame);
2835
2836     closeURL();
2837     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2838     detachChildren();
2839     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2840         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2841         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2842         // handlers might start a new subresource load in this frame.
2843         stopAllLoaders(ShouldClearProvisionalItem, StopLoadingPolicy::AlwaysStopLoading);
2844     }
2845
2846     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2847
2848     detachViewsAndDocumentLoader();
2849
2850     m_progressTracker = nullptr;
2851
2852     if (Frame* parent = m_frame.tree().parent()) {
2853         parent->loader().closeAndRemoveChild(m_frame);
2854         parent->loader().scheduleCheckCompleted();
2855         parent->loader().scheduleCheckLoadComplete();
2856     } else {
2857         m_frame.setView(nullptr);
2858         m_frame.willDetachPage();
2859         m_frame.detachFromPage();
2860     }
2861 }
2862
2863 void FrameLoader::detachViewsAndDocumentLoader()
2864 {
2865     m_client.detachedFromParent2();
2866     setDocumentLoader(nullptr);
2867     m_client.detachedFromParent3();
2868 }
2869     
2870 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2871 {
2872     addExtraFieldsToRequest(request, m_loadType, false);
2873 }
2874
2875 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2876 {
2877     // FIXME: Using m_loadType seems wrong for some callers.
2878     // If we are only preparing to load the main resource, that is previous load's load type!
2879     addExtraFieldsToRequest(request, m_loadType, true);
2880
2881     // Upgrade-Insecure-Requests should only be added to main resource requests
2882     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2883 }
2884
2885 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2886 {
2887     if (m_overrideCachePolicyForTesting)
2888         return m_overrideCachePolicyForTesting.value();
2889
2890     if (isMainResource) {
2891         if (isReload(loadType) || request.isConditional())
2892             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2893
2894         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2895     }
2896
2897     if (request.isConditional())
2898         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2899
2900     if (documentLoader()->isLoadingInAPISense()) {
2901         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2902         // original request cache policy for two reasons:
2903         // 1. For POST requests, we mutate the cache policy for the main resource,
2904         //    but we do not want this to apply to subresources
2905         // 2. Delegates that modify the cache policy using willSendRequest: should
2906         //    not affect any other resources. Such changes need to be done
2907         //    per request.
2908         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2909         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2910         // This policy is set on initial request too, but should not be inherited.
2911         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2912     }
2913
2914     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2915 }
2916
2917 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2918 {
2919     // If the request came from a previous process due to process-swap-on-navigation then we should not modify the request.
2920     if (m_currentLoadContinuingState == LoadContinuingState::ContinuingWithRequest)
2921         return;
2922
2923     // Don't set the cookie policy URL if it's already been set.
2924     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2925     bool isMainFrameMainResource = isMainResource && m_frame.isMainFrame();
2926     if (request.firstPartyForCookies().isEmpty()) {
2927         if (isMainFrameMainResource)
2928             request.setFirstPartyForCookies(request.url());
2929         else if (Document* document = m_frame.document())
2930             request.setFirstPartyForCookies(document->firstPartyForCookies());
2931     }
2932
2933     if (request.isSameSiteUnspecified()) {
2934         auto* initiator = m_frame.document();
2935         if (isMainResource) {
2936             auto* ownerFrame = m_frame.tree().parent();
2937             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2938                 ownerFrame = m_opener;
2939             if (ownerFrame)
2940                 initiator = ownerFrame->document();
2941             ASSERT(ownerFrame || m_frame.isMainFrame());
2942         }
2943         addSameSiteInfoToRequestIfNeeded(request, initiator);
2944     }
2945     request.setIsTopSite(isMainFrameMainResource);
2946
2947     Page* page = frame().page();
2948     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2949
2950     if (page && page->isResourceCachingDisabled()) {
2951         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2952         loadType = FrameLoadType::ReloadFromOrigin;
2953     } else if (!hasSpecificCachePolicy)
2954         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2955
2956     // The remaining modifications are only necessary for HTTP and HTTPS.
2957     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2958         return;
2959
2960     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2961         if (loadType == FrameLoadType::Reload)
2962             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2963         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2964             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2965             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2966         }
2967     }
2968
2969     if (m_overrideResourceLoadPriorityForTesting)
2970         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2971
2972     applyUserAgentIfNeeded(request);
2973
2974     if (isMainResource)
2975         request.setHTTPAccept(defaultAcceptHeader);
2976
2977     // Make sure we send the Origin header.
2978     addHTTPOriginIfNeeded(request, String());
2979
2980     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2981     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2982         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2983         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2984     }
2985 }
2986
2987 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2988 {
2989     if (!request.httpOrigin().isEmpty())
2990         return;  // Request already has an Origin header.
2991
2992     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2993     // For example, if an intranet page has a hyperlink to an external web
2994     // site, we don't want to include the Origin of the request because it
2995     // will leak the internal host name. Similar privacy concerns have lead
2996     // to the widespread suppression of the Referer header at the network
2997     // layer.
2998     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2999         return;
3000
3001     // For non-GET and non-HEAD methods, always send an Origin header so the
3002     // server knows we support this feature.
3003
3004     if (origin.isEmpty()) {
3005         // If we don't know what origin header to attach, we attach the value
3006         // for an empty origin.
3007         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
3008         return;
3009     }
3010
3011     request.setHTTPOrigin(origin);
3012 }
3013
3014 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
3015 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
3016 // as same-site. This matches the behavior of Chrome and Firefox.
3017 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
3018 {
3019     if (!request.isSameSiteUnspecified())
3020         return;
3021     if (!initiator) {
3022         request.setIsSameSite(true);
3023         return;
3024     }
3025     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
3026         request.setIsSameSite(true);
3027         return;
3028     }
3029     request.setIsSameSite(areRegistrableDomainsEqual(initiator->siteForCookies(), request.url()));
3030 }
3031
3032 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
3033 {
3034     if (request.url().protocolIs("https")) {
3035         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
3036         return;
3037     }
3038
3039     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
3040 }
3041
3042 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
3043 {
3044     RELEASE_LOG_IF_ALLOWED("loadPostRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3045
3046     String frameName = request.frameName();
3047     LockHistory lockHistory = request.lockHistory();
3048     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
3049     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
3050
3051     const ResourceRequest& inRequest = request.resourceRequest();
3052     const URL& url = inRequest.url();
3053     const String& contentType = inRequest.httpContentType();
3054     String origin = inRequest.httpOrigin();
3055
3056     ResourceRequest workingResourceRequest(url);    
3057
3058     if (!referrer.isEmpty())
3059         workingResourceRequest.setHTTPReferrer(referrer);
3060     workingResourceRequest.setHTTPOrigin(origin);
3061     workingResourceRequest.setHTTPMethod("POST");
3062     workingResourceRequest.setHTTPBody(inRequest.httpBody());
3063     workingResourceRequest.setHTTPContentType(contentType);
3064     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
3065
3066     if (Document* document = m_frame.document())
3067         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3068
3069     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3070
3071     if (!frameName.isEmpty()) {
3072         // The search for a target frame is done earlier in the case of form submission.
3073         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3074             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, WTFMove(completionHandler));
3075             return;
3076         }
3077
3078         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
3079             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3080             completionHandler();
3081         });
3082         return;
3083     }
3084
3085     // must grab this now, since this load may stop the previous load and clear this flag
3086     bool isRedirect = m_quickRedirectComing;
3087     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3088         if (isRedirect) {
3089             m_quickRedirectComing = false;
3090             if (m_provisionalDocumentLoader)
3091                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3092             else if (m_policyDocumentLoader)
3093                 m_policyDocumentLoader->setIsClientRedirect(true);
3094         }
3095         completionHandler();
3096     });
3097 }
3098
3099 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3100 {
3101     ASSERT(m_frame.document());
3102     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3103     
3104     ResourceRequest initialRequest = request;
3105     initialRequest.setTimeoutInterval(10);
3106     
3107     if (!referrer.isEmpty())
3108         initialRequest.setHTTPReferrer(referrer);
3109     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3110
3111     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3112     
3113     addExtraFieldsToSubresourceRequest(initialRequest);
3114
3115     unsigned long identifier = 0;    
3116     ResourceRequest newRequest(initialRequest);
3117     requestFromDelegate(newRequest, identifier, error);
3118
3119 #if ENABLE(CONTENT_EXTENSIONS)
3120     if (error.isNull()) {
3121         if (auto* page = m_frame.page()) {
3122             if (m_documentLoader) {
3123                 auto results = page->userContentProvider().processContentRuleListsForLoad(newRequest.url(), ContentExtensions::ResourceType::Raw, *m_documentLoader);
3124                 bool blockedLoad = results.summary.blockedLoad;
3125                 ContentExtensions::applyResultsToRequest(WTFMove(results), page, newRequest);
3126                 if (blockedLoad) {
3127                     newRequest = { };
3128                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3129                     response = { };
3130                     data = nullptr;
3131                 }
3132             }
3133         }
3134     }
3135 #endif
3136
3137     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3138     
3139     if (error.isNull()) {
3140         ASSERT(!newRequest.isNull());
3141
3142         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3143             Vector<char> buffer;
3144             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3145             data = SharedBuffer::create(WTFMove(buffer));
3146             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3147             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3148         }
3149     }
3150     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3151     return identifier;
3152 }
3153
3154 const ResourceRequest& FrameLoader::originalRequest() const
3155 {
3156     return activeDocumentLoader()->originalRequestCopy();
3157 }
3158
3159 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3160 {
3161     // Retain because the stop may release the last reference to it.
3162     Ref<Frame> protect(m_frame);
3163
3164     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3165     // FIXME: Don't want to do this if an entirely new load is going, so should check
3166     // that both data sources on the frame are either this or nil.
3167     stop();
3168     if (m_client.shouldFallBack(error))
3169         handleFallbackContent();
3170
3171     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3172         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3173             m_submittedFormURL = URL();
3174             
3175         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3176         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3177         // so that the existing view (that wenever got far enough to replace) can continue being used.
3178         history().invalidateCurrentItemCachedPage();
3179         
3180         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3181         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3182         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3183         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3184         // has ended.
3185         if (m_sentRedirectNotification)
3186             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3187     }
3188
3189     checkCompleted();
3190     if (m_frame.page())
3191         checkLoadComplete();
3192 }
3193
3194 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3195 {
3196     m_quickRedirectComing = false;
3197
3198     if (!shouldContinue)
3199         return;
3200
3201     // Calling stopLoading() on the provisional document loader can cause the underlying
3202     // frame to be deallocated.
3203     Ref<Frame> protectedFrame(m_frame);
3204
3205     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3206     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3207         m_provisionalDocumentLoader->stopLoading();
3208         setProvisionalDocumentLoader(nullptr);
3209     }
3210
3211     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3212     loadInSameDocument(request.url(), 0, !isRedirect);
3213 }
3214
3215 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3216 {
3217     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3218     // currently displaying a frameset, or if the URL does not have a fragment.
3219     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3220
3221     // FIXME: What about load types other than Standard and Reload?
3222
3223     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3224         && !isReload(loadType)
3225         && loadType != FrameLoadType::Same
3226         && m_frame.document()->pageCacheState() != Document::InPageCache
3227         && !shouldReload(m_frame.document()->url(), url)
3228         // We don't want to just scroll if a link from within a
3229         // frameset is trying to reload the frameset into _top.
3230         && !m_frame.document()->isFrameSet();
3231 }
3232
3233 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3234 {
3235     return !historyItem || historyItem->shouldRestoreScrollPosition();
3236 }
3237
3238 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3239 {
3240     return !isNewNavigation && !isBackForwardLoadType(loadType);
3241 }
3242
3243 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3244 {
3245     FrameView* view = m_frame.view();
3246     if (!view)
3247         return;
3248
3249     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3250         view->scrollToFragment(url);
3251 }
3252
3253 bool FrameLoader::shouldClose()
3254 {
3255     Page* page = m_frame.page();
3256     if (!page)
3257         return true;
3258     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3259         return true;
3260
3261     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3262     Vector<Ref<Frame>, 16> targetFrames;
3263     targetFrames.append(m_frame);
3264     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3265         targetFrames.append(*child);
3266
3267     bool shouldClose = false;
3268     {
3269         NavigationDisabler navigationDisabler(&m_frame);
3270         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3271         size_t i;
3272
3273         for (i = 0; i < targetFrames.size(); i++) {
3274             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3275                 continue;
3276             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3277                 break;
3278         }
3279
3280         if (i == targetFrames.size())
3281             shouldClose = true;
3282     }
3283
3284     if (!shouldClose)
3285         m_submittedFormURL = URL();
3286
3287     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3288     return shouldClose;
3289 }
3290
3291 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3292 {
3293     if (!m_frame.document())
3294         return;
3295
3296     if (m_pageDismissalEventBeingDispatched != PageDismissalType::None)
3297         return;
3298
3299     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3300     ForbidPromptsScope forbidPrompts(m_frame.page());
3301     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3302
3303     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3304         auto* currentFocusedElement = m_frame.document()->focusedElement();
3305         if (is<HTMLInputElement>(currentFocusedElement))
3306             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3307         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3308             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3309                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3310                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3311             }
3312
3313             // FIXME: update Page Visibility state here.
3314             // https://bugs.webkit.org/show_bug.cgi?id=116770
3315
3316             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3317                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3318                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3319                 // while dispatching the event, so protect it to prevent writing the end
3320                 // time into freed memory.
3321                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3322                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3323                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3324                     auto& timing = documentLoader->timing();
3325                     timing.markUnloadEventStart();
3326                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3327                     timing.markUnloadEventEnd();
3328                 } else
3329                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3330             }
3331         }
3332         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3333         m_wasUnloadEventEmitted = true;
3334     }
3335
3336     // Dispatching the unload event could have made m_frame.document() null.
3337     if (!m_frame.document())
3338         return;
3339
3340     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3341         return;
3342
3343     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3344     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3345         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3346
3347     if (!keepEventListeners)
3348         m_frame.document()->removeAllEventListeners();
3349 }
3350
3351 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3352 {
3353     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3354     if (document.isSandboxed(SandboxModals))
3355         return false;
3356
3357     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3358     // Web pages can request we ask for confirmation before navigating by:
3359     // - Cancelling the BeforeUnloadEvent (modern way)
3360     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3361     // - Returning a non-empty string from the event handler, which is then set as returnValue
3362     //   attribute on the BeforeUnloadEvent.
3363     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3364 }
3365
3366 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3367 {
3368     DOMWindow* domWindow = m_frame.document()->domWindow();
3369     if (!domWindow)
3370         return true;
3371
3372     RefPtr<Document> document = m_frame.document();
3373     if (!document->bodyOrFrameset())
3374         return true;
3375     
3376     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3377
3378     {
3379         SetForScope<PageDismissalType> change(m_pageDismissalEventBeingDispatched, PageDismissalType::BeforeUnload);
3380         ForbidPromptsScope forbidPrompts(m_frame.page());
3381         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3382     }
3383
3384     if (!beforeUnloadEvent->defaultPrevented())
3385         document->defaultEventHandler(beforeUnloadEvent.get());
3386
3387     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3388         return true;
3389
3390     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3391     // this frame is not allowed to cause another one to be shown.
3392     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3393         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3394         return true;
3395     }
3396
3397     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3398     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3399     if (frameLoaderBeingNavigated != this) {
3400         Frame* parentFrame = m_frame.tree().parent();
3401         while (parentFrame) {
3402             Document* parentDocument = parentFrame->document();
3403             if (!parentDocument)
3404                 return true;
3405             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3406                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3407                 return true;
3408             }
3409             
3410             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3411                 break;
3412             
3413             parentFrame = parentFrame->tree().parent();
3414         }
3415         
3416         // The navigatingFrameLoader should always be in our ancestory.
3417         ASSERT(parentFrame);
3418         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3419     }
3420
3421     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3422
3423     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3424     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3425 }
3426
3427 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, NavigationPolicyDecision navigationPolicyDecision, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3428 {
3429     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3430     // nil policyDataSource because loading the alternate page will have passed
3431     // through this method already, nested; otherwise, policyDataSource should still be set.
3432     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3433
3434     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3435
3436     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3437     bool canContinue = navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad && shouldClose() && !urlIsDisallowed;
3438
3439     if (!canContinue) {
3440         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame due to the following reasons ("
3441             "frame = %p, "
3442             "main = %d, "
3443             "allowNavigationToInvalidURL = %d, "
3444             "requestURLIsValid = %d, "
3445             "navigationPolicyDecision = %d)",
3446             &m_frame,
3447             m_frame.isMainFrame(),
3448             static_cast<int>(allowNavigationToInvalidURL),
3449             request.url().isValid(),
3450             static_cast<int>(navigationPolicyDecision));
3451
3452         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3453         // need to report that the client redirect was cancelled.
3454         // FIXME: The client should be told about ignored non-quick redirects, too.
3455         if (m_quickRedirectComing)
3456             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3457
3458         if (navigationPolicyDecision == NavigationPolicyDecision::StopAllLoads) {
3459             stopAllLoaders();
3460             m_checkTimer.stop();
3461         }
3462
3463         setPolicyDocumentLoader(nullptr);
3464         checkCompleted();
3465
3466         if (navigationPolicyDecision != NavigationPolicyDecision::StopAllLoads)
3467             checkLoadComplete();
3468
3469         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3470         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3471         // we only do this when punting a navigation for the target frame or top-level frame.  
3472         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3473             if (Page* page = m_frame.page()) {
3474                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem())
3475                     page->backForward().setCurrentItem(*resetItem);
3476             }
3477         }
3478         return;
3479     }
3480
3481     FrameLoadType type = policyChecker().loadType();
3482     // A new navigation is in progress, so don't clear the history's provisional item.
3483     stopAllLoaders(ShouldNotClearProvisionalItem);
3484     
3485     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3486     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3487     if (!m_frame.page()) {
3488         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it became defunct (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3489         return;
3490     }
3491
3492     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3493     m_loadType = type;
3494     setState(FrameStateProvisional);
3495
3496     setPolicyDocumentLoader(nullptr);
3497
3498     if (isBackForwardLoadType(type)) {
3499         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3500         if (history().provisionalItem() && history().provisionalItem()->isInPageCache()) {
3501             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3502             loadProvisionalItemFromCachedPage();
3503             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it will be loaded from cache (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3504             return;
3505         }
3506         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3507     }
3508
3509     CompletionHandler<void()> completionHandler = [this, protectedFrame = makeRef(m_frame)] () mutable {
3510         if (!m_provisionalDocumentLoader) {
3511             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy completionHandler: Frame load canceled #1 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3512             return;
3513         }
3514         
3515         prepareForLoadStart();
3516
3517         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3518         // so we need to null check it again.
3519         if (!m_provisionalDocumentLoader) {
3520             RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Frame load canceled #2 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3521             return;
3522         }
3523         
3524         DocumentLoader* activeDocLoader = activeDocumentLoader();
3525         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3526             RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3527             return;
3528         }
3529         
3530         m_loadingFromCachedPage = false;
3531
3532         m_provisionalDocumentLoader->startLoadingMainResource();
3533     };
3534     
3535     if (!formState) {
3536         completionHandler();
3537         return;
3538     }
3539
3540     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3541 }
3542
3543 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3544     FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3545 {
3546     if (shouldContinue != ShouldContinue::Yes)
3547         return;
3548
3549     Ref<Frame> frame(m_frame);
3550     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3551     if (!mainFrame)
3552         return;
3553
3554     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3555     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3556         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3557
3558     if (!equalIgnoringASCIICase(frameName, "_blank"))
3559         mainFrame->tree().setName(frameName);
3560
3561     mainFrame->page()->setOpenedByDOM();
3562     mainFrame->loader().m_client.dispatchShow();
3563     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3564         mainFrame->loader().setOpener(frame.ptr());
3565         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3566     }
3567
3568     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy(), nullptr, action.downloadAttribute() };
3569     mainFrame->loader().loadWithNavigationAction(request, WTFMove(newAction), LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3570 }
3571
3572 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3573 {
3574     ASSERT(!request.isNull());
3575
3576     identifier = 0;
3577     if (Page* page = m_frame.page()) {
3578         identifier = page->progress().createUniqueIdentifier();
3579         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3580     }
3581
3582     ResourceRequest newRequest(request);
3583     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3584
3585     if (newRequest.isNull())
3586         error = cancelledError(request);
3587     else
3588         error = ResourceError();
3589
3590     request = newRequest;
3591 }
3592
3593 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3594 {
3595     Page* page = m_frame.page();
3596     if (!page)
3597         return;
3598
3599     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3600         return;
3601
3602     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3603     if (resource.type() == CachedResource::Type::MainResource)
3604         return;
3605
3606     if (!page->areMemoryCacheClientCallsEnabled()) {
3607         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3608         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3609         m_documentLoader->didTellClientAboutLoad(resource.url());
3610         return;
3611     }
3612
3613     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3614         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3615         m_documentLoader->didTellClientAboutLoad(resource.url());
3616         return;
3617     }
3618
3619     unsigned long identifier;
3620     requestFromDelegate(newRequest, identifier, error);
3621
3622     ResourceResponse response = resource.response();
3623     response.setSource(ResourceResponse::Source::MemoryCache);
3624     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3625 }
3626
3627 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3628 {
3629     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3630         String userAgent = this->userAgent(request.url());
3631         ASSERT(!userAgent.isNull());
3632         request.setHTTPUserAgent(userAgent);
3633     }
3634 }
3635
3636 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3637 {
3638     Frame& topFrame = m_frame.tree().top();
3639     if (&m_frame == &topFrame)
3640         return false;
3641
3642     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3643
3644     switch (disposition) {
3645     case XFrameOptionsSameOrigin: {
3646         auto origin = SecurityOrigin::create(url);
3647         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3648             return true;
3649         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3650             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3651                 return true;
3652         }
3653         return false;
3654     }
3655     case XFrameOptionsDeny:
3656         return true;
3657     case XFrameOptionsAllowAll:
3658         return false;
3659     case XFrameOptionsConflict:
3660         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3661         return true;
3662     case XFrameOptionsInvalid:
3663         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3664         return false;
3665     case XFrameOptionsNone:
3666         return false;
3667     }
3668     ASSERT_NOT_REACHED();
3669     return false;
3670 }
3671
3672 void FrameLoader::loadProvisionalItemFromCachedPage()
3673 {
3674     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3675     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3676
3677     prepareForLoadStart();
3678
3679     m_loadingFromCachedPage = true;
3680     
3681     // Should have timing data from previous time(s) the page was shown.
3682     ASSERT(provisionalLoader->timing().startTime());
3683     provisionalLoader->resetTiming();
3684     provisionalLoader->timing().markStartTime();
3685     
3686     provisionalLoader->setCommitted(true);
3687     commitProvisionalLoad();
3688 }
3689
3690 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3691 {
3692     if (!history().currentItem())
3693         return false;
3694     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3695 }
3696
3697 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3698 {
3699     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3700         return false;
3701     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3702     if (!ownerElement)
3703         return false;
3704     if (!ownerElement->hasTagName(iframeTag))
3705         return false;
3706     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3707 }
3708
3709 Frame* FrameLoader::findFrameForNavigation(const AtomString& name, Document* activeDocument)
3710 {
3711     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3712     if (!activeDocument)
3713         activeDocument = m_frame.document();
3714
3715     auto* frame = m_frame.tree().find(name, activeDocument->frame() ? *activeDocument->frame() : m_frame);
3716
3717     if (!activeDocument->canNavigate(frame))
3718         return nullptr;
3719
3720     return frame;
3721 }
3722
3723 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3724 {
3725     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3726
3727     Ref<Frame> protect(m_frame);
3728
3729     // Save user view state to the current history item here since we don't do a normal load.
3730     // FIXME: Does form state need to be saved here too?
3731     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3732     if (FrameView* view = m_frame.view())
3733         view->setWasScrolledByUser(false);
3734
3735     history().setCurrentItem(item);
3736         
3737     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3738     loadInSameDocument(item.url(), item.stateObject(), false);
3739
3740     // Restore user view state from the current history item here since we don't do a normal load.
3741     history().restoreScrollPositionAndViewState();
3742 }
3743
3744 // FIXME: This function should really be split into a couple pieces, some of
3745 // which should be methods of HistoryController and some of which should be
3746 // methods of FrameLoader.
3747 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, HistoryItem* fromItem, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3748 {
3749     RELEASE_LOG_IF_ALLOWED("loadDifferentDocumentItem: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3750
3751     Ref<Frame> protectedFrame(m_frame);
3752
3753     // History items should not be reported to the parent.
3754     m_shouldReportResourceTimingToParentFrame = false;
3755
3756     // Remember this item so we can traverse any child items as child frames load
3757     history().setProvisionalItem(&item);
3758
3759     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3760
3761     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, shouldTreatAsContinuingLoad == ShouldTreatAsContinuingLoad::Yes ? LoadContinuingState::ContinuingWithHistoryItem : LoadContinuingState::NotContinuing);
3762
3763     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3764         auto documentLoader = cachedPage->documentLoader();
3765         m_client.updateCachedDocumentLoader(*documentLoader);
3766
3767         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3768         action.setTargetBackForwardItem(item);
3769         action.setSourceBackForwardItem(fromItem);
3770         documentLoader->setTriggeringAction(WTFMove(action));
3771
3772         documentLoader->setLastCheckedRequest(ResourceRequest());
3773         loadWithDocumentLoader(documentLoader, loadType, { }, AllowNavigationToInvalidURL::Yes, shouldTreatAsContinuingLoad);
3774         return;
3775     }
3776
3777     URL itemURL = item.url();
3778     URL itemOriginalURL = item.originalURL();
3779     URL currentURL;
3780     if (documentLoader())
3781         currentURL = documentLoader()->url();
3782     RefPtr<FormData> formData = item.formData();
3783
3784     ResourceRequest request(itemURL);
3785
3786     if (!item.referrer().isNull())
3787         request.setHTTPReferrer(item.referrer());
3788
3789     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3790     bool isFormSubmission = false;
3791     Event* event = nullptr;
3792
3793     // If this was a repost that failed the page cache, we might try to repost the form.
3794     NavigationAction action;
3795     if (formData) {
3796         request.setHTTPMethod("POST");
3797         request.setHTTPBody(WTFMove(formData));
3798         request.setHTTPContentType(item.formContentType());
3799         auto securityOrigin = SecurityOrigin::createFromString(item.referrer());
3800         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3801         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3802
3803         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3804         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3805         addExtraFieldsToRequest(request, loadType, true);
3806         
3807         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3808         // We want to know this before talking to the policy delegate, since it affects whether 
3809         // we show the DoYouReallyWantToRepost nag.
3810         //
3811         // This trick has a small bug (3123893) where we might find a cache hit, but then
3812         // have the item vanish when we try to use it in the ensuing nav.  This should be
3813         // extremely rare, but in that case the user will get an error on the navigation.
3814         
3815         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3816             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataDontLoad);
3817             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3818         } else {
3819             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3820             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3821         }
3822     } else {
3823         switch (loadType) {
3824         case FrameLoadType::Reload:
3825         case FrameLoadType::ReloadFromOrigin:
3826         case FrameLoadType::ReloadExpiredOnly:
3827             request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
3828             break;
3829         case FrameLoadType::Back:
3830         case FrameLoadType::Forward:
3831         case FrameLoadType::IndexedBackForward: {
3832 #if PLATFORM(COCOA)
3833             bool allowStaleData = true;
3834 #else
3835             bool allowStaleData = !item.wasRestoredFromSession();
3836 #endif
3837             if (allowStaleData)
3838                 request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3839             item.setWasRestoredFromSession(false);
3840             break;
3841         }
3842         case FrameLoadType::Standard:
3843         case FrameLoadType::RedirectWithLockedBackForwardList:
3844             break;
3845         case FrameLoadType::Same:
3846         case FrameLoadType::Replace:
3847             ASSERT_NOT_REACHED();
3848         }
3849
3850         addExtraFieldsToRequest(request, loadType, true);
3851
3852         ResourceRequest requestForOriginalURL(request);
3853         requestForOriginalURL.setURL(itemOriginalURL);
3854         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3855     }
3856
3857     action.setTargetBackForwardItem(item);
3858     action.setSourceBackForwardItem(fromItem);
3859
3860     loadWithNavigationAction(request, WTFMove(action), LockHistory::No, loadType, { }, AllowNavigationToInvalidURL::Yes);
3861 }
3862
3863 // Loads content into this frame, as specified by history item
3864 void FrameLoader::loadItem(HistoryItem& item, HistoryItem* fromItem, FrameLoadType loadType, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3865 {
3866     m_requestedHistoryItem = &item;
3867     HistoryItem* currentItem = history().currentItem();
3868     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3869
3870     if (sameDocumentNavigation)
3871         loadSameDocumentItem(item);
3872     else
3873         loadDifferentDocumentItem(item, fromItem, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, shouldTreatAsContinuingLoad);
3874 }
3875
3876 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3877 {
3878     ASSERT(m_state == FrameStateProvisional);
3879     ASSERT(!m_loadingFromCachedPage);
3880     ASSERT(history().provisionalItem());
3881     ASSERT(history().provisionalItem()->formData());
3882     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3883
3884     FrameLoadType loadType = m_loadType;
3885     HistoryItem* item = history().provisionalItem();
3886
3887     stopAllLoaders(ShouldNotClearProvisionalItem);
3888     if (item)
3889         loadDifferentDocumentItem(*item, history().currentItem(), loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
3890     else {
3891         ASSERT_NOT_REACHED();
3892         RELEASE_LOG_ERROR(ResourceLoading, "Retrying load after failed cache-only main resource load failed because there is no provisional history item.");
3893     }
3894 }
3895
3896 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3897 {
3898     ResourceError error = m_client.cancelledError(request);
3899     error.setType(ResourceError::Type::Cancellation);
3900     return error;
3901 }
3902
3903 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3904 {
3905     return m_client.blockedByContentBlockerError(request);
3906 }
3907
3908 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3909 {
3910     ResourceError error = m_client.blockedError(request);
3911     error.setType(ResourceError::Type::Cancellation);
3912     return error;
3913 }
3914
3915 #if ENABLE(CONTENT_FILTERING)
3916 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3917 {
3918     ResourceError error = m_client.blockedByContentFilterError(request);
3919     error.setType(ResourceError::Type::General);
3920     return error;
3921 }
3922 #endif
3923
3924 #if PLATFORM(IOS_FAMILY)
3925 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3926 {
3927     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3928 }
3929 #endif
3930
3931 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3932 {
3933     if (auto* parentFrame = m_frame.tree().parent())
3934         return parentFrame->document()->referrerPolicy();
3935     if (m_opener)
3936         return m_opener->document()->referrerPolicy();
3937     return ReferrerPolicy::NoReferrerWhenDowngrade;
3938 }
3939
3940 String FrameLoader::referrer() const
3941 {
3942     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3943 }
3944
3945 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3946 {
3947     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3948         return;
3949
3950     Vector<Ref<DOMWrapperWorld>> worlds;
3951     ScriptController::getAllWorlds(worlds);
3952     for (auto& world : worlds)
3953         dispatchDidClearWindowObjectInWorld(world);
3954 }
3955
3956 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3957 {
3958     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3959         return;
3960
3961     m_client.dispatchDidClearWindowObjectInWorld(world);
3962
3963     if (Page* page = m_frame.page())
3964         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3965
3966     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3967 }
3968
3969 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3970 {
3971     Vector<Ref<DOMWrapperWorld>> worlds;
3972     ScriptController::getAllWorlds(worlds);
3973     for (auto& world : worlds)
3974         m_client.dispatchGlobalObjectAvailable(world);
3975 }
3976
3977 SandboxFlags FrameLoader::effectiveSandboxFlags() const
3978 {
3979     SandboxFlags flags = m_forcedSandboxFlags;
3980     if (Frame* parentFrame = m_frame.tree().parent())
3981         flags |= parentFrame->document()->sandboxFlags();
3982     if (HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement())
3983         flags |= ownerElement->sandboxFlags();
3984     return flags;
3985 }
3986
3987 void FrameLoader::didChangeTitle(DocumentLoader* loader)
3988 {
3989     m_client.didChangeTitle(loader);
3990
3991     if&