Remove dead code from an earlier attempt at implementing safe browsing
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentSecurityPolicy.h"
49 #include "DOMWindow.h"
50 #include "DatabaseManager.h"
51 #include "DiagnosticLoggingClient.h"
52 #include "DiagnosticLoggingKeys.h"
53 #include "Document.h"
54 #include "DocumentLoader.h"
55 #include "Editor.h"
56 #include "EditorClient.h"
57 #include "Element.h"
58 #include "Event.h"
59 #include "EventHandler.h"
60 #include "EventNames.h"
61 #include "FloatRect.h"
62 #include "FormState.h"
63 #include "FormSubmission.h"
64 #include "Frame.h"
65 #include "FrameLoadRequest.h"
66 #include "FrameLoaderClient.h"
67 #include "FrameNetworkingContext.h"
68 #include "FrameTree.h"
69 #include "FrameView.h"
70 #include "GCController.h"
71 #include "HTMLFormElement.h"
72 #include "HTMLInputElement.h"
73 #include "HTMLNames.h"
74 #include "HTMLObjectElement.h"
75 #include "HTMLParserIdioms.h"
76 #include "HTTPHeaderNames.h"
77 #include "HTTPParsers.h"
78 #include "HistoryController.h"
79 #include "HistoryItem.h"
80 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
81 #include "InspectorController.h"
82 #include "InspectorInstrumentation.h"
83 #include "LinkLoader.h"
84 #include "LoadTiming.h"
85 #include "LoaderStrategy.h"
86 #include "Logging.h"
87 #include "MemoryCache.h"
88 #include "MemoryRelease.h"
89 #include "NavigationDisabler.h"
90 #include "NavigationScheduler.h"
91 #include "Node.h"
92 #include "Page.h"
93 #include "PageCache.h"
94 #include "PageTransitionEvent.h"
95 #include "PerformanceLogging.h"
96 #include "PlatformStrategies.h"
97 #include "PluginData.h"
98 #include "PluginDocument.h"
99 #include "PolicyChecker.h"
100 #include "ProgressTracker.h"
101 #include "ResourceHandle.h"
102 #include "ResourceLoadInfo.h"
103 #include "ResourceLoadObserver.h"
104 #include "ResourceRequest.h"
105 #include "SVGDocument.h"
106 #include "SVGLocatable.h"
107 #include "SVGNames.h"
108 #include "SVGViewElement.h"
109 #include "SVGViewSpec.h"
110 #include "ScriptController.h"
111 #include "ScriptSourceCode.h"
112 #include "ScrollAnimator.h"
113 #include "SecurityOrigin.h"
114 #include "SecurityPolicy.h"
115 #include "SegmentedString.h"
116 #include "SerializedScriptValue.h"
117 #include "Settings.h"
118 #include "ShouldTreatAsContinuingLoad.h"
119 #include "SubframeLoader.h"
120 #include "SubresourceLoader.h"
121 #include "TextResourceDecoder.h"
122 #include "URL.h"
123 #include "UserContentController.h"
124 #include "UserGestureIndicator.h"
125 #include "WindowFeatures.h"
126 #include "XMLDocumentParser.h"
127 #include <dom/ScriptDisallowedScope.h>
128 #include <wtf/CompletionHandler.h>
129 #include <wtf/Ref.h>
130 #include <wtf/SetForScope.h>
131 #include <wtf/StdLibExtras.h>
132 #include <wtf/SystemTracing.h>
133 #include <wtf/text/CString.h>
134 #include <wtf/text/WTFString.h>
135
136 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
137 #include "Archive.h"
138 #endif
139
140 #if ENABLE(DATA_DETECTION)
141 #include "DataDetection.h"
142 #endif
143
144 #if PLATFORM(IOS_FAMILY)
145 #include "DocumentType.h"
146 #include "ResourceLoader.h"
147 #include "RuntimeApplicationChecks.h"
148 #include "WKContentObservation.h"
149 #endif
150
151 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
152
153 namespace WebCore {
154
155 using namespace HTMLNames;
156 using namespace SVGNames;
157
158 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
159
160 bool isBackForwardLoadType(FrameLoadType type)
161 {
162     switch (type) {
163     case FrameLoadType::Standard:
164     case FrameLoadType::Reload:
165     case FrameLoadType::ReloadFromOrigin:
166     case FrameLoadType::ReloadExpiredOnly:
167     case FrameLoadType::Same:
168     case FrameLoadType::RedirectWithLockedBackForwardList:
169     case FrameLoadType::Replace:
170         return false;
171     case FrameLoadType::Back:
172     case FrameLoadType::Forward:
173     case FrameLoadType::IndexedBackForward:
174         return true;
175     }
176     ASSERT_NOT_REACHED();
177     return false;
178 }
179
180 bool isReload(FrameLoadType type)
181 {
182     switch (type) {
183     case FrameLoadType::Reload:
184     case FrameLoadType::ReloadFromOrigin:
185     case FrameLoadType::ReloadExpiredOnly:
186         return true;
187     case FrameLoadType::Standard:
188     case FrameLoadType::Same:
189     case FrameLoadType::RedirectWithLockedBackForwardList:
190     case FrameLoadType::Replace:
191     case FrameLoadType::Back:
192     case FrameLoadType::Forward:
193     case FrameLoadType::IndexedBackForward:
194         return false;
195     }
196     ASSERT_NOT_REACHED();
197     return false;
198 }
199
200 // This is not in the FrameLoader class to emphasize that it does not depend on
201 // private FrameLoader data, and to avoid increasing the number of public functions
202 // with access to private data.  Since only this .cpp file needs it, making it
203 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
204 // API simpler.
205 //
206 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
207 {
208     return frame.document() && frame.document()->isSandboxed(mask);
209 }
210
211 struct ForbidPromptsScope {
212     ForbidPromptsScope(Page* page) : m_page(page)
213     {
214         if (!m_page)
215             return;
216         m_page->forbidPrompts();
217     }
218
219     ~ForbidPromptsScope()
220     {
221         if (!m_page)
222             return;
223         m_page->allowPrompts();
224     }
225
226     Page* m_page;
227 };
228
229 class FrameLoader::FrameProgressTracker {
230     WTF_MAKE_FAST_ALLOCATED;
231 public:
232     explicit FrameProgressTracker(Frame& frame)
233         : m_frame(frame)
234         , m_inProgress(false)
235     {
236     }
237
238     ~FrameProgressTracker()
239     {
240         if (m_inProgress && m_frame.page())
241             m_frame.page()->progress().progressCompleted(m_frame);
242     }
243
244     void progressStarted()
245     {
246         ASSERT(m_frame.page());
247         if (!m_inProgress)
248             m_frame.page()->progress().progressStarted(m_frame);
249         m_inProgress = true;
250     }
251
252     void progressCompleted()
253     {
254         ASSERT(m_inProgress);
255         ASSERT(m_frame.page());
256         m_inProgress = false;
257         m_frame.page()->progress().progressCompleted(m_frame);
258
259         if (auto pageID = m_frame.loader().client().pageID())
260             platformStrategies()->loaderStrategy()->pageLoadCompleted(pageID.value());
261     }
262
263 private:
264     Frame& m_frame;
265     bool m_inProgress;
266 };
267
268 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
269     : m_frame(frame)
270     , m_client(client)
271     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
272     , m_history(std::make_unique<HistoryController>(frame))
273     , m_notifier(frame)
274     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
275     , m_mixedContentChecker(frame)
276     , m_state(FrameStateProvisional)
277     , m_loadType(FrameLoadType::Standard)
278     , m_quickRedirectComing(false)
279     , m_sentRedirectNotification(false)
280     , m_inStopAllLoaders(false)
281     , m_isExecutingJavaScriptFormAction(false)
282     , m_didCallImplicitClose(true)
283     , m_wasUnloadEventEmitted(false)
284     , m_isComplete(false)
285     , m_needsClear(false)
286     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
287     , m_shouldCallCheckCompleted(false)
288     , m_shouldCallCheckLoadComplete(false)
289     , m_opener(nullptr)
290     , m_loadingFromCachedPage(false)
291     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
292     , m_loadsSynchronously(false)
293     , m_forcedSandboxFlags(SandboxNone)
294 {
295 }
296
297 FrameLoader::~FrameLoader()
298 {
299     setOpener(nullptr);
300
301     for (auto& frame : m_openedFrames)
302         frame->loader().m_opener = nullptr;
303
304     m_client.frameLoaderDestroyed();
305
306     if (m_networkingContext)
307         m_networkingContext->invalidate();
308 }
309
310 void FrameLoader::init()
311 {
312     // This somewhat odd set of steps gives the frame an initial empty document.
313     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
314     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
315     m_provisionalDocumentLoader->startLoadingMainResource(ShouldContinue::Yes);
316
317     Ref<Frame> protect(m_frame);
318     m_frame.document()->cancelParsing();
319     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
320
321     m_networkingContext = m_client.createNetworkingContext();
322     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
323 }
324
325 void FrameLoader::initForSynthesizedDocument(const URL&)
326 {
327     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
328     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
329
330     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
331     loader->attachToFrame(m_frame);
332     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
333     loader->setCommitted(true);
334     setDocumentLoader(loader.ptr());
335
336     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
337     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
338     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
339     m_client.transitionToCommittedForNewPage();
340
341     m_didCallImplicitClose = true;
342     m_isComplete = true;
343     m_state = FrameStateComplete;
344     m_needsClear = true;
345
346     m_networkingContext = m_client.createNetworkingContext();
347     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
348 }
349
350 void FrameLoader::setDefersLoading(bool defers)
351 {
352     if (m_documentLoader)
353         m_documentLoader->setDefersLoading(defers);
354     if (m_provisionalDocumentLoader)
355         m_provisionalDocumentLoader->setDefersLoading(defers);
356     if (m_policyDocumentLoader)
357         m_policyDocumentLoader->setDefersLoading(defers);
358     history().setDefersLoading(defers);
359
360     if (!defers) {
361         m_frame.navigationScheduler().startTimer();
362         startCheckCompleteTimer();
363     }
364 }
365
366 void FrameLoader::checkContentPolicy(const ResourceResponse& response, ContentPolicyDecisionFunction&& function)
367 {
368     if (!activeDocumentLoader()) {
369         // Load was cancelled
370         function(PolicyAction::Ignore);
371         return;
372     }
373
374     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), WTFMove(function));
375 }
376
377 void FrameLoader::changeLocation(FrameLoadRequest&& request)
378 {
379     urlSelected(WTFMove(request), nullptr);
380 }
381
382 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, std::optional<NewFrameOpenerPolicy> openerPolicy, const AtomicString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo)
383 {
384     auto* frame = lexicalFrameFromCommonVM();
385     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
386
387     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.value_or(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
388     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent);
389 }
390
391 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent)
392 {
393     Ref<Frame> protect(m_frame);
394
395     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
396         return;
397
398     if (frameRequest.frameName().isEmpty())
399         frameRequest.setFrameName(m_frame.document()->baseTarget());
400
401     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
402     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
403
404     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { });
405 }
406
407 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
408 {
409     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
410
411     // FIXME: Find a good spot for these.
412     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
413
414     if (!m_frame.page())
415         return;
416
417     if (submission->action().isEmpty())
418         return;
419
420     if (isDocumentSandboxed(m_frame, SandboxForms)) {
421         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
422         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
423         return;
424     }
425
426     if (protocolIsJavaScript(submission->action())) {
427         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
428             return;
429         m_isExecutingJavaScriptFormAction = true;
430         Ref<Frame> protect(m_frame);
431         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
432         m_isExecutingJavaScriptFormAction = false;
433         return;
434     }
435
436     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
437     if (!targetFrame) {
438         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
439             return;
440
441         // FIXME: targetFrame can be null for two distinct reasons:
442         // 1. The frame was not found by name, so we should try opening a new window.
443         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
444         // Continuing form submission makes no sense in the latter case.
445         // There is a repeat check after timer fires, so this is not a correctness issue.
446
447         targetFrame = &m_frame;
448     } else
449         submission->clearTarget();
450
451     if (!targetFrame->page())
452         return;
453
454     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
455
456     // We do not want to submit more than one form from the same page, nor do we want to submit a single
457     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
458     // The flag is reset in each time we start dispatching a new mouse or key down event, and
459     // also in setView since this part may get reused for a page from the back/forward cache.
460     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
461
462     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
463     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
464     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
465
466     if (m_frame.tree().isDescendantOf(targetFrame)) {
467         if (m_submittedFormURL == submission->requestURL())
468             return;
469         m_submittedFormURL = submission->requestURL();
470     }
471
472     submission->data().generateFiles(m_frame.document());
473     submission->setReferrer(outgoingReferrer());
474     submission->setOrigin(outgoingOrigin());
475
476     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
477 }
478
479 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
480 {
481     if (m_frame.document() && m_frame.document()->parser())
482         m_frame.document()->parser()->stopParsing();
483
484     if (unloadEventPolicy != UnloadEventPolicyNone)
485         dispatchUnloadEvents(unloadEventPolicy);
486
487     m_isComplete = true; // to avoid calling completed() in finishedParsing()
488     m_didCallImplicitClose = true; // don't want that one either
489
490     if (m_frame.document() && m_frame.document()->parsing()) {
491         finishedParsing();
492         m_frame.document()->setParsing(false);
493     }
494
495     if (auto* document = m_frame.document()) {
496         // FIXME: HTML5 doesn't tell us to set the state to complete when aborting, but we do anyway to match legacy behavior.
497         // http://www.w3.org/Bugs/Public/show_bug.cgi?id=10537
498         document->setReadyState(Document::Complete);
499
500         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
501         DatabaseManager::singleton().stopDatabases(*document, nullptr);
502     }
503
504     policyChecker().stopCheck();
505
506     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
507     m_frame.navigationScheduler().cancel();
508 }
509
510 void FrameLoader::stop()
511 {
512     // http://bugs.webkit.org/show_bug.cgi?id=10854
513     // The frame's last ref may be removed and it will be deleted by checkCompleted().
514     Ref<Frame> protect(m_frame);
515
516     if (DocumentParser* parser = m_frame.document()->parser()) {
517         parser->stopParsing();
518         parser->finish();
519     }
520 }
521
522 void FrameLoader::willTransitionToCommitted()
523 {
524     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
525
526     if (m_frame.editor().hasComposition()) {
527         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
528         m_frame.editor().confirmComposition();
529         if (EditorClient* editorClient = m_frame.editor().client()) {
530             editorClient->respondToChangedSelection(&m_frame);
531             editorClient->discardedComposition(&m_frame);
532         }
533     }
534 }
535
536 bool FrameLoader::closeURL()
537 {
538     history().saveDocumentState();
539
540     Document* currentDocument = m_frame.document();
541     UnloadEventPolicy unloadEventPolicy;
542     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
543         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
544         unloadEventPolicy = UnloadEventPolicyNone;
545     } else {
546         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
547         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
548     }
549
550     stopLoading(unloadEventPolicy);
551     
552     m_frame.editor().clearUndoRedoOperations();
553     return true;
554 }
555
556 bool FrameLoader::didOpenURL()
557 {
558     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
559         // A redirect was scheduled before the document was created.
560         // This can happen when one frame changes another frame's location.
561         return false;
562     }
563
564     m_frame.navigationScheduler().cancel();
565     m_frame.editor().clearLastEditCommand();
566
567     m_isComplete = false;
568     m_didCallImplicitClose = false;
569
570     // If we are still in the process of initializing an empty document then
571     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
572     // since it may cause clients to attempt to render the frame.
573     if (!m_stateMachine.creatingInitialEmptyDocument()) {
574         DOMWindow* window = m_frame.document()->domWindow();
575         window->setStatus(String());
576         window->setDefaultStatus(String());
577     }
578
579     started();
580
581     return true;
582 }
583
584 void FrameLoader::didExplicitOpen()
585 {
586     m_isComplete = false;
587     m_didCallImplicitClose = false;
588
589     // Calling document.open counts as committing the first real document load.
590     if (!m_stateMachine.committedFirstRealDocumentLoad())
591         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
592     
593     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
594     // from a subsequent window.document.open / window.document.write call. 
595     // Canceling redirection here works for all cases because document.open 
596     // implicitly precedes document.write.
597     m_frame.navigationScheduler().cancel();
598 }
599
600
601 void FrameLoader::cancelAndClear()
602 {
603     m_frame.navigationScheduler().cancel();
604
605     if (!m_isComplete)
606         closeURL();
607
608     clear(m_frame.document(), false);
609     m_frame.script().updatePlatformScriptObjects();
610 }
611
612 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
613 {
614     if (!frame.isMainFrame())
615         return false;
616
617     if (frame.loader().opener())
618         return false;
619
620     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
621 }
622
623 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView)
624 {
625     m_frame.editor().clear();
626
627     if (!m_needsClear)
628         return;
629     m_needsClear = false;
630     
631     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
632         m_frame.document()->cancelParsing();
633         m_frame.document()->stopActiveDOMObjects();
634         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
635         m_frame.document()->prepareForDestruction();
636         if (hadLivingRenderTree)
637             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
638     }
639
640     // Do this after detaching the document so that the unload event works.
641     if (clearWindowProperties) {
642         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
643         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
644         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
645
646         if (shouldClearWindowName(m_frame, *newDocument))
647             m_frame.tree().setName(nullAtom());
648     }
649
650     m_frame.selection().prepareForDestruction();
651     m_frame.eventHandler().clear();
652
653     if (clearFrameView && m_frame.view())
654         m_frame.view()->clear();
655
656     // Do not drop the document before the ScriptController and view are cleared
657     // as some destructors might still try to access the document.
658     m_frame.setDocument(nullptr);
659
660     subframeLoader().clear();
661
662     if (clearWindowProperties)
663         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
664
665     if (clearScriptObjects)
666         m_frame.script().clearScriptObjects();
667
668     m_frame.script().enableEval();
669
670     m_frame.navigationScheduler().clear();
671
672     m_checkTimer.stop();
673     m_shouldCallCheckCompleted = false;
674     m_shouldCallCheckLoadComplete = false;
675
676     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
677         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
678 }
679
680 void FrameLoader::receivedFirstData()
681 {
682     dispatchDidCommitLoad(std::nullopt);
683     dispatchDidClearWindowObjectsInAllWorlds();
684     dispatchGlobalObjectAvailableInAllWorlds();
685
686     if (!m_documentLoader)
687         return;
688
689     auto& documentLoader = *m_documentLoader;
690     auto& title = documentLoader.title();
691     if (!title.string.isNull())
692         m_client.dispatchDidReceiveTitle(title);
693
694     ASSERT(m_frame.document());
695     auto& document = *m_frame.document();
696
697     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
698
699     double delay;
700     String urlString;
701     if (!parseHTTPRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
702         return;
703     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
704     if (!protocolIsJavaScript(completedURL))
705         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
706     else {
707         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
708         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
709     }
710 }
711
712 void FrameLoader::setOutgoingReferrer(const URL& url)
713 {
714     m_outgoingReferrer = url.strippedForUseAsReferrer();
715 }
716
717 void FrameLoader::didBeginDocument(bool dispatch)
718 {
719     m_needsClear = true;
720     m_isComplete = false;
721     m_didCallImplicitClose = false;
722     m_frame.document()->setReadyState(Document::Loading);
723
724     if (m_pendingStateObject) {
725         m_frame.document()->statePopped(*m_pendingStateObject);
726         m_pendingStateObject = nullptr;
727     }
728
729     if (dispatch)
730         dispatchDidClearWindowObjectsInAllWorlds();
731
732     updateFirstPartyForCookies();
733     m_frame.document()->initContentSecurityPolicy();
734
735     const Settings& settings = m_frame.settings();
736     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
737     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
738
739     if (m_documentLoader) {
740         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
741         if (!dnsPrefetchControl.isEmpty())
742             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
743
744         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
745
746         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
747         if (!referrerPolicy.isNull())
748             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
749
750         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
751         if (!headerContentLanguage.isEmpty()) {
752             size_t commaIndex = headerContentLanguage.find(',');
753             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
754             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
755             if (!headerContentLanguage.isEmpty())
756                 m_frame.document()->setContentLanguage(headerContentLanguage);
757         }
758     }
759
760     history().restoreDocumentState();
761 }
762
763 void FrameLoader::finishedParsing()
764 {
765     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
766
767     m_frame.injectUserScripts(InjectAtDocumentEnd);
768
769     if (m_stateMachine.creatingInitialEmptyDocument())
770         return;
771
772     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
773     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
774     // Null-checking the FrameView indicates whether or not we're in the destructor.
775     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
776
777     m_client.dispatchDidFinishDocumentLoad();
778
779     scrollToFragmentWithParentBoundary(m_frame.document()->url());
780
781     checkCompleted();
782
783     if (!m_frame.view())
784         return; // We are being destroyed by something checkCompleted called.
785
786     // Check if the scrollbars are really needed for the content.
787     // If not, remove them, relayout, and repaint.
788     m_frame.view()->restoreScrollbar();
789 }
790
791 void FrameLoader::loadDone(LoadCompletionType type)
792 {
793     if (type == LoadCompletionType::Finish)
794         checkCompleted();
795     else
796         scheduleCheckCompleted();
797 }
798
799 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
800 {
801     if (type == LoadCompletionType::Finish)
802         checkLoadComplete();
803     else
804         scheduleCheckLoadComplete();
805 }
806
807 bool FrameLoader::allChildrenAreComplete() const
808 {
809     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
810         if (!child->loader().m_isComplete)
811             return false;
812     }
813     return true;
814 }
815
816 bool FrameLoader::allAncestorsAreComplete() const
817 {
818     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
819         if (!ancestor->loader().m_isComplete)
820             return false;
821     }
822     return true;
823 }
824
825 void FrameLoader::checkCompleted()
826 {
827     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
828     m_shouldCallCheckCompleted = false;
829
830     // Have we completed before?
831     if (m_isComplete)
832         return;
833     
834 #if ENABLE(VIDEO)
835     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
836     if (HTMLMediaElement::isRunningDestructor()) {
837         ASSERT_NOT_REACHED();
838         scheduleCheckCompleted();
839         return;
840     }
841 #endif
842
843     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
844     //        https://bugs.webkit.org/show_bug.cgi?id=171729
845     if (m_frame.document()->inRenderTreeUpdate()) {
846         scheduleCheckCompleted();
847         return;
848     }
849
850     // Are we still parsing?
851     if (m_frame.document()->parsing())
852         return;
853
854     // Still waiting for images/scripts?
855     if (m_frame.document()->cachedResourceLoader().requestCount())
856         return;
857
858     // Still waiting for elements that don't go through a FrameLoader?
859     if (m_frame.document()->isDelayingLoadEvent())
860         return;
861
862     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
863     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
864         return;
865
866     // Any frame that hasn't completed yet?
867     if (!allChildrenAreComplete())
868         return;
869
870     // Important not to protect earlier in this function, because earlier parts
871     // of this function can be called in the frame's destructor, and it's not legal
872     // to ref an object while it's being destroyed.
873     Ref<Frame> protect(m_frame);
874
875     // OK, completed.
876     m_isComplete = true;
877     m_requestedHistoryItem = nullptr;
878     m_frame.document()->setReadyState(Document::Complete);
879
880 #if PLATFORM(IOS_FAMILY)
881     if (m_frame.document()->url().isEmpty()) {
882         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
883         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
884         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
885         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
886         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
887         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
888         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
889     }
890 #endif
891
892     checkCallImplicitClose(); // if we didn't do it before
893
894     m_frame.navigationScheduler().startTimer();
895
896     completed();
897     if (m_frame.page())
898         checkLoadComplete();
899 }
900
901 void FrameLoader::checkTimerFired()
902 {
903     checkCompletenessNow();
904 }
905
906 void FrameLoader::checkCompletenessNow()
907 {
908     Ref<Frame> protect(m_frame);
909
910     if (Page* page = m_frame.page()) {
911         if (page->defersLoading())
912             return;
913     }
914     if (m_shouldCallCheckCompleted)
915         checkCompleted();
916     if (m_shouldCallCheckLoadComplete)
917         checkLoadComplete();
918 }
919
920 void FrameLoader::startCheckCompleteTimer()
921 {
922     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
923         return;
924     if (m_checkTimer.isActive())
925         return;
926     m_checkTimer.startOneShot(0_s);
927 }
928
929 void FrameLoader::scheduleCheckCompleted()
930 {
931     m_shouldCallCheckCompleted = true;
932     startCheckCompleteTimer();
933 }
934
935 void FrameLoader::scheduleCheckLoadComplete()
936 {
937     m_shouldCallCheckLoadComplete = true;
938     startCheckCompleteTimer();
939 }
940
941 void FrameLoader::checkCallImplicitClose()
942 {
943     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
944         return;
945
946     if (!allChildrenAreComplete())
947         return; // still got a frame running -> too early
948
949     m_didCallImplicitClose = true;
950     m_wasUnloadEventEmitted = false;
951     m_frame.document()->implicitClose();
952 }
953
954 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
955 {
956     ASSERT(childFrame);
957
958 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
959     if (auto activeLoader = activeDocumentLoader()) {
960         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
961             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
962             return;
963         }
964     }
965 #endif
966
967     // If we're moving in the back/forward list, we might want to replace the content
968     // of this child frame with whatever was there at that point.
969     auto* parentItem = history().currentItem();
970     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
971         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
972             childFrame->loader().m_requestedHistoryItem = childItem;
973             childFrame->loader().loadDifferentDocumentItem(*childItem, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
974             return;
975         }
976     }
977
978     auto* lexicalFrame = lexicalFrameFromCommonVM();
979     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
980
981     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
982     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, [] { });
983 }
984
985 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
986
987 void FrameLoader::loadArchive(Ref<Archive>&& archive)
988 {
989     ArchiveResource* mainResource = archive->mainResource();
990     ASSERT(mainResource);
991     if (!mainResource)
992         return;
993
994     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
995     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
996     
997     ResourceRequest request(mainResource->url());
998
999     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1000     documentLoader->setArchive(WTFMove(archive));
1001     load(documentLoader.get());
1002 }
1003
1004 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1005
1006 String FrameLoader::outgoingReferrer() const
1007 {
1008     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1009     // for why we walk the parent chain for srcdoc documents.
1010     Frame* frame = &m_frame;
1011     while (frame && frame->document()->isSrcdocDocument()) {
1012         frame = frame->tree().parent();
1013         // Srcdoc documents cannot be top-level documents, by definition,
1014         // because they need to be contained in iframes with the srcdoc.
1015         ASSERT(frame);
1016     }
1017     if (!frame)
1018         return emptyString();
1019     return frame->loader().m_outgoingReferrer;
1020 }
1021
1022 String FrameLoader::outgoingOrigin() const
1023 {
1024     return m_frame.document()->securityOrigin().toString();
1025 }
1026
1027 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1028 {
1029     if (m_submittedFormURL.isEmpty())
1030         return true;
1031
1032     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1033     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1034 }
1035
1036 Frame* FrameLoader::opener()
1037 {
1038     return m_opener;
1039 }
1040
1041 void FrameLoader::setOpener(Frame* opener)
1042 {
1043     if (m_opener && !opener)
1044         m_client.didDisownOpener();
1045
1046     if (m_opener) {
1047         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1048         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1049         openerFrameLoader.m_openedFrames.remove(&m_frame);
1050     }
1051     if (opener)
1052         opener->loader().m_openedFrames.add(&m_frame);
1053     m_opener = opener;
1054
1055     if (m_frame.document())
1056         m_frame.document()->initSecurityContext();
1057 }
1058
1059 // FIXME: This does not belong in FrameLoader!
1060 void FrameLoader::handleFallbackContent()
1061 {
1062     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1063     if (!is<HTMLObjectElement>(owner))
1064         return;
1065     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1066 }
1067
1068 void FrameLoader::provisionalLoadStarted()
1069 {
1070     if (m_stateMachine.firstLayoutDone())
1071         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1072     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1073     m_client.provisionalLoadStarted();
1074
1075     if (m_frame.isMainFrame()) {
1076         tracePoint(MainResourceLoadDidStartProvisional);
1077
1078         if (auto* page = m_frame.page())
1079             page->didStartProvisionalLoad();
1080     }
1081 }
1082
1083 void FrameLoader::resetMultipleFormSubmissionProtection()
1084 {
1085     m_submittedFormURL = URL();
1086 }
1087
1088 void FrameLoader::updateFirstPartyForCookies()
1089 {
1090     if (m_frame.tree().parent())
1091         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1092     else
1093         setFirstPartyForCookies(m_frame.document()->url());
1094 }
1095
1096 void FrameLoader::setFirstPartyForCookies(const URL& url)
1097 {
1098     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1099         frame->document()->setFirstPartyForCookies(url);
1100
1101     String registrableDomain = ResourceRequest::partitionName(url.host().toString());
1102     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1103         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomainsAreEqual(frame->document()->url(), registrableDomain))
1104             frame->document()->setSiteForCookies(url);
1105     }
1106 }
1107
1108 // This does the same kind of work that didOpenURL does, except it relies on the fact
1109 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1110 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1111 {
1112     // If we have a state object, we cannot also be a new navigation.
1113     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1114
1115     // Update the data source's request with the new URL to fake the URL change
1116     URL oldURL = m_frame.document()->url();
1117     m_frame.document()->setURL(url);
1118     setOutgoingReferrer(url);
1119     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1120     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1121         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1122         // based on the current request. Must also happen before we openURL and displace the 
1123         // scroll position, since adding the BF item will save away scroll state.
1124         
1125         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1126         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1127         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1128         // though its load is not yet done.  I think this all works out OK, for one because
1129         // we have already saved away the scroll and doc state for the long slow load,
1130         // but it's not an obvious case.
1131
1132         history().updateBackForwardListForFragmentScroll();
1133     }
1134     
1135     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1136     
1137     history().updateForSameDocumentNavigation();
1138
1139     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1140     if (hashChange)
1141         m_frame.eventHandler().stopAutoscrollTimer();
1142     
1143     // It's important to model this as a load that starts and immediately finishes.
1144     // Otherwise, the parent frame may think we never finished loading.
1145     started();
1146
1147     if (auto* ownerElement = m_frame.ownerElement()) {
1148         auto* ownerRenderer = ownerElement->renderer();
1149         auto* view = m_frame.view();
1150         if (is<RenderWidget>(ownerRenderer) && view)
1151             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1152     }
1153
1154     // We need to scroll to the fragment whether or not a hash change occurred, since
1155     // the user might have scrolled since the previous navigation.
1156     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1157     
1158     m_isComplete = false;
1159     checkCompleted();
1160
1161     if (isNewNavigation) {
1162         // This will clear previousItem from the rest of the frame tree that didn't
1163         // doing any loading. We need to make a pass on this now, since for fragment
1164         // navigation we'll not go through a real load and reach Completed state.
1165         checkLoadComplete();
1166     }
1167
1168     m_client.dispatchDidNavigateWithinPage();
1169
1170     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1171     m_client.dispatchDidPopStateWithinPage();
1172     
1173     if (hashChange) {
1174         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1175         m_client.dispatchDidChangeLocationWithinPage();
1176     }
1177     
1178     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1179     m_client.didFinishLoad();
1180 }
1181
1182 bool FrameLoader::isComplete() const
1183 {
1184     return m_isComplete;
1185 }
1186
1187 void FrameLoader::completed()
1188 {
1189     Ref<Frame> protect(m_frame);
1190
1191     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1192         descendant->navigationScheduler().startTimer();
1193
1194     if (Frame* parent = m_frame.tree().parent())
1195         parent->loader().checkCompleted();
1196
1197     if (m_frame.view())
1198         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1199 }
1200
1201 void FrameLoader::started()
1202 {
1203     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1204         frame->loader().m_isComplete = false;
1205 }
1206
1207 void FrameLoader::prepareForLoadStart()
1208 {
1209     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1210
1211     m_progressTracker->progressStarted();
1212     m_client.dispatchDidStartProvisionalLoad();
1213
1214     if (AXObjectCache::accessibilityEnabled()) {
1215         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1216             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1217             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1218         }
1219     }
1220 }
1221
1222 void FrameLoader::setupForReplace()
1223 {
1224     m_client.revertToProvisionalState(m_documentLoader.get());
1225     setState(FrameStateProvisional);
1226     m_provisionalDocumentLoader = m_documentLoader;
1227     m_documentLoader = nullptr;
1228     detachChildren();
1229 }
1230
1231 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState)
1232 {
1233     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1234     auto protectFrame = makeRef(m_frame);
1235
1236     URL url = request.resourceRequest().url();
1237
1238     ASSERT(m_frame.document());
1239     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1240         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1241         return;
1242     }
1243
1244     String argsReferrer = request.resourceRequest().httpReferrer();
1245     if (argsReferrer.isEmpty())
1246         argsReferrer = outgoingReferrer();
1247
1248     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1249     if (request.shouldSendReferrer() == NeverSendReferrer)
1250         referrer = String();
1251
1252     FrameLoadType loadType;
1253     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1254         loadType = FrameLoadType::Reload;
1255     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1256         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1257     else
1258         loadType = FrameLoadType::Standard;
1259
1260     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1261         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1262         // load if frame names have changed.
1263         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1264         if (!sourceFrame)
1265             sourceFrame = &m_frame;
1266         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1267         if (targetFrame && targetFrame != sourceFrame) {
1268             if (Page* page = targetFrame->page())
1269                 page->chrome().focus();
1270         }
1271     };
1272
1273     if (request.resourceRequest().httpMethod() == "POST")
1274         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1275     else
1276         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1277 }
1278
1279 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1280 {
1281     if (UserGestureIndicator::processingUserGesture())
1282         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1283
1284     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1285         return propagatedPolicy;
1286
1287     if (!currentFrame.isMainFrame())
1288         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1289
1290     return propagatedPolicy;
1291 }
1292
1293 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1294 {
1295     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1296 }
1297
1298 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1299 {
1300     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1301 }
1302
1303 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1304 {
1305     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1306 }
1307
1308 bool FrameLoader::isNavigationAllowed() const
1309 {
1310     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && NavigationDisabler::isNavigationAllowed(m_frame);
1311 }
1312
1313 bool FrameLoader::isStopLoadingAllowed() const
1314 {
1315     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1316 }
1317
1318 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
1319 {
1320     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1321     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1322         return;
1323
1324     Ref<Frame> protect(m_frame);
1325
1326     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1327     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1328     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1329     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1330     LockHistory lockHistory = frameLoadRequest.lockHistory();
1331     bool isFormSubmission = formState;
1332
1333     const URL& newURL = frameLoadRequest.resourceRequest().url();
1334     ResourceRequest request(newURL);
1335     if (!referrer.isEmpty()) {
1336         request.setHTTPReferrer(referrer);
1337         RefPtr<SecurityOrigin> referrerOrigin = SecurityOrigin::createFromString(referrer);
1338         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1339     }
1340     if (&m_frame.tree().top() != &m_frame)
1341         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1342
1343     addExtraFieldsToRequest(request, newLoadType, true);
1344     if (isReload(newLoadType))
1345         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1346
1347     ASSERT(newLoadType != FrameLoadType::Same);
1348
1349     // The search for a target frame is done earlier in the case of form submission.
1350     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1351     if (targetFrame && targetFrame != &m_frame) {
1352         frameLoadRequest.setFrameName("_self");
1353         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), completionHandlerCaller.release());
1354         return;
1355     }
1356
1357     if (!isNavigationAllowed())
1358         return;
1359
1360     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1361     if (m_frame.page() && m_frame.page()->openedViaWindowOpenWithOpener())
1362         action.setOpenedViaWindowOpenWithOpener();
1363     action.setHasOpenedFrames(!m_openedFrames.isEmpty());
1364     action.setLockHistory(lockHistory);
1365     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1366
1367     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1368         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1369         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1370             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1371             completionHandler();
1372         });
1373         return;
1374     }
1375
1376     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1377
1378     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1379     const String& httpMethod = request.httpMethod();
1380     
1381     // Make sure to do scroll to fragment processing even if the URL is
1382     // exactly the same so pages with '#' links and DHTML side effects
1383     // work properly.
1384     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1385         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1386         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1387         policyChecker().stopCheck();
1388         policyChecker().setLoadType(newLoadType);
1389         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, ShouldContinue shouldContinue) {
1390             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue == ShouldContinue::Yes);
1391         }, PolicyDecisionMode::Synchronous);
1392         return;
1393     }
1394
1395     // Must grab this now, since this load may stop the previous load and clear this flag.
1396     bool isRedirect = m_quickRedirectComing;
1397 #if USE(SYSTEM_PREVIEW)
1398     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1399     request.setSystemPreview(isSystemPreview);
1400     if (isSystemPreview)
1401         request.setSystemPreviewRect(frameLoadRequest.systemPreviewRect());
1402 #endif
1403     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1404         if (isRedirect) {
1405             m_quickRedirectComing = false;
1406             if (m_provisionalDocumentLoader)
1407                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1408             else if (m_policyDocumentLoader)
1409                 m_policyDocumentLoader->setIsClientRedirect(true);
1410         } else if (sameURL && !isReload(newLoadType)) {
1411             // Example of this case are sites that reload the same URL with a different cookie
1412             // driving the generated content, or a master frame with links that drive a target
1413             // frame, where the user has clicked on the same link repeatedly.
1414             m_loadType = FrameLoadType::Same;
1415         }
1416         completionHandler();
1417     });
1418 }
1419
1420 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1421 {
1422     if (!shouldTreatURLAsSrcdocDocument(url))
1423         return SubstituteData();
1424     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1425     ASSERT(!srcdoc.isNull());
1426     CString encodedSrcdoc = srcdoc.string().utf8();
1427
1428     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1429     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1430 }
1431
1432 void FrameLoader::load(FrameLoadRequest&& request)
1433 {
1434     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1435         return;
1436
1437     if (!request.frameName().isEmpty()) {
1438         Frame* frame = findFrameForNavigation(request.frameName());
1439         if (frame) {
1440             request.setShouldCheckNewWindowPolicy(false);
1441             if (&frame->loader() != this) {
1442                 frame->loader().load(WTFMove(request));
1443                 return;
1444             }
1445         }
1446     }
1447
1448     if (request.shouldCheckNewWindowPolicy()) {
1449         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1450         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1451             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1452         });
1453
1454         return;
1455     }
1456
1457     if (!request.hasSubstituteData())
1458         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1459
1460     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1461     addSameSiteInfoToRequestIfNeeded(loader->request());
1462     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1463
1464     if (request.shouldTreatAsContinuingLoad()) {
1465         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1466         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1467             loader->setIsClientRedirect(true);
1468             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1469         }
1470     }
1471
1472     SetForScope<bool> currentLoadShouldBeTreatedAsContinuingLoadGuard(m_currentLoadShouldBeTreatedAsContinuingLoad, request.shouldTreatAsContinuingLoad());
1473     load(loader.get());
1474 }
1475
1476 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, CompletionHandler<void()>&& completionHandler)
1477 {
1478     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1479     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1480
1481     if (lockHistory == LockHistory::Yes && m_documentLoader)
1482         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1483
1484     if (auto* opener = this->opener()) {
1485         auto pageID = opener->loader().client().pageID();
1486         auto frameID = opener->loader().client().frameID();
1487         if (pageID && frameID)
1488             action.setOpener(std::make_pair(*pageID, *frameID));
1489     }
1490
1491     loader->setTriggeringAction(WTFMove(action));
1492     if (m_documentLoader)
1493         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1494
1495     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1496 }
1497
1498 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1499 {
1500     ResourceRequest& r = newDocumentLoader.request();
1501     addExtraFieldsToMainResourceRequest(r);
1502     FrameLoadType type;
1503
1504     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1505         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1506         type = FrameLoadType::Same;
1507     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1508         type = m_loadType;
1509     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || m_currentLoadShouldBeTreatedAsContinuingLoad))
1510         type = FrameLoadType::RedirectWithLockedBackForwardList;
1511     else
1512         type = FrameLoadType::Standard;
1513
1514     if (m_documentLoader)
1515         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1516     
1517     // When we loading alternate content for an unreachable URL that we're
1518     // visiting in the history list, we treat it as a reload so the history list 
1519     // is appropriately maintained.
1520     //
1521     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1522     // shouldn't a more explicit type of reload be defined, that means roughly 
1523     // "load without affecting history" ? 
1524     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1525         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1526         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1527         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1528         history().saveDocumentAndScrollState();
1529
1530         ASSERT(type == FrameLoadType::Standard);
1531         type = FrameLoadType::Reload;
1532     }
1533
1534     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1535 }
1536
1537 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1538 {
1539     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1540     Ref<Frame> protect(m_frame);
1541
1542     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1543
1544     ASSERT(m_client.hasWebView());
1545
1546     // Unfortunately the view must be non-nil, this is ultimately due
1547     // to parser requiring a FrameView.  We should fix this dependency.
1548
1549     ASSERT(m_frame.view());
1550
1551     if (!isNavigationAllowed())
1552         return;
1553
1554     if (m_frame.document())
1555         m_previousURL = m_frame.document()->url();
1556
1557     const URL& newURL = loader->request().url();
1558
1559     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1560     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1561     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != blankURL())
1562         m_shouldReportResourceTimingToParentFrame = false;
1563
1564     // Log main frame navigation types.
1565     if (m_frame.isMainFrame()) {
1566         if (auto* page = m_frame.page()) {
1567             page->mainFrameLoadStarted(newURL, type);
1568             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1569         }
1570     }
1571
1572     policyChecker().setLoadType(type);
1573     bool isFormSubmission = formState;
1574
1575     const String& httpMethod = loader->request().httpMethod();
1576
1577     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1578         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1579         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1580
1581         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1582         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1583         policyChecker().stopCheck();
1584         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, ShouldContinue shouldContinue) {
1585             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue == ShouldContinue::Yes);
1586         }, PolicyDecisionMode::Synchronous);
1587         return;
1588     }
1589
1590     if (Frame* parent = m_frame.tree().parent())
1591         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1592
1593     policyChecker().stopCheck();
1594     setPolicyDocumentLoader(loader);
1595     if (loader->triggeringAction().isEmpty())
1596         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1597
1598     if (Element* ownerElement = m_frame.ownerElement()) {
1599         // We skip dispatching the beforeload event if we've already
1600         // committed a real document load because the event would leak
1601         // subsequent activity by the frame which the parent frame isn't
1602         // supposed to learn. For example, if the child frame navigated to
1603         // a new URL, the parent frame shouldn't learn the URL.
1604         if (!m_stateMachine.committedFirstRealDocumentLoad()
1605             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1606             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), ShouldContinue::No, allowNavigationToInvalidURL);
1607             return;
1608         }
1609     }
1610
1611     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1612
1613     if (m_currentLoadShouldBeTreatedAsContinuingLoad) {
1614         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), ShouldContinue::Yes, allowNavigationToInvalidURL);
1615         return;
1616     }
1617
1618     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, ShouldContinue shouldContinue) mutable {
1619         continueLoadAfterNavigationPolicy(request, formState.get(), shouldContinue, allowNavigationToInvalidURL);
1620         completionHandler();
1621     }, PolicyDecisionMode::Asynchronous);
1622 }
1623
1624 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1625 {
1626     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1627         return;
1628
1629     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1630     m_provisionalDocumentLoader->stopLoading();
1631     setProvisionalDocumentLoader(nullptr);
1632 }
1633
1634 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1635 {
1636     ASSERT(!url.isEmpty());
1637     if (!frame)
1638         return;
1639
1640     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1641 }
1642
1643 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1644 {
1645     ASSERT(!url.isEmpty());
1646     if (!frame)
1647         return;
1648     
1649     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1650 }
1651
1652 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1653 {
1654     if (!frame)
1655         return;
1656
1657     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1658 }
1659
1660 const ResourceRequest& FrameLoader::initialRequest() const
1661 {
1662     return activeDocumentLoader()->originalRequest();
1663 }
1664
1665 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1666 {
1667 #if PLATFORM(IOS_FAMILY)
1668     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1669     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1670     if (IOSApplication::isMobileStore())
1671         return m_client.shouldLoadMediaElementURL(url);
1672 #endif
1673
1674     ResourceRequest request(url);
1675     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1676
1677     unsigned long identifier;
1678     ResourceError error;
1679     requestFromDelegate(request, identifier, error);
1680     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1681
1682     url = request.url();
1683
1684     return error.isNull();
1685 }
1686
1687 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1688 {
1689     URL unreachableURL = docLoader.unreachableURL();
1690
1691     if (unreachableURL.isEmpty())
1692         return false;
1693
1694     if (!isBackForwardLoadType(policyChecker().loadType()))
1695         return false;
1696
1697     // We only treat unreachableURLs specially during the delegate callbacks
1698     // for provisional load errors and navigation policy decisions. The former
1699     // case handles well-formed URLs that can't be loaded, and the latter
1700     // case handles malformed URLs and unknown schemes. Loading alternate content
1701     // at other times behaves like a standard load.
1702     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1703         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1704
1705     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1706 }
1707
1708 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1709 {
1710     if (!m_documentLoader)
1711         return;
1712
1713     ResourceRequest request = m_documentLoader->request();
1714     URL unreachableURL = m_documentLoader->unreachableURL();
1715     if (!unreachableURL.isEmpty())
1716         request.setURL(unreachableURL);
1717
1718     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1719     // We should ask the user for confirmation in this case.
1720     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1721
1722     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1723     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1724
1725     setPolicyDocumentLoader(loader.ptr());
1726
1727     loader->setOverrideEncoding(encoding);
1728
1729     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1730 }
1731
1732 void FrameLoader::reload(OptionSet<ReloadOption> options)
1733 {
1734     if (!m_documentLoader)
1735         return;
1736
1737     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1738     // Reloading in this case will lose the current contents (see 4151001).
1739     if (m_documentLoader->request().url().isEmpty())
1740         return;
1741
1742     // Replace error-page URL with the URL we were trying to reach.
1743     ResourceRequest initialRequest = m_documentLoader->request();
1744     URL unreachableURL = m_documentLoader->unreachableURL();
1745     if (!unreachableURL.isEmpty())
1746         initialRequest.setURL(unreachableURL);
1747
1748     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1749     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1750     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1751     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1752
1753     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1754     
1755     ResourceRequest& request = loader->request();
1756
1757     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1758     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1759
1760     addSameSiteInfoToRequestIfNeeded(request);
1761
1762     // If we're about to re-post, set up action so the application can warn the user.
1763     if (request.httpMethod() == "POST")
1764         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1765
1766     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1767
1768     auto frameLoadTypeForReloadOptions = [] (auto options) {
1769         if (options & ReloadOption::FromOrigin)
1770             return FrameLoadType::ReloadFromOrigin;
1771         if (options & ReloadOption::ExpiredOnly)
1772             return FrameLoadType::ReloadExpiredOnly;
1773         return FrameLoadType::Reload;
1774     };
1775     
1776     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1777 }
1778
1779 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1780 {
1781     ASSERT(!m_frame.document() || m_frame.document()->pageCacheState() != Document::InPageCache);
1782     if (!isStopLoadingAllowed())
1783         return;
1784
1785     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1786     if (m_inStopAllLoaders)
1787         return;
1788
1789     // This method might dispatch events.
1790     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1791
1792     // Calling stopLoading() on the provisional document loader can blow away
1793     // the frame from underneath.
1794     Ref<Frame> protect(m_frame);
1795
1796     m_inStopAllLoaders = true;
1797
1798     policyChecker().stopCheck();
1799
1800     // If no new load is in progress, we should clear the provisional item from history
1801     // before we call stopLoading.
1802     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1803         history().setProvisionalItem(nullptr);
1804
1805     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1806         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1807     if (m_provisionalDocumentLoader)
1808         m_provisionalDocumentLoader->stopLoading();
1809     if (m_documentLoader)
1810         m_documentLoader->stopLoading();
1811
1812     setProvisionalDocumentLoader(nullptr);
1813
1814     m_inStopAllLoaders = false;    
1815 }
1816
1817 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1818 {
1819     stopAllLoaders();
1820
1821     if (!m_checkTimer.isActive())
1822         return;
1823
1824     m_checkTimer.stop();
1825     m_checkingLoadCompleteForDetachment = true;
1826     checkCompletenessNow();
1827     m_checkingLoadCompleteForDetachment = false;
1828 }
1829
1830 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1831 {
1832     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1833     Ref<Frame> protectedFrame(m_frame);
1834
1835     stopAllLoaders();
1836
1837 #if PLATFORM(IOS_FAMILY)
1838     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1839     // but haven't laid out/painted yet.
1840     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1841     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1842         m_frame.view()->layoutContext().layout();
1843 #endif
1844
1845     if (deferCheckLoadComplete)
1846         scheduleCheckLoadComplete();
1847     else if (m_frame.page())
1848         checkLoadComplete();
1849 }
1850
1851 DocumentLoader* FrameLoader::activeDocumentLoader() const
1852 {
1853     if (m_state == FrameStateProvisional)
1854         return m_provisionalDocumentLoader.get();
1855     return m_documentLoader.get();
1856 }
1857
1858 bool FrameLoader::isLoading() const
1859 {
1860     DocumentLoader* docLoader = activeDocumentLoader();
1861     if (!docLoader)
1862         return false;
1863     return docLoader->isLoading();
1864 }
1865
1866 bool FrameLoader::frameHasLoaded() const
1867 {
1868     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1869 }
1870
1871 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1872 {
1873     if (!loader && !m_documentLoader)
1874         return;
1875     
1876     ASSERT(loader != m_documentLoader);
1877     ASSERT(!loader || loader->frameLoader() == this);
1878
1879     m_client.prepareForDataSourceReplacement();
1880     detachChildren();
1881
1882     // detachChildren() can trigger this frame's unload event, and therefore
1883     // script can run and do just about anything. For example, an unload event that calls
1884     // document.write("") on its parent frame can lead to a recursive detachChildren()
1885     // invocation for this frame. In that case, we can end up at this point with a
1886     // loader that hasn't been deleted but has been detached from its frame. Such a
1887     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1888     // state if we try to use it.
1889     if (loader && !loader->frame())
1890         return;
1891
1892     if (m_documentLoader)
1893         m_documentLoader->detachFromFrame();
1894
1895     m_documentLoader = loader;
1896 }
1897
1898 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1899 {
1900     if (m_policyDocumentLoader == loader)
1901         return;
1902
1903     if (loader)
1904         loader->attachToFrame(m_frame);
1905     if (m_policyDocumentLoader
1906             && m_policyDocumentLoader != m_provisionalDocumentLoader
1907             && m_policyDocumentLoader != m_documentLoader)
1908         m_policyDocumentLoader->detachFromFrame();
1909
1910     m_policyDocumentLoader = loader;
1911 }
1912
1913 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1914 {
1915     ASSERT(!loader || !m_provisionalDocumentLoader);
1916     ASSERT(!loader || loader->frameLoader() == this);
1917
1918     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1919         m_provisionalDocumentLoader->detachFromFrame();
1920
1921     m_provisionalDocumentLoader = loader;
1922 }
1923
1924 void FrameLoader::setState(FrameState newState)
1925 {
1926     FrameState oldState = m_state;
1927     m_state = newState;
1928     
1929     if (newState == FrameStateProvisional)
1930         provisionalLoadStarted();
1931     else if (newState == FrameStateComplete) {
1932         frameLoadCompleted();
1933         if (m_documentLoader)
1934             m_documentLoader->stopRecordingResponses();
1935         if (m_frame.isMainFrame() && oldState != newState)
1936             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1937     }
1938 }
1939
1940 void FrameLoader::clearProvisionalLoad()
1941 {
1942     setProvisionalDocumentLoader(nullptr);
1943     m_progressTracker->progressCompleted();
1944     setState(FrameStateComplete);
1945 }
1946
1947 void FrameLoader::commitProvisionalLoad()
1948 {
1949     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1950     Ref<Frame> protect(m_frame);
1951
1952     std::unique_ptr<CachedPage> cachedPage;
1953     if (m_loadingFromCachedPage && history().provisionalItem())
1954         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1955
1956     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
1957         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1958         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
1959
1960     willTransitionToCommitted();
1961
1962     if (!m_frame.tree().parent() && history().currentItem()) {
1963         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
1964         // We are doing this here because we know for sure that a new page is about to be loaded.
1965         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
1966         
1967         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
1968     }
1969
1970     if (m_loadType != FrameLoadType::Replace)
1971         closeOldDataSources();
1972
1973     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
1974         m_client.makeRepresentation(pdl.get());
1975
1976     transitionToCommitted(cachedPage.get());
1977
1978     if (pdl && m_documentLoader) {
1979         // Check if the destination page is allowed to access the previous page's timing information.
1980         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
1981         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
1982     }
1983
1984     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
1985     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
1986     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
1987     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
1988     if (m_sentRedirectNotification)
1989         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
1990     
1991     if (cachedPage && cachedPage->document()) {
1992 #if PLATFORM(IOS_FAMILY)
1993         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
1994         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
1995         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
1996 #endif
1997         willRestoreFromCachedPage();
1998
1999         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2000         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2001         ResourceError mainResouceError;
2002         unsigned long mainResourceIdentifier;
2003         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2004         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2005         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2006
2007         std::optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2008
2009         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2010         cachedPage->restore(*m_frame.page());
2011
2012         dispatchDidCommitLoad(hasInsecureContent);
2013
2014 #if PLATFORM(IOS_FAMILY)
2015         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2016         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2017 #endif
2018         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2019
2020         auto& title = m_documentLoader->title();
2021         if (!title.string.isNull())
2022             m_client.dispatchDidReceiveTitle(title);
2023
2024         // Send remaining notifications for the main resource.
2025         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2026             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2027
2028         checkCompleted();
2029     } else
2030         didOpenURL();
2031
2032     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2033         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2034
2035     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2036         history().updateForClientRedirect();
2037
2038     if (m_loadingFromCachedPage) {
2039         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2040         if (auto* page = m_frame.page())
2041             page->chrome().didReceiveDocType(m_frame);
2042         m_frame.document()->resume(ReasonForSuspension::PageCache);
2043
2044         // Force a layout to update view size and thereby update scrollbars.
2045 #if PLATFORM(IOS_FAMILY)
2046         if (!m_client.forceLayoutOnRestoreFromPageCache())
2047             m_frame.view()->forceLayout();
2048 #else
2049         m_frame.view()->forceLayout();
2050 #endif
2051
2052         // Main resource delegates were already sent, so we skip the first response here.
2053         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2054             const auto& response = m_documentLoader->responses()[i];
2055             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2056             ResourceError error;
2057             unsigned long identifier;
2058             ResourceRequest request(response.url());
2059             requestFromDelegate(request, identifier, error);
2060             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2061             // However, with today's computers and networking speeds, this won't happen in practice.
2062             // Could be an issue with a giant local file.
2063             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2064         }
2065
2066         // FIXME: Why only this frame and not parent frames?
2067         checkLoadCompleteForThisFrame();
2068     }
2069 }
2070
2071 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2072 {
2073     ASSERT(m_client.hasWebView());
2074     ASSERT(m_state == FrameStateProvisional);
2075
2076     if (m_state != FrameStateProvisional)
2077         return;
2078
2079     if (FrameView* view = m_frame.view()) {
2080         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2081             scrollAnimator->cancelAnimations();
2082     }
2083
2084     m_client.setCopiesOnScroll();
2085     history().updateForCommit();
2086
2087     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2088     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2089     // or the two will stomp each other.
2090     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2091     if (m_documentLoader)
2092         closeURL();
2093     if (pdl != m_provisionalDocumentLoader)
2094         return;
2095
2096     if (m_documentLoader)
2097         m_documentLoader->stopLoadingSubresources();
2098     if (m_documentLoader)
2099         m_documentLoader->stopLoadingPlugIns();
2100
2101     // Setting our document loader invokes the unload event handler of our child frames.
2102     // Script can do anything. If the script initiates a new load, we need to abandon the
2103     // current load or the two will stomp each other.
2104     setDocumentLoader(m_provisionalDocumentLoader.get());
2105     if (pdl != m_provisionalDocumentLoader)
2106         return;
2107     setProvisionalDocumentLoader(nullptr);
2108
2109     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2110     setState(FrameStateCommittedPage);
2111
2112     // Handle adding the URL to the back/forward list.
2113     DocumentLoader* dl = m_documentLoader.get();
2114
2115     switch (m_loadType) {
2116     case FrameLoadType::Forward:
2117     case FrameLoadType::Back:
2118     case FrameLoadType::IndexedBackForward:
2119         if (m_frame.page()) {
2120             // If the first load within a frame is a navigation within a back/forward list that was attached
2121             // without any of the items being loaded then we need to update the history in a similar manner as
2122             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2123             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2124                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2125
2126             history().updateForBackForwardNavigation();
2127
2128             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2129             if (history().currentItem() && !cachedPage)
2130                 m_pendingStateObject = history().currentItem()->stateObject();
2131
2132             // Create a document view for this document, or used the cached view.
2133             if (cachedPage) {
2134                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2135                 ASSERT(cachedDocumentLoader);
2136                 cachedDocumentLoader->attachToFrame(m_frame);
2137                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2138             } else
2139                 m_client.transitionToCommittedForNewPage();
2140         }
2141         break;
2142
2143     case FrameLoadType::Reload:
2144     case FrameLoadType::ReloadFromOrigin:
2145     case FrameLoadType::ReloadExpiredOnly:
2146     case FrameLoadType::Same:
2147     case FrameLoadType::Replace:
2148         history().updateForReload();
2149         m_client.transitionToCommittedForNewPage();
2150         break;
2151
2152     case FrameLoadType::Standard:
2153         history().updateForStandardLoad();
2154         if (m_frame.view())
2155             m_frame.view()->setScrollbarsSuppressed(true);
2156         m_client.transitionToCommittedForNewPage();
2157         break;
2158
2159     case FrameLoadType::RedirectWithLockedBackForwardList:
2160         history().updateForRedirectWithLockedBackForwardList();
2161         m_client.transitionToCommittedForNewPage();
2162         break;
2163     }
2164
2165     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2166
2167     // Tell the client we've committed this URL.
2168     ASSERT(m_frame.view());
2169
2170     if (m_stateMachine.creatingInitialEmptyDocument())
2171         return;
2172
2173     if (!m_stateMachine.committedFirstRealDocumentLoad())
2174         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2175 }
2176
2177 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2178 {
2179     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2180     // the redirect succeeded.  We should either rename this API, or add a new method, like
2181     // -webView:didFinishClientRedirectForFrame:
2182     m_client.dispatchDidCancelClientRedirect();
2183
2184     if (newLoadInProgress == NewLoadInProgress::No)
2185         m_quickRedirectComing = false;
2186
2187     m_sentRedirectNotification = false;
2188 }
2189
2190 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2191 {
2192     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2193     
2194     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2195     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2196     m_sentRedirectNotification = true;
2197     
2198     // If a "quick" redirect comes in, we set a special mode so we treat the next
2199     // load as part of the original navigation. If we don't have a document loader, we have
2200     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2201     // Loads triggered by JavaScript form submissions never count as quick redirects.
2202     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2203 }
2204
2205 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2206 {
2207     // This function implements the rule: "Don't reload if navigating by fragment within
2208     // the same URL, but do reload if going to a new URL or to the same URL with no
2209     // fragment identifier at all."
2210     if (!destinationURL.hasFragmentIdentifier())
2211         return true;
2212     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2213 }
2214
2215 void FrameLoader::closeOldDataSources()
2216 {
2217     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2218     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2219     // use a recursive algorithm here.
2220     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2221         child->loader().closeOldDataSources();
2222     
2223     if (m_documentLoader)
2224         m_client.dispatchWillClose();
2225
2226     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2227 }
2228
2229 void FrameLoader::willRestoreFromCachedPage()
2230 {
2231     ASSERT(!m_frame.tree().parent());
2232     ASSERT(m_frame.page());
2233     ASSERT(m_frame.isMainFrame());
2234
2235     m_frame.navigationScheduler().cancel();
2236
2237     // We still have to close the previous part page.
2238     closeURL();
2239     
2240     // Delete old status bar messages (if it _was_ activated on last URL).
2241     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2242         DOMWindow* window = m_frame.document()->domWindow();
2243         window->setStatus(String());
2244         window->setDefaultStatus(String());
2245     }
2246 }
2247
2248 void FrameLoader::open(CachedFrameBase& cachedFrame)
2249 {
2250     m_isComplete = false;
2251     
2252     // Don't re-emit the load event.
2253     m_didCallImplicitClose = true;
2254
2255     URL url = cachedFrame.url();
2256
2257     // FIXME: I suspect this block of code doesn't do anything.
2258     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2259         url.setPath("/");
2260
2261     started();
2262     Document* document = cachedFrame.document();
2263     ASSERT(document);
2264     ASSERT(document->domWindow());
2265
2266     clear(document, true, true, cachedFrame.isMainFrame());
2267
2268     document->setPageCacheState(Document::NotInPageCache);
2269
2270     m_needsClear = true;
2271     m_isComplete = false;
2272     m_didCallImplicitClose = false;
2273     m_outgoingReferrer = url.string();
2274
2275     FrameView* view = cachedFrame.view();
2276     
2277     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2278     ASSERT(view);
2279     view->setWasScrolledByUser(false);
2280
2281     std::optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : std::optional<IntRect>(std::nullopt);
2282     m_frame.setView(view);
2283
2284     // Use the previous ScrollView's frame rect.
2285     if (previousViewFrameRect)
2286         view->setFrameRect(previousViewFrameRect.value());
2287
2288     {
2289         // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2290         // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2291         // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2292         NavigationDisabler disableNavigation { &m_frame };
2293         m_frame.setDocument(document);
2294     }
2295
2296     document->domWindow()->resumeFromPageCache();
2297
2298     updateFirstPartyForCookies();
2299
2300     cachedFrame.restore();
2301 }
2302
2303 bool FrameLoader::isHostedByObjectElement() const
2304 {
2305     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2306     return owner && owner->hasTagName(objectTag);
2307 }
2308
2309 bool FrameLoader::isReplacing() const
2310 {
2311     return m_loadType == FrameLoadType::Replace;
2312 }
2313
2314 void FrameLoader::setReplacing()
2315 {
2316     m_loadType = FrameLoadType::Replace;
2317 }
2318
2319 bool FrameLoader::subframeIsLoading() const
2320 {
2321     // It's most likely that the last added frame is the last to load so we walk backwards.
2322     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2323         FrameLoader& childLoader = child->loader();
2324         DocumentLoader* documentLoader = childLoader.documentLoader();
2325         if (documentLoader && documentLoader->isLoadingInAPISense())
2326             return true;
2327         documentLoader = childLoader.provisionalDocumentLoader();
2328         if (documentLoader && documentLoader->isLoadingInAPISense())
2329             return true;
2330         documentLoader = childLoader.policyDocumentLoader();
2331         if (documentLoader)
2332             return true;
2333     }
2334     return false;
2335 }
2336
2337 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2338 {
2339     m_client.willChangeTitle(loader);
2340 }
2341
2342 FrameLoadType FrameLoader::loadType() const
2343 {
2344     return m_loadType;
2345 }
2346     
2347 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2348 {
2349     if (Page* page = m_frame.page()) {
2350         if (page->isResourceCachingDisabled())
2351             return CachePolicyReload;
2352     }
2353
2354     if (m_isComplete)
2355         return CachePolicyVerify;
2356
2357     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2358         return CachePolicyReload;
2359
2360     if (Frame* parentFrame = m_frame.tree().parent()) {
2361         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2362         if (parentCachePolicy != CachePolicyVerify)
2363             return parentCachePolicy;
2364     }
2365     
2366     switch (m_loadType) {
2367     case FrameLoadType::Reload:
2368         return CachePolicyRevalidate;
2369     case FrameLoadType::Back:
2370     case FrameLoadType::Forward:
2371     case FrameLoadType::IndexedBackForward:
2372         return CachePolicyHistoryBuffer;
2373     case FrameLoadType::ReloadFromOrigin:
2374         ASSERT_NOT_REACHED(); // Already handled above.
2375         return CachePolicyReload;
2376     case FrameLoadType::RedirectWithLockedBackForwardList:
2377     case FrameLoadType::Replace:
2378     case FrameLoadType::Same:
2379     case FrameLoadType::Standard:
2380         return CachePolicyVerify;
2381     case FrameLoadType::ReloadExpiredOnly:
2382         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2383         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2384             return CachePolicyReload;
2385         return CachePolicyVerify;
2386     }
2387
2388     RELEASE_ASSERT_NOT_REACHED();
2389     return CachePolicyVerify;
2390 }
2391
2392 void FrameLoader::checkLoadCompleteForThisFrame()
2393 {
2394     ASSERT(m_client.hasWebView());
2395
2396     // FIXME: Should this check be done in checkLoadComplete instead of here?
2397     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2398     if (m_frame.document()->isDelayingLoadEvent())
2399         return;
2400
2401     switch (m_state) {
2402         case FrameStateProvisional: {
2403             // FIXME: Prohibiting any provisional load failures from being sent to clients
2404             // while handling provisional load failures is too heavy. For example, the current
2405             // load will fail to cancel another ongoing load. That might prevent clients' page
2406             // load state being handled properly.
2407             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2408                 return;
2409
2410             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2411             if (!pdl)
2412                 return;
2413                 
2414             // If we've received any errors we may be stuck in the provisional state and actually complete.
2415             const ResourceError& error = pdl->mainDocumentError();
2416             if (error.isNull())
2417                 return;
2418
2419             // Check all children first.
2420             RefPtr<HistoryItem> item;
2421             if (Page* page = m_frame.page())
2422                 if (isBackForwardLoadType(loadType()))
2423                     // Reset the back forward list to the last committed history item at the top level.
2424                     item = page->mainFrame().loader().history().currentItem();
2425                 
2426             // Only reset if we aren't already going to a new provisional item.
2427             bool shouldReset = !history().provisionalItem();
2428             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2429                 m_provisionalLoadErrorBeingHandledURL = m_provisionalDocumentLoader->url();
2430                 m_client.dispatchDidFailProvisionalLoad(error);
2431 #if ENABLE(CONTENT_FILTERING)
2432                 if (auto contentFilter = pdl->contentFilter())
2433                     contentFilter->handleProvisionalLoadFailure(error);
2434 #endif
2435                 m_provisionalLoadErrorBeingHandledURL = { };
2436
2437                 ASSERT(!pdl->isLoading());
2438
2439                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2440                 if (isReplacing() && !m_documentLoader.get())
2441                     setDocumentLoader(m_provisionalDocumentLoader.get());
2442
2443                 // Finish resetting the load state, but only if another load hasn't been started by the
2444                 // delegate callback.
2445                 if (pdl == m_provisionalDocumentLoader)
2446                     clearProvisionalLoad();
2447                 else if (activeDocumentLoader()) {
2448                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2449                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2450                         shouldReset = false;
2451                 }
2452             }
2453             if (shouldReset && item)
2454                 if (Page* page = m_frame.page()) {
2455                     page->backForward().setCurrentItem(*item);
2456                 }
2457             return;
2458         }
2459         
2460         case FrameStateCommittedPage: {
2461             if (!m_documentLoader)
2462                 return;
2463             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2464                 return;
2465
2466             setState(FrameStateComplete);
2467
2468             // FIXME: Is this subsequent work important if we already navigated away?
2469             // Maybe there are bugs because of that, or extra work we can skip because
2470             // the new page is ready.
2471
2472             m_client.forceLayoutForNonHTML();
2473              
2474             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2475             if (m_frame.page()) {
2476                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2477                     history().restoreScrollPositionAndViewState();
2478             }
2479
2480             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2481                 return;
2482
2483             m_progressTracker->progressCompleted();
2484             Page* page = m_frame.page();
2485             if (page) {
2486                 if (m_frame.isMainFrame()) {
2487                     tracePoint(MainResourceLoadDidEnd);
2488                     page->didFinishLoad();
2489                 }
2490             }
2491
2492             const ResourceError& error = m_documentLoader->mainDocumentError();
2493
2494             AXObjectCache::AXLoadingEvent loadingEvent;
2495             if (!error.isNull()) {
2496                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2497                 m_client.dispatchDidFailLoad(error);
2498                 loadingEvent = AXObjectCache::AXLoadingFailed;
2499             } else {
2500                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2501 #if ENABLE(DATA_DETECTION)
2502                 auto* document = m_frame.document();
2503                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2504                     if (auto* documentElement = document->documentElement()) {
2505                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2506                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2507                         if (m_frame.isMainFrame())
2508                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2509                     }
2510                 }
2511 #endif
2512                 m_client.dispatchDidFinishLoad();
2513                 loadingEvent = AXObjectCache::AXLoadingFinished;
2514             }
2515
2516             // Notify accessibility.
2517             if (auto* document = m_frame.document()) {
2518                 if (AXObjectCache* cache = document->existingAXObjectCache())
2519                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2520             }
2521
2522             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2523             // from its Page and also might have caused Page to be deleted.
2524             // Don't assume 'page' is still available to use.
2525             if (m_frame.isMainFrame() && m_frame.page()) {
2526                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2527                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2528             }
2529
2530             return;
2531         }
2532         
2533         case FrameStateComplete:
2534             m_loadType = FrameLoadType::Standard;
2535             frameLoadCompleted();
2536             return;
2537     }
2538
2539     ASSERT_NOT_REACHED();
2540 }
2541
2542 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2543 {
2544     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2545     // The originalURL is defined as the URL of the page where the download was initiated.
2546     URL originalURL;
2547     auto* initiator = m_frame.document();
2548     if (initiator) {
2549         originalURL = initiator->firstPartyForCookies();
2550         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2551         // In this case, we need to set the originalURL to this document's opener's main document URL.
2552         if (originalURL.isEmpty() && opener() && opener()->document()) {
2553             originalURL = opener()->document()->firstPartyForCookies();
2554             initiator = opener()->document();
2555         }
2556     }
2557     // If the originalURL is the same as the requested URL, we are processing a download
2558     // initiated directly without a page and do not need to specify the originalURL.
2559     if (originalURL == request.url())
2560         request.setFirstPartyForCookies(URL());
2561     else
2562         request.setFirstPartyForCookies(originalURL);
2563     addSameSiteInfoToRequestIfNeeded(request, initiator);
2564 }
2565
2566 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2567 {
2568     ASSERT(m_frame.isMainFrame());
2569
2570     m_client.dispatchDidReachLayoutMilestone(milestones);
2571 }
2572
2573 void FrameLoader::didFirstLayout()
2574 {
2575 #if PLATFORM(IOS_FAMILY)
2576     // Only send layout-related delegate callbacks synchronously for the main frame to
2577     // avoid reentering layout for the main frame while delivering a layout-related delegate
2578     // callback for a subframe.
2579     if (&m_frame != &m_frame.page()->mainFrame())
2580         return;
2581 #endif
2582     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2583         history().restoreScrollPositionAndViewState();
2584
2585     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2586         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2587 }
2588
2589 void FrameLoader::frameLoadCompleted()
2590 {
2591     // Note: Can be called multiple times.
2592
2593     m_client.frameLoadCompleted();
2594
2595     history().updateForFrameLoadCompleted();
2596
2597     // After a canceled provisional load, firstLayoutDone is false.
2598     // Reset it to true if we're displaying a page.
2599     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2600         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2601 }
2602
2603 void FrameLoader::detachChildren()
2604 {
2605     // detachChildren() will fire the unload event in each subframe and the
2606     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2607     // this event is being fired in its subframes:
2608     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2609     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2610
2611     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2612     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2613     // allow loading of subframes at this point.
2614     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2615
2616     Vector<Ref<Frame>, 16> childrenToDetach;
2617     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2618     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2619         childrenToDetach.uncheckedAppend(*child);
2620     for (auto& child : childrenToDetach)
2621         child->loader().detachFromParent();
2622 }
2623
2624 void FrameLoader::closeAndRemoveChild(Frame& child)
2625 {
2626     child.tree().detachFromParent();
2627
2628     child.setView(nullptr);
2629     if (child.ownerElement() && child.page())
2630         child.page()->decrementSubframeCount();
2631     child.willDetachPage();
2632     child.detachFromPage();
2633
2634     m_frame.tree().removeChild(child);
2635 }
2636
2637 // Called every time a resource is completely loaded or an error is received.
2638 void FrameLoader::checkLoadComplete()
2639 {
2640     m_shouldCallCheckLoadComplete = false;
2641
2642     if (!m_frame.page())
2643         return;
2644
2645     ASSERT(m_client.hasWebView());
2646     
2647     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2648     // is currently needed in order to null out the previous history item for all frames.
2649     Vector<Ref<Frame>, 16> frames;
2650     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2651         frames.append(*frame);
2652
2653     // To process children before their parents, iterate the vector backwards.
2654     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2655         if ((*frame)->page())
2656             (*frame)->loader().checkLoadCompleteForThisFrame();
2657     }
2658 }
2659
2660 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2661 {
2662     if (!recurse)
2663         return m_frame.document()->cachedResourceLoader().requestCount();
2664
2665     int count = 0;
2666     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2667         count += frame->document()->cachedResourceLoader().requestCount();
2668     return count;
2669 }
2670
2671 String FrameLoader::userAgent(const URL& url) const
2672 {
2673     return m_client.userAgent(url);
2674 }
2675
2676 void FrameLoader::dispatchOnloadEvents()
2677 {
2678     m_client.dispatchDidDispatchOnloadEvents();
2679
2680     if (documentLoader())
2681         documentLoader()->dispatchOnloadEvents();
2682 }
2683
2684 void FrameLoader::frameDetached()
2685 {
2686     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2687     Ref<Frame> protectedFrame(m_frame);
2688
2689     if (m_checkTimer.isActive()) {
2690         m_checkTimer.stop();
2691         checkCompletenessNow();
2692     }
2693
2694     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2695         stopAllLoadersAndCheckCompleteness();
2696         m_frame.document()->stopActiveDOMObjects();
2697     }
2698
2699     detachFromParent();
2700 }
2701
2702 void FrameLoader::detachFromParent()
2703 {
2704     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2705     Ref<Frame> protect(m_frame);
2706
2707     closeURL();
2708     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2709     detachChildren();
2710     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2711         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2712         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2713         // handlers might start a new subresource load in this frame.
2714         stopAllLoaders();
2715     }
2716
2717     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2718
2719     detachViewsAndDocumentLoader();
2720
2721     m_progressTracker = nullptr;
2722
2723     if (Frame* parent = m_frame.tree().parent()) {
2724         parent->loader().closeAndRemoveChild(m_frame);
2725         parent->loader().scheduleCheckCompleted();
2726         parent->loader().scheduleCheckLoadComplete();
2727     } else {
2728         m_frame.setView(nullptr);
2729         m_frame.willDetachPage();
2730         m_frame.detachFromPage();
2731     }
2732 }
2733
2734 void FrameLoader::detachViewsAndDocumentLoader()
2735 {
2736     m_client.detachedFromParent2();
2737     setDocumentLoader(nullptr);
2738     m_client.detachedFromParent3();
2739 }
2740     
2741 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2742 {
2743     addExtraFieldsToRequest(request, m_loadType, false);
2744 }
2745
2746 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2747 {
2748     // FIXME: Using m_loadType seems wrong for some callers.
2749     // If we are only preparing to load the main resource, that is previous load's load type!
2750     addExtraFieldsToRequest(request, m_loadType, true);
2751
2752     // Upgrade-Insecure-Requests should only be added to main resource requests
2753     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2754 }
2755
2756 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2757 {
2758     if (m_overrideCachePolicyForTesting)
2759         return m_overrideCachePolicyForTesting.value();
2760
2761     if (isMainResource) {
2762         if (isReload(loadType) || request.isConditional())
2763             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2764
2765         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2766     }
2767
2768     if (request.isConditional())
2769         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2770
2771     if (documentLoader()->isLoadingInAPISense()) {
2772         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2773         // original request cache policy for two reasons:
2774         // 1. For POST requests, we mutate the cache policy for the main resource,
2775         //    but we do not want this to apply to subresources
2776         // 2. Delegates that modify the cache policy using willSendRequest: should
2777         //    not affect any other resources. Such changes need to be done
2778         //    per request.
2779         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2780         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2781         // This policy is set on initial request too, but should not be inherited.
2782         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2783     }
2784
2785     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2786 }
2787
2788 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2789 {
2790     if (m_currentLoadShouldBeTreatedAsContinuingLoad)
2791         return;
2792
2793     // Don't set the cookie policy URL if it's already been set.
2794     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2795     if (request.firstPartyForCookies().isEmpty()) {
2796         if (isMainResource && m_frame.isMainFrame())
2797             request.setFirstPartyForCookies(request.url());
2798         else if (Document* document = m_frame.document())
2799             request.setFirstPartyForCookies(document->firstPartyForCookies());
2800     }
2801
2802     if (request.isSameSiteUnspecified()) {
2803         auto* initiator = m_frame.document();
2804         if (isMainResource) {
2805             auto* ownerFrame = m_frame.tree().parent();
2806             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2807                 ownerFrame = m_opener;
2808             if (ownerFrame)
2809                 initiator = ownerFrame->document();
2810             ASSERT(ownerFrame || m_frame.isMainFrame());
2811         }
2812         addSameSiteInfoToRequestIfNeeded(request, initiator);
2813         request.setIsTopSite(isMainResource && m_frame.isMainFrame());
2814     }
2815
2816     Page* page = frame().page();
2817     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2818
2819     if (page && page->isResourceCachingDisabled()) {
2820         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2821         loadType = FrameLoadType::ReloadFromOrigin;
2822     } else if (!hasSpecificCachePolicy)
2823         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2824
2825     // The remaining modifications are only necessary for HTTP and HTTPS.
2826     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2827         return;
2828
2829     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2830         if (loadType == FrameLoadType::Reload)
2831             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2832         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2833             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2834             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2835         }
2836     }
2837
2838     if (m_overrideResourceLoadPriorityForTesting)
2839         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2840
2841     applyUserAgentIfNeeded(request);
2842
2843     if (isMainResource)
2844         request.setHTTPAccept(defaultAcceptHeader);
2845
2846     // Make sure we send the Origin header.
2847     addHTTPOriginIfNeeded(request, String());
2848
2849     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2850     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2851         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2852         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2853     }
2854 }
2855
2856 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2857 {
2858     if (!request.httpOrigin().isEmpty())
2859         return;  // Request already has an Origin header.
2860
2861     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2862     // For example, if an intranet page has a hyperlink to an external web
2863     // site, we don't want to include the Origin of the request because it
2864     // will leak the internal host name. Similar privacy concerns have lead
2865     // to the widespread suppression of the Referer header at the network
2866     // layer.
2867     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2868         return;
2869
2870     // For non-GET and non-HEAD methods, always send an Origin header so the
2871     // server knows we support this feature.
2872
2873     if (origin.isEmpty()) {
2874         // If we don't know what origin header to attach, we attach the value
2875         // for an empty origin.
2876         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2877         return;
2878     }
2879
2880     request.setHTTPOrigin(origin);
2881 }
2882
2883 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
2884 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
2885 // as same-site. This matches the behavior of Chrome and Firefox.
2886 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
2887 {
2888     if (!request.isSameSiteUnspecified())
2889         return;
2890     if (!initiator) {
2891         request.setIsSameSite(true);
2892         return;
2893     }
2894     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
2895         request.setIsSameSite(true);
2896         return;
2897     }
2898     request.setIsSameSite(registrableDomainsAreEqual(initiator->siteForCookies(), request.url()));
2899 }
2900
2901 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
2902 {
2903     if (request.url().protocolIs("https")) {
2904         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
2905         return;
2906     }
2907
2908     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
2909 }
2910
2911 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
2912 {
2913     String frameName = request.frameName();
2914     LockHistory lockHistory = request.lockHistory();
2915     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
2916     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
2917
2918     const ResourceRequest& inRequest = request.resourceRequest();
2919     const URL& url = inRequest.url();
2920     const String& contentType = inRequest.httpContentType();
2921     String origin = inRequest.httpOrigin();
2922
2923     ResourceRequest workingResourceRequest(url);    
2924
2925     if (!referrer.isEmpty())
2926         workingResourceRequest.setHTTPReferrer(referrer);
2927     workingResourceRequest.setHTTPOrigin(origin);
2928     workingResourceRequest.setHTTPMethod("POST");
2929     workingResourceRequest.setHTTPBody(inRequest.httpBody());
2930     workingResourceRequest.setHTTPContentType(contentType);
2931     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
2932
2933     if (Document* document = m_frame.document())
2934         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2935
2936     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
2937
2938     if (!frameName.isEmpty()) {
2939         // The search for a target frame is done earlier in the case of form submission.
2940         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
2941             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, WTFMove(completionHandler));
2942             return;
2943         }
2944
2945         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
2946             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
2947             completionHandler();
2948         });
2949         return;
2950     }
2951
2952     // must grab this now, since this load may stop the previous load and clear this flag
2953     bool isRedirect = m_quickRedirectComing;
2954     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
2955         if (isRedirect) {
2956             m_quickRedirectComing = false;
2957             if (m_provisionalDocumentLoader)
2958                 m_provisionalDocumentLoader->setIsClientRedirect(true);
2959             else if (m_policyDocumentLoader)
2960                 m_policyDocumentLoader->setIsClientRedirect(true);
2961         }
2962         completionHandler();
2963     });
2964 }
2965
2966 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
2967 {
2968     ASSERT(m_frame.document());
2969     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
2970     
2971     ResourceRequest initialRequest = request;
2972     initialRequest.setTimeoutInterval(10);
2973     
2974     if (!referrer.isEmpty())
2975         initialRequest.setHTTPReferrer(referrer);
2976     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
2977
2978     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
2979     
2980     addExtraFieldsToSubresourceRequest(initialRequest);
2981
2982     unsigned long identifier = 0;    
2983     ResourceRequest newRequest(initialRequest);
2984     requestFromDelegate(newRequest, identifier, error);
2985
2986 #if ENABLE(CONTENT_EXTENSIONS)
2987     if (error.isNull()) {
2988         if (auto* page = m_frame.page()) {
2989             if (m_documentLoader) {
2990                 auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(newRequest.url(), ResourceType::Raw, *m_documentLoader);
2991                 applyBlockedStatusToRequest(blockedStatus, page, newRequest);
2992                 if (blockedStatus.blockedLoad) {
2993                     newRequest = { };
2994                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
2995                     response = { };
2996                     data = nullptr;
2997                 }
2998             }
2999         }
3000     }
3001 #endif
3002
3003     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3004     
3005     if (error.isNull()) {
3006         ASSERT(!newRequest.isNull());
3007
3008         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3009             Vector<char> buffer;
3010             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3011             data = SharedBuffer::create(WTFMove(buffer));
3012             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3013             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3014         }
3015     }
3016     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3017     return identifier;
3018 }
3019
3020 const ResourceRequest& FrameLoader::originalRequest() const
3021 {
3022     return activeDocumentLoader()->originalRequestCopy();
3023 }
3024
3025 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3026 {
3027     // Retain because the stop may release the last reference to it.
3028     Ref<Frame> protect(m_frame);
3029
3030     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3031     // FIXME: Don't want to do this if an entirely new load is going, so should check
3032     // that both data sources on the frame are either this or nil.
3033     stop();
3034     if (m_client.shouldFallBack(error))
3035         handleFallbackContent();
3036
3037     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3038         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3039             m_submittedFormURL = URL();
3040             
3041         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3042         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3043         // so that the existing view (that wenever got far enough to replace) can continue being used.
3044         history().invalidateCurrentItemCachedPage();
3045         
3046         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3047         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3048         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3049         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3050         // has ended.
3051         if (m_sentRedirectNotification)
3052             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3053     }
3054
3055     checkCompleted();
3056     if (m_frame.page())
3057         checkLoadComplete();
3058 }
3059
3060 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3061 {
3062     m_quickRedirectComing = false;
3063
3064     if (!shouldContinue)
3065         return;
3066
3067     // Calling stopLoading() on the provisional document loader can cause the underlying
3068     // frame to be deallocated.
3069     Ref<Frame> protectedFrame(m_frame);
3070
3071     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3072     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3073         m_provisionalDocumentLoader->stopLoading();
3074         setProvisionalDocumentLoader(nullptr);
3075     }
3076
3077     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3078     loadInSameDocument(request.url(), 0, !isRedirect);
3079 }
3080
3081 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3082 {
3083     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3084     // currently displaying a frameset, or if the URL does not have a fragment.
3085     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3086
3087     // FIXME: What about load types other than Standard and Reload?
3088
3089     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3090         && !isReload(loadType)
3091         && loadType != FrameLoadType::Same
3092         && !shouldReload(m_frame.document()->url(), url)
3093         // We don't want to just scroll if a link from within a
3094         // frameset is trying to reload the frameset into _top.
3095         && !m_frame.document()->isFrameSet();
3096 }
3097
3098 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3099 {
3100     return !historyItem || historyItem->shouldRestoreScrollPosition();
3101 }
3102
3103 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3104 {
3105     return !isNewNavigation && !isBackForwardLoadType(loadType);
3106 }
3107
3108 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3109 {
3110     FrameView* view = m_frame.view();
3111     if (!view)
3112         return;
3113
3114     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3115         view->scrollToFragment(url);
3116 }
3117
3118 bool FrameLoader::shouldClose()
3119 {
3120     Page* page = m_frame.page();
3121     if (!page)
3122         return true;
3123     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3124         return true;
3125
3126     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3127     Vector<Ref<Frame>, 16> targetFrames;
3128     targetFrames.append(m_frame);
3129     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3130         targetFrames.append(*child);
3131
3132     bool shouldClose = false;
3133     {
3134         NavigationDisabler navigationDisabler(&m_frame);
3135         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3136         size_t i;
3137
3138         for (i = 0; i < targetFrames.size(); i++) {
3139             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3140                 continue;
3141             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3142                 break;
3143         }
3144
3145         if (i == targetFrames.size())
3146             shouldClose = true;
3147     }
3148
3149     if (!shouldClose)
3150         m_submittedFormURL = URL();
3151
3152     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3153     return shouldClose;
3154 }
3155
3156 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3157 {
3158     if (!m_frame.document())
3159         return;
3160
3161     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3162     ForbidPromptsScope forbidPrompts(m_frame.page());
3163     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3164
3165     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3166         auto* currentFocusedElement = m_frame.document()->focusedElement();
3167         if (is<HTMLInputElement>(currentFocusedElement))
3168             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3169         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3170             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3171                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3172                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3173             }
3174
3175             // FIXME: update Page Visibility state here.
3176             // https://bugs.webkit.org/show_bug.cgi?id=116770
3177
3178             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3179                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3180                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3181                 // while dispatching the event, so protect it to prevent writing the end
3182                 // time into freed memory.
3183                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3184                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3185                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3186                     auto& timing = documentLoader->timing();
3187                     timing.markUnloadEventStart();
3188                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3189                     timing.markUnloadEventEnd();
3190                 } else
3191                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3192             }
3193         }
3194         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3195         m_wasUnloadEventEmitted = true;
3196     }
3197
3198     // Dispatching the unload event could have made m_frame.document() null.
3199     if (!m_frame.document())
3200         return;
3201
3202     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3203         return;
3204
3205     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3206     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3207         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3208
3209     if (!keepEventListeners)
3210         m_frame.document()->removeAllEventListeners();
3211 }
3212
3213 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3214 {
3215     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3216     if (document.isSandboxed(SandboxModals))
3217         return false;
3218
3219     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3220     // Web pages can request we ask for confirmation before navigating by:
3221     // - Cancelling the BeforeUnloadEvent (modern way)
3222     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3223     // - Returning a non-empty string from the event handler, which is then set as returnValue
3224     //   attribute on the BeforeUnloadEvent.
3225     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3226 }
3227
3228 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3229 {
3230     DOMWindow* domWindow = m_frame.document()->domWindow();
3231     if (!domWindow)
3232         return true;
3233
3234     RefPtr<Document> document = m_frame.document();
3235     if (!document->bodyOrFrameset())
3236         return true;
3237     
3238     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3239     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3240
3241     {
3242         ForbidPromptsScope forbidPrompts(m_frame.page());
3243         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3244     }
3245
3246     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3247
3248     if (!beforeUnloadEvent->defaultPrevented())
3249         document->defaultEventHandler(beforeUnloadEvent.get());
3250
3251     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3252         return true;
3253
3254     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3255     // this frame is not allowed to cause another one to be shown.
3256     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3257         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3258         return true;
3259     }
3260
3261     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3262     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3263     if (frameLoaderBeingNavigated != this) {
3264         Frame* parentFrame = m_frame.tree().parent();
3265         while (parentFrame) {
3266             Document* parentDocument = parentFrame->document();
3267             if (!parentDocument)
3268                 return true;
3269             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3270                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3271                 return true;
3272             }
3273             
3274             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3275                 break;
3276             
3277             parentFrame = parentFrame->tree().parent();
3278         }
3279         
3280         // The navigatingFrameLoader should always be in our ancestory.
3281         ASSERT(parentFrame);
3282         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3283     }
3284
3285     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3286
3287     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3288     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3289 }
3290
3291 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3292 {
3293     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3294     // nil policyDataSource because loading the alternate page will have passed
3295     // through this method already, nested; otherwise, policyDataSource should still be set.
3296     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3297
3298     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3299
3300     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3301     bool canContinue = shouldContinue != ShouldContinue::No && shouldClose() && !urlIsDisallowed;
3302
3303     if (!canContinue) {
3304         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3305         // need to report that the client redirect was cancelled.
3306         // FIXME: The client should be told about ignored non-quick redirects, too.
3307         if (m_quickRedirectComing)
3308             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3309
3310         setPolicyDocumentLoader(nullptr);
3311         checkCompleted();
3312         checkLoadComplete();
3313
3314         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3315         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3316         // we only do this when punting a navigation for the target frame or top-level frame.  
3317         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3318             if (Page* page = m_frame.page()) {
3319                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem())
3320                     page->backForward().setCurrentItem(*resetItem);
3321             }
3322         }
3323         return;
3324     }
3325
3326     FrameLoadType type = policyChecker().loadType();
3327     // A new navigation is in progress, so don't clear the history's provisional item.
3328     stopAllLoaders(ShouldNotClearProvisionalItem);
3329     
3330     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3331     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3332     if (!m_frame.page())
3333         return;
3334
3335     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3336     m_loadType = type;
3337     setState(FrameStateProvisional);
3338
3339     setPolicyDocumentLoader(nullptr);
3340
3341     if (isBackForwardLoadType(type)) {
3342         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3343         if (history().provisionalItem()->isInPageCache()) {
3344             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3345             loadProvisionalItemFromCachedPage();
3346             return;
3347         }
3348         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3349     }
3350
3351     CompletionHandler<void()> completionHandler = [this, shouldContinue] {
3352         if (!m_provisionalDocumentLoader)
3353             return;
3354         
3355         prepareForLoadStart();
3356         
3357         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3358         // so we need to null check it again.
3359         if (!m_provisionalDocumentLoader) {
3360             RELEASE_LOG_IF_ALLOWED("dispatchWillSubmitForm completionHandler: Frame load canceled (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3361             return;
3362         }
3363         
3364         DocumentLoader* activeDocLoader = activeDocumentLoader();
3365         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3366             RELEASE_LOG_IF_ALLOWED("dispatchWillSubmitForm completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3367             return;
3368         }
3369         
3370         m_loadingFromCachedPage = false;
3371
3372         // We handle suspension by navigating forward to about:blank, which leaves us setup to navigate back to resume.
3373         if (shouldContinue == ShouldContinue::ForSuspension) {
3374             // Make sure we do a standard load to about:blank instead of reusing whatever the load type was on process swap.
3375             // For example, using a Back/Forward load to load about blank would cause the current HistoryItem's url to be
3376             // overwritten with 'about:blank', which we do not want.
3377             m_loadType = FrameLoadType::Standard;
3378             m_provisionalDocumentLoader->willContinueMainResourceLoadAfterRedirect({ blankURL() });
3379         }
3380
3381         m_provisionalDocumentLoader->startLoadingMainResource(shouldContinue);
3382     };
3383     
3384     if (!formState) {
3385         completionHandler();
3386         return;
3387     }
3388
3389     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3390 }
3391
3392 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3393     FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3394 {
3395     ASSERT(shouldContinue != ShouldContinue::ForSuspension);
3396     if (shouldContinue != ShouldContinue::Yes)
3397         return;
3398
3399     Ref<Frame> frame(m_frame);
3400     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3401     if (!mainFrame)
3402         return;
3403
3404     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3405     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3406         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3407
3408     if (!equalIgnoringASCIICase(frameName, "_blank"))
3409         mainFrame->tree().setName(frameName);
3410
3411     mainFrame->page()->setOpenedByDOM();
3412     mainFrame->loader().m_client.dispatchShow();
3413     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3414         mainFrame->loader().setOpener(frame.ptr());
3415         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3416     }
3417
3418     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy(), nullptr, action.downloadAttribute() };
3419     mainFrame->loader().loadWithNavigationAction(request, WTFMove(newAction), LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3420 }
3421
3422 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3423 {
3424     ASSERT(!request.isNull());
3425
3426     identifier = 0;
3427     if (Page* page = m_frame.page()) {
3428         identifier = page->progress().createUniqueIdentifier();
3429         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3430     }
3431
3432     ResourceRequest newRequest(request);
3433     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3434
3435     if (newRequest.isNull())
3436         error = cancelledError(request);
3437     else
3438         error = ResourceError();
3439
3440     request = newRequest;
3441 }
3442
3443 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3444 {
3445     Page* page = m_frame.page();
3446     if (!page)
3447         return;
3448
3449     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3450         return;
3451
3452     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3453     if (resource.type() == CachedResource::Type::MainResource)
3454         return;
3455
3456     if (!page->areMemoryCacheClientCallsEnabled()) {
3457         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3458         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3459         m_documentLoader->didTellClientAboutLoad(resource.url());
3460         return;
3461     }
3462
3463     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3464         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3465         m_documentLoader->didTellClientAboutLoad(resource.url());
3466         return;
3467     }
3468
3469     unsigned long identifier;
3470     requestFromDelegate(newRequest, identifier, error);
3471
3472     ResourceResponse response = resource.response();
3473     response.setSource(ResourceResponse::Source::MemoryCache);
3474     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3475 }
3476
3477 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3478 {
3479     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3480         String userAgent = this->userAgent(request.url());
3481         ASSERT(!userAgent.isNull());
3482         request.setHTTPUserAgent(userAgent);
3483     }
3484 }
3485
3486 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3487 {
3488     Frame& topFrame = m_frame.tree().top();
3489     if (&m_frame == &topFrame)
3490         return false;
3491
3492     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3493
3494     switch (disposition) {
3495     case XFrameOptionsSameOrigin: {
3496         RefPtr<SecurityOrigin> origin = SecurityOrigin::create(url);
3497         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3498             return true;
3499         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3500             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3501                 return true;
3502         }
3503         return false;
3504     }
3505     case XFrameOptionsDeny:
3506         return true;
3507     case XFrameOptionsAllowAll:
3508         return false;
3509     case XFrameOptionsConflict:
3510         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3511         return true;
3512     case XFrameOptionsInvalid:
3513         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3514         return false;
3515     case XFrameOptionsNone:
3516         return false;
3517     }
3518     ASSERT_NOT_REACHED();
3519     return false;
3520 }
3521
3522 void FrameLoader::loadProvisionalItemFromCachedPage()
3523 {
3524     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3525     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3526
3527     prepareForLoadStart();
3528
3529     m_loadingFromCachedPage = true;
3530
3531     // Should have timing data from previous time(s) the page was shown.
3532     ASSERT(provisionalLoader->timing().startTime());
3533     provisionalLoader->resetTiming();
3534     provisionalLoader->timing().markStartTime();
3535
3536     provisionalLoader->setCommitted(true);
3537     commitProvisionalLoad();
3538 }
3539
3540 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3541 {
3542     if (!history().currentItem())
3543         return false;
3544     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3545 }
3546
3547 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3548 {
3549     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3550         return false;
3551     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3552     if (!ownerElement)
3553         return false;
3554     if (!ownerElement->hasTagName(iframeTag))
3555         return false;
3556     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3557 }
3558
3559 Frame* FrameLoader::findFrameForNavigation(const AtomicString& name, Document* activeDocument)
3560 {
3561     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3562     if (!activeDocument)
3563         activeDocument = m_frame.document();
3564
3565     auto* frame = m_frame.tree().find(name, activeDocument->frame() ? *activeDocument->frame() : m_frame);
3566
3567     if (!activeDocument->canNavigate(frame))
3568         return nullptr;
3569
3570     return frame;
3571 }
3572
3573 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3574 {
3575     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3576
3577     Ref<Frame> protect(m_frame);
3578
3579     // Save user view state to the current history item here since we don't do a normal load.
3580     // FIXME: Does form state need to be saved here too?
3581     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3582     if (FrameView* view = m_frame.view())
3583         view->setWasScrolledByUser(false);
3584
3585     history().setCurrentItem(item);
3586         
3587     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3588     loadInSameDocument(item.url(), item.stateObject(), false);
3589
3590     // Restore user view state from the current history item here since we don't do a normal load.
3591     history().restoreScrollPositionAndViewState();
3592 }
3593
3594 // FIXME: This function should really be split into a couple pieces, some of
3595 // which should be methods of HistoryController and some of which should be
3596 // methods of FrameLoader.
3597 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3598 {
3599     // Remember this item so we can traverse any child items as child frames load
3600     history().setProvisionalItem(&item);
3601
3602     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3603
3604     SetForScope<bool> currentLoadShouldBeTreatedAsContinuingLoadGuard(m_currentLoadShouldBeTreatedAsContinuingLoad, shouldTreatAsContinuingLoad == ShouldTreatAsContinuingLoad::Yes);
3605
3606     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3607         auto documentLoader = cachedPage->documentLoader();
3608         m_client.updateCachedDocumentLoader(*documentLoader);
3609
3610         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3611         action.setTargetBackForwardItem(item);
3612         documentLoader->setTriggeringAction(WTFMove(action));
3613
3614         documentLoader->setLastCheckedRequest(ResourceRequest());
3615         loadWithDocumentLoader(documentLoader, loadType, { }, AllowNavigationToInvalidURL::Yes, shouldTreatAsContinuingLoad);
3616         return;
3617     }
3618
3619     URL itemURL = item.url();
3620     URL itemOriginalURL = item.originalURL();
3621     URL currentURL;
3622     if (documentLoader())
3623         currentURL = documentLoader()->url();
3624     RefPtr<FormData> formData = item.formData();
3625
3626     ResourceRequest request(itemURL);
3627
3628     if (!item.referrer().isNull())
3629         request.setHTTPReferrer(item.referrer());
3630
3631     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3632     bool isFormSubmission = false;
3633     Event* event = nullptr;
3634
3635     // If this was a repost that failed the page cache, we might try to repost the form.
3636     NavigationAction action;
3637     if (formData) {
3638         formData->generateFiles(m_frame.document());
3639
3640         request.setHTTPMethod("POST");
3641         request.setHTTPBody(WTFMove(formData));
3642         request.setHTTPContentType(item.formContentType());
3643         RefPtr<SecurityOrigin> securityOrigin = SecurityOrigin::createFromString(item.referrer());
3644         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3645         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3646
3647         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3648         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3649         addExtraFieldsToRequest(request, loadType, true);
3650         
3651         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3652         // We want to know this before talking to the policy delegate, since it affects whether 
3653         // we show the DoYouReallyWantToRepost nag.
3654         //
3655         // This trick has a small bug (3123893) where we might find a cache hit, but then
3656         // have the item vanish when we try to use it in the ensuing nav.  This should be
3657         // extremely rare, but in that case the user will get an error on the navigation.
3658         
3659         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3660             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataDontLoad);
3661             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3662         } else {
3663             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3664             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3665         }
3666     } else {
3667         switch (loadType) {
3668         case FrameLoadType::Reload:
3669         case FrameLoadType::ReloadFromOrigin:
3670         case FrameLoadType::ReloadExpiredOnly:
3671             request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
3672             break;
3673         case FrameLoadType::Back:
3674         case FrameLoadType::Forward:
3675         case FrameLoadType::IndexedBackForward: {
3676 #if PLATFORM(COCOA)
3677             bool allowStaleData = true;
3678 #else
3679             bool allowStaleData = !item.wasRestoredFromSession();
3680 #endif
3681             if (allowStaleData)
3682                 request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3683             item.setWasRestoredFromSession(false);
3684             break;
3685         }
3686         case FrameLoadType::Standard:
3687         case FrameLoadType::RedirectWithLockedBackForwardList:
3688             break;
3689         case FrameLoadType::Same:
3690         case FrameLoadType::Replace:
3691             ASSERT_NOT_REACHED();
3692         }
3693
3694         addExtraFieldsToRequest(request, loadType, true);
3695
3696         ResourceRequest requestForOriginalURL(request);
3697         requestForOriginalURL.setURL(itemOriginalURL);
3698         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3699     }
3700
3701     action.setTargetBackForwardItem(item);
3702
3703     loadWithNavigationAction(request, WTFMove(action), LockHistory::No, loadType, { }, AllowNavigationToInvalidURL::Yes);
3704 }
3705
3706 // Loads content into this frame, as specified by history item
3707 void FrameLoader::loadItem(HistoryItem& item, FrameLoadType loadType, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3708 {
3709     m_requestedHistoryItem = &item;
3710     HistoryItem* currentItem = history().currentItem();
3711     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3712
3713     if (sameDocumentNavigation)
3714         loadSameDocumentItem(item);
3715     else
3716         loadDifferentDocumentItem(item, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, shouldTreatAsContinuingLoad);
3717 }
3718
3719 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3720 {
3721     ASSERT(m_state == FrameStateProvisional);
3722     ASSERT(!m_loadingFromCachedPage);
3723     ASSERT(history().provisionalItem());
3724     ASSERT(history().provisionalItem()->formData());
3725     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3726
3727     FrameLoadType loadType = m_loadType;
3728     HistoryItem& item = *history().provisionalItem();
3729
3730     stopAllLoaders(ShouldNotClearProvisionalItem);
3731     loadDifferentDocumentItem(item, loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
3732 }
3733
3734 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3735 {
3736     ResourceError error = m_client.cancelledError(request);
3737     error.setType(ResourceError::Type::Cancellation);
3738     return error;
3739 }
3740
3741 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3742 {
3743     return m_client.blockedByContentBlockerError(request);
3744 }
3745
3746 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3747 {
3748     ResourceError error = m_client.blockedError(request);
3749     error.setType(ResourceError::Type::Cancellation);
3750     return error;
3751 }
3752
3753 #if ENABLE(CONTENT_FILTERING)
3754 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3755 {
3756     ResourceError error = m_client.blockedByContentFilterError(request);
3757     error.setType(ResourceError::Type::General);
3758     return error;
3759 }
3760 #endif
3761
3762 #if PLATFORM(IOS_FAMILY)
3763 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3764 {
3765     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3766 }
3767 #endif
3768
3769 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3770 {
3771     if (auto* parentFrame = m_frame.tree().parent())
3772         return parentFrame->document()->referrerPolicy();
3773     if (m_opener)
3774         return m_opener->document()->referrerPolicy();
3775     return ReferrerPolicy::NoReferrerWhenDowngrade;
3776 }
3777
3778 String FrameLoader::referrer() const
3779 {
3780     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3781 }
3782
3783 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3784 {
3785     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3786         return;
3787
3788     Vector<Ref<DOMWrapperWorld>> worlds;
3789     ScriptController::getAllWorlds(worlds);
3790     for (auto& world : worlds)
3791         dispatchDidClearWindowObjectInWorld(world);
3792 }
3793
3794 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3795 {
3796     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3797         return;
3798
3799     m_client.dispatchDidClearWindowObjectInWorld(world);
3800
3801     if (Page* page = m_frame.page())
3802         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3803
3804     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3805 }
3806
3807 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3808 {
3809     Vector<Ref<DOMWrapperWorld>> worlds;
3810     ScriptController::getAllWorlds(worlds);
3811     for (auto& world : worlds)
3812         m_client.dispatchGlobalObjectAvailable(world);
3813 }
3814
3815 SandboxFlags FrameLoader::effectiveSandboxFlags() const
3816 {
3817     SandboxFlags flags = m_forcedSandboxFlags;
3818     if (Frame* parentFrame = m_frame.tree().parent())
3819         flags |= parentFrame->document()->sandboxFlags();
3820     if (HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement())
3821         flags |= ownerElement->sandboxFlags();
3822     return flags;
3823 }
3824
3825 void FrameLoader::didChangeTitle(DocumentLoader* loader)
3826 {
3827     m_client.didChangeTitle(loader);
3828
3829     if (loader == m_documentLoader) {
3830         // Must update the entries in the back-forward list too.
3831         history().setCurrentItemTitle(loader->title());
3832         // This must go through the WebFrame because it has the right notion of the current b/f item.
3833         m_client.setTitle(loader->title(), loader->urlForHistory());
3834         m_client.setMainFrameDocumentReady(true); // update observers with new DOMDocument
3835         m_client.dispatchDidReceiveTitle(loader->title());
3836     }
3837
3838 #if ENABLE(REMOTE_INSPECTOR)
3839     if (m_frame.isMainFrame())
3840         m_frame.page()->remoteInspectorInformationDidChange();
3841 #endif
3842 }
3843
3844 void FrameLoader::dispatchDidCommitLoad(std::optional<HasInsecureContent> initialHasInsecureContent)
3845 {
3846     if (m_stateMachine.creatingInitialEmptyDocument())
3847         return;
3848
3849     m_client.dispatchDidCommitLoad(initialHasInsecureContent);
3850
3851     if (m_frame.isMainFrame()) {
3852         m_frame.page()->resetSeenPlugins();
3853         m_frame.page()->resetSeenMediaEngines();
3854     }
3855
3856     InspectorInstrumentation::didCommitLoad(m_frame, m_documentLoader.get());
3857
3858 #if ENABLE(REMOTE_INSPECTOR)
3859     if (m_frame.isMainFrame())
3860         m_frame.page()->remoteInspectorInformationDidChange();
3861 #endif
3862 }
3863
3864 void FrameLoader::tellClientAboutPastMemoryCacheLoads()
3865 {
3866     ASSERT(m_frame.page());
3867     ASSERT(m_frame.page()->areMemoryCacheClientCallsEnabled());
3868
3869     if (!m_documentLoader)
3870         return;
3871
3872     Vector<ResourceRequest> pastLoads;
3873     m_documentLoader->takeMemoryCacheLoadsForClientNotification(pastLoads);
3874
3875     for (auto& pastLoad : pastLoads) {
3876         CachedResource* resource = MemoryCache::singleton().resourceForRequest(pastLoad, m_frame.page()->sessionID());
3877
3878         // FIXME: These loads, loaded from cache, but now gone from the cache by the time
3879         // Page::setMemoryCacheClientCallsEnabled(true) is called, will not be seen by the client.
3880         // Consider if there's some efficient way of remembering enough to deliver this client call.
3881         // We have the URL, but not the rest of the response or the length.
3882         if (!resource)
3883             continue;
3884
3885         ResourceRequest request(resource->url());
3886         m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), request, resource->response(), resource->encodedSize());
3887     }
3888 }
3889
3890 NetworkingContext* FrameLoader::networkingContext() const
3891 {
3892     return m_networkingContext.get();
3893 }
3894
3895 void FrameLoader::loadProgressingStatusChanged()
3896 {
3897     if (auto* view = m_frame.mainFrame().view())
3898         view->loadProgressingStatusChanged();
3899 }
3900
3901 void FrameLoader::forcePageTransitionIfNeeded()
3902 {
3903     m_client.forcePageTransitionIfNeeded();
3904 }
3905
3906 void FrameLoader::clearTestingOverrides()
3907 {
3908     m_overrideCachePolicyForTesting = std::nullopt;
3909     m_overrideResourceLoadPriorityForTesting = std::nullopt;
3910     m_isStrictRawResourceValidationPolicyDisabledForTesting = false;
3911 }
3912
3913 bool FrameLoader::isAlwaysOnLoggingAllowed() const
3914 {
3915     return frame().isAlwaysOnLoggingAllowed();
3916 }
3917
3918 bool FrameLoaderClient::hasHTMLView() const
3919 {
3920     return true;
3921 }
3922
3923 RefPtr<Frame> createWindow(Frame& openerFrame, Frame& lookupFrame, FrameLoadRequest&& request, const WindowFeatures& features, bool& created)
3924 {
3925     ASSERT(!features.dialog || request.frameName().isEmpty());
3926
3927     created = false;
3928
3929     // FIXME: Provide line number information with respect to the opener's document.
3930     if (protocolIsJavaScript(request.resourceRequest().url()) && !openerFrame.document()->contentSecurityPolicy()->allowJavaScriptURLs(openerFrame.document()->url(), { }))
3931         return nullptr;
3932
3933     if (!request.frameName().isEmpty() && !equalIgnoringASCIICase(request.frameName(), "_blank")) {
3934         if (RefPtr<Frame> frame = lookupFrame.loader().findFrameForNavigation(request.frameName(), openerFrame.document())) {
3935             if (!equalIgnoringASCIICase(request.frameName(), "_self")) {
3936                 if (Page* page = frame->page())
3937                     page->chrome().focus();
3938             }
3939             return frame;
3940         }
3941     }
3942
3943     // Sandboxed frames cannot open new auxiliary browsing contexts.
3944     if (isDocumentSandboxed(openerFrame, SandboxPopups)) {
3945         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
3946         openerFrame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked opening '" + request.resourceRequest().url().stringCenterEllipsizedToLength() + "' in a new window because the request was made in a sandboxed frame whose 'allow-popups' permission is not set.");
3947         return nullptr;
3948     }
3949
3950     // FIXME: Setting the referrer should be the caller's responsibility.
3951     String referrer = SecurityPolicy::generateReferrerHeader(openerFrame.document()->referrerPolicy(), request.resourceRequest().url(), openerFrame.loader().outgoingReferrer());
3952     if (!referrer.isEmpty())
3953         request.resourceRequest().setHTTPReferrer(referrer);
3954     FrameLoader::addHTTPOriginIfNeeded(request.resourceRequest(), openerFrame.loader().outgoingOrigin());
3955     FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(request.resourceRequest());
3956     FrameLoader::addSameSiteInfoToRequestIfNeeded(request.resourceRequest(), openerFrame.document());
3957
3958     Page* oldPage = openerFrame.page();
3959     if (!oldPage)
3960         return nullptr;
3961
3962     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(openerFrame, request);
3963     NavigationAction action { request.requester(), request.resourceRequest(), request.initiatedByMainFrame(), NavigationType::Other, shouldOpenExternalURLsPolicy };
3964     Page* page = oldPage->chrome().createWindow(openerFrame, request, features, action);
3965     if (!page)
3966         return nullptr;
3967
3968     RefPtr<Frame> frame = &page->mainFrame();
3969
3970     if (isDocumentSandboxed(openerFrame, SandboxPropagatesToAuxiliaryBrowsingContexts))
3971         frame->loader().forceSandboxFlags(openerFrame.document()->sandboxFlags());
3972
3973     if (!equalIgnoringASCIICase(request.frameName(), "_blank"))
3974         frame->tree().setName(request.frameName());
3975
3976     page->chrome().setToolbarsVisible(features.toolBarVisible || features.locationBarVisible);
3977
3978     if (!frame->page())
3979         return nullptr;
3980     page->chrome().setStatusbarVisible(features.statusBarVisible);
3981
3982     if (!frame->page())