Use no-cache fetch mode when loading main documents with location.reload()
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2016 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentSecurityPolicy.h"
49 #include "DOMWindow.h"
50 #include "DatabaseManager.h"
51 #include "DiagnosticLoggingClient.h"
52 #include "DiagnosticLoggingKeys.h"
53 #include "Document.h"
54 #include "DocumentLoader.h"
55 #include "Editor.h"
56 #include "EditorClient.h"
57 #include "Element.h"
58 #include "Event.h"
59 #include "EventHandler.h"
60 #include "EventNames.h"
61 #include "FloatRect.h"
62 #include "FormState.h"
63 #include "FormSubmission.h"
64 #include "FrameLoadRequest.h"
65 #include "FrameLoaderClient.h"
66 #include "FrameNetworkingContext.h"
67 #include "FrameTree.h"
68 #include "FrameView.h"
69 #include "GCController.h"
70 #include "HTMLFormElement.h"
71 #include "HTMLInputElement.h"
72 #include "HTMLNames.h"
73 #include "HTMLObjectElement.h"
74 #include "HTMLParserIdioms.h"
75 #include "HTTPHeaderNames.h"
76 #include "HTTPParsers.h"
77 #include "HistoryController.h"
78 #include "HistoryItem.h"
79 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
80 #include "InspectorController.h"
81 #include "InspectorInstrumentation.h"
82 #include "LinkLoader.h"
83 #include "LoadTiming.h"
84 #include "LoaderStrategy.h"
85 #include "Logging.h"
86 #include "MainFrame.h"
87 #include "MemoryCache.h"
88 #include "MemoryRelease.h"
89 #include "NavigationDisabler.h"
90 #include "NavigationScheduler.h"
91 #include "Page.h"
92 #include "PageCache.h"
93 #include "PageTransitionEvent.h"
94 #include "PerformanceLogging.h"
95 #include "PlatformStrategies.h"
96 #include "PluginData.h"
97 #include "PluginDocument.h"
98 #include "PolicyChecker.h"
99 #include "ProgressTracker.h"
100 #include "ResourceHandle.h"
101 #include "ResourceLoadInfo.h"
102 #include "ResourceLoadObserver.h"
103 #include "ResourceRequest.h"
104 #include "SVGDocument.h"
105 #include "SVGLocatable.h"
106 #include "SVGNames.h"
107 #include "SVGViewElement.h"
108 #include "SVGViewSpec.h"
109 #include "ScriptController.h"
110 #include "ScriptSourceCode.h"
111 #include "ScrollAnimator.h"
112 #include "SecurityOrigin.h"
113 #include "SecurityPolicy.h"
114 #include "SegmentedString.h"
115 #include "SerializedScriptValue.h"
116 #include "Settings.h"
117 #include "SubframeLoader.h"
118 #include "TextResourceDecoder.h"
119 #include "UserContentController.h"
120 #include "UserGestureIndicator.h"
121 #include "WindowFeatures.h"
122 #include "XMLDocumentParser.h"
123 #include <wtf/CompletionHandler.h>
124 #include <wtf/CurrentTime.h>
125 #include <wtf/Ref.h>
126 #include <wtf/StdLibExtras.h>
127 #include <wtf/SystemTracing.h>
128 #include <wtf/text/CString.h>
129 #include <wtf/text/WTFString.h>
130
131 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
132 #include "Archive.h"
133 #endif
134
135 #if ENABLE(DATA_DETECTION)
136 #include "DataDetection.h"
137 #endif
138
139 #if PLATFORM(IOS)
140 #include "DocumentType.h"
141 #include "ResourceLoader.h"
142 #include "RuntimeApplicationChecks.h"
143 #include "WKContentObservation.h"
144 #endif
145
146 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
147
148 namespace WebCore {
149
150 using namespace HTMLNames;
151 using namespace SVGNames;
152
153 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
154
155 bool isBackForwardLoadType(FrameLoadType type)
156 {
157     switch (type) {
158     case FrameLoadType::Standard:
159     case FrameLoadType::Reload:
160     case FrameLoadType::ReloadFromOrigin:
161     case FrameLoadType::ReloadExpiredOnly:
162     case FrameLoadType::Same:
163     case FrameLoadType::RedirectWithLockedBackForwardList:
164     case FrameLoadType::Replace:
165         return false;
166     case FrameLoadType::Back:
167     case FrameLoadType::Forward:
168     case FrameLoadType::IndexedBackForward:
169         return true;
170     }
171     ASSERT_NOT_REACHED();
172     return false;
173 }
174
175 bool isReload(FrameLoadType type)
176 {
177     switch (type) {
178     case FrameLoadType::Reload:
179     case FrameLoadType::ReloadFromOrigin:
180     case FrameLoadType::ReloadExpiredOnly:
181         return true;
182     case FrameLoadType::Standard:
183     case FrameLoadType::Same:
184     case FrameLoadType::RedirectWithLockedBackForwardList:
185     case FrameLoadType::Replace:
186     case FrameLoadType::Back:
187     case FrameLoadType::Forward:
188     case FrameLoadType::IndexedBackForward:
189         return false;
190     }
191     ASSERT_NOT_REACHED();
192     return false;
193 }
194
195 // This is not in the FrameLoader class to emphasize that it does not depend on
196 // private FrameLoader data, and to avoid increasing the number of public functions
197 // with access to private data.  Since only this .cpp file needs it, making it
198 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
199 // API simpler.
200 //
201 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
202 {
203     return frame.document() && frame.document()->isSandboxed(mask);
204 }
205
206 struct ForbidPromptsScope {
207     ForbidPromptsScope(Page* page) : m_page(page)
208     {
209         if (!m_page)
210             return;
211         m_page->forbidPrompts();
212     }
213
214     ~ForbidPromptsScope()
215     {
216         if (!m_page)
217             return;
218         m_page->allowPrompts();
219     }
220
221     Page* m_page;
222 };
223
224 class FrameLoader::FrameProgressTracker {
225     WTF_MAKE_FAST_ALLOCATED;
226 public:
227     explicit FrameProgressTracker(Frame& frame)
228         : m_frame(frame)
229         , m_inProgress(false)
230     {
231     }
232
233     ~FrameProgressTracker()
234     {
235         if (m_inProgress && m_frame.page())
236             m_frame.page()->progress().progressCompleted(m_frame);
237     }
238
239     void progressStarted()
240     {
241         ASSERT(m_frame.page());
242         if (!m_inProgress)
243             m_frame.page()->progress().progressStarted(m_frame);
244         m_inProgress = true;
245     }
246
247     void progressCompleted()
248     {
249         ASSERT(m_inProgress);
250         ASSERT(m_frame.page());
251         m_inProgress = false;
252         m_frame.page()->progress().progressCompleted(m_frame);
253     }
254
255 private:
256     Frame& m_frame;
257     bool m_inProgress;
258 };
259
260 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
261     : m_frame(frame)
262     , m_client(client)
263     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
264     , m_history(std::make_unique<HistoryController>(frame))
265     , m_notifier(frame)
266     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
267     , m_mixedContentChecker(frame)
268     , m_state(FrameStateProvisional)
269     , m_loadType(FrameLoadType::Standard)
270     , m_quickRedirectComing(false)
271     , m_sentRedirectNotification(false)
272     , m_inStopAllLoaders(false)
273     , m_isExecutingJavaScriptFormAction(false)
274     , m_didCallImplicitClose(true)
275     , m_wasUnloadEventEmitted(false)
276     , m_isComplete(false)
277     , m_needsClear(false)
278     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
279     , m_shouldCallCheckCompleted(false)
280     , m_shouldCallCheckLoadComplete(false)
281     , m_opener(nullptr)
282     , m_loadingFromCachedPage(false)
283     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
284     , m_loadsSynchronously(false)
285     , m_forcedSandboxFlags(SandboxNone)
286 {
287 }
288
289 FrameLoader::~FrameLoader()
290 {
291     setOpener(nullptr);
292
293     for (auto& frame : m_openedFrames)
294         frame->loader().m_opener = nullptr;
295
296     m_client.frameLoaderDestroyed();
297
298     if (m_networkingContext)
299         m_networkingContext->invalidate();
300 }
301
302 void FrameLoader::init()
303 {
304     // This somewhat odd set of steps gives the frame an initial empty document.
305     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL(ParsedURLString, emptyString())), SubstituteData()).ptr());
306     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
307     m_provisionalDocumentLoader->startLoadingMainResource();
308
309     Ref<Frame> protect(m_frame);
310     m_frame.document()->cancelParsing();
311     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
312
313     m_networkingContext = m_client.createNetworkingContext();
314     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
315 }
316
317 void FrameLoader::initForSynthesizedDocument(const URL&)
318 {
319     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
320     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
321
322     auto loader = m_client.createDocumentLoader(ResourceRequest(URL(ParsedURLString, emptyString())), SubstituteData());
323     loader->attachToFrame(m_frame);
324     loader->setResponse(ResourceResponse(URL(), ASCIILiteral("text/html"), 0, String()));
325     loader->setCommitted(true);
326     setDocumentLoader(loader.ptr());
327
328     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
329     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
330     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
331     m_client.transitionToCommittedForNewPage();
332
333     m_didCallImplicitClose = true;
334     m_isComplete = true;
335     m_state = FrameStateComplete;
336     m_needsClear = true;
337
338     m_networkingContext = m_client.createNetworkingContext();
339     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
340 }
341
342 void FrameLoader::setDefersLoading(bool defers)
343 {
344     if (m_documentLoader)
345         m_documentLoader->setDefersLoading(defers);
346     if (m_provisionalDocumentLoader)
347         m_provisionalDocumentLoader->setDefersLoading(defers);
348     if (m_policyDocumentLoader)
349         m_policyDocumentLoader->setDefersLoading(defers);
350     history().setDefersLoading(defers);
351
352     if (!defers) {
353         m_frame.navigationScheduler().startTimer();
354         startCheckCompleteTimer();
355     }
356 }
357
358 void FrameLoader::checkContentPolicy(const ResourceResponse& response, ContentPolicyDecisionFunction&& function)
359 {
360     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), WTFMove(function));
361 }
362
363 void FrameLoader::changeLocation(FrameLoadRequest&& request)
364 {
365     urlSelected(WTFMove(request), nullptr);
366 }
367
368 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, std::optional<NewFrameOpenerPolicy> openerPolicy, const AtomicString& downloadAttribute)
369 {
370     auto* frame = lexicalFrameFromCommonVM();
371     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
372
373     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.value_or(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
374     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute), triggeringEvent);
375 }
376
377 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent)
378 {
379     Ref<Frame> protect(m_frame);
380
381     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
382         return;
383
384     if (frameRequest.frameName().isEmpty())
385         frameRequest.setFrameName(m_frame.document()->baseTarget());
386
387     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
388     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
389
390     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, nullptr);
391 }
392
393 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
394 {
395     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
396
397     // FIXME: Find a good spot for these.
398     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
399
400     if (!m_frame.page())
401         return;
402
403     if (submission->action().isEmpty())
404         return;
405
406     if (isDocumentSandboxed(m_frame, SandboxForms)) {
407         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
408         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
409         return;
410     }
411
412     if (protocolIsJavaScript(submission->action())) {
413         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
414             return;
415         m_isExecutingJavaScriptFormAction = true;
416         Ref<Frame> protect(m_frame);
417         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
418         m_isExecutingJavaScriptFormAction = false;
419         return;
420     }
421
422     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
423     if (!targetFrame) {
424         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
425             return;
426
427         // FIXME: targetFrame can be null for two distinct reasons:
428         // 1. The frame was not found by name, so we should try opening a new window.
429         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
430         // Continuing form submission makes no sense in the latter case.
431         // There is a repeat check after timer fires, so this is not a correctness issue.
432
433         targetFrame = &m_frame;
434     } else
435         submission->clearTarget();
436
437     if (!targetFrame->page())
438         return;
439
440     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
441
442     // We do not want to submit more than one form from the same page, nor do we want to submit a single
443     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
444     // The flag is reset in each time we start dispatching a new mouse or key down event, and
445     // also in setView since this part may get reused for a page from the back/forward cache.
446     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
447
448     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
449     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
450     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
451
452     if (m_frame.tree().isDescendantOf(targetFrame)) {
453         if (m_submittedFormURL == submission->requestURL())
454             return;
455         m_submittedFormURL = submission->requestURL();
456     }
457
458     submission->data().generateFiles(m_frame.document());
459     submission->setReferrer(outgoingReferrer());
460     submission->setOrigin(outgoingOrigin());
461
462     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
463 }
464
465 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
466 {
467     if (m_frame.document() && m_frame.document()->parser())
468         m_frame.document()->parser()->stopParsing();
469
470     if (unloadEventPolicy != UnloadEventPolicyNone)
471         dispatchUnloadEvents(unloadEventPolicy);
472
473     m_isComplete = true; // to avoid calling completed() in finishedParsing()
474     m_didCallImplicitClose = true; // don't want that one either
475
476     if (m_frame.document() && m_frame.document()->parsing()) {
477         finishedParsing();
478         m_frame.document()->setParsing(false);
479     }
480
481     if (auto* document = m_frame.document()) {
482         // FIXME: HTML5 doesn't tell us to set the state to complete when aborting, but we do anyway to match legacy behavior.
483         // http://www.w3.org/Bugs/Public/show_bug.cgi?id=10537
484         document->setReadyState(Document::Complete);
485
486         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
487         DatabaseManager::singleton().stopDatabases(*document, nullptr);
488     }
489
490     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
491     m_frame.navigationScheduler().cancel();
492 }
493
494 void FrameLoader::stop()
495 {
496     // http://bugs.webkit.org/show_bug.cgi?id=10854
497     // The frame's last ref may be removed and it will be deleted by checkCompleted().
498     Ref<Frame> protect(m_frame);
499
500     if (DocumentParser* parser = m_frame.document()->parser()) {
501         parser->stopParsing();
502         parser->finish();
503     }
504 }
505
506 void FrameLoader::willTransitionToCommitted()
507 {
508     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
509
510     if (m_frame.editor().hasComposition()) {
511         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
512         m_frame.editor().confirmComposition();
513         if (EditorClient* editorClient = m_frame.editor().client()) {
514             editorClient->respondToChangedSelection(&m_frame);
515             editorClient->discardedComposition(&m_frame);
516         }
517     }
518 }
519
520 bool FrameLoader::closeURL()
521 {
522     history().saveDocumentState();
523
524     Document* currentDocument = m_frame.document();
525     UnloadEventPolicy unloadEventPolicy;
526     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
527         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
528         unloadEventPolicy = UnloadEventPolicyNone;
529     } else {
530         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
531         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
532     }
533
534     stopLoading(unloadEventPolicy);
535     
536     m_frame.editor().clearUndoRedoOperations();
537     return true;
538 }
539
540 bool FrameLoader::didOpenURL()
541 {
542     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
543         // A redirect was scheduled before the document was created.
544         // This can happen when one frame changes another frame's location.
545         return false;
546     }
547
548     m_frame.navigationScheduler().cancel();
549     m_frame.editor().clearLastEditCommand();
550
551     m_isComplete = false;
552     m_didCallImplicitClose = false;
553
554     // If we are still in the process of initializing an empty document then
555     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
556     // since it may cause clients to attempt to render the frame.
557     if (!m_stateMachine.creatingInitialEmptyDocument()) {
558         DOMWindow* window = m_frame.document()->domWindow();
559         window->setStatus(String());
560         window->setDefaultStatus(String());
561     }
562
563     started();
564
565     return true;
566 }
567
568 void FrameLoader::didExplicitOpen()
569 {
570     m_isComplete = false;
571     m_didCallImplicitClose = false;
572
573     // Calling document.open counts as committing the first real document load.
574     if (!m_stateMachine.committedFirstRealDocumentLoad())
575         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
576     
577     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
578     // from a subsequent window.document.open / window.document.write call. 
579     // Canceling redirection here works for all cases because document.open 
580     // implicitly precedes document.write.
581     m_frame.navigationScheduler().cancel();
582 }
583
584
585 void FrameLoader::cancelAndClear()
586 {
587     m_frame.navigationScheduler().cancel();
588
589     if (!m_isComplete)
590         closeURL();
591
592     clear(m_frame.document(), false);
593     m_frame.script().updatePlatformScriptObjects();
594 }
595
596 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
597 {
598     if (!frame.isMainFrame())
599         return false;
600
601     if (frame.loader().opener())
602         return false;
603
604     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
605 }
606
607 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView)
608 {
609     m_frame.editor().clear();
610
611     if (!m_needsClear)
612         return;
613     m_needsClear = false;
614     
615     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
616         m_frame.document()->cancelParsing();
617         m_frame.document()->stopActiveDOMObjects();
618         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
619         m_frame.document()->prepareForDestruction();
620         if (hadLivingRenderTree)
621             m_frame.document()->removeFocusedNodeOfSubtree(*m_frame.document());
622     }
623
624     // Do this after detaching the document so that the unload event works.
625     if (clearWindowProperties) {
626         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
627         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
628         m_frame.script().clearWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
629
630         if (shouldClearWindowName(m_frame, *newDocument))
631             m_frame.tree().setName(nullAtom());
632     }
633
634     m_frame.selection().prepareForDestruction();
635     m_frame.eventHandler().clear();
636
637     if (clearFrameView && m_frame.view())
638         m_frame.view()->clear();
639
640     // Do not drop the document before the ScriptController and view are cleared
641     // as some destructors might still try to access the document.
642     m_frame.setDocument(nullptr);
643
644     subframeLoader().clear();
645
646     if (clearWindowProperties)
647         m_frame.script().setDOMWindowForWindowProxy(newDocument->domWindow());
648
649     if (clearScriptObjects)
650         m_frame.script().clearScriptObjects();
651
652     m_frame.script().enableEval();
653
654     m_frame.navigationScheduler().clear();
655
656     m_checkTimer.stop();
657     m_shouldCallCheckCompleted = false;
658     m_shouldCallCheckLoadComplete = false;
659
660     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
661         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
662 }
663
664 void FrameLoader::receivedFirstData()
665 {
666     dispatchDidCommitLoad(std::nullopt);
667     dispatchDidClearWindowObjectsInAllWorlds();
668     dispatchGlobalObjectAvailableInAllWorlds();
669
670     if (m_documentLoader) {
671         auto& title = m_documentLoader->title();
672         if (!title.string.isNull())
673             m_client.dispatchDidReceiveTitle(title);
674     }
675
676     if (!m_documentLoader)
677         return;
678
679     ASSERT(m_frame.document());
680     auto& document = *m_frame.document();
681
682     ASSERT(m_frame.document());
683     LinkLoader::loadLinksFromHeader(m_documentLoader->response().httpHeaderField(HTTPHeaderName::Link), m_frame.document()->url(), *m_frame.document(), LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
684
685     double delay;
686     String urlString;
687     if (!parseHTTPRefresh(m_documentLoader->response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
688         return;
689     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
690     if (!protocolIsJavaScript(completedURL))
691         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
692     else {
693         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
694         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
695     }
696 }
697
698 void FrameLoader::setOutgoingReferrer(const URL& url)
699 {
700     m_outgoingReferrer = url.strippedForUseAsReferrer();
701 }
702
703 void FrameLoader::didBeginDocument(bool dispatch)
704 {
705     m_needsClear = true;
706     m_isComplete = false;
707     m_didCallImplicitClose = false;
708     m_frame.document()->setReadyState(Document::Loading);
709
710     if (m_pendingStateObject) {
711         m_frame.document()->statePopped(*m_pendingStateObject);
712         m_pendingStateObject = nullptr;
713     }
714
715     if (dispatch)
716         dispatchDidClearWindowObjectsInAllWorlds();
717
718     updateFirstPartyForCookies();
719     m_frame.document()->initContentSecurityPolicy();
720
721     const Settings& settings = m_frame.settings();
722     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
723     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
724
725     if (m_documentLoader) {
726         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
727         if (!dnsPrefetchControl.isEmpty())
728             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
729
730         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), ContentSecurityPolicy::ReportParsingErrors::No);
731
732         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
733         if (!headerContentLanguage.isEmpty()) {
734             size_t commaIndex = headerContentLanguage.find(',');
735             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
736             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
737             if (!headerContentLanguage.isEmpty())
738                 m_frame.document()->setContentLanguage(headerContentLanguage);
739         }
740     }
741
742     history().restoreDocumentState();
743 }
744
745 void FrameLoader::finishedParsing()
746 {
747     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
748
749     m_frame.injectUserScripts(InjectAtDocumentEnd);
750
751     if (m_stateMachine.creatingInitialEmptyDocument())
752         return;
753
754     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
755     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
756     // Null-checking the FrameView indicates whether or not we're in the destructor.
757     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
758
759     m_client.dispatchDidFinishDocumentLoad();
760
761     scrollToFragmentWithParentBoundary(m_frame.document()->url());
762
763     checkCompleted();
764
765     if (!m_frame.view())
766         return; // We are being destroyed by something checkCompleted called.
767
768     // Check if the scrollbars are really needed for the content.
769     // If not, remove them, relayout, and repaint.
770     m_frame.view()->restoreScrollbar();
771 }
772
773 void FrameLoader::loadDone()
774 {
775     checkCompleted();
776 }
777
778 bool FrameLoader::allChildrenAreComplete() const
779 {
780     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
781         if (!child->loader().m_isComplete)
782             return false;
783     }
784     return true;
785 }
786
787 bool FrameLoader::allAncestorsAreComplete() const
788 {
789     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
790         if (!ancestor->loader().m_isComplete)
791             return false;
792     }
793     return true;
794 }
795
796 void FrameLoader::checkCompleted()
797 {
798     m_shouldCallCheckCompleted = false;
799
800     // Have we completed before?
801     if (m_isComplete)
802         return;
803
804     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
805     //        https://bugs.webkit.org/show_bug.cgi?id=171729
806     if (m_frame.document()->inRenderTreeUpdate()) {
807         scheduleCheckCompleted();
808         return;
809     }
810
811     // Are we still parsing?
812     if (m_frame.document()->parsing())
813         return;
814
815     // Still waiting for images/scripts?
816     if (m_frame.document()->cachedResourceLoader().requestCount())
817         return;
818
819     // Still waiting for elements that don't go through a FrameLoader?
820     if (m_frame.document()->isDelayingLoadEvent())
821         return;
822
823     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
824     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
825         return;
826
827     // Any frame that hasn't completed yet?
828     if (!allChildrenAreComplete())
829         return;
830
831     // Important not to protect earlier in this function, because earlier parts
832     // of this function can be called in the frame's destructor, and it's not legal
833     // to ref an object while it's being destroyed.
834     Ref<Frame> protect(m_frame);
835
836     // OK, completed.
837     m_isComplete = true;
838     m_requestedHistoryItem = nullptr;
839     m_frame.document()->setReadyState(Document::Complete);
840
841 #if PLATFORM(IOS)
842     if (m_frame.document()->url().isEmpty()) {
843         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
844         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
845         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
846         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
847         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
848         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
849         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
850     }
851 #endif
852
853     checkCallImplicitClose(); // if we didn't do it before
854
855     m_frame.navigationScheduler().startTimer();
856
857     completed();
858     if (m_frame.page())
859         checkLoadComplete();
860 }
861
862 void FrameLoader::checkTimerFired()
863 {
864     Ref<Frame> protect(m_frame);
865
866     if (Page* page = m_frame.page()) {
867         if (page->defersLoading())
868             return;
869     }
870     if (m_shouldCallCheckCompleted)
871         checkCompleted();
872     if (m_shouldCallCheckLoadComplete)
873         checkLoadComplete();
874 }
875
876 void FrameLoader::startCheckCompleteTimer()
877 {
878     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
879         return;
880     if (m_checkTimer.isActive())
881         return;
882     m_checkTimer.startOneShot(0_s);
883 }
884
885 void FrameLoader::scheduleCheckCompleted()
886 {
887     m_shouldCallCheckCompleted = true;
888     startCheckCompleteTimer();
889 }
890
891 void FrameLoader::scheduleCheckLoadComplete()
892 {
893     m_shouldCallCheckLoadComplete = true;
894     startCheckCompleteTimer();
895 }
896
897 void FrameLoader::checkCallImplicitClose()
898 {
899     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
900         return;
901
902     if (!allChildrenAreComplete())
903         return; // still got a frame running -> too early
904
905     m_didCallImplicitClose = true;
906     m_wasUnloadEventEmitted = false;
907     m_frame.document()->implicitClose();
908 }
909
910 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
911 {
912     ASSERT(childFrame);
913
914 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
915     if (auto activeLoader = activeDocumentLoader()) {
916         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
917             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
918             return;
919         }
920     }
921 #endif
922
923     // If we're moving in the back/forward list, we might want to replace the content
924     // of this child frame with whatever was there at that point.
925     auto* parentItem = history().currentItem();
926     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
927         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
928             childFrame->loader().m_requestedHistoryItem = childItem;
929             childFrame->loader().loadDifferentDocumentItem(*childItem, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem);
930             return;
931         }
932     }
933
934     auto* lexicalFrame = lexicalFrameFromCommonVM();
935     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
936
937     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, ASCIILiteral("_self"), LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
938     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, nullptr);
939 }
940
941 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
942
943 void FrameLoader::loadArchive(Ref<Archive>&& archive)
944 {
945     ArchiveResource* mainResource = archive->mainResource();
946     ASSERT(mainResource);
947     if (!mainResource)
948         return;
949
950     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
951     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
952     
953     ResourceRequest request(mainResource->url());
954
955     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
956     documentLoader->setArchive(WTFMove(archive));
957     load(documentLoader.ptr());
958 }
959
960 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
961
962 String FrameLoader::outgoingReferrer() const
963 {
964     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
965     // for why we walk the parent chain for srcdoc documents.
966     Frame* frame = &m_frame;
967     while (frame && frame->document()->isSrcdocDocument()) {
968         frame = frame->tree().parent();
969         // Srcdoc documents cannot be top-level documents, by definition,
970         // because they need to be contained in iframes with the srcdoc.
971         ASSERT(frame);
972     }
973     if (!frame)
974         return emptyString();
975     return frame->loader().m_outgoingReferrer;
976 }
977
978 String FrameLoader::outgoingOrigin() const
979 {
980     return m_frame.document()->securityOrigin().toString();
981 }
982
983 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
984 {
985     if (m_submittedFormURL.isEmpty())
986         return true;
987
988     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
989     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
990 }
991
992 Frame* FrameLoader::opener()
993 {
994     return m_opener;
995 }
996
997 void FrameLoader::setOpener(Frame* opener)
998 {
999     if (m_opener && !opener)
1000         m_client.didDisownOpener();
1001
1002     if (m_opener) {
1003         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1004         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1005         openerFrameLoader.m_openedFrames.remove(&m_frame);
1006     }
1007     if (opener)
1008         opener->loader().m_openedFrames.add(&m_frame);
1009     m_opener = opener;
1010
1011     if (m_frame.document())
1012         m_frame.document()->initSecurityContext();
1013 }
1014
1015 // FIXME: This does not belong in FrameLoader!
1016 void FrameLoader::handleFallbackContent()
1017 {
1018     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1019     if (!is<HTMLObjectElement>(owner))
1020         return;
1021     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1022 }
1023
1024 void FrameLoader::provisionalLoadStarted()
1025 {
1026     if (m_stateMachine.firstLayoutDone())
1027         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1028     m_frame.navigationScheduler().cancel(true);
1029     m_client.provisionalLoadStarted();
1030
1031     if (m_frame.isMainFrame()) {
1032         TracePoint(MainResourceLoadDidStartProvisional);
1033
1034         if (auto* page = m_frame.page())
1035             page->didStartProvisionalLoad();
1036     }
1037 }
1038
1039 void FrameLoader::resetMultipleFormSubmissionProtection()
1040 {
1041     m_submittedFormURL = URL();
1042 }
1043
1044 void FrameLoader::updateFirstPartyForCookies()
1045 {
1046     if (m_frame.tree().parent())
1047         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1048     else
1049         setFirstPartyForCookies(m_frame.document()->url());
1050 }
1051
1052 void FrameLoader::setFirstPartyForCookies(const URL& url)
1053 {
1054     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1055         frame->document()->setFirstPartyForCookies(url);
1056 }
1057
1058 // This does the same kind of work that didOpenURL does, except it relies on the fact
1059 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1060 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1061 {
1062     // If we have a state object, we cannot also be a new navigation.
1063     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1064
1065     // Update the data source's request with the new URL to fake the URL change
1066     URL oldURL = m_frame.document()->url();
1067     m_frame.document()->setURL(url);
1068     setOutgoingReferrer(url);
1069     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1070     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1071         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1072         // based on the current request. Must also happen before we openURL and displace the 
1073         // scroll position, since adding the BF item will save away scroll state.
1074         
1075         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1076         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1077         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1078         // though its load is not yet done.  I think this all works out OK, for one because
1079         // we have already saved away the scroll and doc state for the long slow load,
1080         // but it's not an obvious case.
1081
1082         history().updateBackForwardListForFragmentScroll();
1083     }
1084     
1085     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1086     
1087     history().updateForSameDocumentNavigation();
1088
1089     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1090     if (hashChange)
1091         m_frame.eventHandler().stopAutoscrollTimer();
1092     
1093     // It's important to model this as a load that starts and immediately finishes.
1094     // Otherwise, the parent frame may think we never finished loading.
1095     started();
1096
1097     // We need to scroll to the fragment whether or not a hash change occurred, since
1098     // the user might have scrolled since the previous navigation.
1099     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1100     
1101     m_isComplete = false;
1102     checkCompleted();
1103
1104     if (isNewNavigation) {
1105         // This will clear previousItem from the rest of the frame tree that didn't
1106         // doing any loading. We need to make a pass on this now, since for fragment
1107         // navigation we'll not go through a real load and reach Completed state.
1108         checkLoadComplete();
1109     }
1110
1111     m_client.dispatchDidNavigateWithinPage();
1112
1113     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1114     m_client.dispatchDidPopStateWithinPage();
1115     
1116     if (hashChange) {
1117         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1118         m_client.dispatchDidChangeLocationWithinPage();
1119     }
1120     
1121     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1122     m_client.didFinishLoad();
1123 }
1124
1125 bool FrameLoader::isComplete() const
1126 {
1127     return m_isComplete;
1128 }
1129
1130 void FrameLoader::completed()
1131 {
1132     Ref<Frame> protect(m_frame);
1133
1134     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1135         descendant->navigationScheduler().startTimer();
1136
1137     if (Frame* parent = m_frame.tree().parent())
1138         parent->loader().checkCompleted();
1139
1140     if (m_frame.view())
1141         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1142 }
1143
1144 void FrameLoader::started()
1145 {
1146     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1147         frame->loader().m_isComplete = false;
1148 }
1149
1150 void FrameLoader::prepareForLoadStart()
1151 {
1152     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1153
1154     m_progressTracker->progressStarted();
1155     m_client.dispatchDidStartProvisionalLoad();
1156
1157     if (AXObjectCache::accessibilityEnabled()) {
1158         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1159             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1160             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1161         }
1162     }
1163 }
1164
1165 void FrameLoader::setupForReplace()
1166 {
1167     m_client.revertToProvisionalState(m_documentLoader.get());
1168     setState(FrameStateProvisional);
1169     m_provisionalDocumentLoader = m_documentLoader;
1170     m_documentLoader = nullptr;
1171     detachChildren();
1172 }
1173
1174 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, FormState* formState)
1175 {
1176     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1177     auto protectFrame = makeRef(m_frame);
1178
1179     URL url = request.resourceRequest().url();
1180
1181     ASSERT(m_frame.document());
1182     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1183         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1184         return;
1185     }
1186
1187     String argsReferrer = request.resourceRequest().httpReferrer();
1188     if (argsReferrer.isEmpty())
1189         argsReferrer = outgoingReferrer();
1190
1191     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1192     if (request.shouldSendReferrer() == NeverSendReferrer)
1193         referrer = String();
1194
1195     FrameLoadType loadType;
1196     if (request.resourceRequest().cachePolicy() == RefreshAnyCacheData)
1197         loadType = FrameLoadType::Reload;
1198     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1199         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1200     else if (request.resourceRequest().cachePolicy() == ReloadIgnoringCacheData)
1201         loadType = FrameLoadType::ReloadFromOrigin;
1202     else
1203         loadType = FrameLoadType::Standard;
1204
1205     String frameName = request.frameName();
1206     if (request.resourceRequest().httpMethod() == "POST")
1207         loadPostRequest(WTFMove(request), referrer, loadType, event, formState);
1208     else
1209         loadURL(WTFMove(request), referrer, loadType, event, formState);
1210
1211     // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1212     // load if frame names have changed.
1213     Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1214     if (!sourceFrame)
1215         sourceFrame = &m_frame;
1216     Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1217     if (targetFrame && targetFrame != sourceFrame) {
1218         if (Page* page = targetFrame->page())
1219             page->chrome().focus();
1220     }
1221 }
1222
1223 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1224 {
1225     if (UserGestureIndicator::processingUserGesture())
1226         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1227
1228     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1229         return propagatedPolicy;
1230
1231     if (!currentFrame.isMainFrame())
1232         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1233
1234     return propagatedPolicy;
1235 }
1236
1237 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1238 {
1239     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1240 }
1241
1242 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1243 {
1244     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1245 }
1246
1247 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1248 {
1249     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1250 }
1251
1252 bool FrameLoader::isNavigationAllowed() const
1253 {
1254     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && NavigationDisabler::isNavigationAllowed(m_frame);
1255 }
1256
1257 struct SharedBool : public RefCounted<SharedBool> {
1258     bool value { false };
1259 };
1260
1261 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, FormState* formState)
1262 {
1263     if (m_inStopAllLoaders)
1264         return;
1265
1266     Ref<Frame> protect(m_frame);
1267
1268     String frameName = frameLoadRequest.frameName();
1269     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1270     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1271     LockHistory lockHistory = frameLoadRequest.lockHistory();
1272     bool isFormSubmission = formState;
1273
1274     const URL& newURL = frameLoadRequest.resourceRequest().url();
1275     ResourceRequest request(newURL);
1276     if (!referrer.isEmpty()) {
1277         request.setHTTPReferrer(referrer);
1278         RefPtr<SecurityOrigin> referrerOrigin = SecurityOrigin::createFromString(referrer);
1279         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1280     }
1281     if (&m_frame.tree().top() != &m_frame)
1282         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1283
1284     addExtraFieldsToRequest(request, newLoadType, true);
1285     if (isReload(newLoadType))
1286         request.setCachePolicy(RefreshAnyCacheData);
1287
1288     ASSERT(newLoadType != FrameLoadType::Same);
1289
1290     // The search for a target frame is done earlier in the case of form submission.
1291     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(frameName);
1292     if (targetFrame && targetFrame != &m_frame) {
1293         frameLoadRequest.setFrameName("_self");
1294         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, formState);
1295         return;
1296     }
1297
1298     if (!isNavigationAllowed())
1299         return;
1300
1301     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1302
1303     if (!targetFrame && !frameName.isEmpty()) {
1304         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1305         policyChecker().checkNewWindowPolicy(WTFMove(action), request, formState, frameName, [this, allowNavigationToInvalidURL, openerPolicy] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue) {
1306             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1307         });
1308         return;
1309     }
1310
1311     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1312
1313     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1314     const String& httpMethod = request.httpMethod();
1315     
1316     // Make sure to do scroll to fragment processing even if the URL is
1317     // exactly the same so pages with '#' links and DHTML side effects
1318     // work properly.
1319     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1320         oldDocumentLoader->setTriggeringAction(action);
1321         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1322         policyChecker().stopCheck();
1323         policyChecker().setLoadType(newLoadType);
1324         auto completionHandlerCalled = adoptRef(*new SharedBool);
1325         policyChecker().checkNavigationPolicy(ResourceRequest(request), false /* didReceiveRedirectResponse */, oldDocumentLoader.get(), formState, [this, completionHandlerCalled = completionHandlerCalled.copyRef()] (const ResourceRequest& request, FormState*, bool shouldContinue) {
1326             if (!completionHandlerCalled->value) {
1327                 completionHandlerCalled->value = true;
1328                 continueFragmentScrollAfterNavigationPolicy(request, shouldContinue);
1329             }
1330         });
1331             if (!completionHandlerCalled->value) {
1332             completionHandlerCalled->value = true;
1333             continueFragmentScrollAfterNavigationPolicy(WTFMove(request), true);
1334         }
1335         return;
1336     }
1337
1338     // must grab this now, since this load may stop the previous load and clear this flag
1339     bool isRedirect = m_quickRedirectComing;
1340     loadWithNavigationAction(request, action, lockHistory, newLoadType, formState, allowNavigationToInvalidURL);
1341     if (isRedirect) {
1342         m_quickRedirectComing = false;
1343         if (m_provisionalDocumentLoader)
1344             m_provisionalDocumentLoader->setIsClientRedirect(true);
1345     } else if (sameURL && !isReload(newLoadType)) {
1346         // Example of this case are sites that reload the same URL with a different cookie
1347         // driving the generated content, or a master frame with links that drive a target
1348         // frame, where the user has clicked on the same link repeatedly.
1349         m_loadType = FrameLoadType::Same;
1350     }
1351 }
1352
1353 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1354 {
1355     if (!shouldTreatURLAsSrcdocDocument(url))
1356         return SubstituteData();
1357     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1358     ASSERT(!srcdoc.isNull());
1359     CString encodedSrcdoc = srcdoc.string().utf8();
1360
1361     ResourceResponse response(URL(), ASCIILiteral("text/html"), encodedSrcdoc.length(), ASCIILiteral("UTF-8"));
1362     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1363 }
1364
1365 void FrameLoader::load(FrameLoadRequest&& request)
1366 {
1367     if (m_inStopAllLoaders)
1368         return;
1369
1370     if (!request.frameName().isEmpty()) {
1371         Frame* frame = findFrameForNavigation(request.frameName());
1372         if (frame) {
1373             request.setShouldCheckNewWindowPolicy(false);
1374             if (&frame->loader() != this) {
1375                 frame->loader().load(WTFMove(request));
1376                 return;
1377             }
1378         }
1379     }
1380
1381     if (request.shouldCheckNewWindowPolicy()) {
1382         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1383         policyChecker().checkNewWindowPolicy(WTFMove(action), request.resourceRequest(), nullptr, request.frameName(), [this] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue) {
1384             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1385         });
1386
1387         return;
1388     }
1389
1390     if (!request.hasSubstituteData())
1391         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1392
1393     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1394     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1395
1396     load(loader.ptr());
1397 }
1398
1399 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, const NavigationAction& action, LockHistory lockHistory, FrameLoadType type, FormState* formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
1400 {
1401     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1402     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1403
1404     if (lockHistory == LockHistory::Yes && m_documentLoader)
1405         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1406
1407     loader->setTriggeringAction(action);
1408     if (m_documentLoader)
1409         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1410
1411     loadWithDocumentLoader(loader.ptr(), type, formState, allowNavigationToInvalidURL);
1412 }
1413
1414 void FrameLoader::load(DocumentLoader* newDocumentLoader)
1415 {
1416     ResourceRequest& r = newDocumentLoader->request();
1417     addExtraFieldsToMainResourceRequest(r);
1418     FrameLoadType type;
1419
1420     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader->originalRequest().url())) {
1421         r.setCachePolicy(RefreshAnyCacheData);
1422         type = FrameLoadType::Same;
1423     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader->unreachableURL()) && m_loadType == FrameLoadType::Reload)
1424         type = FrameLoadType::Reload;
1425     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && !newDocumentLoader->unreachableURL().isEmpty() && newDocumentLoader->substituteData().isValid())
1426         type = FrameLoadType::RedirectWithLockedBackForwardList;
1427     else
1428         type = FrameLoadType::Standard;
1429
1430     if (m_documentLoader)
1431         newDocumentLoader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1432     
1433     // When we loading alternate content for an unreachable URL that we're
1434     // visiting in the history list, we treat it as a reload so the history list 
1435     // is appropriately maintained.
1436     //
1437     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1438     // shouldn't a more explicit type of reload be defined, that means roughly 
1439     // "load without affecting history" ? 
1440     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1441         // shouldReloadToHandleUnreachableURL() returns true only when the original load type is back-forward.
1442         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1443         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1444         history().saveDocumentAndScrollState();
1445
1446         ASSERT(type == FrameLoadType::Standard);
1447         type = FrameLoadType::Reload;
1448     }
1449
1450     loadWithDocumentLoader(newDocumentLoader, type, 0, AllowNavigationToInvalidURL::Yes);
1451 }
1452
1453 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, FormState* formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
1454 {
1455     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1456     Ref<Frame> protect(m_frame);
1457
1458     ASSERT(m_client.hasWebView());
1459
1460     // Unfortunately the view must be non-nil, this is ultimately due
1461     // to parser requiring a FrameView.  We should fix this dependency.
1462
1463     ASSERT(m_frame.view());
1464
1465     if (!isNavigationAllowed())
1466         return;
1467
1468     if (m_frame.document())
1469         m_previousURL = m_frame.document()->url();
1470
1471     const URL& newURL = loader->request().url();
1472
1473     // Log main frame navigation types.
1474     if (m_frame.isMainFrame()) {
1475         if (auto* page = m_frame.page())
1476             page->mainFrameLoadStarted(newURL, type);
1477         static_cast<MainFrame&>(m_frame).performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1478     }
1479
1480     policyChecker().setLoadType(type);
1481     bool isFormSubmission = formState;
1482
1483     const String& httpMethod = loader->request().httpMethod();
1484
1485     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1486         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1487         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1488
1489         oldDocumentLoader->setTriggeringAction(action);
1490         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1491         policyChecker().stopCheck();
1492         auto completionHandlerCalled = adoptRef(*new SharedBool);
1493         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), false /* didReceiveRedirectResponse */, oldDocumentLoader.get(), formState, [this, completionHandlerCalled = completionHandlerCalled.copyRef()] (const ResourceRequest& request, FormState*, bool shouldContinue) {
1494             if (!completionHandlerCalled->value) {
1495                 completionHandlerCalled->value = true;
1496                 continueFragmentScrollAfterNavigationPolicy(request, shouldContinue);
1497             }
1498         });
1499         if (!completionHandlerCalled->value) {
1500             completionHandlerCalled->value = true;
1501             continueFragmentScrollAfterNavigationPolicy(loader->request(), true);
1502         }
1503         return;
1504     }
1505
1506     if (Frame* parent = m_frame.tree().parent())
1507         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1508
1509     policyChecker().stopCheck();
1510     setPolicyDocumentLoader(loader);
1511     if (loader->triggeringAction().isEmpty())
1512         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1513
1514     if (Element* ownerElement = m_frame.ownerElement()) {
1515         // We skip dispatching the beforeload event if we've already
1516         // committed a real document load because the event would leak
1517         // subsequent activity by the frame which the parent frame isn't
1518         // supposed to learn. For example, if the child frame navigated to
1519         // a new URL, the parent frame shouldn't learn the URL.
1520         if (!m_stateMachine.committedFirstRealDocumentLoad()
1521             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1522             continueLoadAfterNavigationPolicy(loader->request(), formState, false, allowNavigationToInvalidURL);
1523             return;
1524         }
1525     }
1526
1527     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), false /* didReceiveRedirectResponse */, loader, formState, [this, allowNavigationToInvalidURL] (const ResourceRequest& request, FormState* formState, bool shouldContinue) {
1528         continueLoadAfterNavigationPolicy(request, formState, shouldContinue, allowNavigationToInvalidURL);
1529     });
1530 }
1531
1532 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1533 {
1534     ASSERT(!url.isEmpty());
1535     if (!frame)
1536         return;
1537
1538     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1539 }
1540
1541 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1542 {
1543     ASSERT(!url.isEmpty());
1544     if (!frame)
1545         return;
1546     
1547     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1548 }
1549
1550 const ResourceRequest& FrameLoader::initialRequest() const
1551 {
1552     return activeDocumentLoader()->originalRequest();
1553 }
1554
1555 bool FrameLoader::willLoadMediaElementURL(URL& url)
1556 {
1557 #if PLATFORM(IOS)
1558     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1559     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1560     if (IOSApplication::isMobileStore())
1561         return m_client.shouldLoadMediaElementURL(url);
1562 #endif
1563
1564     ResourceRequest request(url);
1565
1566     unsigned long identifier;
1567     ResourceError error;
1568     requestFromDelegate(request, identifier, error);
1569     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1570
1571     url = request.url();
1572
1573     return error.isNull();
1574 }
1575
1576 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader* docLoader)
1577 {
1578     URL unreachableURL = docLoader->unreachableURL();
1579
1580     if (unreachableURL.isEmpty())
1581         return false;
1582
1583     if (!isBackForwardLoadType(policyChecker().loadType()))
1584         return false;
1585
1586     // We only treat unreachableURLs specially during the delegate callbacks
1587     // for provisional load errors and navigation policy decisions. The former
1588     // case handles well-formed URLs that can't be loaded, and the latter
1589     // case handles malformed URLs and unknown schemes. Loading alternate content
1590     // at other times behaves like a standard load.
1591     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1592         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1593
1594     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1595 }
1596
1597 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1598 {
1599     if (!m_documentLoader)
1600         return;
1601
1602     ResourceRequest request = m_documentLoader->request();
1603     URL unreachableURL = m_documentLoader->unreachableURL();
1604     if (!unreachableURL.isEmpty())
1605         request.setURL(unreachableURL);
1606
1607     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1608     // We should ask the user for confirmation in this case.
1609     request.setCachePolicy(ReturnCacheDataElseLoad);
1610
1611     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1612     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1613
1614     setPolicyDocumentLoader(loader.ptr());
1615
1616     loader->setOverrideEncoding(encoding);
1617
1618     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, 0, AllowNavigationToInvalidURL::Yes);
1619 }
1620
1621 void FrameLoader::reload(OptionSet<ReloadOption> options)
1622 {
1623     if (!m_documentLoader)
1624         return;
1625
1626     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1627     // Reloading in this case will lose the current contents (see 4151001).
1628     if (m_documentLoader->request().url().isEmpty())
1629         return;
1630
1631     // Replace error-page URL with the URL we were trying to reach.
1632     ResourceRequest initialRequest = m_documentLoader->request();
1633     URL unreachableURL = m_documentLoader->unreachableURL();
1634     if (!unreachableURL.isEmpty())
1635         initialRequest.setURL(unreachableURL);
1636
1637     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1638     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1639     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1640     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1641
1642     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1643     
1644     ResourceRequest& request = loader->request();
1645
1646     request.setCachePolicy(RefreshAnyCacheData);
1647
1648     // If we're about to re-post, set up action so the application can warn the user.
1649     if (request.httpMethod() == "POST")
1650         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1651
1652     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1653
1654     auto frameLoadTypeForReloadOptions = [] (auto options) {
1655         if (options.contains(ReloadOption::FromOrigin))
1656             return FrameLoadType::ReloadFromOrigin;
1657         if (options.contains(ReloadOption::ExpiredOnly))
1658             return FrameLoadType::ReloadExpiredOnly;
1659         return FrameLoadType::Reload;
1660     };
1661     
1662     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), 0, AllowNavigationToInvalidURL::Yes);
1663 }
1664
1665 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1666 {
1667     ASSERT(!m_frame.document() || m_frame.document()->pageCacheState() != Document::InPageCache);
1668     if (!isNavigationAllowed())
1669         return;
1670
1671     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1672     if (m_inStopAllLoaders)
1673         return;
1674     
1675     // Calling stopLoading() on the provisional document loader can blow away
1676     // the frame from underneath.
1677     Ref<Frame> protect(m_frame);
1678
1679     m_inStopAllLoaders = true;
1680
1681     policyChecker().stopCheck();
1682
1683     // If no new load is in progress, we should clear the provisional item from history
1684     // before we call stopLoading.
1685     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1686         history().setProvisionalItem(nullptr);
1687
1688     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1689         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1690     if (m_provisionalDocumentLoader)
1691         m_provisionalDocumentLoader->stopLoading();
1692     if (m_documentLoader)
1693         m_documentLoader->stopLoading();
1694
1695     setProvisionalDocumentLoader(nullptr);
1696
1697     m_checkTimer.stop();
1698
1699     m_inStopAllLoaders = false;    
1700 }
1701
1702 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1703 {
1704     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1705     Ref<Frame> protectedFrame(m_frame);
1706
1707     stopAllLoaders();
1708
1709 #if PLATFORM(IOS)
1710     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1711     // but haven't laid out/painted yet.
1712     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1713     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1714         m_frame.view()->layoutContext().layout();
1715 #endif
1716
1717     if (deferCheckLoadComplete)
1718         scheduleCheckLoadComplete();
1719     else if (m_frame.page())
1720         checkLoadComplete();
1721 }
1722
1723 DocumentLoader* FrameLoader::activeDocumentLoader() const
1724 {
1725     if (m_state == FrameStateProvisional)
1726         return m_provisionalDocumentLoader.get();
1727     return m_documentLoader.get();
1728 }
1729
1730 bool FrameLoader::isLoading() const
1731 {
1732     DocumentLoader* docLoader = activeDocumentLoader();
1733     if (!docLoader)
1734         return false;
1735     return docLoader->isLoading();
1736 }
1737
1738 bool FrameLoader::frameHasLoaded() const
1739 {
1740     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1741 }
1742
1743 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1744 {
1745     if (!loader && !m_documentLoader)
1746         return;
1747     
1748     ASSERT(loader != m_documentLoader);
1749     ASSERT(!loader || loader->frameLoader() == this);
1750
1751     m_client.prepareForDataSourceReplacement();
1752     detachChildren();
1753
1754     // detachChildren() can trigger this frame's unload event, and therefore
1755     // script can run and do just about anything. For example, an unload event that calls
1756     // document.write("") on its parent frame can lead to a recursive detachChildren()
1757     // invocation for this frame. In that case, we can end up at this point with a
1758     // loader that hasn't been deleted but has been detached from its frame. Such a
1759     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1760     // state if we try to use it.
1761     if (loader && !loader->frame())
1762         return;
1763
1764     if (m_documentLoader)
1765         m_documentLoader->detachFromFrame();
1766
1767     m_documentLoader = loader;
1768 }
1769
1770 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1771 {
1772     if (m_policyDocumentLoader == loader)
1773         return;
1774
1775     if (loader)
1776         loader->attachToFrame(m_frame);
1777     if (m_policyDocumentLoader
1778             && m_policyDocumentLoader != m_provisionalDocumentLoader
1779             && m_policyDocumentLoader != m_documentLoader)
1780         m_policyDocumentLoader->detachFromFrame();
1781
1782     m_policyDocumentLoader = loader;
1783 }
1784
1785 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1786 {
1787     ASSERT(!loader || !m_provisionalDocumentLoader);
1788     ASSERT(!loader || loader->frameLoader() == this);
1789
1790     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1791         m_provisionalDocumentLoader->detachFromFrame();
1792
1793     m_provisionalDocumentLoader = loader;
1794 }
1795
1796 void FrameLoader::setState(FrameState newState)
1797 {
1798     FrameState oldState = m_state;
1799     m_state = newState;
1800     
1801     if (newState == FrameStateProvisional)
1802         provisionalLoadStarted();
1803     else if (newState == FrameStateComplete) {
1804         frameLoadCompleted();
1805         if (m_documentLoader)
1806             m_documentLoader->stopRecordingResponses();
1807         if (m_frame.isMainFrame() && oldState != newState)
1808             static_cast<MainFrame&>(m_frame).didCompleteLoad();
1809     }
1810 }
1811
1812 void FrameLoader::clearProvisionalLoad()
1813 {
1814     setProvisionalDocumentLoader(nullptr);
1815     m_progressTracker->progressCompleted();
1816     setState(FrameStateComplete);
1817 }
1818
1819 void FrameLoader::commitProvisionalLoad()
1820 {
1821     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1822     Ref<Frame> protect(m_frame);
1823
1824     std::unique_ptr<CachedPage> cachedPage;
1825     if (m_loadingFromCachedPage && history().provisionalItem())
1826         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1827
1828     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s'", m_frame.tree().uniqueName().string().utf8().data(),
1829         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1830         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>");
1831
1832     willTransitionToCommitted();
1833
1834     if (!m_frame.tree().parent() && history().currentItem()) {
1835         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
1836         // We are doing this here because we know for sure that a new page is about to be loaded.
1837         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
1838         
1839         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
1840     }
1841
1842     if (m_loadType != FrameLoadType::Replace)
1843         closeOldDataSources();
1844
1845     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
1846         m_client.makeRepresentation(pdl.get());
1847
1848     transitionToCommitted(cachedPage.get());
1849
1850     if (pdl && m_documentLoader) {
1851         // Check if the destination page is allowed to access the previous page's timing information.
1852         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
1853         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
1854     }
1855
1856     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
1857     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
1858     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
1859     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
1860     if (m_sentRedirectNotification)
1861         clientRedirectCancelledOrFinished(false);
1862     
1863     if (cachedPage && cachedPage->document()) {
1864 #if PLATFORM(IOS)
1865         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
1866         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
1867         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
1868 #endif
1869         willRestoreFromCachedPage();
1870
1871         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
1872         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
1873         ResourceError mainResouceError;
1874         unsigned long mainResourceIdentifier;
1875         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
1876         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
1877         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
1878
1879         std::optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
1880
1881         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
1882         cachedPage->restore(*m_frame.page());
1883
1884         dispatchDidCommitLoad(hasInsecureContent);
1885
1886 #if PLATFORM(IOS)
1887         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
1888         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
1889 #endif
1890
1891         auto& title = m_documentLoader->title();
1892         if (!title.string.isNull())
1893             m_client.dispatchDidReceiveTitle(title);
1894
1895         // Send remaining notifications for the main resource.
1896         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
1897             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
1898
1899         checkCompleted();
1900     } else
1901         didOpenURL();
1902
1903     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
1904         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
1905
1906     if (m_loadType == FrameLoadType::Standard && m_documentLoader->isClientRedirect())
1907         history().updateForClientRedirect();
1908
1909     if (m_loadingFromCachedPage) {
1910         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
1911         if (auto* page = m_frame.page())
1912             page->chrome().didReceiveDocType(m_frame);
1913         m_frame.document()->resume(ActiveDOMObject::PageCache);
1914
1915         // Force a layout to update view size and thereby update scrollbars.
1916 #if PLATFORM(IOS)
1917         if (!m_client.forceLayoutOnRestoreFromPageCache())
1918             m_frame.view()->forceLayout();
1919 #else
1920         m_frame.view()->forceLayout();
1921 #endif
1922
1923         // Main resource delegates were already sent, so we skip the first response here.
1924         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
1925             const auto& response = m_documentLoader->responses()[i];
1926             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
1927             ResourceError error;
1928             unsigned long identifier;
1929             ResourceRequest request(response.url());
1930             requestFromDelegate(request, identifier, error);
1931             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
1932             // However, with today's computers and networking speeds, this won't happen in practice.
1933             // Could be an issue with a giant local file.
1934             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
1935         }
1936
1937         // FIXME: Why only this frame and not parent frames?
1938         checkLoadCompleteForThisFrame();
1939     }
1940 }
1941
1942 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
1943 {
1944     ASSERT(m_client.hasWebView());
1945     ASSERT(m_state == FrameStateProvisional);
1946
1947     if (m_state != FrameStateProvisional)
1948         return;
1949
1950     if (FrameView* view = m_frame.view()) {
1951         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
1952             scrollAnimator->cancelAnimations();
1953     }
1954
1955     m_client.setCopiesOnScroll();
1956     history().updateForCommit();
1957
1958     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
1959     // JavaScript. If the script initiates a new load, we need to abandon the current load,
1960     // or the two will stomp each other.
1961     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
1962     if (m_documentLoader)
1963         closeURL();
1964     if (pdl != m_provisionalDocumentLoader)
1965         return;
1966
1967     if (m_documentLoader)
1968         m_documentLoader->stopLoadingSubresources();
1969     if (m_documentLoader)
1970         m_documentLoader->stopLoadingPlugIns();
1971
1972     // Setting our document loader invokes the unload event handler of our child frames.
1973     // Script can do anything. If the script initiates a new load, we need to abandon the
1974     // current load or the two will stomp each other.
1975     setDocumentLoader(m_provisionalDocumentLoader.get());
1976     if (pdl != m_provisionalDocumentLoader)
1977         return;
1978     setProvisionalDocumentLoader(nullptr);
1979
1980     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
1981     setState(FrameStateCommittedPage);
1982
1983     // Handle adding the URL to the back/forward list.
1984     DocumentLoader* dl = m_documentLoader.get();
1985
1986     switch (m_loadType) {
1987     case FrameLoadType::Forward:
1988     case FrameLoadType::Back:
1989     case FrameLoadType::IndexedBackForward:
1990         if (m_frame.page()) {
1991             // If the first load within a frame is a navigation within a back/forward list that was attached
1992             // without any of the items being loaded then we need to update the history in a similar manner as
1993             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
1994             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
1995                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
1996
1997             history().updateForBackForwardNavigation();
1998
1999             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2000             if (history().currentItem() && !cachedPage)
2001                 m_pendingStateObject = history().currentItem()->stateObject();
2002
2003             // Create a document view for this document, or used the cached view.
2004             if (cachedPage) {
2005                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2006                 ASSERT(cachedDocumentLoader);
2007                 cachedDocumentLoader->attachToFrame(m_frame);
2008                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2009             } else
2010                 m_client.transitionToCommittedForNewPage();
2011         }
2012         break;
2013
2014     case FrameLoadType::Reload:
2015     case FrameLoadType::ReloadFromOrigin:
2016     case FrameLoadType::ReloadExpiredOnly:
2017     case FrameLoadType::Same:
2018     case FrameLoadType::Replace:
2019         history().updateForReload();
2020         m_client.transitionToCommittedForNewPage();
2021         break;
2022
2023     case FrameLoadType::Standard:
2024         history().updateForStandardLoad();
2025         if (m_frame.view())
2026             m_frame.view()->setScrollbarsSuppressed(true);
2027         m_client.transitionToCommittedForNewPage();
2028         break;
2029
2030     case FrameLoadType::RedirectWithLockedBackForwardList:
2031         history().updateForRedirectWithLockedBackForwardList();
2032         m_client.transitionToCommittedForNewPage();
2033         break;
2034     }
2035
2036     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2037
2038     // Tell the client we've committed this URL.
2039     ASSERT(m_frame.view());
2040
2041     if (m_stateMachine.creatingInitialEmptyDocument())
2042         return;
2043
2044     if (!m_stateMachine.committedFirstRealDocumentLoad())
2045         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2046 }
2047
2048 void FrameLoader::clientRedirectCancelledOrFinished(bool cancelWithLoadInProgress)
2049 {
2050     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2051     // the redirect succeeded.  We should either rename this API, or add a new method, like
2052     // -webView:didFinishClientRedirectForFrame:
2053     m_client.dispatchDidCancelClientRedirect();
2054
2055     if (!cancelWithLoadInProgress)
2056         m_quickRedirectComing = false;
2057
2058     m_sentRedirectNotification = false;
2059 }
2060
2061 void FrameLoader::clientRedirected(const URL& url, double seconds, double fireDate, LockBackForwardList lockBackForwardList)
2062 {
2063     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate);
2064     
2065     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2066     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2067     m_sentRedirectNotification = true;
2068     
2069     // If a "quick" redirect comes in, we set a special mode so we treat the next
2070     // load as part of the original navigation. If we don't have a document loader, we have
2071     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2072     // Loads triggered by JavaScript form submissions never count as quick redirects.
2073     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2074 }
2075
2076 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2077 {
2078     // This function implements the rule: "Don't reload if navigating by fragment within
2079     // the same URL, but do reload if going to a new URL or to the same URL with no
2080     // fragment identifier at all."
2081     if (!destinationURL.hasFragmentIdentifier())
2082         return true;
2083     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2084 }
2085
2086 void FrameLoader::closeOldDataSources()
2087 {
2088     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2089     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2090     // use a recursive algorithm here.
2091     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2092         child->loader().closeOldDataSources();
2093     
2094     if (m_documentLoader)
2095         m_client.dispatchWillClose();
2096
2097     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2098 }
2099
2100 void FrameLoader::willRestoreFromCachedPage()
2101 {
2102     ASSERT(!m_frame.tree().parent());
2103     ASSERT(m_frame.page());
2104     ASSERT(m_frame.isMainFrame());
2105
2106     m_frame.navigationScheduler().cancel();
2107
2108     // We still have to close the previous part page.
2109     closeURL();
2110     
2111     // Delete old status bar messages (if it _was_ activated on last URL).
2112     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2113         DOMWindow* window = m_frame.document()->domWindow();
2114         window->setStatus(String());
2115         window->setDefaultStatus(String());
2116     }
2117 }
2118
2119 void FrameLoader::open(CachedFrameBase& cachedFrame)
2120 {
2121     m_isComplete = false;
2122     
2123     // Don't re-emit the load event.
2124     m_didCallImplicitClose = true;
2125
2126     URL url = cachedFrame.url();
2127
2128     // FIXME: I suspect this block of code doesn't do anything.
2129     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2130         url.setPath("/");
2131
2132     started();
2133     Document* document = cachedFrame.document();
2134     ASSERT(document);
2135     ASSERT(document->domWindow());
2136
2137     clear(document, true, true, cachedFrame.isMainFrame());
2138
2139     document->setPageCacheState(Document::NotInPageCache);
2140
2141     m_needsClear = true;
2142     m_isComplete = false;
2143     m_didCallImplicitClose = false;
2144     m_outgoingReferrer = url.string();
2145
2146     FrameView* view = cachedFrame.view();
2147     
2148     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2149     ASSERT(view);
2150     view->setWasScrolledByUser(false);
2151
2152     std::optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : std::optional<IntRect>(std::nullopt);
2153     m_frame.setView(view);
2154
2155     // Use the previous ScrollView's frame rect.
2156     if (previousViewFrameRect)
2157         view->setFrameRect(previousViewFrameRect.value());
2158     
2159     m_frame.setDocument(document);
2160     document->domWindow()->resumeFromDocumentSuspension();
2161
2162     updateFirstPartyForCookies();
2163
2164     cachedFrame.restore();
2165 }
2166
2167 bool FrameLoader::isHostedByObjectElement() const
2168 {
2169     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2170     return owner && owner->hasTagName(objectTag);
2171 }
2172
2173 bool FrameLoader::isReplacing() const
2174 {
2175     return m_loadType == FrameLoadType::Replace;
2176 }
2177
2178 void FrameLoader::setReplacing()
2179 {
2180     m_loadType = FrameLoadType::Replace;
2181 }
2182
2183 bool FrameLoader::subframeIsLoading() const
2184 {
2185     // It's most likely that the last added frame is the last to load so we walk backwards.
2186     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2187         FrameLoader& childLoader = child->loader();
2188         DocumentLoader* documentLoader = childLoader.documentLoader();
2189         if (documentLoader && documentLoader->isLoadingInAPISense())
2190             return true;
2191         documentLoader = childLoader.provisionalDocumentLoader();
2192         if (documentLoader && documentLoader->isLoadingInAPISense())
2193             return true;
2194         documentLoader = childLoader.policyDocumentLoader();
2195         if (documentLoader)
2196             return true;
2197     }
2198     return false;
2199 }
2200
2201 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2202 {
2203     m_client.willChangeTitle(loader);
2204 }
2205
2206 FrameLoadType FrameLoader::loadType() const
2207 {
2208     return m_loadType;
2209 }
2210     
2211 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2212 {
2213     if (Page* page = m_frame.page()) {
2214         if (page->isResourceCachingDisabled())
2215             return CachePolicyReload;
2216     }
2217
2218     if (m_isComplete)
2219         return CachePolicyVerify;
2220
2221     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2222         return CachePolicyReload;
2223
2224     if (Frame* parentFrame = m_frame.tree().parent()) {
2225         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2226         if (parentCachePolicy != CachePolicyVerify)
2227             return parentCachePolicy;
2228     }
2229     
2230     switch (m_loadType) {
2231     case FrameLoadType::Reload:
2232         return CachePolicyRevalidate;
2233     case FrameLoadType::Back:
2234     case FrameLoadType::Forward:
2235     case FrameLoadType::IndexedBackForward:
2236         return CachePolicyHistoryBuffer;
2237     case FrameLoadType::ReloadFromOrigin:
2238         ASSERT_NOT_REACHED(); // Already handled above.
2239         return CachePolicyReload;
2240     case FrameLoadType::RedirectWithLockedBackForwardList:
2241     case FrameLoadType::Replace:
2242     case FrameLoadType::Same:
2243     case FrameLoadType::Standard:
2244         return CachePolicyVerify;
2245     case FrameLoadType::ReloadExpiredOnly:
2246         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2247         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2248             return CachePolicyReload;
2249         return CachePolicyVerify;
2250     }
2251
2252     RELEASE_ASSERT_NOT_REACHED();
2253     return CachePolicyVerify;
2254 }
2255
2256 void FrameLoader::checkLoadCompleteForThisFrame()
2257 {
2258     ASSERT(m_client.hasWebView());
2259
2260     // FIXME: Should this check be done in checkLoadComplete instead of here?
2261     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2262     if (m_frame.document()->isDelayingLoadEvent())
2263         return;
2264
2265     switch (m_state) {
2266         case FrameStateProvisional: {
2267             // FIXME: Prohibiting any provisional load failures from being sent to clients
2268             // while handling provisional load failures is too heavy. For example, the current
2269             // load will fail to cancel another ongoing load. That might prevent clients' page
2270             // load state being handled properly.
2271             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2272                 return;
2273
2274             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2275             if (!pdl)
2276                 return;
2277                 
2278             // If we've received any errors we may be stuck in the provisional state and actually complete.
2279             const ResourceError& error = pdl->mainDocumentError();
2280             if (error.isNull())
2281                 return;
2282
2283             // Check all children first.
2284             RefPtr<HistoryItem> item;
2285             if (Page* page = m_frame.page())
2286                 if (isBackForwardLoadType(loadType()))
2287                     // Reset the back forward list to the last committed history item at the top level.
2288                     item = page->mainFrame().loader().history().currentItem();
2289                 
2290             // Only reset if we aren't already going to a new provisional item.
2291             bool shouldReset = !history().provisionalItem();
2292             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2293                 m_provisionalLoadErrorBeingHandledURL = m_provisionalDocumentLoader->url();
2294                 m_client.dispatchDidFailProvisionalLoad(error);
2295 #if ENABLE(CONTENT_FILTERING)
2296                 if (auto contentFilter = pdl->contentFilter())
2297                     contentFilter->handleProvisionalLoadFailure(error);
2298 #endif
2299                 m_provisionalLoadErrorBeingHandledURL = { };
2300
2301                 ASSERT(!pdl->isLoading());
2302
2303                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2304                 if (isReplacing() && !m_documentLoader.get())
2305                     setDocumentLoader(m_provisionalDocumentLoader.get());
2306
2307                 // Finish resetting the load state, but only if another load hasn't been started by the
2308                 // delegate callback.
2309                 if (pdl == m_provisionalDocumentLoader)
2310                     clearProvisionalLoad();
2311                 else if (activeDocumentLoader()) {
2312                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2313                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2314                         shouldReset = false;
2315                 }
2316             }
2317             if (shouldReset && item)
2318                 if (Page* page = m_frame.page()) {
2319                     page->backForward().setCurrentItem(item.get());
2320                     m_frame.loader().client().updateGlobalHistoryItemForPage();
2321                 }
2322             return;
2323         }
2324         
2325         case FrameStateCommittedPage: {
2326             DocumentLoader* dl = m_documentLoader.get();            
2327             if (!dl || (dl->isLoadingInAPISense() && !dl->isStopping()))
2328                 return;
2329
2330             setState(FrameStateComplete);
2331
2332             // FIXME: Is this subsequent work important if we already navigated away?
2333             // Maybe there are bugs because of that, or extra work we can skip because
2334             // the new page is ready.
2335
2336             m_client.forceLayoutForNonHTML();
2337              
2338             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2339             if (m_frame.page()) {
2340                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2341                     history().restoreScrollPositionAndViewState();
2342             }
2343
2344             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2345                 return;
2346
2347             m_progressTracker->progressCompleted();
2348             Page* page = m_frame.page();
2349             if (page) {
2350                 if (m_frame.isMainFrame()) {
2351                     TracePoint(MainResourceLoadDidEnd);
2352                     page->didFinishLoad();
2353                 }
2354             }
2355
2356             const ResourceError& error = dl->mainDocumentError();
2357
2358             AXObjectCache::AXLoadingEvent loadingEvent;
2359             if (!error.isNull()) {
2360                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2361                 m_client.dispatchDidFailLoad(error);
2362                 loadingEvent = AXObjectCache::AXLoadingFailed;
2363             } else {
2364                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2365 #if ENABLE(DATA_DETECTION)
2366                 auto* document = m_frame.document();
2367                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2368                     if (auto* documentElement = document->documentElement()) {
2369                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2370                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2371                         if (m_frame.isMainFrame())
2372                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2373                     }
2374                 }
2375 #endif
2376                 m_client.dispatchDidFinishLoad();
2377                 loadingEvent = AXObjectCache::AXLoadingFinished;
2378             }
2379
2380             // Notify accessibility.
2381             if (auto* document = m_frame.document()) {
2382                 if (AXObjectCache* cache = document->existingAXObjectCache())
2383                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2384             }
2385
2386             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2387             // from its Page and also might have caused Page to be deleted.
2388             // Don't assume 'page' is still available to use.
2389             if (m_frame.isMainFrame() && m_frame.page()) {
2390                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2391                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2392             }
2393
2394             return;
2395         }
2396         
2397         case FrameStateComplete:
2398             m_loadType = FrameLoadType::Standard;
2399             frameLoadCompleted();
2400             return;
2401     }
2402
2403     ASSERT_NOT_REACHED();
2404 }
2405
2406 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2407 {
2408     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2409     // The originalURL is defined as the URL of the page where the download was initiated.
2410     URL originalURL;
2411     if (m_frame.document()) {
2412         originalURL = m_frame.document()->firstPartyForCookies();
2413         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2414         // In this case, we need to set the originalURL to this document's opener's main document URL.
2415         if (originalURL.isEmpty() && opener() && opener()->document())
2416             originalURL = opener()->document()->firstPartyForCookies();
2417     }
2418     // If the originalURL is the same as the requested URL, we are processing a download
2419     // initiated directly without a page and do not need to specify the originalURL.
2420     if (originalURL == request.url())
2421         request.setFirstPartyForCookies(URL());
2422     else
2423         request.setFirstPartyForCookies(originalURL);
2424 }
2425
2426 void FrameLoader::didReachLayoutMilestone(LayoutMilestones milestones)
2427 {
2428     ASSERT(m_frame.isMainFrame());
2429
2430     m_client.dispatchDidReachLayoutMilestone(milestones);
2431 }
2432
2433 void FrameLoader::didFirstLayout()
2434 {
2435 #if PLATFORM(IOS)
2436     // Only send layout-related delegate callbacks synchronously for the main frame to
2437     // avoid reentering layout for the main frame while delivering a layout-related delegate
2438     // callback for a subframe.
2439     if (&m_frame != &m_frame.page()->mainFrame())
2440         return;
2441 #endif
2442     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2443         history().restoreScrollPositionAndViewState();
2444
2445     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2446         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2447 }
2448
2449 void FrameLoader::frameLoadCompleted()
2450 {
2451     // Note: Can be called multiple times.
2452
2453     m_client.frameLoadCompleted();
2454
2455     history().updateForFrameLoadCompleted();
2456
2457     // After a canceled provisional load, firstLayoutDone is false.
2458     // Reset it to true if we're displaying a page.
2459     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2460         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2461 }
2462
2463 void FrameLoader::detachChildren()
2464 {
2465     // detachChildren() will fire the unload event in each subframe and the
2466     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2467     // this event is being fired in its subframes:
2468     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2469     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2470
2471     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2472     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2473     // allow loading of subframes at this point.
2474     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2475
2476     Vector<Ref<Frame>, 16> childrenToDetach;
2477     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2478     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2479         childrenToDetach.uncheckedAppend(*child);
2480     for (auto& child : childrenToDetach)
2481         child->loader().detachFromParent();
2482 }
2483
2484 void FrameLoader::closeAndRemoveChild(Frame& child)
2485 {
2486     child.tree().detachFromParent();
2487
2488     child.setView(nullptr);
2489     if (child.ownerElement() && child.page())
2490         child.page()->decrementSubframeCount();
2491     child.willDetachPage();
2492     child.detachFromPage();
2493
2494     m_frame.tree().removeChild(child);
2495 }
2496
2497 // Called every time a resource is completely loaded or an error is received.
2498 void FrameLoader::checkLoadComplete()
2499 {
2500     m_shouldCallCheckLoadComplete = false;
2501
2502     if (!m_frame.page())
2503         return;
2504
2505     ASSERT(m_client.hasWebView());
2506     
2507     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2508     // is currently needed in order to null out the previous history item for all frames.
2509     Vector<Ref<Frame>, 16> frames;
2510     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2511         frames.append(*frame);
2512
2513     // To process children before their parents, iterate the vector backwards.
2514     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2515         if ((*frame)->page())
2516             (*frame)->loader().checkLoadCompleteForThisFrame();
2517     }
2518 }
2519
2520 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2521 {
2522     if (!recurse)
2523         return m_frame.document()->cachedResourceLoader().requestCount();
2524
2525     int count = 0;
2526     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2527         count += frame->document()->cachedResourceLoader().requestCount();
2528     return count;
2529 }
2530
2531 String FrameLoader::userAgent(const URL& url) const
2532 {
2533     return m_client.userAgent(url);
2534 }
2535
2536 void FrameLoader::dispatchOnloadEvents()
2537 {
2538     m_client.dispatchDidDispatchOnloadEvents();
2539
2540     if (documentLoader())
2541         documentLoader()->dispatchOnloadEvents();
2542 }
2543
2544 void FrameLoader::frameDetached()
2545 {
2546     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2547     Ref<Frame> protectedFrame(m_frame);
2548
2549     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2550         stopAllLoaders();
2551         m_frame.document()->stopActiveDOMObjects();
2552     }
2553
2554     detachFromParent();
2555 }
2556
2557 void FrameLoader::detachFromParent()
2558 {
2559     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2560     Ref<Frame> protect(m_frame);
2561
2562     closeURL();
2563     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2564     detachChildren();
2565     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2566         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2567         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2568         // handlers might start a new subresource load in this frame.
2569         stopAllLoaders();
2570     }
2571
2572     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2573
2574     detachViewsAndDocumentLoader();
2575
2576     m_progressTracker = nullptr;
2577
2578     if (Frame* parent = m_frame.tree().parent()) {
2579         parent->loader().closeAndRemoveChild(m_frame);
2580         parent->loader().scheduleCheckCompleted();
2581         parent->loader().scheduleCheckLoadComplete();
2582     } else {
2583         m_frame.setView(nullptr);
2584         m_frame.willDetachPage();
2585         m_frame.detachFromPage();
2586     }
2587 }
2588
2589 void FrameLoader::detachViewsAndDocumentLoader()
2590 {
2591     m_client.detachedFromParent2();
2592     setDocumentLoader(nullptr);
2593     m_client.detachedFromParent3();
2594 }
2595     
2596 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2597 {
2598     addExtraFieldsToRequest(request, m_loadType, false);
2599 }
2600
2601 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2602 {
2603     // FIXME: Using m_loadType seems wrong for some callers.
2604     // If we are only preparing to load the main resource, that is previous load's load type!
2605     addExtraFieldsToRequest(request, m_loadType, true);
2606
2607     // Upgrade-Insecure-Requests should only be added to main resource requests
2608     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2609 }
2610
2611 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2612 {
2613     if (m_overrideCachePolicyForTesting)
2614         return m_overrideCachePolicyForTesting.value();
2615
2616     if (isMainResource) {
2617         if (isReload(loadType) || request.isConditional())
2618             return loadType == FrameLoadType::ReloadFromOrigin ? ReloadIgnoringCacheData : RefreshAnyCacheData;
2619
2620         return UseProtocolCachePolicy;
2621     }
2622
2623     if (request.isConditional())
2624         return RefreshAnyCacheData;
2625
2626     if (documentLoader()->isLoadingInAPISense()) {
2627         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2628         // original request cache policy for two reasons:
2629         // 1. For POST requests, we mutate the cache policy for the main resource,
2630         //    but we do not want this to apply to subresources
2631         // 2. Delegates that modify the cache policy using willSendRequest: should
2632         //    not affect any other resources. Such changes need to be done
2633         //    per request.
2634         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2635         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2636         // This policy is set on initial request too, but should not be inherited.
2637         return (mainDocumentOriginalCachePolicy == ReturnCacheDataDontLoad) ? ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2638     }
2639
2640     return UseProtocolCachePolicy;
2641 }
2642
2643 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2644 {
2645     // Don't set the cookie policy URL if it's already been set.
2646     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2647     if (request.firstPartyForCookies().isEmpty()) {
2648         if (isMainResource && m_frame.isMainFrame())
2649             request.setFirstPartyForCookies(request.url());
2650         else if (Document* document = m_frame.document())
2651             request.setFirstPartyForCookies(document->firstPartyForCookies());
2652     }
2653
2654     Page* page = frame().page();
2655     bool hasSpecificCachePolicy = request.cachePolicy() != UseProtocolCachePolicy;
2656
2657     if (page && page->isResourceCachingDisabled()) {
2658         request.setCachePolicy(ReloadIgnoringCacheData);
2659         loadType = FrameLoadType::ReloadFromOrigin;
2660     } else if (!hasSpecificCachePolicy)
2661         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2662
2663     // The remaining modifications are only necessary for HTTP and HTTPS.
2664     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2665         return;
2666
2667     if (!hasSpecificCachePolicy && request.cachePolicy() == ReloadIgnoringCacheData) {
2668         if (loadType == FrameLoadType::Reload)
2669             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2670         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2671             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2672             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2673         }
2674     }
2675
2676     if (m_overrideResourceLoadPriorityForTesting)
2677         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2678
2679     applyUserAgentIfNeeded(request);
2680
2681     if (isMainResource)
2682         request.setHTTPAccept(defaultAcceptHeader);
2683
2684     // Make sure we send the Origin header.
2685     addHTTPOriginIfNeeded(request, String());
2686
2687     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2688     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2689         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2690         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2691     }
2692 }
2693
2694 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2695 {
2696     if (!request.httpOrigin().isEmpty())
2697         return;  // Request already has an Origin header.
2698
2699     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2700     // For example, if an intranet page has a hyperlink to an external web
2701     // site, we don't want to include the Origin of the request because it
2702     // will leak the internal host name. Similar privacy concerns have lead
2703     // to the widespread suppression of the Referer header at the network
2704     // layer.
2705     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2706         return;
2707
2708     // For non-GET and non-HEAD methods, always send an Origin header so the
2709     // server knows we support this feature.
2710
2711     if (origin.isEmpty()) {
2712         // If we don't know what origin header to attach, we attach the value
2713         // for an empty origin.
2714         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2715         return;
2716     }
2717
2718     request.setHTTPOrigin(origin);
2719 }
2720
2721 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
2722 {
2723     if (request.url().protocolIs("https")) {
2724         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
2725         return;
2726     }
2727
2728     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, ASCIILiteral("1"));
2729 }
2730
2731 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, FormState* formState)
2732 {
2733     String frameName = request.frameName();
2734     LockHistory lockHistory = request.lockHistory();
2735     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
2736     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
2737
2738     const ResourceRequest& inRequest = request.resourceRequest();
2739     const URL& url = inRequest.url();
2740     const String& contentType = inRequest.httpContentType();
2741     String origin = inRequest.httpOrigin();
2742
2743     ResourceRequest workingResourceRequest(url);    
2744
2745     if (!referrer.isEmpty())
2746         workingResourceRequest.setHTTPReferrer(referrer);
2747     workingResourceRequest.setHTTPOrigin(origin);
2748     workingResourceRequest.setHTTPMethod("POST");
2749     workingResourceRequest.setHTTPBody(inRequest.httpBody());
2750     workingResourceRequest.setHTTPContentType(contentType);
2751     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
2752
2753     if (Document* document = m_frame.document())
2754         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2755
2756     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
2757
2758     if (!frameName.isEmpty()) {
2759         // The search for a target frame is done earlier in the case of form submission.
2760         if (Frame* targetFrame = formState ? 0 : findFrameForNavigation(frameName)) {
2761             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, action, lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL);
2762             return;
2763         }
2764
2765         policyChecker().checkNewWindowPolicy(WTFMove(action), workingResourceRequest, WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue) {
2766             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
2767         });
2768         return;
2769     }
2770
2771     // must grab this now, since this load may stop the previous load and clear this flag
2772     bool isRedirect = m_quickRedirectComing;
2773     loadWithNavigationAction(workingResourceRequest, action, lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL);
2774     if (isRedirect) {
2775         m_quickRedirectComing = false;
2776         if (m_provisionalDocumentLoader)
2777             m_provisionalDocumentLoader->setIsClientRedirect(true);
2778     }
2779 }
2780
2781 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, StoredCredentialsPolicy storedCredentialsPolicy, ClientCredentialPolicy clientCredentialPolicy, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
2782 {
2783     ASSERT(m_frame.document());
2784     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
2785     
2786     ResourceRequest initialRequest = request;
2787     initialRequest.setTimeoutInterval(10);
2788     
2789     if (!referrer.isEmpty())
2790         initialRequest.setHTTPReferrer(referrer);
2791     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
2792
2793     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
2794     
2795     addExtraFieldsToSubresourceRequest(initialRequest);
2796
2797     unsigned long identifier = 0;    
2798     ResourceRequest newRequest(initialRequest);
2799     requestFromDelegate(newRequest, identifier, error);
2800
2801 #if ENABLE(CONTENT_EXTENSIONS)
2802     if (error.isNull()) {
2803         if (auto* page = m_frame.page()) {
2804             if (m_documentLoader) {
2805                 auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(newRequest.url(), ResourceType::Raw, *m_documentLoader);
2806                 applyBlockedStatusToRequest(blockedStatus, page, newRequest);
2807                 if (blockedStatus.blockedLoad) {
2808                     newRequest = { };
2809                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
2810                     response = { };
2811                     data = nullptr;
2812                 }
2813             }
2814         }
2815     }
2816 #endif
2817
2818     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2819     
2820     if (error.isNull()) {
2821         ASSERT(!newRequest.isNull());
2822
2823         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
2824             Vector<char> buffer;
2825             platformStrategies()->loaderStrategy()->loadResourceSynchronously(networkingContext(), identifier, newRequest, storedCredentialsPolicy, clientCredentialPolicy, error, response, buffer);
2826             data = SharedBuffer::create(WTFMove(buffer));
2827             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
2828             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
2829         }
2830     }
2831     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
2832     return identifier;
2833 }
2834
2835 const ResourceRequest& FrameLoader::originalRequest() const
2836 {
2837     return activeDocumentLoader()->originalRequestCopy();
2838 }
2839
2840 void FrameLoader::receivedMainResourceError(const ResourceError& error)
2841 {
2842     // Retain because the stop may release the last reference to it.
2843     Ref<Frame> protect(m_frame);
2844
2845     RefPtr<DocumentLoader> loader = activeDocumentLoader();
2846     // FIXME: Don't want to do this if an entirely new load is going, so should check
2847     // that both data sources on the frame are either this or nil.
2848     stop();
2849     if (m_client.shouldFallBack(error))
2850         handleFallbackContent();
2851
2852     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
2853         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
2854             m_submittedFormURL = URL();
2855             
2856         // We might have made a page cache item, but now we're bailing out due to an error before we ever
2857         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
2858         // so that the existing view (that wenever got far enough to replace) can continue being used.
2859         history().invalidateCurrentItemCachedPage();
2860         
2861         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
2862         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
2863         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
2864         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
2865         // has ended.
2866         if (m_sentRedirectNotification)
2867             clientRedirectCancelledOrFinished(false);
2868     }
2869
2870     checkCompleted();
2871     if (m_frame.page())
2872         checkLoadComplete();
2873 }
2874
2875 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
2876 {
2877     m_quickRedirectComing = false;
2878
2879     if (!shouldContinue)
2880         return;
2881
2882     // Calling stopLoading() on the provisional document loader can cause the underlying
2883     // frame to be deallocated.
2884     Ref<Frame> protectedFrame(m_frame);
2885
2886     // If we have a provisional request for a different document, a fragment scroll should cancel it.
2887     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
2888         m_provisionalDocumentLoader->stopLoading();
2889         setProvisionalDocumentLoader(nullptr);
2890     }
2891
2892     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
2893     loadInSameDocument(request.url(), 0, !isRedirect);
2894 }
2895
2896 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
2897 {
2898     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
2899     // currently displaying a frameset, or if the URL does not have a fragment.
2900     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
2901
2902     // FIXME: What about load types other than Standard and Reload?
2903
2904     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
2905         && !isReload(loadType)
2906         && loadType != FrameLoadType::Same
2907         && !shouldReload(m_frame.document()->url(), url)
2908         // We don't want to just scroll if a link from within a
2909         // frameset is trying to reload the frameset into _top.
2910         && !m_frame.document()->isFrameSet();
2911 }
2912
2913 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
2914 {
2915     return !historyItem || historyItem->shouldRestoreScrollPosition();
2916 }
2917
2918 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
2919 {
2920     return !isNewNavigation && !isBackForwardLoadType(loadType);
2921 }
2922
2923 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
2924 {
2925     FrameView* view = m_frame.view();
2926     if (!view)
2927         return;
2928
2929     // Leaking scroll position to a cross-origin ancestor would permit the so-called "framesniffing" attack.
2930     RefPtr<Frame> boundaryFrame(url.hasFragmentIdentifier() ? m_frame.document()->findUnsafeParentScrollPropagationBoundary() : 0);
2931
2932     if (boundaryFrame)
2933         boundaryFrame->view()->setSafeToPropagateScrollToParent(false);
2934
2935     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
2936         view->scrollToFragment(url);
2937
2938     if (boundaryFrame)
2939         boundaryFrame->view()->setSafeToPropagateScrollToParent(true);
2940 }
2941
2942 bool FrameLoader::shouldClose()
2943 {
2944     Page* page = m_frame.page();
2945     if (!page)
2946         return true;
2947     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
2948         return true;
2949
2950     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
2951     Vector<Ref<Frame>, 16> targetFrames;
2952     targetFrames.append(m_frame);
2953     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
2954         targetFrames.append(*child);
2955
2956     bool shouldClose = false;
2957     {
2958         NavigationDisabler navigationDisabler(&m_frame);
2959         size_t i;
2960
2961         for (i = 0; i < targetFrames.size(); i++) {
2962             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
2963                 continue;
2964             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
2965                 break;
2966         }
2967
2968         if (i == targetFrames.size())
2969             shouldClose = true;
2970     }
2971
2972     if (!shouldClose)
2973         m_submittedFormURL = URL();
2974
2975     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
2976     return shouldClose;
2977 }
2978
2979 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
2980 {
2981     if (!m_frame.document())
2982         return;
2983
2984     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
2985     ForbidPromptsScope forbidPrompts(m_frame.page());
2986     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2987
2988     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
2989         auto* currentFocusedElement = m_frame.document()->focusedElement();
2990         if (is<HTMLInputElement>(currentFocusedElement))
2991             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
2992         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
2993             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
2994                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
2995                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
2996             }
2997
2998             // FIXME: update Page Visibility state here.
2999             // https://bugs.webkit.org/show_bug.cgi?id=116770
3000
3001             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3002                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, false, false));
3003                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3004                 // while dispatching the event, so protect it to prevent writing the end
3005                 // time into freed memory.
3006                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3007                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3008                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3009                     auto& timing = documentLoader->timing();
3010                     timing.markUnloadEventStart();
3011                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3012                     timing.markUnloadEventEnd();
3013                 } else
3014                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3015             }
3016         }
3017         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3018         m_wasUnloadEventEmitted = true;
3019     }
3020
3021     // Dispatching the unload event could have made m_frame.document() null.
3022     if (!m_frame.document())
3023         return;
3024
3025     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3026         return;
3027
3028     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3029     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3030         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3031
3032     if (!keepEventListeners)
3033         m_frame.document()->removeAllEventListeners();
3034 }
3035
3036 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3037 {
3038     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3039     if (document.isSandboxed(SandboxModals))
3040         return false;
3041
3042     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3043     // Web pages can request we ask for confirmation before navigating by:
3044     // - Cancelling the BeforeUnloadEvent (modern way)
3045     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3046     // - Returning a non-empty string from the event handler, which is then set as returnValue
3047     //   attribute on the BeforeUnloadEvent.
3048     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3049 }
3050
3051 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3052 {
3053     DOMWindow* domWindow = m_frame.document()->domWindow();
3054     if (!domWindow)
3055         return true;
3056
3057     RefPtr<Document> document = m_frame.document();
3058     if (!document->bodyOrFrameset())
3059         return true;
3060     
3061     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3062     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3063
3064     {
3065         ForbidPromptsScope forbidPrompts(m_frame.page());
3066         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3067         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3068     }
3069
3070     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3071
3072     if (!beforeUnloadEvent->defaultPrevented())
3073         document->defaultEventHandler(beforeUnloadEvent.get());
3074
3075     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3076         return true;
3077
3078     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3079     // this frame is not allowed to cause another one to be shown.
3080     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3081         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, ASCIILiteral("Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."));
3082         return true;
3083     }
3084
3085     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3086     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3087     if (frameLoaderBeingNavigated != this) {
3088         Frame* parentFrame = m_frame.tree().parent();
3089         while (parentFrame) {
3090             Document* parentDocument = parentFrame->document();
3091             if (!parentDocument)
3092                 return true;
3093             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3094                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, ASCIILiteral("Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."));
3095                 return true;
3096             }
3097             
3098             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3099                 break;
3100             
3101             parentFrame = parentFrame->tree().parent();
3102         }
3103         
3104         // The navigatingFrameLoader should always be in our ancestory.
3105         ASSERT(parentFrame);
3106         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3107     }
3108
3109     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3110
3111     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3112     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3113 }
3114
3115 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, bool shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3116 {
3117     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3118     // nil policyDataSource because loading the alternate page will have passed
3119     // through this method already, nested; otherwise, policyDataSource should still be set.
3120     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3121
3122     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3123
3124     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3125
3126     // Three reasons we can't continue:
3127     //    1) Navigation policy delegate said we can't so request is nil. A primary case of this 
3128     //       is the user responding Cancel to the form repost nag sheet.
3129     //    2) User responded Cancel to an alert popped up by the before unload event handler.
3130     //    3) The request's URL is invalid and navigation to invalid URLs is disallowed.
3131     bool canContinue = shouldContinue && shouldClose() && !urlIsDisallowed;
3132
3133     if (!canContinue) {
3134         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3135         // need to report that the client redirect was cancelled.
3136         // FIXME: The client should be told about ignored non-quick redirects, too.
3137         if (m_quickRedirectComing)
3138             clientRedirectCancelledOrFinished(false);
3139
3140         setPolicyDocumentLoader(nullptr);
3141
3142         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3143         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3144         // we only do this when punting a navigation for the target frame or top-level frame.  
3145         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3146             if (Page* page = m_frame.page()) {
3147                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem()) {
3148                     page->backForward().setCurrentItem(resetItem);
3149                     m_frame.loader().client().updateGlobalHistoryItemForPage();
3150                 }
3151             }
3152         }
3153         return;
3154     }
3155
3156     FrameLoadType type = policyChecker().loadType();
3157     // A new navigation is in progress, so don't clear the history's provisional item.
3158     stopAllLoaders(ShouldNotClearProvisionalItem);
3159     
3160     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3161     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3162     if (!m_frame.page())
3163         return;
3164
3165     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3166     m_loadType = type;
3167     setState(FrameStateProvisional);
3168
3169     setPolicyDocumentLoader(nullptr);
3170
3171     if (isBackForwardLoadType(type)) {
3172         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3173         if (history().provisionalItem()->isInPageCache()) {
3174             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3175             loadProvisionalItemFromCachedPage();
3176             return;
3177         }
3178         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3179     }
3180
3181     WTF::Function<void(void)> completionHandler = [this] {
3182         if (!m_provisionalDocumentLoader)
3183             return;
3184         
3185         prepareForLoadStart();
3186         
3187         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3188         // so we need to null check it again.
3189         if (!m_provisionalDocumentLoader) {
3190             RELEASE_LOG_IF_ALLOWED("dispatchWillSubmitForm completionHandler: Frame load canceled (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3191             return;
3192         }
3193         
3194         DocumentLoader* activeDocLoader = activeDocumentLoader();
3195         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3196             RELEASE_LOG_IF_ALLOWED("dispatchWillSubmitForm completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3197             return;
3198         }
3199         
3200         m_loadingFromCachedPage = false;
3201         m_provisionalDocumentLoader->startLoadingMainResource();
3202     };
3203     
3204     if (!formState) {
3205         completionHandler();
3206         return;
3207     }
3208
3209     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3210 }
3211
3212 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3213     FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3214 {
3215     if (!shouldContinue)
3216         return;
3217
3218     Ref<Frame> frame(m_frame);
3219     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3220     if (!mainFrame)
3221         return;
3222
3223     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3224     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3225         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3226
3227     if (!equalIgnoringASCIICase(frameName, "_blank"))
3228         mainFrame->tree().setName(frameName);
3229
3230     mainFrame->page()->setOpenedByDOM();
3231     mainFrame->loader().m_client.dispatchShow();
3232     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3233         mainFrame->loader().setOpener(frame.ptr());
3234         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3235     }
3236
3237     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy() };
3238     mainFrame->loader().loadWithNavigationAction(request, newAction, LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3239 }
3240
3241 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3242 {
3243     ASSERT(!request.isNull());
3244
3245     identifier = 0;
3246     if (Page* page = m_frame.page()) {
3247         identifier = page->progress().createUniqueIdentifier();
3248         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3249     }
3250
3251     ResourceRequest newRequest(request);
3252     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3253
3254     if (newRequest.isNull())
3255         error = cancelledError(request);
3256     else
3257         error = ResourceError();
3258
3259     request = newRequest;
3260 }
3261
3262 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3263 {
3264     Page* page = m_frame.page();
3265     if (!page)
3266         return;
3267
3268     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3269         return;
3270
3271     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3272     if (resource.type() == CachedResource::MainResource)
3273         return;
3274
3275     if (!page->areMemoryCacheClientCallsEnabled()) {
3276         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3277         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3278         m_documentLoader->didTellClientAboutLoad(resource.url());
3279         return;
3280     }
3281
3282     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3283         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3284         m_documentLoader->didTellClientAboutLoad(resource.url());
3285         return;
3286     }
3287
3288     unsigned long identifier;
3289     requestFromDelegate(newRequest, identifier, error);
3290
3291     ResourceResponse response = resource.response();
3292     response.setSource(ResourceResponse::Source::MemoryCache);
3293     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3294 }
3295
3296 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3297 {
3298     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3299         String userAgent = this->userAgent(request.url());
3300         ASSERT(!userAgent.isNull());
3301         request.setHTTPUserAgent(userAgent);
3302     }
3303 }
3304
3305 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3306 {
3307     Frame& topFrame = m_frame.tree().top();
3308     if (&m_frame == &topFrame)
3309         return false;
3310
3311     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3312
3313     switch (disposition) {
3314     case XFrameOptionsSameOrigin: {
3315         RefPtr<SecurityOrigin> origin = SecurityOrigin::create(url);
3316         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3317             return true;
3318         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3319             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3320                 break;
3321         }
3322         return false;
3323     }
3324     case XFrameOptionsDeny:
3325         return true;
3326     case XFrameOptionsAllowAll:
3327         return false;
3328     case XFrameOptionsConflict:
3329         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3330         return true;
3331     case XFrameOptionsInvalid:
3332         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3333         return false;
3334     case XFrameOptionsNone:
3335         return false;
3336     }
3337     ASSERT_NOT_REACHED();
3338     return false;
3339 }
3340
3341 void FrameLoader::loadProvisionalItemFromCachedPage()
3342 {
3343     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3344     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3345
3346     prepareForLoadStart();
3347
3348     m_loadingFromCachedPage = true;
3349
3350     // Should have timing data from previous time(s) the page was shown.
3351     ASSERT(provisionalLoader->timing().startTime());
3352     provisionalLoader->resetTiming();
3353     provisionalLoader->timing().markStartTime();
3354
3355     provisionalLoader->setCommitted(true);
3356     commitProvisionalLoad();
3357 }
3358
3359 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3360 {
3361     if (!history().currentItem())
3362         return false;
3363     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3364 }
3365
3366 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3367 {
3368     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3369         return false;
3370     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3371     if (!ownerElement)
3372         return false;
3373     if (!ownerElement->hasTagName(iframeTag))
3374         return false;
3375     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3376 }
3377
3378 Frame* FrameLoader::findFrameForNavigation(const AtomicString& name, Document* activeDocument)
3379 {
3380     Frame* frame = m_frame.tree().find(name);
3381
3382     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3383     if (!activeDocument)
3384         activeDocument = m_frame.document();
3385
3386     if (!activeDocument->canNavigate(frame))
3387         return nullptr;
3388
3389     return frame;
3390 }
3391
3392 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3393 {
3394     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3395
3396     Ref<Frame> protect(m_frame);
3397
3398     // Save user view state to the current history item here since we don't do a normal load.
3399     // FIXME: Does form state need to be saved here too?
3400     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3401     if (FrameView* view = m_frame.view())
3402         view->setWasScrolledByUser(false);
3403
3404     history().setCurrentItem(&item);
3405         
3406     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3407     loadInSameDocument(item.url(), item.stateObject(), false);
3408
3409     // Restore user view state from the current history item here since we don't do a normal load.
3410     history().restoreScrollPositionAndViewState();
3411 }
3412
3413 // FIXME: This function should really be split into a couple pieces, some of
3414 // which should be methods of HistoryController and some of which should be
3415 // methods of FrameLoader.
3416 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy)
3417 {
3418     // Remember this item so we can traverse any child items as child frames load
3419     history().setProvisionalItem(&item);
3420
3421     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3422
3423     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {