26cf2b397b438f47f075c3ae21015874035102f4
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentRuleListResults.h"
49 #include "ContentSecurityPolicy.h"
50 #include "CustomHeaderFields.h"
51 #include "DOMWindow.h"
52 #include "DatabaseManager.h"
53 #include "DiagnosticLoggingClient.h"
54 #include "DiagnosticLoggingKeys.h"
55 #include "Document.h"
56 #include "DocumentLoader.h"
57 #include "Editor.h"
58 #include "EditorClient.h"
59 #include "Element.h"
60 #include "Event.h"
61 #include "EventHandler.h"
62 #include "EventNames.h"
63 #include "FloatRect.h"
64 #include "FormState.h"
65 #include "FormSubmission.h"
66 #include "Frame.h"
67 #include "FrameLoadRequest.h"
68 #include "FrameLoaderClient.h"
69 #include "FrameNetworkingContext.h"
70 #include "FrameTree.h"
71 #include "FrameView.h"
72 #include "GCController.h"
73 #include "HTMLFormElement.h"
74 #include "HTMLInputElement.h"
75 #include "HTMLNames.h"
76 #include "HTMLObjectElement.h"
77 #include "HTMLParserIdioms.h"
78 #include "HTTPHeaderNames.h"
79 #include "HTTPParsers.h"
80 #include "HistoryController.h"
81 #include "HistoryItem.h"
82 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
83 #include "InspectorController.h"
84 #include "InspectorInstrumentation.h"
85 #include "LinkLoader.h"
86 #include "LoadTiming.h"
87 #include "LoaderStrategy.h"
88 #include "Logging.h"
89 #include "MemoryCache.h"
90 #include "MemoryRelease.h"
91 #include "NavigationDisabler.h"
92 #include "NavigationScheduler.h"
93 #include "Node.h"
94 #include "Page.h"
95 #include "PageCache.h"
96 #include "PageTransitionEvent.h"
97 #include "PerformanceLogging.h"
98 #include "PlatformStrategies.h"
99 #include "PluginData.h"
100 #include "PluginDocument.h"
101 #include "PolicyChecker.h"
102 #include "ProgressTracker.h"
103 #include "ResourceHandle.h"
104 #include "ResourceLoadInfo.h"
105 #include "ResourceLoadObserver.h"
106 #include "ResourceRequest.h"
107 #include "SVGDocument.h"
108 #include "SVGLocatable.h"
109 #include "SVGNames.h"
110 #include "SVGViewElement.h"
111 #include "SVGViewSpec.h"
112 #include "ScriptController.h"
113 #include "ScriptSourceCode.h"
114 #include "ScrollAnimator.h"
115 #include "SecurityOrigin.h"
116 #include "SecurityPolicy.h"
117 #include "SegmentedString.h"
118 #include "SerializedScriptValue.h"
119 #include "Settings.h"
120 #include "ShouldTreatAsContinuingLoad.h"
121 #include "SubframeLoader.h"
122 #include "SubresourceLoader.h"
123 #include "TextResourceDecoder.h"
124 #include "UserContentController.h"
125 #include "UserGestureIndicator.h"
126 #include "WindowFeatures.h"
127 #include "XMLDocumentParser.h"
128 #include <dom/ScriptDisallowedScope.h>
129 #include <wtf/CompletionHandler.h>
130 #include <wtf/URL.h>
131 #include <wtf/Ref.h>
132 #include <wtf/SetForScope.h>
133 #include <wtf/StdLibExtras.h>
134 #include <wtf/SystemTracing.h>
135 #include <wtf/text/CString.h>
136 #include <wtf/text/WTFString.h>
137
138 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
139 #include "Archive.h"
140 #endif
141
142 #if ENABLE(DATA_DETECTION)
143 #include "DataDetection.h"
144 #endif
145
146 #if PLATFORM(IOS_FAMILY)
147 #include "DocumentType.h"
148 #include "ResourceLoader.h"
149 #include "RuntimeApplicationChecks.h"
150 #endif
151
152 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
153
154 namespace WebCore {
155
156 using namespace HTMLNames;
157 using namespace SVGNames;
158
159 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
160
161 bool isBackForwardLoadType(FrameLoadType type)
162 {
163     switch (type) {
164     case FrameLoadType::Standard:
165     case FrameLoadType::Reload:
166     case FrameLoadType::ReloadFromOrigin:
167     case FrameLoadType::ReloadExpiredOnly:
168     case FrameLoadType::Same:
169     case FrameLoadType::RedirectWithLockedBackForwardList:
170     case FrameLoadType::Replace:
171         return false;
172     case FrameLoadType::Back:
173     case FrameLoadType::Forward:
174     case FrameLoadType::IndexedBackForward:
175         return true;
176     }
177     ASSERT_NOT_REACHED();
178     return false;
179 }
180
181 bool isReload(FrameLoadType type)
182 {
183     switch (type) {
184     case FrameLoadType::Reload:
185     case FrameLoadType::ReloadFromOrigin:
186     case FrameLoadType::ReloadExpiredOnly:
187         return true;
188     case FrameLoadType::Standard:
189     case FrameLoadType::Same:
190     case FrameLoadType::RedirectWithLockedBackForwardList:
191     case FrameLoadType::Replace:
192     case FrameLoadType::Back:
193     case FrameLoadType::Forward:
194     case FrameLoadType::IndexedBackForward:
195         return false;
196     }
197     ASSERT_NOT_REACHED();
198     return false;
199 }
200
201 // This is not in the FrameLoader class to emphasize that it does not depend on
202 // private FrameLoader data, and to avoid increasing the number of public functions
203 // with access to private data.  Since only this .cpp file needs it, making it
204 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
205 // API simpler.
206 //
207 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
208 {
209     return frame.document() && frame.document()->isSandboxed(mask);
210 }
211
212 struct ForbidPromptsScope {
213     ForbidPromptsScope(Page* page) : m_page(page)
214     {
215         if (!m_page)
216             return;
217         m_page->forbidPrompts();
218     }
219
220     ~ForbidPromptsScope()
221     {
222         if (!m_page)
223             return;
224         m_page->allowPrompts();
225     }
226
227     Page* m_page;
228 };
229
230 class FrameLoader::FrameProgressTracker {
231     WTF_MAKE_FAST_ALLOCATED;
232 public:
233     explicit FrameProgressTracker(Frame& frame)
234         : m_frame(frame)
235         , m_inProgress(false)
236     {
237     }
238
239     ~FrameProgressTracker()
240     {
241         if (m_inProgress && m_frame.page())
242             m_frame.page()->progress().progressCompleted(m_frame);
243     }
244
245     void progressStarted()
246     {
247         ASSERT(m_frame.page());
248         if (!m_inProgress)
249             m_frame.page()->progress().progressStarted(m_frame);
250         m_inProgress = true;
251     }
252
253     void progressCompleted()
254     {
255         ASSERT(m_inProgress);
256         ASSERT(m_frame.page());
257         m_inProgress = false;
258         m_frame.page()->progress().progressCompleted(m_frame);
259
260         if (auto pageID = m_frame.loader().client().pageID())
261             platformStrategies()->loaderStrategy()->pageLoadCompleted(pageID.value());
262     }
263
264 private:
265     Frame& m_frame;
266     bool m_inProgress;
267 };
268
269 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
270     : m_frame(frame)
271     , m_client(client)
272     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
273     , m_history(std::make_unique<HistoryController>(frame))
274     , m_notifier(frame)
275     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
276     , m_mixedContentChecker(frame)
277     , m_state(FrameStateProvisional)
278     , m_loadType(FrameLoadType::Standard)
279     , m_quickRedirectComing(false)
280     , m_sentRedirectNotification(false)
281     , m_inStopAllLoaders(false)
282     , m_isExecutingJavaScriptFormAction(false)
283     , m_didCallImplicitClose(true)
284     , m_wasUnloadEventEmitted(false)
285     , m_isComplete(false)
286     , m_needsClear(false)
287     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
288     , m_shouldCallCheckCompleted(false)
289     , m_shouldCallCheckLoadComplete(false)
290     , m_opener(nullptr)
291     , m_loadingFromCachedPage(false)
292     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
293     , m_loadsSynchronously(false)
294     , m_forcedSandboxFlags(SandboxNone)
295 {
296 }
297
298 FrameLoader::~FrameLoader()
299 {
300     setOpener(nullptr);
301
302     for (auto& frame : m_openedFrames)
303         frame->loader().m_opener = nullptr;
304
305     m_client.frameLoaderDestroyed();
306
307     if (m_networkingContext)
308         m_networkingContext->invalidate();
309 }
310
311 void FrameLoader::init()
312 {
313     // This somewhat odd set of steps gives the frame an initial empty document.
314     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
315     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
316     m_provisionalDocumentLoader->startLoadingMainResource();
317
318     Ref<Frame> protect(m_frame);
319     m_frame.document()->cancelParsing();
320     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
321
322     m_networkingContext = m_client.createNetworkingContext();
323     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
324 }
325
326 void FrameLoader::initForSynthesizedDocument(const URL&)
327 {
328     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
329     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
330
331     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
332     loader->attachToFrame(m_frame);
333     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
334     loader->setCommitted(true);
335     setDocumentLoader(loader.ptr());
336
337     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
338     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
339     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
340     m_client.transitionToCommittedForNewPage();
341
342     m_didCallImplicitClose = true;
343     m_isComplete = true;
344     m_state = FrameStateComplete;
345     m_needsClear = true;
346
347     m_networkingContext = m_client.createNetworkingContext();
348     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
349 }
350
351 void FrameLoader::setDefersLoading(bool defers)
352 {
353     if (m_documentLoader)
354         m_documentLoader->setDefersLoading(defers);
355     if (m_provisionalDocumentLoader)
356         m_provisionalDocumentLoader->setDefersLoading(defers);
357     if (m_policyDocumentLoader)
358         m_policyDocumentLoader->setDefersLoading(defers);
359     history().setDefersLoading(defers);
360
361     if (!defers) {
362         m_frame.navigationScheduler().startTimer();
363         startCheckCompleteTimer();
364     }
365 }
366
367 void FrameLoader::checkContentPolicy(const ResourceResponse& response, PolicyCheckIdentifier identifier, ContentPolicyDecisionFunction&& function)
368 {
369     if (!activeDocumentLoader()) {
370         // Load was cancelled
371         function(PolicyAction::Ignore, identifier);
372         return;
373     }
374
375     // FIXME: Validate the policy check identifier.
376     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), identifier, activeDocumentLoader()->downloadAttribute(), WTFMove(function));
377 }
378
379 void FrameLoader::changeLocation(FrameLoadRequest&& request)
380 {
381     urlSelected(WTFMove(request), nullptr);
382 }
383
384 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo, Optional<AdClickAttribution>&& adClickAttribution)
385 {
386     auto* frame = lexicalFrameFromCommonVM();
387     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
388
389     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
390     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent, WTFMove(adClickAttribution));
391 }
392
393 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent, Optional<AdClickAttribution>&& adClickAttribution)
394 {
395     RELEASE_LOG_IF_ALLOWED("urlSelected: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
396
397     Ref<Frame> protect(m_frame);
398
399     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
400         return;
401
402     if (frameRequest.frameName().isEmpty())
403         frameRequest.setFrameName(m_frame.document()->baseTarget());
404
405     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
406     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
407
408     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { }, WTFMove(adClickAttribution));
409 }
410
411 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
412 {
413     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
414
415     // FIXME: Find a good spot for these.
416     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
417
418     if (!m_frame.page())
419         return;
420
421     if (submission->action().isEmpty())
422         return;
423
424     if (isDocumentSandboxed(m_frame, SandboxForms)) {
425         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
426         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
427         return;
428     }
429
430     if (WTF::protocolIsJavaScript(submission->action())) {
431         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
432             return;
433         m_isExecutingJavaScriptFormAction = true;
434         Ref<Frame> protect(m_frame);
435         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
436         m_isExecutingJavaScriptFormAction = false;
437         return;
438     }
439
440     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
441     if (!targetFrame) {
442         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
443             return;
444
445         // FIXME: targetFrame can be null for two distinct reasons:
446         // 1. The frame was not found by name, so we should try opening a new window.
447         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
448         // Continuing form submission makes no sense in the latter case.
449         // There is a repeat check after timer fires, so this is not a correctness issue.
450
451         targetFrame = &m_frame;
452     } else
453         submission->clearTarget();
454
455     if (!targetFrame->page())
456         return;
457
458     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
459
460     // We do not want to submit more than one form from the same page, nor do we want to submit a single
461     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
462     // The flag is reset in each time we start dispatching a new mouse or key down event, and
463     // also in setView since this part may get reused for a page from the back/forward cache.
464     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
465
466     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
467     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
468     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
469
470     if (m_frame.tree().isDescendantOf(targetFrame)) {
471         if (m_submittedFormURL == submission->requestURL())
472             return;
473         m_submittedFormURL = submission->requestURL();
474     }
475
476     submission->setReferrer(outgoingReferrer());
477     submission->setOrigin(outgoingOrigin());
478
479     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
480 }
481
482 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
483 {
484     if (m_frame.document() && m_frame.document()->parser())
485         m_frame.document()->parser()->stopParsing();
486
487     if (unloadEventPolicy != UnloadEventPolicyNone)
488         dispatchUnloadEvents(unloadEventPolicy);
489
490     m_isComplete = true; // to avoid calling completed() in finishedParsing()
491     m_didCallImplicitClose = true; // don't want that one either
492
493     if (m_frame.document() && m_frame.document()->parsing()) {
494         finishedParsing();
495         m_frame.document()->setParsing(false);
496     }
497
498     if (auto* document = m_frame.document()) {
499         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
500         DatabaseManager::singleton().stopDatabases(*document, nullptr);
501     }
502
503     policyChecker().stopCheck();
504
505     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
506     m_frame.navigationScheduler().cancel();
507 }
508
509 void FrameLoader::stop()
510 {
511     // http://bugs.webkit.org/show_bug.cgi?id=10854
512     // The frame's last ref may be removed and it will be deleted by checkCompleted().
513     Ref<Frame> protect(m_frame);
514
515     if (DocumentParser* parser = m_frame.document()->parser()) {
516         parser->stopParsing();
517         parser->finish();
518     }
519 }
520
521 void FrameLoader::willTransitionToCommitted()
522 {
523     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
524
525     if (m_frame.editor().hasComposition()) {
526         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
527         m_frame.editor().confirmComposition();
528         if (EditorClient* editorClient = m_frame.editor().client()) {
529             editorClient->respondToChangedSelection(&m_frame);
530             editorClient->discardedComposition(&m_frame);
531         }
532     }
533 }
534
535 bool FrameLoader::closeURL()
536 {
537     history().saveDocumentState();
538
539     Document* currentDocument = m_frame.document();
540     UnloadEventPolicy unloadEventPolicy;
541     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
542         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
543         unloadEventPolicy = UnloadEventPolicyNone;
544     } else {
545         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
546         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
547     }
548
549     stopLoading(unloadEventPolicy);
550     
551     m_frame.editor().clearUndoRedoOperations();
552     return true;
553 }
554
555 bool FrameLoader::didOpenURL()
556 {
557     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
558         // A redirect was scheduled before the document was created.
559         // This can happen when one frame changes another frame's location.
560         return false;
561     }
562
563     m_frame.navigationScheduler().cancel();
564     m_frame.editor().clearLastEditCommand();
565
566     m_isComplete = false;
567     m_didCallImplicitClose = false;
568
569     // If we are still in the process of initializing an empty document then
570     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
571     // since it may cause clients to attempt to render the frame.
572     if (!m_stateMachine.creatingInitialEmptyDocument()) {
573         DOMWindow* window = m_frame.document()->domWindow();
574         window->setStatus(String());
575         window->setDefaultStatus(String());
576     }
577
578     started();
579
580     return true;
581 }
582
583 void FrameLoader::didExplicitOpen()
584 {
585     m_isComplete = false;
586     m_didCallImplicitClose = false;
587
588     // Calling document.open counts as committing the first real document load.
589     if (!m_stateMachine.committedFirstRealDocumentLoad())
590         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
591
592     m_client.dispatchDidExplicitOpen(m_frame.document() ? m_frame.document()->url() : URL());
593     
594     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
595     // from a subsequent window.document.open / window.document.write call. 
596     // Canceling redirection here works for all cases because document.open 
597     // implicitly precedes document.write.
598     m_frame.navigationScheduler().cancel();
599 }
600
601
602 void FrameLoader::cancelAndClear()
603 {
604     m_frame.navigationScheduler().cancel();
605
606     if (!m_isComplete)
607         closeURL();
608
609     clear(m_frame.document(), false);
610     m_frame.script().updatePlatformScriptObjects();
611 }
612
613 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
614 {
615     if (!frame.isMainFrame())
616         return false;
617
618     if (frame.loader().opener())
619         return false;
620
621     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
622 }
623
624 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView, WTF::Function<void()>&& handleDOMWindowCreation)
625 {
626     m_frame.editor().clear();
627
628     bool neededClear = m_needsClear;
629     m_needsClear = false;
630
631     if (neededClear && m_frame.document()->pageCacheState() != Document::InPageCache) {
632         m_frame.document()->cancelParsing();
633         m_frame.document()->stopActiveDOMObjects();
634         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
635         m_frame.document()->prepareForDestruction();
636         if (hadLivingRenderTree)
637             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
638     }
639
640     if (handleDOMWindowCreation)
641         handleDOMWindowCreation();
642
643     if (!neededClear)
644         return;
645     
646     // Do this after detaching the document so that the unload event works.
647     if (clearWindowProperties) {
648         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
649         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
650         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
651
652         if (shouldClearWindowName(m_frame, *newDocument))
653             m_frame.tree().setName(nullAtom());
654     }
655
656     m_frame.selection().prepareForDestruction();
657     m_frame.eventHandler().clear();
658
659     if (clearFrameView && m_frame.view())
660         m_frame.view()->clear();
661
662     // Do not drop the document before the ScriptController and view are cleared
663     // as some destructors might still try to access the document.
664     m_frame.setDocument(nullptr);
665
666     subframeLoader().clear();
667
668     if (clearWindowProperties)
669         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
670
671     if (clearScriptObjects)
672         m_frame.script().clearScriptObjects();
673
674     m_frame.script().enableEval();
675
676     m_frame.navigationScheduler().clear();
677
678     m_checkTimer.stop();
679     m_shouldCallCheckCompleted = false;
680     m_shouldCallCheckLoadComplete = false;
681
682     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
683         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
684 }
685
686 void FrameLoader::receivedFirstData()
687 {
688     dispatchDidCommitLoad(WTF::nullopt);
689     dispatchDidClearWindowObjectsInAllWorlds();
690     dispatchGlobalObjectAvailableInAllWorlds();
691
692     if (!m_documentLoader)
693         return;
694
695     auto& documentLoader = *m_documentLoader;
696     auto& title = documentLoader.title();
697     if (!title.string.isNull())
698         m_client.dispatchDidReceiveTitle(title);
699
700     ASSERT(m_frame.document());
701     auto& document = *m_frame.document();
702
703     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
704
705     double delay;
706     String urlString;
707     if (!parseHTTPRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
708         return;
709     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
710     if (!WTF::protocolIsJavaScript(completedURL))
711         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
712     else {
713         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
714         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
715     }
716 }
717
718 void FrameLoader::setOutgoingReferrer(const URL& url)
719 {
720     m_outgoingReferrer = url.strippedForUseAsReferrer();
721 }
722
723 void FrameLoader::didBeginDocument(bool dispatch, ContentSecurityPolicy* previousPolicy)
724 {
725     m_needsClear = true;
726     m_isComplete = false;
727     m_didCallImplicitClose = false;
728     m_frame.document()->setReadyState(Document::Loading);
729
730     if (m_pendingStateObject) {
731         m_frame.document()->statePopped(*m_pendingStateObject);
732         m_pendingStateObject = nullptr;
733     }
734
735     if (dispatch)
736         dispatchDidClearWindowObjectsInAllWorlds();
737
738     updateFirstPartyForCookies();
739     m_frame.document()->initContentSecurityPolicy(previousPolicy);
740
741     const Settings& settings = m_frame.settings();
742     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
743     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
744
745     if (m_documentLoader) {
746         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
747         if (!dnsPrefetchControl.isEmpty())
748             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
749
750         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
751
752         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
753         if (!referrerPolicy.isNull())
754             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
755
756         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
757         if (!headerContentLanguage.isEmpty()) {
758             size_t commaIndex = headerContentLanguage.find(',');
759             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
760             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
761             if (!headerContentLanguage.isEmpty())
762                 m_frame.document()->setContentLanguage(headerContentLanguage);
763         }
764     }
765
766     history().restoreDocumentState();
767 }
768
769 void FrameLoader::finishedParsing()
770 {
771     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
772
773     m_frame.injectUserScripts(InjectAtDocumentEnd);
774
775     if (m_stateMachine.creatingInitialEmptyDocument())
776         return;
777
778     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
779     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
780     // Null-checking the FrameView indicates whether or not we're in the destructor.
781     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
782
783     m_client.dispatchDidFinishDocumentLoad();
784
785     scrollToFragmentWithParentBoundary(m_frame.document()->url());
786
787     checkCompleted();
788
789     if (!m_frame.view())
790         return; // We are being destroyed by something checkCompleted called.
791
792     // Check if the scrollbars are really needed for the content.
793     // If not, remove them, relayout, and repaint.
794     m_frame.view()->restoreScrollbar();
795 }
796
797 void FrameLoader::loadDone(LoadCompletionType type)
798 {
799     if (type == LoadCompletionType::Finish)
800         checkCompleted();
801     else
802         scheduleCheckCompleted();
803 }
804
805 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
806 {
807     if (type == LoadCompletionType::Finish)
808         checkLoadComplete();
809     else
810         scheduleCheckLoadComplete();
811 }
812
813 bool FrameLoader::allChildrenAreComplete() const
814 {
815     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
816         if (!child->loader().m_isComplete)
817             return false;
818     }
819     return true;
820 }
821
822 bool FrameLoader::allAncestorsAreComplete() const
823 {
824     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
825         if (!ancestor->loader().m_isComplete)
826             return false;
827     }
828     return true;
829 }
830
831 void FrameLoader::checkCompleted()
832 {
833     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
834     m_shouldCallCheckCompleted = false;
835
836     // Have we completed before?
837     if (m_isComplete)
838         return;
839     
840 #if ENABLE(VIDEO)
841     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
842     if (HTMLMediaElement::isRunningDestructor()) {
843         ASSERT_NOT_REACHED();
844         scheduleCheckCompleted();
845         return;
846     }
847 #endif
848
849     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
850     //        https://bugs.webkit.org/show_bug.cgi?id=171729
851     if (m_frame.document()->inRenderTreeUpdate()) {
852         scheduleCheckCompleted();
853         return;
854     }
855
856     // Are we still parsing?
857     if (m_frame.document()->parsing())
858         return;
859
860     // Still waiting for images/scripts?
861     if (m_frame.document()->cachedResourceLoader().requestCount())
862         return;
863
864     // Still waiting for elements that don't go through a FrameLoader?
865     if (m_frame.document()->isDelayingLoadEvent())
866         return;
867
868     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
869     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
870         return;
871
872     // Any frame that hasn't completed yet?
873     if (!allChildrenAreComplete())
874         return;
875
876     // Important not to protect earlier in this function, because earlier parts
877     // of this function can be called in the frame's destructor, and it's not legal
878     // to ref an object while it's being destroyed.
879     Ref<Frame> protect(m_frame);
880
881     // OK, completed.
882     m_isComplete = true;
883     m_requestedHistoryItem = nullptr;
884     m_frame.document()->setReadyState(Document::Complete);
885
886 #if PLATFORM(IOS_FAMILY)
887     if (m_frame.document()->url().isEmpty()) {
888         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
889         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
890         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
891         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
892         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
893         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
894         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
895     }
896 #endif
897
898     checkCallImplicitClose(); // if we didn't do it before
899
900     m_frame.navigationScheduler().startTimer();
901
902     completed();
903     if (m_frame.page())
904         checkLoadComplete();
905 }
906
907 void FrameLoader::checkTimerFired()
908 {
909     checkCompletenessNow();
910 }
911
912 void FrameLoader::checkCompletenessNow()
913 {
914     Ref<Frame> protect(m_frame);
915
916     if (Page* page = m_frame.page()) {
917         if (page->defersLoading())
918             return;
919     }
920     if (m_shouldCallCheckCompleted)
921         checkCompleted();
922     if (m_shouldCallCheckLoadComplete)
923         checkLoadComplete();
924 }
925
926 void FrameLoader::startCheckCompleteTimer()
927 {
928     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
929         return;
930     if (m_checkTimer.isActive())
931         return;
932     m_checkTimer.startOneShot(0_s);
933 }
934
935 void FrameLoader::scheduleCheckCompleted()
936 {
937     m_shouldCallCheckCompleted = true;
938     startCheckCompleteTimer();
939 }
940
941 void FrameLoader::scheduleCheckLoadComplete()
942 {
943     m_shouldCallCheckLoadComplete = true;
944     startCheckCompleteTimer();
945 }
946
947 void FrameLoader::checkCallImplicitClose()
948 {
949     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
950         return;
951
952     if (!allChildrenAreComplete())
953         return; // still got a frame running -> too early
954
955     m_didCallImplicitClose = true;
956     m_wasUnloadEventEmitted = false;
957     m_frame.document()->implicitClose();
958 }
959
960 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
961 {
962     RELEASE_LOG_IF_ALLOWED("loadURLIntoChildFrame: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
963
964     ASSERT(childFrame);
965
966 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
967     if (auto activeLoader = activeDocumentLoader()) {
968         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
969             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
970             return;
971         }
972     }
973 #endif
974
975     // If we're moving in the back/forward list, we might want to replace the content
976     // of this child frame with whatever was there at that point.
977     auto* parentItem = history().currentItem();
978     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
979         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
980             childFrame->loader().m_requestedHistoryItem = childItem;
981             childFrame->loader().loadDifferentDocumentItem(*childItem, nullptr, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
982             return;
983         }
984     }
985
986     auto* lexicalFrame = lexicalFrameFromCommonVM();
987     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
988
989     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
990     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, WTF::nullopt, [] { });
991 }
992
993 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
994
995 void FrameLoader::loadArchive(Ref<Archive>&& archive)
996 {
997     RELEASE_LOG_IF_ALLOWED("loadArchive: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
998
999     ArchiveResource* mainResource = archive->mainResource();
1000     ASSERT(mainResource);
1001     if (!mainResource)
1002         return;
1003
1004     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1005     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1006     
1007     ResourceRequest request(mainResource->url());
1008
1009     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1010     documentLoader->setArchive(WTFMove(archive));
1011     load(documentLoader.get());
1012 }
1013
1014 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1015
1016 String FrameLoader::outgoingReferrer() const
1017 {
1018     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1019     // for why we walk the parent chain for srcdoc documents.
1020     Frame* frame = &m_frame;
1021     while (frame && frame->document()->isSrcdocDocument()) {
1022         frame = frame->tree().parent();
1023         // Srcdoc documents cannot be top-level documents, by definition,
1024         // because they need to be contained in iframes with the srcdoc.
1025         ASSERT(frame);
1026     }
1027     if (!frame)
1028         return emptyString();
1029     return frame->loader().m_outgoingReferrer;
1030 }
1031
1032 String FrameLoader::outgoingOrigin() const
1033 {
1034     return m_frame.document()->securityOrigin().toString();
1035 }
1036
1037 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1038 {
1039     if (m_submittedFormURL.isEmpty())
1040         return true;
1041
1042     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1043     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1044 }
1045
1046 Frame* FrameLoader::opener()
1047 {
1048     return m_opener;
1049 }
1050
1051 void FrameLoader::setOpener(Frame* opener)
1052 {
1053     if (m_opener && !opener)
1054         m_client.didDisownOpener();
1055
1056     if (m_opener) {
1057         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1058         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1059         openerFrameLoader.m_openedFrames.remove(&m_frame);
1060     }
1061     if (opener) {
1062         opener->loader().m_openedFrames.add(&m_frame);
1063         if (auto* page = m_frame.page())
1064             page->setOpenedByDOMWithOpener();
1065     }
1066     m_opener = opener;
1067
1068     if (m_frame.document())
1069         m_frame.document()->initSecurityContext();
1070 }
1071
1072 // FIXME: This does not belong in FrameLoader!
1073 void FrameLoader::handleFallbackContent()
1074 {
1075     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1076     if (!is<HTMLObjectElement>(owner))
1077         return;
1078     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1079 }
1080
1081 void FrameLoader::provisionalLoadStarted()
1082 {
1083     if (m_stateMachine.firstLayoutDone())
1084         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1085     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1086     m_client.provisionalLoadStarted();
1087
1088     if (m_frame.isMainFrame()) {
1089         tracePoint(MainResourceLoadDidStartProvisional);
1090
1091         if (auto* page = m_frame.page())
1092             page->didStartProvisionalLoad();
1093     }
1094 }
1095
1096 void FrameLoader::resetMultipleFormSubmissionProtection()
1097 {
1098     m_submittedFormURL = URL();
1099 }
1100
1101 void FrameLoader::updateFirstPartyForCookies()
1102 {
1103     if (m_frame.tree().parent())
1104         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1105     else
1106         setFirstPartyForCookies(m_frame.document()->url());
1107 }
1108
1109 void FrameLoader::setFirstPartyForCookies(const URL& url)
1110 {
1111     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1112         frame->document()->setFirstPartyForCookies(url);
1113
1114     RegistrableDomain registrableDomain(url);
1115     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1116         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomain.matches(frame->document()->url()))
1117             frame->document()->setSiteForCookies(url);
1118     }
1119 }
1120
1121 // This does the same kind of work that didOpenURL does, except it relies on the fact
1122 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1123 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1124 {
1125     RELEASE_LOG_IF_ALLOWED("loadInSameDocument: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1126
1127     // If we have a state object, we cannot also be a new navigation.
1128     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1129
1130     // Update the data source's request with the new URL to fake the URL change
1131     URL oldURL = m_frame.document()->url();
1132     m_frame.document()->setURL(url);
1133     setOutgoingReferrer(url);
1134     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1135     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1136         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1137         // based on the current request. Must also happen before we openURL and displace the 
1138         // scroll position, since adding the BF item will save away scroll state.
1139         
1140         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1141         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1142         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1143         // though its load is not yet done.  I think this all works out OK, for one because
1144         // we have already saved away the scroll and doc state for the long slow load,
1145         // but it's not an obvious case.
1146
1147         history().updateBackForwardListForFragmentScroll();
1148     }
1149     
1150     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1151     
1152     history().updateForSameDocumentNavigation();
1153
1154     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1155     if (hashChange)
1156         m_frame.eventHandler().stopAutoscrollTimer();
1157     
1158     // It's important to model this as a load that starts and immediately finishes.
1159     // Otherwise, the parent frame may think we never finished loading.
1160     started();
1161
1162     if (auto* ownerElement = m_frame.ownerElement()) {
1163         auto* ownerRenderer = ownerElement->renderer();
1164         auto* view = m_frame.view();
1165         if (is<RenderWidget>(ownerRenderer) && view)
1166             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1167     }
1168
1169     // We need to scroll to the fragment whether or not a hash change occurred, since
1170     // the user might have scrolled since the previous navigation.
1171     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1172     
1173     m_isComplete = false;
1174     checkCompleted();
1175
1176     if (isNewNavigation) {
1177         // This will clear previousItem from the rest of the frame tree that didn't
1178         // doing any loading. We need to make a pass on this now, since for fragment
1179         // navigation we'll not go through a real load and reach Completed state.
1180         checkLoadComplete();
1181     }
1182
1183     m_client.dispatchDidNavigateWithinPage();
1184
1185     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1186     m_client.dispatchDidPopStateWithinPage();
1187     
1188     if (hashChange) {
1189         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1190         m_client.dispatchDidChangeLocationWithinPage();
1191     }
1192     
1193     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1194     m_client.didFinishLoad();
1195 }
1196
1197 bool FrameLoader::isComplete() const
1198 {
1199     return m_isComplete;
1200 }
1201
1202 void FrameLoader::completed()
1203 {
1204     Ref<Frame> protect(m_frame);
1205
1206     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1207         descendant->navigationScheduler().startTimer();
1208
1209     if (Frame* parent = m_frame.tree().parent())
1210         parent->loader().checkCompleted();
1211
1212     if (m_frame.view())
1213         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1214 }
1215
1216 void FrameLoader::started()
1217 {
1218     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1219         frame->loader().m_isComplete = false;
1220 }
1221
1222 void FrameLoader::prepareForLoadStart()
1223 {
1224     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1225
1226     m_progressTracker->progressStarted();
1227     m_client.dispatchDidStartProvisionalLoad();
1228
1229     if (AXObjectCache::accessibilityEnabled()) {
1230         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1231             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1232             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1233         }
1234     }
1235 }
1236
1237 void FrameLoader::setupForReplace()
1238 {
1239     m_client.revertToProvisionalState(m_documentLoader.get());
1240     setState(FrameStateProvisional);
1241     m_provisionalDocumentLoader = m_documentLoader;
1242     m_documentLoader = nullptr;
1243     detachChildren();
1244 }
1245
1246 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution)
1247 {
1248     RELEASE_LOG_IF_ALLOWED("loadFrameRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1249
1250     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1251     auto protectFrame = makeRef(m_frame);
1252
1253     URL url = request.resourceRequest().url();
1254
1255     ASSERT(m_frame.document());
1256     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1257         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1258         return;
1259     }
1260
1261     String argsReferrer = request.resourceRequest().httpReferrer();
1262     if (argsReferrer.isEmpty())
1263         argsReferrer = outgoingReferrer();
1264
1265     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1266     if (request.shouldSendReferrer() == NeverSendReferrer)
1267         referrer = String();
1268
1269     FrameLoadType loadType;
1270     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1271         loadType = FrameLoadType::Reload;
1272     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1273         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1274     else
1275         loadType = FrameLoadType::Standard;
1276
1277     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1278         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1279         // load if frame names have changed.
1280         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1281         if (!sourceFrame)
1282             sourceFrame = &m_frame;
1283         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1284         if (targetFrame && targetFrame != sourceFrame) {
1285             if (Page* page = targetFrame->page())
1286                 page->chrome().focus();
1287         }
1288     };
1289
1290     if (request.resourceRequest().httpMethod() == "POST")
1291         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1292     else
1293         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(adClickAttribution), WTFMove(completionHandler));
1294 }
1295
1296 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1297 {
1298     if (UserGestureIndicator::processingUserGesture())
1299         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1300
1301     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1302         return propagatedPolicy;
1303
1304     if (!currentFrame.isMainFrame())
1305         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1306
1307     return propagatedPolicy;
1308 }
1309
1310 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1311 {
1312     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1313 }
1314
1315 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1316 {
1317     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1318 }
1319
1320 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1321 {
1322     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1323 }
1324
1325 bool FrameLoader::isNavigationAllowed() const
1326 {
1327     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && !m_frame.script().willReplaceWithResultOfExecutingJavascriptURL() && NavigationDisabler::isNavigationAllowed(m_frame);
1328 }
1329
1330 bool FrameLoader::isStopLoadingAllowed() const
1331 {
1332     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1333 }
1334
1335 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution, CompletionHandler<void()>&& completionHandler)
1336 {
1337     RELEASE_LOG_IF_ALLOWED("loadURL: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1338
1339     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1340     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1341         return;
1342
1343     Ref<Frame> protect(m_frame);
1344
1345     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1346     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1347     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1348     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1349     LockHistory lockHistory = frameLoadRequest.lockHistory();
1350     bool isFormSubmission = formState;
1351
1352     const URL& newURL = frameLoadRequest.resourceRequest().url();
1353     ResourceRequest request(newURL);
1354     if (!referrer.isEmpty()) {
1355         request.setHTTPReferrer(referrer);
1356         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1357         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1358     }
1359     if (&m_frame.tree().top() != &m_frame)
1360         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1361
1362     addExtraFieldsToRequest(request, newLoadType, true);
1363     if (isReload(newLoadType))
1364         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1365
1366     ASSERT(newLoadType != FrameLoadType::Same);
1367
1368     // The search for a target frame is done earlier in the case of form submission.
1369     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1370     if (targetFrame && targetFrame != &m_frame) {
1371         frameLoadRequest.setFrameName("_self");
1372         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), WTFMove(adClickAttribution), completionHandlerCaller.release());
1373         return;
1374     }
1375
1376     if (!isNavigationAllowed())
1377         return;
1378
1379     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1380     action.setLockHistory(lockHistory);
1381     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1382     if (adClickAttribution && m_frame.isMainFrame())
1383         action.setAdClickAttribution(WTFMove(*adClickAttribution));
1384
1385     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1386         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1387         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1388             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1389             completionHandler();
1390         });
1391         return;
1392     }
1393
1394     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1395
1396     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1397     const String& httpMethod = request.httpMethod();
1398     
1399     // Make sure to do scroll to fragment processing even if the URL is
1400     // exactly the same so pages with '#' links and DHTML side effects
1401     // work properly.
1402     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1403         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1404         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1405         policyChecker().stopCheck();
1406         policyChecker().setLoadType(newLoadType);
1407         RELEASE_ASSERT(!isBackForwardLoadType(newLoadType) || history().provisionalItem());
1408         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1409             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1410         }, PolicyDecisionMode::Synchronous);
1411         return;
1412     }
1413
1414     // Must grab this now, since this load may stop the previous load and clear this flag.
1415     bool isRedirect = m_quickRedirectComing;
1416 #if USE(SYSTEM_PREVIEW)
1417     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1418     request.setSystemPreview(isSystemPreview);
1419     if (isSystemPreview)
1420         request.setSystemPreviewRect(frameLoadRequest.systemPreviewRect());
1421 #endif
1422     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, frameLoadRequest.downloadAttribute(), [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1423         if (isRedirect) {
1424             m_quickRedirectComing = false;
1425             if (m_provisionalDocumentLoader)
1426                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1427             else if (m_policyDocumentLoader)
1428                 m_policyDocumentLoader->setIsClientRedirect(true);
1429         } else if (sameURL && !isReload(newLoadType)) {
1430             // Example of this case are sites that reload the same URL with a different cookie
1431             // driving the generated content, or a master frame with links that drive a target
1432             // frame, where the user has clicked on the same link repeatedly.
1433             m_loadType = FrameLoadType::Same;
1434         }
1435         completionHandler();
1436     });
1437 }
1438
1439 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1440 {
1441     if (!shouldTreatURLAsSrcdocDocument(url))
1442         return SubstituteData();
1443     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1444     ASSERT(!srcdoc.isNull());
1445     CString encodedSrcdoc = srcdoc.string().utf8();
1446
1447     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1448     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1449 }
1450
1451 void FrameLoader::load(FrameLoadRequest&& request)
1452 {
1453     RELEASE_LOG_IF_ALLOWED("load (FrameLoadRequest): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1454
1455     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1456         return;
1457
1458     if (!request.frameName().isEmpty()) {
1459         Frame* frame = findFrameForNavigation(request.frameName());
1460         if (frame) {
1461             request.setShouldCheckNewWindowPolicy(false);
1462             if (&frame->loader() != this) {
1463                 frame->loader().load(WTFMove(request));
1464                 return;
1465             }
1466         }
1467     }
1468
1469     if (request.shouldCheckNewWindowPolicy()) {
1470         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1471         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1472             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1473         });
1474
1475         return;
1476     }
1477
1478     if (!request.hasSubstituteData())
1479         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1480
1481     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1482     loader->setAllowsWebArchiveForMainFrame(request.isRequestFromClientOrUserInput());
1483     addSameSiteInfoToRequestIfNeeded(loader->request());
1484     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1485
1486     if (request.shouldTreatAsContinuingLoad()) {
1487         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1488         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1489             loader->setIsClientRedirect(true);
1490             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1491         }
1492     }
1493
1494     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, request.shouldTreatAsContinuingLoad() ? LoadContinuingState::ContinuingWithRequest : LoadContinuingState::NotContinuing);
1495     load(loader.get());
1496 }
1497
1498 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, const String& downloadAttribute, CompletionHandler<void()>&& completionHandler)
1499 {
1500     RELEASE_LOG_IF_ALLOWED("loadWithNavigationAction: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1501
1502     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1503     loader->setDownloadAttribute(downloadAttribute);
1504     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1505
1506     if (lockHistory == LockHistory::Yes && m_documentLoader)
1507         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1508
1509     loader->setTriggeringAction(WTFMove(action));
1510     if (m_documentLoader)
1511         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1512
1513     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1514 }
1515
1516 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1517 {
1518     RELEASE_LOG_IF_ALLOWED("load (DocumentLoader): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1519
1520     ResourceRequest& r = newDocumentLoader.request();
1521     addExtraFieldsToMainResourceRequest(r);
1522     FrameLoadType type;
1523
1524     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1525         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1526         type = FrameLoadType::Same;
1527     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1528         type = m_loadType;
1529     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || shouldTreatCurrentLoadAsContinuingLoad()))
1530         type = FrameLoadType::RedirectWithLockedBackForwardList;
1531     else
1532         type = FrameLoadType::Standard;
1533
1534     if (m_documentLoader)
1535         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1536     
1537     // When we loading alternate content for an unreachable URL that we're
1538     // visiting in the history list, we treat it as a reload so the history list 
1539     // is appropriately maintained.
1540     //
1541     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1542     // shouldn't a more explicit type of reload be defined, that means roughly 
1543     // "load without affecting history" ? 
1544     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1545         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1546         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1547         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1548         history().saveDocumentAndScrollState();
1549
1550         ASSERT(type == FrameLoadType::Standard);
1551         type = FrameLoadType::Reload;
1552     }
1553
1554     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1555 }
1556
1557 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1558 {
1559     RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1560
1561     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1562     Ref<Frame> protect(m_frame);
1563
1564     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1565
1566     ASSERT(m_client.hasWebView());
1567
1568     // Unfortunately the view must be non-nil, this is ultimately due
1569     // to parser requiring a FrameView.  We should fix this dependency.
1570
1571     ASSERT(m_frame.view());
1572
1573     if (!isNavigationAllowed())
1574         return;
1575
1576     if (m_frame.document())
1577         m_previousURL = m_frame.document()->url();
1578
1579     const URL& newURL = loader->request().url();
1580
1581     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1582     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1583     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1584         m_shouldReportResourceTimingToParentFrame = false;
1585
1586     // Log main frame navigation types.
1587     if (m_frame.isMainFrame()) {
1588         if (auto* page = m_frame.page()) {
1589             RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: main frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1590             page->mainFrameLoadStarted(newURL, type);
1591             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1592         }
1593     }
1594
1595     policyChecker().setLoadType(type);
1596     RELEASE_ASSERT(!isBackForwardLoadType(type) || history().provisionalItem());
1597     bool isFormSubmission = formState;
1598
1599     const String& httpMethod = loader->request().httpMethod();
1600
1601     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1602         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1603         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1604
1605         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1606         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1607         policyChecker().stopCheck();
1608         RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1609         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1610             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1611         }, PolicyDecisionMode::Synchronous);
1612         return;
1613     }
1614
1615     if (Frame* parent = m_frame.tree().parent())
1616         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1617
1618     policyChecker().stopCheck();
1619     setPolicyDocumentLoader(loader);
1620     if (loader->triggeringAction().isEmpty())
1621         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1622
1623     if (Element* ownerElement = m_frame.ownerElement()) {
1624         // We skip dispatching the beforeload event if we've already
1625         // committed a real document load because the event would leak
1626         // subsequent activity by the frame which the parent frame isn't
1627         // supposed to learn. For example, if the child frame navigated to
1628         // a new URL, the parent frame shouldn't learn the URL.
1629         if (!m_stateMachine.committedFirstRealDocumentLoad()
1630             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1631             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::IgnoreLoad, allowNavigationToInvalidURL);
1632             return;
1633         }
1634     }
1635
1636     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1637
1638     if (shouldTreatCurrentLoadAsContinuingLoad()) {
1639         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::ContinueLoad, allowNavigationToInvalidURL);
1640         return;
1641     }
1642
1643     RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1644     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, NavigationPolicyDecision navigationPolicyDecision) mutable {
1645         continueLoadAfterNavigationPolicy(request, formState.get(), navigationPolicyDecision, allowNavigationToInvalidURL);
1646         completionHandler();
1647     }, PolicyDecisionMode::Asynchronous);
1648 }
1649
1650 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1651 {
1652     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1653         return;
1654
1655     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1656     m_provisionalDocumentLoader->stopLoading();
1657     setProvisionalDocumentLoader(nullptr);
1658 }
1659
1660 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1661 {
1662     ASSERT(!url.isEmpty());
1663     if (!frame)
1664         return;
1665
1666     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1667 }
1668
1669 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1670 {
1671     ASSERT(!url.isEmpty());
1672     if (!frame)
1673         return;
1674     
1675     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1676 }
1677
1678 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1679 {
1680     if (!frame)
1681         return;
1682
1683     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1684 }
1685
1686 const ResourceRequest& FrameLoader::initialRequest() const
1687 {
1688     return activeDocumentLoader()->originalRequest();
1689 }
1690
1691 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1692 {
1693 #if PLATFORM(IOS_FAMILY)
1694     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1695     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1696     if (IOSApplication::isMobileStore())
1697         return m_client.shouldLoadMediaElementURL(url);
1698 #endif
1699
1700     ResourceRequest request(url);
1701     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1702
1703     unsigned long identifier;
1704     ResourceError error;
1705     requestFromDelegate(request, identifier, error);
1706     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1707
1708     url = request.url();
1709
1710     return error.isNull();
1711 }
1712
1713 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1714 {
1715     URL unreachableURL = docLoader.unreachableURL();
1716
1717     if (unreachableURL.isEmpty())
1718         return false;
1719
1720     if (!isBackForwardLoadType(policyChecker().loadType()))
1721         return false;
1722
1723     // We only treat unreachableURLs specially during the delegate callbacks
1724     // for provisional load errors and navigation policy decisions. The former
1725     // case handles well-formed URLs that can't be loaded, and the latter
1726     // case handles malformed URLs and unknown schemes. Loading alternate content
1727     // at other times behaves like a standard load.
1728     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1729         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1730
1731     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1732 }
1733
1734 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1735 {
1736     if (!m_documentLoader)
1737         return;
1738
1739     RELEASE_LOG_IF_ALLOWED("reloadWithOverrideEncoding: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1740
1741     ResourceRequest request = m_documentLoader->request();
1742     URL unreachableURL = m_documentLoader->unreachableURL();
1743     if (!unreachableURL.isEmpty())
1744         request.setURL(unreachableURL);
1745
1746     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1747     // We should ask the user for confirmation in this case.
1748     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1749
1750     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1751     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1752
1753     setPolicyDocumentLoader(loader.ptr());
1754
1755     loader->setOverrideEncoding(encoding);
1756
1757     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1758 }
1759
1760 void FrameLoader::reload(OptionSet<ReloadOption> options)
1761 {
1762     if (!m_documentLoader)
1763         return;
1764
1765     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1766     // Reloading in this case will lose the current contents (see 4151001).
1767     if (m_documentLoader->request().url().isEmpty())
1768         return;
1769
1770     RELEASE_LOG_IF_ALLOWED("reload: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1771
1772     // Replace error-page URL with the URL we were trying to reach.
1773     ResourceRequest initialRequest = m_documentLoader->request();
1774     URL unreachableURL = m_documentLoader->unreachableURL();
1775     if (!unreachableURL.isEmpty())
1776         initialRequest.setURL(unreachableURL);
1777
1778     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1779     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1780     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1781     loader->setAllowsWebArchiveForMainFrame(m_documentLoader->allowsWebArchiveForMainFrame());
1782     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1783
1784     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1785     
1786     ResourceRequest& request = loader->request();
1787
1788     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1789     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1790
1791     addSameSiteInfoToRequestIfNeeded(request);
1792
1793     // If we're about to re-post, set up action so the application can warn the user.
1794     if (request.httpMethod() == "POST")
1795         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1796
1797     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1798
1799     auto frameLoadTypeForReloadOptions = [] (auto options) {
1800         if (options & ReloadOption::FromOrigin)
1801             return FrameLoadType::ReloadFromOrigin;
1802         if (options & ReloadOption::ExpiredOnly)
1803             return FrameLoadType::ReloadExpiredOnly;
1804         return FrameLoadType::Reload;
1805     };
1806     
1807     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1808 }
1809
1810 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1811 {
1812     if (m_frame.document() && m_frame.document()->pageCacheState() == Document::InPageCache)
1813         return;
1814
1815     if (!isStopLoadingAllowed())
1816         return;
1817
1818     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1819     if (m_inStopAllLoaders)
1820         return;
1821
1822     // This method might dispatch events.
1823     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1824
1825     // Calling stopLoading() on the provisional document loader can blow away
1826     // the frame from underneath.
1827     Ref<Frame> protect(m_frame);
1828
1829     m_inStopAllLoaders = true;
1830
1831     policyChecker().stopCheck();
1832
1833     // If no new load is in progress, we should clear the provisional item from history
1834     // before we call stopLoading.
1835     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1836         history().setProvisionalItem(nullptr);
1837
1838     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1839         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1840     if (m_provisionalDocumentLoader)
1841         m_provisionalDocumentLoader->stopLoading();
1842     if (m_documentLoader)
1843         m_documentLoader->stopLoading();
1844
1845     setProvisionalDocumentLoader(nullptr);
1846
1847     m_inStopAllLoaders = false;    
1848 }
1849
1850 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1851 {
1852     stopAllLoaders();
1853
1854     if (!m_checkTimer.isActive())
1855         return;
1856
1857     m_checkTimer.stop();
1858     m_checkingLoadCompleteForDetachment = true;
1859     checkCompletenessNow();
1860     m_checkingLoadCompleteForDetachment = false;
1861 }
1862
1863 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1864 {
1865     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1866     Ref<Frame> protectedFrame(m_frame);
1867
1868     stopAllLoaders();
1869
1870 #if PLATFORM(IOS_FAMILY)
1871     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1872     // but haven't laid out/painted yet.
1873     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1874     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1875         m_frame.view()->layoutContext().layout();
1876 #endif
1877
1878     if (deferCheckLoadComplete)
1879         scheduleCheckLoadComplete();
1880     else if (m_frame.page())
1881         checkLoadComplete();
1882 }
1883
1884 DocumentLoader* FrameLoader::activeDocumentLoader() const
1885 {
1886     if (m_state == FrameStateProvisional)
1887         return m_provisionalDocumentLoader.get();
1888     return m_documentLoader.get();
1889 }
1890
1891 bool FrameLoader::isLoading() const
1892 {
1893     DocumentLoader* docLoader = activeDocumentLoader();
1894     if (!docLoader)
1895         return false;
1896     return docLoader->isLoading();
1897 }
1898
1899 bool FrameLoader::frameHasLoaded() const
1900 {
1901     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1902 }
1903
1904 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1905 {
1906     if (!loader && !m_documentLoader)
1907         return;
1908
1909     if (loader == m_documentLoader)
1910         return;
1911     
1912     ASSERT(loader != m_documentLoader);
1913     ASSERT(!loader || loader->frameLoader() == this);
1914
1915     m_client.prepareForDataSourceReplacement();
1916     detachChildren();
1917
1918     // detachChildren() can trigger this frame's unload event, and therefore
1919     // script can run and do just about anything. For example, an unload event that calls
1920     // document.write("") on its parent frame can lead to a recursive detachChildren()
1921     // invocation for this frame. In that case, we can end up at this point with a
1922     // loader that hasn't been deleted but has been detached from its frame. Such a
1923     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1924     // state if we try to use it.
1925     if (loader && !loader->frame())
1926         return;
1927
1928     if (m_documentLoader)
1929         m_documentLoader->detachFromFrame();
1930
1931     m_documentLoader = loader;
1932 }
1933
1934 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1935 {
1936     if (m_policyDocumentLoader == loader)
1937         return;
1938
1939     if (loader)
1940         loader->attachToFrame(m_frame);
1941     if (m_policyDocumentLoader
1942             && m_policyDocumentLoader != m_provisionalDocumentLoader
1943             && m_policyDocumentLoader != m_documentLoader)
1944         m_policyDocumentLoader->detachFromFrame();
1945
1946     m_policyDocumentLoader = loader;
1947 }
1948
1949 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1950 {
1951     ASSERT(!loader || !m_provisionalDocumentLoader);
1952     ASSERT(!loader || loader->frameLoader() == this);
1953
1954     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1955         m_provisionalDocumentLoader->detachFromFrame();
1956
1957     m_provisionalDocumentLoader = loader;
1958 }
1959
1960 void FrameLoader::setState(FrameState newState)
1961 {
1962     FrameState oldState = m_state;
1963     m_state = newState;
1964     
1965     if (newState == FrameStateProvisional)
1966         provisionalLoadStarted();
1967     else if (newState == FrameStateComplete) {
1968         frameLoadCompleted();
1969         if (m_documentLoader)
1970             m_documentLoader->stopRecordingResponses();
1971         if (m_frame.isMainFrame() && oldState != newState) {
1972             RELEASE_LOG_IF_ALLOWED("setState: main frame load completed (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1973             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1974         }
1975     }
1976 }
1977
1978 void FrameLoader::clearProvisionalLoad()
1979 {
1980     setProvisionalDocumentLoader(nullptr);
1981     m_progressTracker->progressCompleted();
1982     setState(FrameStateComplete);
1983 }
1984
1985 void FrameLoader::commitProvisionalLoad()
1986 {
1987     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1988     Ref<Frame> protect(m_frame);
1989
1990     std::unique_ptr<CachedPage> cachedPage;
1991     if (m_loadingFromCachedPage && history().provisionalItem())
1992         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1993
1994     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
1995         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1996         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
1997
1998     willTransitionToCommitted();
1999
2000     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
2001         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
2002         // We are doing this here because we know for sure that a new page is about to be loaded.
2003         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
2004         
2005         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
2006     }
2007
2008     if (m_loadType != FrameLoadType::Replace)
2009         closeOldDataSources();
2010
2011     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2012         m_client.makeRepresentation(pdl.get());
2013
2014     transitionToCommitted(cachedPage.get());
2015
2016     if (pdl && m_documentLoader) {
2017         // Check if the destination page is allowed to access the previous page's timing information.
2018         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2019         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2020     }
2021
2022     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2023     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2024     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2025     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2026     if (m_sentRedirectNotification)
2027         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2028     
2029     if (cachedPage && cachedPage->document()) {
2030 #if PLATFORM(IOS_FAMILY)
2031         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2032         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2033         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2034 #endif
2035         willRestoreFromCachedPage();
2036
2037         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2038         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2039         ResourceError mainResouceError;
2040         unsigned long mainResourceIdentifier;
2041         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2042         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2043         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2044
2045         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2046
2047         dispatchDidCommitLoad(hasInsecureContent);
2048
2049         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2050         cachedPage->restore(*m_frame.page());
2051
2052 #if PLATFORM(IOS_FAMILY)
2053         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2054         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2055 #endif
2056         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2057
2058         auto& title = m_documentLoader->title();
2059         if (!title.string.isNull())
2060             m_client.dispatchDidReceiveTitle(title);
2061
2062         // Send remaining notifications for the main resource.
2063         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2064             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2065
2066         checkCompleted();
2067     } else
2068         didOpenURL();
2069
2070     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2071         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2072
2073     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2074         history().updateForClientRedirect();
2075
2076     if (m_loadingFromCachedPage) {
2077         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2078         if (auto* page = m_frame.page())
2079             page->chrome().didReceiveDocType(m_frame);
2080         m_frame.document()->resume(ReasonForSuspension::PageCache);
2081
2082         // Force a layout to update view size and thereby update scrollbars.
2083 #if PLATFORM(IOS_FAMILY)
2084         if (!m_client.forceLayoutOnRestoreFromPageCache())
2085             m_frame.view()->forceLayout();
2086 #else
2087         m_frame.view()->forceLayout();
2088 #endif
2089
2090         // Main resource delegates were already sent, so we skip the first response here.
2091         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2092             const auto& response = m_documentLoader->responses()[i];
2093             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2094             ResourceError error;
2095             unsigned long identifier;
2096             ResourceRequest request(response.url());
2097             requestFromDelegate(request, identifier, error);
2098             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2099             // However, with today's computers and networking speeds, this won't happen in practice.
2100             // Could be an issue with a giant local file.
2101             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2102         }
2103
2104         // FIXME: Why only this frame and not parent frames?
2105         checkLoadCompleteForThisFrame();
2106     }
2107 }
2108
2109 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2110 {
2111     ASSERT(m_client.hasWebView());
2112     ASSERT(m_state == FrameStateProvisional);
2113
2114     if (m_state != FrameStateProvisional)
2115         return;
2116
2117     if (FrameView* view = m_frame.view()) {
2118         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2119             scrollAnimator->cancelAnimations();
2120     }
2121
2122     m_client.setCopiesOnScroll();
2123     history().updateForCommit();
2124
2125     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2126     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2127     // or the two will stomp each other.
2128     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2129     if (m_documentLoader)
2130         closeURL();
2131     if (pdl != m_provisionalDocumentLoader)
2132         return;
2133
2134     if (m_documentLoader)
2135         m_documentLoader->stopLoadingSubresources();
2136     if (m_documentLoader)
2137         m_documentLoader->stopLoadingPlugIns();
2138
2139     // Setting our document loader invokes the unload event handler of our child frames.
2140     // Script can do anything. If the script initiates a new load, we need to abandon the
2141     // current load or the two will stomp each other.
2142     setDocumentLoader(m_provisionalDocumentLoader.get());
2143     if (pdl != m_provisionalDocumentLoader)
2144         return;
2145     setProvisionalDocumentLoader(nullptr);
2146
2147     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2148     setState(FrameStateCommittedPage);
2149
2150     // Handle adding the URL to the back/forward list.
2151     DocumentLoader* dl = m_documentLoader.get();
2152
2153     switch (m_loadType) {
2154     case FrameLoadType::Forward:
2155     case FrameLoadType::Back:
2156     case FrameLoadType::IndexedBackForward:
2157         if (m_frame.page()) {
2158             // If the first load within a frame is a navigation within a back/forward list that was attached
2159             // without any of the items being loaded then we need to update the history in a similar manner as
2160             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2161             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2162                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2163
2164             history().updateForBackForwardNavigation();
2165
2166             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2167             if (history().currentItem() && !cachedPage)
2168                 m_pendingStateObject = history().currentItem()->stateObject();
2169
2170             // Create a document view for this document, or used the cached view.
2171             if (cachedPage) {
2172                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2173                 ASSERT(cachedDocumentLoader);
2174                 cachedDocumentLoader->attachToFrame(m_frame);
2175                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2176             } else
2177                 m_client.transitionToCommittedForNewPage();
2178         }
2179         break;
2180
2181     case FrameLoadType::Reload:
2182     case FrameLoadType::ReloadFromOrigin:
2183     case FrameLoadType::ReloadExpiredOnly:
2184     case FrameLoadType::Same:
2185     case FrameLoadType::Replace:
2186         history().updateForReload();
2187         m_client.transitionToCommittedForNewPage();
2188         break;
2189
2190     case FrameLoadType::Standard:
2191         history().updateForStandardLoad();
2192         if (m_frame.view())
2193             m_frame.view()->setScrollbarsSuppressed(true);
2194         m_client.transitionToCommittedForNewPage();
2195         break;
2196
2197     case FrameLoadType::RedirectWithLockedBackForwardList:
2198         history().updateForRedirectWithLockedBackForwardList();
2199         m_client.transitionToCommittedForNewPage();
2200         break;
2201     }
2202
2203     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2204
2205     // Tell the client we've committed this URL.
2206     ASSERT(m_frame.view());
2207
2208     if (m_stateMachine.creatingInitialEmptyDocument())
2209         return;
2210
2211     if (!m_stateMachine.committedFirstRealDocumentLoad())
2212         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2213 }
2214
2215 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2216 {
2217     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2218     // the redirect succeeded.  We should either rename this API, or add a new method, like
2219     // -webView:didFinishClientRedirectForFrame:
2220     m_client.dispatchDidCancelClientRedirect();
2221
2222     if (newLoadInProgress == NewLoadInProgress::No)
2223         m_quickRedirectComing = false;
2224
2225     m_sentRedirectNotification = false;
2226 }
2227
2228 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2229 {
2230     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2231     
2232     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2233     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2234     m_sentRedirectNotification = true;
2235     
2236     // If a "quick" redirect comes in, we set a special mode so we treat the next
2237     // load as part of the original navigation. If we don't have a document loader, we have
2238     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2239     // Loads triggered by JavaScript form submissions never count as quick redirects.
2240     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2241 }
2242
2243 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2244 {
2245     // This function implements the rule: "Don't reload if navigating by fragment within
2246     // the same URL, but do reload if going to a new URL or to the same URL with no
2247     // fragment identifier at all."
2248     if (!destinationURL.hasFragmentIdentifier())
2249         return true;
2250     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2251 }
2252
2253 void FrameLoader::closeOldDataSources()
2254 {
2255     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2256     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2257     // use a recursive algorithm here.
2258     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2259         child->loader().closeOldDataSources();
2260     
2261     if (m_documentLoader)
2262         m_client.dispatchWillClose();
2263
2264     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2265 }
2266
2267 void FrameLoader::willRestoreFromCachedPage()
2268 {
2269     ASSERT(!m_frame.tree().parent());
2270     ASSERT(m_frame.page());
2271     ASSERT(m_frame.isMainFrame());
2272
2273     m_frame.navigationScheduler().cancel();
2274
2275     // We still have to close the previous part page.
2276     closeURL();
2277     
2278     // Delete old status bar messages (if it _was_ activated on last URL).
2279     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2280         DOMWindow* window = m_frame.document()->domWindow();
2281         window->setStatus(String());
2282         window->setDefaultStatus(String());
2283     }
2284 }
2285
2286 void FrameLoader::open(CachedFrameBase& cachedFrame)
2287 {
2288     m_isComplete = false;
2289     
2290     // Don't re-emit the load event.
2291     m_didCallImplicitClose = true;
2292
2293     URL url = cachedFrame.url();
2294
2295     // FIXME: I suspect this block of code doesn't do anything.
2296     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2297         url.setPath("/");
2298
2299     started();
2300     Document* document = cachedFrame.document();
2301     ASSERT(document);
2302     ASSERT(document->domWindow());
2303
2304     clear(document, true, true, cachedFrame.isMainFrame());
2305
2306     document->attachToCachedFrame(cachedFrame);
2307     document->setPageCacheState(Document::NotInPageCache);
2308
2309     m_needsClear = true;
2310     m_isComplete = false;
2311     m_didCallImplicitClose = false;
2312     m_outgoingReferrer = url.string();
2313
2314     FrameView* view = cachedFrame.view();
2315     
2316     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2317     ASSERT(view);
2318     view->setWasScrolledByUser(false);
2319
2320     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2321     m_frame.setView(view);
2322
2323     // Use the previous ScrollView's frame rect.
2324     if (previousViewFrameRect)
2325         view->setFrameRect(previousViewFrameRect.value());
2326
2327     {
2328         // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2329         // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2330         // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2331         NavigationDisabler disableNavigation { &m_frame };
2332         m_frame.setDocument(document);
2333     }
2334
2335     document->domWindow()->resumeFromPageCache();
2336
2337     updateFirstPartyForCookies();
2338
2339     cachedFrame.restore();
2340 }
2341
2342 bool FrameLoader::isHostedByObjectElement() const
2343 {
2344     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2345     return owner && owner->hasTagName(objectTag);
2346 }
2347
2348 bool FrameLoader::isReplacing() const
2349 {
2350     return m_loadType == FrameLoadType::Replace;
2351 }
2352
2353 void FrameLoader::setReplacing()
2354 {
2355     m_loadType = FrameLoadType::Replace;
2356 }
2357
2358 bool FrameLoader::subframeIsLoading() const
2359 {
2360     // It's most likely that the last added frame is the last to load so we walk backwards.
2361     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2362         FrameLoader& childLoader = child->loader();
2363         DocumentLoader* documentLoader = childLoader.documentLoader();
2364         if (documentLoader && documentLoader->isLoadingInAPISense())
2365             return true;
2366         documentLoader = childLoader.provisionalDocumentLoader();
2367         if (documentLoader && documentLoader->isLoadingInAPISense())
2368             return true;
2369         documentLoader = childLoader.policyDocumentLoader();
2370         if (documentLoader)
2371             return true;
2372     }
2373     return false;
2374 }
2375
2376 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2377 {
2378     m_client.willChangeTitle(loader);
2379 }
2380
2381 FrameLoadType FrameLoader::loadType() const
2382 {
2383     return m_loadType;
2384 }
2385     
2386 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2387 {
2388     if (Page* page = m_frame.page()) {
2389         if (page->isResourceCachingDisabled())
2390             return CachePolicyReload;
2391     }
2392
2393     if (m_isComplete)
2394         return CachePolicyVerify;
2395
2396     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2397         return CachePolicyReload;
2398
2399     if (Frame* parentFrame = m_frame.tree().parent()) {
2400         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2401         if (parentCachePolicy != CachePolicyVerify)
2402             return parentCachePolicy;
2403     }
2404     
2405     switch (m_loadType) {
2406     case FrameLoadType::Reload:
2407         return CachePolicyRevalidate;
2408     case FrameLoadType::Back:
2409     case FrameLoadType::Forward:
2410     case FrameLoadType::IndexedBackForward:
2411         return CachePolicyHistoryBuffer;
2412     case FrameLoadType::ReloadFromOrigin:
2413         ASSERT_NOT_REACHED(); // Already handled above.
2414         return CachePolicyReload;
2415     case FrameLoadType::RedirectWithLockedBackForwardList:
2416     case FrameLoadType::Replace:
2417     case FrameLoadType::Same:
2418     case FrameLoadType::Standard:
2419         return CachePolicyVerify;
2420     case FrameLoadType::ReloadExpiredOnly:
2421         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2422         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2423             return CachePolicyReload;
2424         return CachePolicyVerify;
2425     }
2426
2427     RELEASE_ASSERT_NOT_REACHED();
2428     return CachePolicyVerify;
2429 }
2430
2431 void FrameLoader::dispatchDidFailProvisionalLoad(DocumentLoader& provisionalDocumentLoader, const ResourceError& error)
2432 {
2433     m_provisionalLoadErrorBeingHandledURL = provisionalDocumentLoader.url();
2434
2435 #if ENABLE(CONTENT_FILTERING)
2436     auto contentFilter = provisionalDocumentLoader.contentFilter();
2437     auto contentFilterWillContinueLoading = false;
2438 #endif
2439
2440     auto willContinueLoading = WillContinueLoading::No;
2441     if (history().provisionalItem())
2442         willContinueLoading = WillContinueLoading::Yes;
2443 #if ENABLE(CONTENT_FILTERING)
2444     if (contentFilter && contentFilter->willHandleProvisionalLoadFailure(error)) {
2445         willContinueLoading = WillContinueLoading::Yes;
2446         contentFilterWillContinueLoading = true;
2447     }
2448 #endif
2449
2450     m_client.dispatchDidFailProvisionalLoad(error, willContinueLoading);
2451
2452 #if ENABLE(CONTENT_FILTERING)
2453     if (contentFilterWillContinueLoading)
2454         contentFilter->handleProvisionalLoadFailure(error);
2455 #endif
2456
2457     m_provisionalLoadErrorBeingHandledURL = { };
2458 }
2459
2460 void FrameLoader::checkLoadCompleteForThisFrame()
2461 {
2462     ASSERT(m_client.hasWebView());
2463
2464     // FIXME: Should this check be done in checkLoadComplete instead of here?
2465     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2466     if (m_frame.document()->isDelayingLoadEvent())
2467         return;
2468
2469     switch (m_state) {
2470         case FrameStateProvisional: {
2471             // FIXME: Prohibiting any provisional load failures from being sent to clients
2472             // while handling provisional load failures is too heavy. For example, the current
2473             // load will fail to cancel another ongoing load. That might prevent clients' page
2474             // load state being handled properly.
2475             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2476                 return;
2477
2478             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2479             if (!pdl)
2480                 return;
2481                 
2482             // If we've received any errors we may be stuck in the provisional state and actually complete.
2483             const ResourceError& error = pdl->mainDocumentError();
2484             if (error.isNull())
2485                 return;
2486
2487             // Check all children first.
2488             RefPtr<HistoryItem> item;
2489             if (Page* page = m_frame.page())
2490                 if (isBackForwardLoadType(loadType()))
2491                     // Reset the back forward list to the last committed history item at the top level.
2492                     item = page->mainFrame().loader().history().currentItem();
2493                 
2494             // Only reset if we aren't already going to a new provisional item.
2495             bool shouldReset = !history().provisionalItem();
2496             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2497                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Failed provisional load (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2498
2499                 dispatchDidFailProvisionalLoad(*pdl, error);
2500                 ASSERT(!pdl->isLoading());
2501
2502                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2503                 if (isReplacing() && !m_documentLoader.get())
2504                     setDocumentLoader(m_provisionalDocumentLoader.get());
2505
2506                 // Finish resetting the load state, but only if another load hasn't been started by the
2507                 // delegate callback.
2508                 if (pdl == m_provisionalDocumentLoader)
2509                     clearProvisionalLoad();
2510                 else if (activeDocumentLoader()) {
2511                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2512                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2513                         shouldReset = false;
2514                 }
2515             }
2516             if (shouldReset && item)
2517                 if (Page* page = m_frame.page()) {
2518                     page->backForward().setCurrentItem(*item);
2519                 }
2520             return;
2521         }
2522         
2523         case FrameStateCommittedPage: {
2524             if (!m_documentLoader)
2525                 return;
2526             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2527                 return;
2528
2529             setState(FrameStateComplete);
2530
2531             // FIXME: Is this subsequent work important if we already navigated away?
2532             // Maybe there are bugs because of that, or extra work we can skip because
2533             // the new page is ready.
2534
2535             m_client.forceLayoutForNonHTML();
2536              
2537             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2538             if (m_frame.page()) {
2539                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2540                     history().restoreScrollPositionAndViewState();
2541             }
2542
2543             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2544                 return;
2545
2546             m_progressTracker->progressCompleted();
2547             Page* page = m_frame.page();
2548             if (page) {
2549                 if (m_frame.isMainFrame()) {
2550                     tracePoint(MainResourceLoadDidEnd);
2551                     page->didFinishLoad();
2552                 }
2553             }
2554
2555             const ResourceError& error = m_documentLoader->mainDocumentError();
2556
2557             AXObjectCache::AXLoadingEvent loadingEvent;
2558             if (!error.isNull()) {
2559                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2560                 m_client.dispatchDidFailLoad(error);
2561                 loadingEvent = AXObjectCache::AXLoadingFailed;
2562             } else {
2563                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2564 #if ENABLE(DATA_DETECTION)
2565                 auto* document = m_frame.document();
2566                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2567                     if (auto* documentElement = document->documentElement()) {
2568                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2569                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2570                         if (m_frame.isMainFrame())
2571                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2572                     }
2573                 }
2574 #endif
2575                 m_client.dispatchDidFinishLoad();
2576                 loadingEvent = AXObjectCache::AXLoadingFinished;
2577             }
2578
2579             // Notify accessibility.
2580             if (auto* document = m_frame.document()) {
2581                 if (AXObjectCache* cache = document->existingAXObjectCache())
2582                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2583             }
2584
2585             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2586             // from its Page and also might have caused Page to be deleted.
2587             // Don't assume 'page' is still available to use.
2588             if (m_frame.isMainFrame() && m_frame.page()) {
2589                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2590                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2591             }
2592
2593             return;
2594         }
2595         
2596         case FrameStateComplete:
2597             m_loadType = FrameLoadType::Standard;
2598             frameLoadCompleted();
2599             return;
2600     }
2601
2602     ASSERT_NOT_REACHED();
2603 }
2604
2605 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2606 {
2607     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2608     // The originalURL is defined as the URL of the page where the download was initiated.
2609     URL originalURL;
2610     auto* initiator = m_frame.document();
2611     if (initiator) {
2612         originalURL = initiator->firstPartyForCookies();
2613         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2614         // In this case, we need to set the originalURL to this document's opener's main document URL.
2615         if (originalURL.isEmpty() && opener() && opener()->document()) {
2616             originalURL = opener()->document()->firstPartyForCookies();
2617             initiator = opener()->document();
2618         }
2619     }
2620     // If the originalURL is the same as the requested URL, we are processing a download
2621     // initiated directly without a page and do not need to specify the originalURL.
2622     if (originalURL == request.url())
2623         request.setFirstPartyForCookies(URL());
2624     else
2625         request.setFirstPartyForCookies(originalURL);
2626     addSameSiteInfoToRequestIfNeeded(request, initiator);
2627 }
2628
2629 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2630 {
2631     ASSERT(m_frame.isMainFrame());
2632
2633     m_client.dispatchDidReachLayoutMilestone(milestones);
2634 }
2635
2636 void FrameLoader::didFirstLayout()
2637 {
2638 #if PLATFORM(IOS_FAMILY)
2639     // Only send layout-related delegate callbacks synchronously for the main frame to
2640     // avoid reentering layout for the main frame while delivering a layout-related delegate
2641     // callback for a subframe.
2642     if (&m_frame != &m_frame.page()->mainFrame())
2643         return;
2644 #endif
2645     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2646         history().restoreScrollPositionAndViewState();
2647
2648     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2649         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2650 }
2651
2652 void FrameLoader::frameLoadCompleted()
2653 {
2654     // Note: Can be called multiple times.
2655
2656     m_client.frameLoadCompleted();
2657
2658     history().updateForFrameLoadCompleted();
2659
2660     // After a canceled provisional load, firstLayoutDone is false.
2661     // Reset it to true if we're displaying a page.
2662     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2663         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2664 }
2665
2666 void FrameLoader::detachChildren()
2667 {
2668     // detachChildren() will fire the unload event in each subframe and the
2669     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2670     // this event is being fired in its subframes:
2671     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2672     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2673
2674     // detachChildren() will fire the unload event in each subframe and the
2675     // HTML specification states that navigations should be prevented during the prompt to unload algorithm:
2676     // https://html.spec.whatwg.org/multipage/browsing-the-web.html#navigate
2677     std::unique_ptr<NavigationDisabler> navigationDisabler;
2678     if (m_frame.isMainFrame())
2679         navigationDisabler = std::make_unique<NavigationDisabler>(&m_frame);
2680
2681     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2682     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2683     // allow loading of subframes at this point.
2684     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2685
2686     Vector<Ref<Frame>, 16> childrenToDetach;
2687     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2688     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2689         childrenToDetach.uncheckedAppend(*child);
2690     for (auto& child : childrenToDetach)
2691         child->loader().detachFromParent();
2692 }
2693
2694 void FrameLoader::closeAndRemoveChild(Frame& child)
2695 {
2696     child.tree().detachFromParent();
2697
2698     child.setView(nullptr);
2699     if (child.ownerElement() && child.page())
2700         child.page()->decrementSubframeCount();
2701     child.willDetachPage();
2702     child.detachFromPage();
2703
2704     m_frame.tree().removeChild(child);
2705 }
2706
2707 // Called every time a resource is completely loaded or an error is received.
2708 void FrameLoader::checkLoadComplete()
2709 {
2710     m_shouldCallCheckLoadComplete = false;
2711
2712     if (!m_frame.page())
2713         return;
2714
2715     ASSERT(m_client.hasWebView());
2716     
2717     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2718     // is currently needed in order to null out the previous history item for all frames.
2719     Vector<Ref<Frame>, 16> frames;
2720     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2721         frames.append(*frame);
2722
2723     // To process children before their parents, iterate the vector backwards.
2724     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2725         if ((*frame)->page())
2726             (*frame)->loader().checkLoadCompleteForThisFrame();
2727     }
2728 }
2729
2730 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2731 {
2732     if (!recurse)
2733         return m_frame.document()->cachedResourceLoader().requestCount();
2734
2735     int count = 0;
2736     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2737         count += frame->document()->cachedResourceLoader().requestCount();
2738     return count;
2739 }
2740
2741 String FrameLoader::userAgent(const URL& url) const
2742 {
2743     String userAgent;
2744
2745     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader())
2746         userAgent = documentLoader->customUserAgent();
2747
2748     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2749
2750     if (!userAgent.isEmpty())
2751         return userAgent;
2752
2753     return m_client.userAgent(url);
2754 }
2755
2756 String FrameLoader::userAgentForJavaScript(const URL& url) const
2757 {
2758     String userAgent;
2759
2760     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2761         if (m_frame.settings().needsSiteSpecificQuirks())
2762             userAgent = documentLoader->customJavaScriptUserAgentAsSiteSpecificQuirks();
2763         if (userAgent.isEmpty())
2764             userAgent = documentLoader->customUserAgent();
2765     }
2766
2767     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2768
2769     if (!userAgent.isEmpty())
2770         return userAgent;
2771
2772     return m_client.userAgent(url);
2773 }
2774     
2775 String FrameLoader::navigatorPlatform() const
2776 {
2777     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2778         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2779         if (!customNavigatorPlatform.isEmpty())
2780             return customNavigatorPlatform;
2781     }
2782     return String();
2783 }
2784
2785 void FrameLoader::dispatchOnloadEvents()
2786 {
2787     m_client.dispatchDidDispatchOnloadEvents();
2788
2789     if (documentLoader())
2790         documentLoader()->dispatchOnloadEvents();
2791 }
2792
2793 void FrameLoader::frameDetached()
2794 {
2795     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2796     Ref<Frame> protectedFrame(m_frame);
2797
2798     if (m_checkTimer.isActive()) {
2799         m_checkTimer.stop();
2800         checkCompletenessNow();
2801     }
2802
2803     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2804         stopAllLoadersAndCheckCompleteness();
2805         m_frame.document()->stopActiveDOMObjects();
2806     }
2807
2808     detachFromParent();
2809 }
2810
2811 void FrameLoader::detachFromParent()
2812 {
2813     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2814     Ref<Frame> protect(m_frame);
2815
2816     closeURL();
2817     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2818     detachChildren();
2819     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2820         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2821         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2822         // handlers might start a new subresource load in this frame.
2823         stopAllLoaders();
2824     }
2825
2826     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2827
2828     detachViewsAndDocumentLoader();
2829
2830     m_progressTracker = nullptr;
2831
2832     if (Frame* parent = m_frame.tree().parent()) {
2833         parent->loader().closeAndRemoveChild(m_frame);
2834         parent->loader().scheduleCheckCompleted();
2835         parent->loader().scheduleCheckLoadComplete();
2836     } else {
2837         m_frame.setView(nullptr);
2838         m_frame.willDetachPage();
2839         m_frame.detachFromPage();
2840     }
2841 }
2842
2843 void FrameLoader::detachViewsAndDocumentLoader()
2844 {
2845     m_client.detachedFromParent2();
2846     setDocumentLoader(nullptr);
2847     m_client.detachedFromParent3();
2848 }
2849     
2850 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2851 {
2852     addExtraFieldsToRequest(request, m_loadType, false);
2853 }
2854
2855 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2856 {
2857     // FIXME: Using m_loadType seems wrong for some callers.
2858     // If we are only preparing to load the main resource, that is previous load's load type!
2859     addExtraFieldsToRequest(request, m_loadType, true);
2860
2861     // Upgrade-Insecure-Requests should only be added to main resource requests
2862     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2863 }
2864
2865 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2866 {
2867     if (m_overrideCachePolicyForTesting)
2868         return m_overrideCachePolicyForTesting.value();
2869
2870     if (isMainResource) {
2871         if (isReload(loadType) || request.isConditional())
2872             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2873
2874         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2875     }
2876
2877     if (request.isConditional())
2878         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2879
2880     if (documentLoader()->isLoadingInAPISense()) {
2881         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2882         // original request cache policy for two reasons:
2883         // 1. For POST requests, we mutate the cache policy for the main resource,
2884         //    but we do not want this to apply to subresources
2885         // 2. Delegates that modify the cache policy using willSendRequest: should
2886         //    not affect any other resources. Such changes need to be done
2887         //    per request.
2888         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2889         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2890         // This policy is set on initial request too, but should not be inherited.
2891         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2892     }
2893
2894     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2895 }
2896
2897 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2898 {
2899     // If the request came from a previous process due to process-swap-on-navigation then we should not modify the request.
2900     if (m_currentLoadContinuingState == LoadContinuingState::ContinuingWithRequest)
2901         return;
2902
2903     // Don't set the cookie policy URL if it's already been set.
2904     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2905     bool isMainFrameMainResource = isMainResource && m_frame.isMainFrame();
2906     if (request.firstPartyForCookies().isEmpty()) {
2907         if (isMainFrameMainResource)
2908             request.setFirstPartyForCookies(request.url());
2909         else if (Document* document = m_frame.document())
2910             request.setFirstPartyForCookies(document->firstPartyForCookies());
2911     }
2912
2913     if (request.isSameSiteUnspecified()) {
2914         auto* initiator = m_frame.document();
2915         if (isMainResource) {
2916             auto* ownerFrame = m_frame.tree().parent();
2917             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2918                 ownerFrame = m_opener;
2919             if (ownerFrame)
2920                 initiator = ownerFrame->document();
2921             ASSERT(ownerFrame || m_frame.isMainFrame());
2922         }
2923         addSameSiteInfoToRequestIfNeeded(request, initiator);
2924     }
2925     request.setIsTopSite(isMainFrameMainResource);
2926
2927     Page* page = frame().page();
2928     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2929
2930     if (page && page->isResourceCachingDisabled()) {
2931         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2932         loadType = FrameLoadType::ReloadFromOrigin;
2933     } else if (!hasSpecificCachePolicy)
2934         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2935
2936     // The remaining modifications are only necessary for HTTP and HTTPS.
2937     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2938         return;
2939
2940     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2941         if (loadType == FrameLoadType::Reload)
2942             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2943         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2944             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2945             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2946         }
2947     }
2948
2949     if (m_overrideResourceLoadPriorityForTesting)
2950         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2951
2952     applyUserAgentIfNeeded(request);
2953
2954     if (isMainResource)
2955         request.setHTTPAccept(defaultAcceptHeader);
2956
2957     // Make sure we send the Origin header.
2958     addHTTPOriginIfNeeded(request, String());
2959
2960     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2961     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2962         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2963         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2964     }
2965 }
2966
2967 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2968 {
2969     if (!request.httpOrigin().isEmpty())
2970         return;  // Request already has an Origin header.
2971
2972     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2973     // For example, if an intranet page has a hyperlink to an external web
2974     // site, we don't want to include the Origin of the request because it
2975     // will leak the internal host name. Similar privacy concerns have lead
2976     // to the widespread suppression of the Referer header at the network
2977     // layer.
2978     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2979         return;
2980
2981     // For non-GET and non-HEAD methods, always send an Origin header so the
2982     // server knows we support this feature.
2983
2984     if (origin.isEmpty()) {
2985         // If we don't know what origin header to attach, we attach the value
2986         // for an empty origin.
2987         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2988         return;
2989     }
2990
2991     request.setHTTPOrigin(origin);
2992 }
2993
2994 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
2995 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
2996 // as same-site. This matches the behavior of Chrome and Firefox.
2997 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
2998 {
2999     if (!request.isSameSiteUnspecified())
3000         return;
3001     if (!initiator) {
3002         request.setIsSameSite(true);
3003         return;
3004     }
3005     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
3006         request.setIsSameSite(true);
3007         return;
3008     }
3009     request.setIsSameSite(areRegistrableDomainsEqual(initiator->siteForCookies(), request.url()));
3010 }
3011
3012 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
3013 {
3014     if (request.url().protocolIs("https")) {
3015         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
3016         return;
3017     }
3018
3019     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
3020 }
3021
3022 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
3023 {
3024     RELEASE_LOG_IF_ALLOWED("loadPostRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3025
3026     String frameName = request.frameName();
3027     LockHistory lockHistory = request.lockHistory();
3028     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
3029     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
3030
3031     const ResourceRequest& inRequest = request.resourceRequest();
3032     const URL& url = inRequest.url();
3033     const String& contentType = inRequest.httpContentType();
3034     String origin = inRequest.httpOrigin();
3035
3036     ResourceRequest workingResourceRequest(url);    
3037
3038     if (!referrer.isEmpty())
3039         workingResourceRequest.setHTTPReferrer(referrer);
3040     workingResourceRequest.setHTTPOrigin(origin);
3041     workingResourceRequest.setHTTPMethod("POST");
3042     workingResourceRequest.setHTTPBody(inRequest.httpBody());
3043     workingResourceRequest.setHTTPContentType(contentType);
3044     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
3045
3046     if (Document* document = m_frame.document())
3047         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3048
3049     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3050
3051     if (!frameName.isEmpty()) {
3052         // The search for a target frame is done earlier in the case of form submission.
3053         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3054             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, WTFMove(completionHandler));
3055             return;
3056         }
3057
3058         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
3059             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3060             completionHandler();
3061         });
3062         return;
3063     }
3064
3065     // must grab this now, since this load may stop the previous load and clear this flag
3066     bool isRedirect = m_quickRedirectComing;
3067     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3068         if (isRedirect) {
3069             m_quickRedirectComing = false;
3070             if (m_provisionalDocumentLoader)
3071                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3072             else if (m_policyDocumentLoader)
3073                 m_policyDocumentLoader->setIsClientRedirect(true);
3074         }
3075         completionHandler();
3076     });
3077 }
3078
3079 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3080 {
3081     ASSERT(m_frame.document());
3082     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3083     
3084     ResourceRequest initialRequest = request;
3085     initialRequest.setTimeoutInterval(10);
3086     
3087     if (!referrer.isEmpty())
3088         initialRequest.setHTTPReferrer(referrer);
3089     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3090
3091     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3092     
3093     addExtraFieldsToSubresourceRequest(initialRequest);
3094
3095     unsigned long identifier = 0;    
3096     ResourceRequest newRequest(initialRequest);
3097     requestFromDelegate(newRequest, identifier, error);
3098
3099 #if ENABLE(CONTENT_EXTENSIONS)
3100     if (error.isNull()) {
3101         if (auto* page = m_frame.page()) {
3102             if (m_documentLoader) {
3103                 auto results = page->userContentProvider().processContentRuleListsForLoad(newRequest.url(), ContentExtensions::ResourceType::Raw, *m_documentLoader);
3104                 bool blockedLoad = results.summary.blockedLoad;
3105                 ContentExtensions::applyResultsToRequest(WTFMove(results), page, newRequest);
3106                 if (blockedLoad) {
3107                     newRequest = { };
3108                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3109                     response = { };
3110                     data = nullptr;
3111                 }
3112             }
3113         }
3114     }
3115 #endif
3116
3117     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3118     
3119     if (error.isNull()) {
3120         ASSERT(!newRequest.isNull());
3121
3122         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3123             Vector<char> buffer;
3124             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3125             data = SharedBuffer::create(WTFMove(buffer));
3126             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3127             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3128         }
3129     }
3130     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3131     return identifier;
3132 }
3133
3134 const ResourceRequest& FrameLoader::originalRequest() const
3135 {
3136     return activeDocumentLoader()->originalRequestCopy();
3137 }
3138
3139 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3140 {
3141     // Retain because the stop may release the last reference to it.
3142     Ref<Frame> protect(m_frame);
3143
3144     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3145     // FIXME: Don't want to do this if an entirely new load is going, so should check
3146     // that both data sources on the frame are either this or nil.
3147     stop();
3148     if (m_client.shouldFallBack(error))
3149         handleFallbackContent();
3150
3151     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3152         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3153             m_submittedFormURL = URL();
3154             
3155         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3156         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3157         // so that the existing view (that wenever got far enough to replace) can continue being used.
3158         history().invalidateCurrentItemCachedPage();
3159         
3160         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3161         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3162         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3163         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3164         // has ended.
3165         if (m_sentRedirectNotification)
3166             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3167     }
3168
3169     checkCompleted();
3170     if (m_frame.page())
3171         checkLoadComplete();
3172 }
3173
3174 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3175 {
3176     m_quickRedirectComing = false;
3177
3178     if (!shouldContinue)
3179         return;
3180
3181     // Calling stopLoading() on the provisional document loader can cause the underlying
3182     // frame to be deallocated.
3183     Ref<Frame> protectedFrame(m_frame);
3184
3185     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3186     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3187         m_provisionalDocumentLoader->stopLoading();
3188         setProvisionalDocumentLoader(nullptr);
3189     }
3190
3191     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3192     loadInSameDocument(request.url(), 0, !isRedirect);
3193 }
3194
3195 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3196 {
3197     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3198     // currently displaying a frameset, or if the URL does not have a fragment.
3199     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3200
3201     // FIXME: What about load types other than Standard and Reload?
3202
3203     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3204         && !isReload(loadType)
3205         && loadType != FrameLoadType::Same
3206         && m_frame.document()->pageCacheState() != Document::InPageCache
3207         && !shouldReload(m_frame.document()->url(), url)
3208         // We don't want to just scroll if a link from within a
3209         // frameset is trying to reload the frameset into _top.
3210         && !m_frame.document()->isFrameSet();
3211 }
3212
3213 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3214 {
3215     return !historyItem || historyItem->shouldRestoreScrollPosition();
3216 }
3217
3218 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3219 {
3220     return !isNewNavigation && !isBackForwardLoadType(loadType);
3221 }
3222
3223 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3224 {
3225     FrameView* view = m_frame.view();
3226     if (!view)
3227         return;
3228
3229     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3230         view->scrollToFragment(url);
3231 }
3232
3233 bool FrameLoader::shouldClose()
3234 {
3235     Page* page = m_frame.page();
3236     if (!page)
3237         return true;
3238     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3239         return true;
3240
3241     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3242     Vector<Ref<Frame>, 16> targetFrames;
3243     targetFrames.append(m_frame);
3244     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3245         targetFrames.append(*child);
3246
3247     bool shouldClose = false;
3248     {
3249         NavigationDisabler navigationDisabler(&m_frame);
3250         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3251         size_t i;
3252
3253         for (i = 0; i < targetFrames.size(); i++) {
3254             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3255                 continue;
3256             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3257                 break;
3258         }
3259
3260         if (i == targetFrames.size())
3261             shouldClose = true;
3262     }
3263
3264     if (!shouldClose)
3265         m_submittedFormURL = URL();
3266
3267     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3268     return shouldClose;
3269 }
3270
3271 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3272 {
3273     if (!m_frame.document())
3274         return;
3275
3276     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3277     ForbidPromptsScope forbidPrompts(m_frame.page());
3278     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3279
3280     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3281         auto* currentFocusedElement = m_frame.document()->focusedElement();
3282         if (is<HTMLInputElement>(currentFocusedElement))
3283             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3284         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3285             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3286                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3287                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3288             }
3289
3290             // FIXME: update Page Visibility state here.
3291             // https://bugs.webkit.org/show_bug.cgi?id=116770
3292
3293             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3294                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3295                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3296                 // while dispatching the event, so protect it to prevent writing the end
3297                 // time into freed memory.
3298                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3299                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3300                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3301                     auto& timing = documentLoader->timing();
3302                     timing.markUnloadEventStart();
3303                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3304                     timing.markUnloadEventEnd();
3305                 } else
3306                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3307             }
3308         }
3309         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3310         m_wasUnloadEventEmitted = true;
3311     }
3312
3313     // Dispatching the unload event could have made m_frame.document() null.
3314     if (!m_frame.document())
3315         return;
3316
3317     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3318         return;
3319
3320     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3321     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3322         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3323
3324     if (!keepEventListeners)
3325         m_frame.document()->removeAllEventListeners();
3326 }
3327
3328 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3329 {
3330     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3331     if (document.isSandboxed(SandboxModals))
3332         return false;
3333
3334     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3335     // Web pages can request we ask for confirmation before navigating by:
3336     // - Cancelling the BeforeUnloadEvent (modern way)
3337     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3338     // - Returning a non-empty string from the event handler, which is then set as returnValue
3339     //   attribute on the BeforeUnloadEvent.
3340     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3341 }
3342
3343 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3344 {
3345     DOMWindow* domWindow = m_frame.document()->domWindow();
3346     if (!domWindow)
3347         return true;
3348
3349     RefPtr<Document> document = m_frame.document();
3350     if (!document->bodyOrFrameset())
3351         return true;
3352     
3353     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3354     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3355
3356     {
3357         ForbidPromptsScope forbidPrompts(m_frame.page());
3358         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3359     }
3360
3361     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3362
3363     if (!beforeUnloadEvent->defaultPrevented())
3364         document->defaultEventHandler(beforeUnloadEvent.get());
3365
3366     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3367         return true;
3368
3369     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3370     // this frame is not allowed to cause another one to be shown.
3371     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3372         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3373         return true;
3374     }
3375
3376     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3377     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3378     if (frameLoaderBeingNavigated != this) {
3379         Frame* parentFrame = m_frame.tree().parent();
3380         while (parentFrame) {
3381             Document* parentDocument = parentFrame->document();
3382             if (!parentDocument)
3383                 return true;
3384             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3385                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3386                 return true;
3387             }
3388             
3389             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3390                 break;
3391             
3392             parentFrame = parentFrame->tree().parent();
3393         }
3394         
3395         // The navigatingFrameLoader should always be in our ancestory.
3396         ASSERT(parentFrame);
3397         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3398     }
3399
3400     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3401
3402     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3403     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3404 }
3405
3406 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, NavigationPolicyDecision navigationPolicyDecision, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3407 {
3408     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3409     // nil policyDataSource because loading the alternate page will have passed
3410     // through this method already, nested; otherwise, policyDataSource should still be set.
3411     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3412
3413     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3414
3415     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3416     bool canContinue = navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad && shouldClose() && !urlIsDisallowed;
3417
3418     if (!canContinue) {
3419         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame due to the following reasons ("
3420             "frame = %p, "
3421             "main = %d, "
3422             "allowNavigationToInvalidURL = %d, "
3423             "requestURLIsValid = %d, "
3424             "navigationPolicyDecision = %d)",
3425             &m_frame,
3426             m_frame.isMainFrame(),
3427             static_cast<int>(allowNavigationToInvalidURL),
3428             request.url().isValid(),
3429             static_cast<int>(navigationPolicyDecision));
3430
3431         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3432         // need to report that the client redirect was cancelled.
3433         // FIXME: The client should be told about ignored non-quick redirects, too.
3434         if (m_quickRedirectComing)
3435             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3436
3437         if (navigationPolicyDecision == NavigationPolicyDecision::StopAllLoads) {
3438             stopAllLoaders();
3439             m_checkTimer.stop();
3440         }
3441
3442         setPolicyDocumentLoader(nullptr);
3443         checkCompleted();
3444
3445         if (navigationPolicyDecision != NavigationPolicyDecision::StopAllLoads)
3446             checkLoadComplete();
3447
3448         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3449         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3450         // we only do this when punting a navigation for the target frame or top-level frame.  
3451         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3452             if (Page* page = m_frame.page()) {
3453                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem())
3454                     page->backForward().setCurrentItem(*resetItem);
3455             }
3456         }
3457         return;
3458     }
3459
3460     FrameLoadType type = policyChecker().loadType();
3461     // A new navigation is in progress, so don't clear the history's provisional item.
3462     stopAllLoaders(ShouldNotClearProvisionalItem);
3463     
3464     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3465     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3466     if (!m_frame.page()) {
3467         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it became defunct (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3468         return;
3469     }
3470
3471     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3472     m_loadType = type;
3473     setState(FrameStateProvisional);
3474
3475     setPolicyDocumentLoader(nullptr);
3476
3477     if (isBackForwardLoadType(type)) {
3478         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3479         if (history().provisionalItem() && history().provisionalItem()->isInPageCache()) {
3480             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3481             loadProvisionalItemFromCachedPage();
3482             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it will be loaded from cache (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3483             return;
3484         }
3485         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3486     }
3487
3488     CompletionHandler<void()> completionHandler = [this, protectedFrame = makeRef(m_frame)] () mutable {
3489         if (!m_provisionalDocumentLoader) {
3490             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy completionHandler: Frame load canceled #1 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3491             return;
3492         }
3493         
3494         prepareForLoadStart();
3495
3496         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3497         // so we need to null check it again.
3498         if (!m_provisionalDocumentLoader) {
3499             RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Frame load canceled #2 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3500             return;
3501         }
3502         
3503         DocumentLoader* activeDocLoader = activeDocumentLoader();
3504         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3505             RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3506             return;
3507         }
3508         
3509         m_loadingFromCachedPage = false;
3510
3511         m_provisionalDocumentLoader->startLoadingMainResource();
3512     };
3513     
3514     if (!formState) {
3515         completionHandler();
3516         return;
3517     }
3518
3519     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3520 }
3521
3522 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3523     FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3524 {
3525     if (shouldContinue != ShouldContinue::Yes)
3526         return;
3527
3528     Ref<Frame> frame(m_frame);
3529     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3530     if (!mainFrame)
3531         return;
3532
3533     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3534     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3535         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3536
3537     if (!equalIgnoringASCIICase(frameName, "_blank"))
3538         mainFrame->tree().setName(frameName);
3539
3540     mainFrame->page()->setOpenedByDOM();
3541     mainFrame->loader().m_client.dispatchShow();
3542     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3543         mainFrame->loader().setOpener(frame.ptr());
3544         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3545     }
3546
3547     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy(), nullptr, action.downloadAttribute() };
3548     mainFrame->loader().loadWithNavigationAction(request, WTFMove(newAction), LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3549 }
3550
3551 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3552 {
3553     ASSERT(!request.isNull());
3554
3555     identifier = 0;
3556     if (Page* page = m_frame.page()) {
3557         identifier = page->progress().createUniqueIdentifier();
3558         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3559     }
3560
3561     ResourceRequest newRequest(request);
3562     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3563
3564     if (newRequest.isNull())
3565         error = cancelledError(request);
3566     else
3567         error = ResourceError();
3568
3569     request = newRequest;
3570 }
3571
3572 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3573 {
3574     Page* page = m_frame.page();
3575     if (!page)
3576         return;
3577
3578     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3579         return;
3580
3581     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3582     if (resource.type() == CachedResource::Type::MainResource)
3583         return;
3584
3585     if (!page->areMemoryCacheClientCallsEnabled()) {
3586         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3587         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3588         m_documentLoader->didTellClientAboutLoad(resource.url());
3589         return;
3590     }
3591
3592     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3593         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3594         m_documentLoader->didTellClientAboutLoad(resource.url());
3595         return;
3596     }
3597
3598     unsigned long identifier;
3599     requestFromDelegate(newRequest, identifier, error);
3600
3601     ResourceResponse response = resource.response();
3602     response.setSource(ResourceResponse::Source::MemoryCache);
3603     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3604 }
3605
3606 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3607 {
3608     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3609         String userAgent = this->userAgent(request.url());
3610         ASSERT(!userAgent.isNull());
3611         request.setHTTPUserAgent(userAgent);
3612     }
3613 }
3614
3615 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3616 {
3617     Frame& topFrame = m_frame.tree().top();
3618     if (&m_frame == &topFrame)
3619         return false;
3620
3621     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3622
3623     switch (disposition) {
3624     case XFrameOptionsSameOrigin: {
3625         auto origin = SecurityOrigin::create(url);
3626         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3627             return true;
3628         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3629             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3630                 return true;
3631         }
3632         return false;
3633     }
3634     case XFrameOptionsDeny:
3635         return true;
3636     case XFrameOptionsAllowAll:
3637         return false;
3638     case XFrameOptionsConflict:
3639         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3640         return true;
3641     case XFrameOptionsInvalid:
3642         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3643         return false;
3644     case XFrameOptionsNone:
3645         return false;
3646     }
3647     ASSERT_NOT_REACHED();
3648     return false;
3649 }
3650
3651 void FrameLoader::loadProvisionalItemFromCachedPage()
3652 {
3653     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3654     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3655
3656     prepareForLoadStart();
3657
3658     m_loadingFromCachedPage = true;
3659     
3660     // Should have timing data from previous time(s) the page was shown.
3661     ASSERT(provisionalLoader->timing().startTime());
3662     provisionalLoader->resetTiming();
3663     provisionalLoader->timing().markStartTime();
3664     
3665     provisionalLoader->setCommitted(true);
3666     commitProvisionalLoad();
3667 }
3668
3669 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3670 {
3671     if (!history().currentItem())
3672         return false;
3673     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3674 }
3675
3676 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3677 {
3678     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3679         return false;
3680     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3681     if (!ownerElement)
3682         return false;
3683     if (!ownerElement->hasTagName(iframeTag))
3684         return false;
3685     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3686 }
3687
3688 Frame* FrameLoader::findFrameForNavigation(const AtomString& name, Document* activeDocument)
3689 {
3690     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3691     if (!activeDocument)
3692         activeDocument = m_frame.document();
3693
3694     auto* frame = m_frame.tree().find(name, activeDocument->frame() ? *activeDocument->frame() : m_frame);
3695
3696     if (!activeDocument->canNavigate(frame))
3697         return nullptr;
3698
3699     return frame;
3700 }
3701
3702 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3703 {
3704     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3705
3706     Ref<Frame> protect(m_frame);
3707
3708     // Save user view state to the current history item here since we don't do a normal load.
3709     // FIXME: Does form state need to be saved here too?
3710     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3711     if (FrameView* view = m_frame.view())
3712         view->setWasScrolledByUser(false);
3713
3714     history().setCurrentItem(item);
3715         
3716     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3717     loadInSameDocument(item.url(), item.stateObject(), false);
3718
3719     // Restore user view state from the current history item here since we don't do a normal load.
3720     history().restoreScrollPositionAndViewState();
3721 }
3722
3723 // FIXME: This function should really be split into a couple pieces, some of
3724 // which should be methods of HistoryController and some of which should be
3725 // methods of FrameLoader.
3726 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, HistoryItem* fromItem, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3727 {
3728     RELEASE_LOG_IF_ALLOWED("loadDifferentDocumentItem: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3729
3730     Ref<Frame> protectedFrame(m_frame);
3731
3732     // History items should not be reported to the parent.
3733     m_shouldReportResourceTimingToParentFrame = false;
3734
3735     // Remember this item so we can traverse any child items as child frames load
3736     history().setProvisionalItem(&item);
3737
3738     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3739
3740     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, shouldTreatAsContinuingLoad == ShouldTreatAsContinuingLoad::Yes ? LoadContinuingState::ContinuingWithHistoryItem : LoadContinuingState::NotContinuing);
3741
3742     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3743         auto documentLoader = cachedPage->documentLoader();
3744         m_client.updateCachedDocumentLoader(*documentLoader);
3745
3746         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3747         action.setTargetBackForwardItem(item);
3748         action.setSourceBackForwardItem(fromItem);
3749         documentLoader->setTriggeringAction(WTFMove(action));
3750
3751         documentLoader->setLastCheckedRequest(ResourceRequest());
3752         loadWithDocumentLoader(documentLoader, loadType, { }, AllowNavigationToInvalidURL::Yes, shouldTreatAsContinuingLoad);
3753         return;
3754     }
3755
3756     URL itemURL = item.url();
3757     URL itemOriginalURL = item.originalURL();
3758     URL currentURL;
3759     if (documentLoader())
3760         currentURL = documentLoader()->url();
3761     RefPtr<FormData> formData = item.formData();
3762
3763     ResourceRequest request(itemURL);
3764
3765     if (!item.referrer().isNull())
3766         request.setHTTPReferrer(item.referrer());
3767
3768     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3769     bool isFormSubmission = false;
3770     Event* event = nullptr;
3771
3772     // If this was a repost that failed the page cache, we might try to repost the form.
3773     NavigationAction action;
3774     if (formData) {
3775         request.setHTTPMethod("POST");
3776         request.setHTTPBody(WTFMove(formData));
3777         request.setHTTPContentType(item.formContentType());
3778         auto securityOrigin = SecurityOrigin::createFromString(item.referrer());
3779         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3780         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3781
3782         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3783         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3784         addExtraFieldsToRequest(request, loadType, true);
3785         
3786         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3787         // We want to know this before talking to the policy delegate, since it affects whether 
3788         // we show the DoYouReallyWantToRepost nag.
3789         //
3790         // This trick has a small bug (3123893) where we might find a cache hit, but then
3791         // have the item vanish when we try to use it in the ensuing nav.  This should be
3792         // extremely rare, but in that case the user will get an error on the navigation.
3793         
3794         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3795             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataDontLoad);
3796             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3797         } else {
3798             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3799             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3800         }
3801     } else {
3802         switch (loadType) {
3803         case FrameLoadType::Reload:
3804         case FrameLoadType::ReloadFromOrigin:
3805         case FrameLoadType::ReloadExpiredOnly:
3806             request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
3807             break;
3808         case FrameLoadType::Back:
3809         case FrameLoadType::Forward:
3810         case FrameLoadType::IndexedBackForward: {
3811 #if PLATFORM(COCOA)
3812             bool allowStaleData = true;
3813 #else
3814             bool allowStaleData = !item.wasRestoredFromSession();
3815 #endif
3816             if (allowStaleData)
3817                 request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3818             item.setWasRestoredFromSession(false);
3819             break;
3820         }
3821         case FrameLoadType::Standard:
3822         case FrameLoadType::RedirectWithLockedBackForwardList:
3823             break;
3824         case FrameLoadType::Same:
3825         case FrameLoadType::Replace:
3826             ASSERT_NOT_REACHED();
3827         }
3828
3829         addExtraFieldsToRequest(request, loadType, true);
3830
3831         ResourceRequest requestForOriginalURL(request);
3832         requestForOriginalURL.setURL(itemOriginalURL);
3833         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3834     }
3835
3836     action.setTargetBackForwardItem(item);
3837     action.setSourceBackForwardItem(fromItem);
3838
3839     loadWithNavigationAction(request, WTFMove(action), LockHistory::No, loadType, { }, AllowNavigationToInvalidURL::Yes);
3840 }
3841
3842 // Loads content into this frame, as specified by history item
3843 void FrameLoader::loadItem(HistoryItem& item, HistoryItem* fromItem, FrameLoadType loadType, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3844 {
3845     m_requestedHistoryItem = &item;
3846     HistoryItem* currentItem = history().currentItem();
3847     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3848
3849     if (sameDocumentNavigation)
3850         loadSameDocumentItem(item);
3851     else
3852         loadDifferentDocumentItem(item, fromItem, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, shouldTreatAsContinuingLoad);
3853 }
3854
3855 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3856 {
3857     ASSERT(m_state == FrameStateProvisional);
3858     ASSERT(!m_loadingFromCachedPage);
3859     ASSERT(history().provisionalItem());
3860     ASSERT(history().provisionalItem()->formData());
3861     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3862
3863     FrameLoadType loadType = m_loadType;
3864     HistoryItem* item = history().provisionalItem();
3865
3866     stopAllLoaders(ShouldNotClearProvisionalItem);
3867     if (item)
3868         loadDifferentDocumentItem(*item, history().currentItem(), loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
3869     else {
3870         ASSERT_NOT_REACHED();
3871         RELEASE_LOG_ERROR(ResourceLoading, "Retrying load after failed cache-only main resource load failed because there is no provisional history item.");
3872     }
3873 }
3874
3875 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3876 {
3877     ResourceError error = m_client.cancelledError(request);
3878     error.setType(ResourceError::Type::Cancellation);
3879     return error;
3880 }
3881
3882 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3883 {
3884     return m_client.blockedByContentBlockerError(request);
3885 }
3886
3887 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3888 {
3889     ResourceError error = m_client.blockedError(request);
3890     error.setType(ResourceError::Type::Cancellation);
3891     return error;
3892 }
3893
3894 #if ENABLE(CONTENT_FILTERING)
3895 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3896 {
3897     ResourceError error = m_client.blockedByContentFilterError(request);
3898     error.setType(ResourceError::Type::General);
3899     return error;
3900 }
3901 #endif
3902
3903 #if PLATFORM(IOS_FAMILY)
3904 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3905 {
3906     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3907 }
3908 #endif
3909
3910 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3911 {
3912     if (auto* parentFrame = m_frame.tree().parent())
3913         return parentFrame->document()->referrerPolicy();
3914     if (m_opener)
3915         return m_opener->document()->referrerPolicy();
3916     return ReferrerPolicy::NoReferrerWhenDowngrade;
3917 }
3918
3919 String FrameLoader::referrer() const
3920 {
3921     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3922 }
3923
3924 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3925 {
3926     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3927         return;
3928
3929     Vector<Ref<DOMWrapperWorld>> worlds;
3930     ScriptController::getAllWorlds(worlds);
3931     for (auto& world : worlds)
3932         dispatchDidClearWindowObjectInWorld(world);
3933 }
3934
3935 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3936 {
3937     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3938         return;
3939
3940     m_client.dispatchDidClearWindowObjectInWorld(world);
3941
3942     if (Page* page = m_frame.page())
3943         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3944
3945     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3946 }
3947
3948 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3949 {
3950     Vector<Ref<DOMWrapperWorld>> worlds;
3951     ScriptController::getAllWorlds(worlds);
3952     for (auto& world : worlds)
3953         m_client.dispatchGlobalObjectAvailable(world);
3954 }
3955
3956 SandboxFlags FrameLoader::effectiveSandboxFlags() const
3957 {
3958     SandboxFlags flags = m_forcedSandboxFlags;
3959     if (Frame* parentFrame = m_frame.tree().parent())
3960         flags |= parentFrame->document()->sandboxFlags();
3961     if (HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement())
3962         flags |= ownerElement->sandboxFlags();
3963     return flags;
3964 }
3965
3966 void FrameLoader::didChangeTitle(DocumentLoader* loader)
3967 {
3968     m_client.didChangeTitle(loader);
3969
3970     if (loader == m_documentLoader) {
3971         // Must update the entries in the back-forward list too.
3972         history().setCurrentItemTitle(loader->title());
3973         // This must go through the WebFrame because it has the right notion of the current b/f item.
3974         m_client.setTitle(loader->title(), loader->urlForHistory());
3975         m_client.setMainFrameDocumentReady(true); // update observers with new DOMDocument
3976         m_client.dispatchDidReceiveTitle(loader->title());
3977     }
3978
3979 #if ENABLE(REMOTE_INSPECTOR)
3980     if (m_frame.isMainFrame())
3981         m_frame.page()->remoteInspectorInformationDidChange();
3982 #endif
3983 }
3984
3985 void FrameLoader::dispatchDidCommitLoad(Optional<HasInsecureContent> initialHasInsecureContent)
3986 {
3987     if (m_stateMachine.creatingInitialEmptyDocument())
3988         return;
3989
3990     m_client.dispatchDidCommitLoad(initialHasInsecureContent);