FrameLoader::open can execute scritps via style recalc in Frame::setDocument
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentRuleListResults.h"
49 #include "ContentSecurityPolicy.h"
50 #include "CustomHeaderFields.h"
51 #include "DOMWindow.h"
52 #include "DatabaseManager.h"
53 #include "DiagnosticLoggingClient.h"
54 #include "DiagnosticLoggingKeys.h"
55 #include "Document.h"
56 #include "DocumentLoader.h"
57 #include "Editor.h"
58 #include "EditorClient.h"
59 #include "Element.h"
60 #include "Event.h"
61 #include "EventHandler.h"
62 #include "EventNames.h"
63 #include "FloatRect.h"
64 #include "FormState.h"
65 #include "FormSubmission.h"
66 #include "Frame.h"
67 #include "FrameLoadRequest.h"
68 #include "FrameLoaderClient.h"
69 #include "FrameNetworkingContext.h"
70 #include "FrameTree.h"
71 #include "FrameView.h"
72 #include "GCController.h"
73 #include "HTMLFormElement.h"
74 #include "HTMLInputElement.h"
75 #include "HTMLNames.h"
76 #include "HTMLObjectElement.h"
77 #include "HTMLParserIdioms.h"
78 #include "HTTPHeaderNames.h"
79 #include "HTTPParsers.h"
80 #include "HistoryController.h"
81 #include "HistoryItem.h"
82 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
83 #include "InspectorController.h"
84 #include "InspectorInstrumentation.h"
85 #include "LinkLoader.h"
86 #include "LoadTiming.h"
87 #include "LoaderStrategy.h"
88 #include "Logging.h"
89 #include "MemoryCache.h"
90 #include "MemoryRelease.h"
91 #include "NavigationDisabler.h"
92 #include "NavigationScheduler.h"
93 #include "Node.h"
94 #include "Page.h"
95 #include "PageCache.h"
96 #include "PageTransitionEvent.h"
97 #include "PerformanceLogging.h"
98 #include "PlatformStrategies.h"
99 #include "PluginData.h"
100 #include "PluginDocument.h"
101 #include "PolicyChecker.h"
102 #include "ProgressTracker.h"
103 #include "ResourceHandle.h"
104 #include "ResourceLoadInfo.h"
105 #include "ResourceLoadObserver.h"
106 #include "ResourceRequest.h"
107 #include "SVGDocument.h"
108 #include "SVGLocatable.h"
109 #include "SVGNames.h"
110 #include "SVGViewElement.h"
111 #include "SVGViewSpec.h"
112 #include "ScriptController.h"
113 #include "ScriptSourceCode.h"
114 #include "ScrollAnimator.h"
115 #include "SecurityOrigin.h"
116 #include "SecurityPolicy.h"
117 #include "SegmentedString.h"
118 #include "SerializedScriptValue.h"
119 #include "Settings.h"
120 #include "ShouldTreatAsContinuingLoad.h"
121 #include "StyleTreeResolver.h"
122 #include "SubframeLoader.h"
123 #include "SubresourceLoader.h"
124 #include "TextResourceDecoder.h"
125 #include "UserContentController.h"
126 #include "UserGestureIndicator.h"
127 #include "WindowFeatures.h"
128 #include "XMLDocumentParser.h"
129 #include <dom/ScriptDisallowedScope.h>
130 #include <wtf/CompletionHandler.h>
131 #include <wtf/URL.h>
132 #include <wtf/Ref.h>
133 #include <wtf/SetForScope.h>
134 #include <wtf/StdLibExtras.h>
135 #include <wtf/SystemTracing.h>
136 #include <wtf/text/CString.h>
137 #include <wtf/text/WTFString.h>
138
139 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
140 #include "Archive.h"
141 #endif
142
143 #if ENABLE(DATA_DETECTION)
144 #include "DataDetection.h"
145 #endif
146
147 #if PLATFORM(IOS_FAMILY)
148 #include "DocumentType.h"
149 #include "ResourceLoader.h"
150 #include "RuntimeApplicationChecks.h"
151 #endif
152
153 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
154
155 namespace WebCore {
156
157 using namespace HTMLNames;
158 using namespace SVGNames;
159
160 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
161
162 bool isBackForwardLoadType(FrameLoadType type)
163 {
164     switch (type) {
165     case FrameLoadType::Standard:
166     case FrameLoadType::Reload:
167     case FrameLoadType::ReloadFromOrigin:
168     case FrameLoadType::ReloadExpiredOnly:
169     case FrameLoadType::Same:
170     case FrameLoadType::RedirectWithLockedBackForwardList:
171     case FrameLoadType::Replace:
172         return false;
173     case FrameLoadType::Back:
174     case FrameLoadType::Forward:
175     case FrameLoadType::IndexedBackForward:
176         return true;
177     }
178     ASSERT_NOT_REACHED();
179     return false;
180 }
181
182 bool isReload(FrameLoadType type)
183 {
184     switch (type) {
185     case FrameLoadType::Reload:
186     case FrameLoadType::ReloadFromOrigin:
187     case FrameLoadType::ReloadExpiredOnly:
188         return true;
189     case FrameLoadType::Standard:
190     case FrameLoadType::Same:
191     case FrameLoadType::RedirectWithLockedBackForwardList:
192     case FrameLoadType::Replace:
193     case FrameLoadType::Back:
194     case FrameLoadType::Forward:
195     case FrameLoadType::IndexedBackForward:
196         return false;
197     }
198     ASSERT_NOT_REACHED();
199     return false;
200 }
201
202 // This is not in the FrameLoader class to emphasize that it does not depend on
203 // private FrameLoader data, and to avoid increasing the number of public functions
204 // with access to private data.  Since only this .cpp file needs it, making it
205 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
206 // API simpler.
207 //
208 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
209 {
210     return frame.document() && frame.document()->isSandboxed(mask);
211 }
212
213 struct ForbidPromptsScope {
214     ForbidPromptsScope(Page* page) : m_page(page)
215     {
216         if (!m_page)
217             return;
218         m_page->forbidPrompts();
219     }
220
221     ~ForbidPromptsScope()
222     {
223         if (!m_page)
224             return;
225         m_page->allowPrompts();
226     }
227
228     Page* m_page;
229 };
230
231 class FrameLoader::FrameProgressTracker {
232     WTF_MAKE_FAST_ALLOCATED;
233 public:
234     explicit FrameProgressTracker(Frame& frame)
235         : m_frame(frame)
236         , m_inProgress(false)
237     {
238     }
239
240     ~FrameProgressTracker()
241     {
242         if (m_inProgress && m_frame.page())
243             m_frame.page()->progress().progressCompleted(m_frame);
244     }
245
246     void progressStarted()
247     {
248         ASSERT(m_frame.page());
249         if (!m_inProgress)
250             m_frame.page()->progress().progressStarted(m_frame);
251         m_inProgress = true;
252     }
253
254     void progressCompleted()
255     {
256         ASSERT(m_inProgress);
257         ASSERT(m_frame.page());
258         m_inProgress = false;
259         m_frame.page()->progress().progressCompleted(m_frame);
260
261         if (auto pageID = m_frame.loader().client().pageID())
262             platformStrategies()->loaderStrategy()->pageLoadCompleted(pageID.value());
263     }
264
265 private:
266     Frame& m_frame;
267     bool m_inProgress;
268 };
269
270 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
271     : m_frame(frame)
272     , m_client(client)
273     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
274     , m_history(std::make_unique<HistoryController>(frame))
275     , m_notifier(frame)
276     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
277     , m_mixedContentChecker(frame)
278     , m_state(FrameStateProvisional)
279     , m_loadType(FrameLoadType::Standard)
280     , m_quickRedirectComing(false)
281     , m_sentRedirectNotification(false)
282     , m_inStopAllLoaders(false)
283     , m_isExecutingJavaScriptFormAction(false)
284     , m_didCallImplicitClose(true)
285     , m_wasUnloadEventEmitted(false)
286     , m_isComplete(false)
287     , m_needsClear(false)
288     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
289     , m_shouldCallCheckCompleted(false)
290     , m_shouldCallCheckLoadComplete(false)
291     , m_opener(nullptr)
292     , m_loadingFromCachedPage(false)
293     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
294     , m_loadsSynchronously(false)
295     , m_forcedSandboxFlags(SandboxNone)
296 {
297 }
298
299 FrameLoader::~FrameLoader()
300 {
301     setOpener(nullptr);
302
303     for (auto& frame : m_openedFrames)
304         frame->loader().m_opener = nullptr;
305
306     m_client.frameLoaderDestroyed();
307
308     if (m_networkingContext)
309         m_networkingContext->invalidate();
310 }
311
312 void FrameLoader::init()
313 {
314     // This somewhat odd set of steps gives the frame an initial empty document.
315     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
316     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
317     m_provisionalDocumentLoader->startLoadingMainResource();
318
319     Ref<Frame> protect(m_frame);
320     m_frame.document()->cancelParsing();
321     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
322
323     m_networkingContext = m_client.createNetworkingContext();
324     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
325 }
326
327 void FrameLoader::initForSynthesizedDocument(const URL&)
328 {
329     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
330     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
331
332     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
333     loader->attachToFrame(m_frame);
334     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
335     loader->setCommitted(true);
336     setDocumentLoader(loader.ptr());
337
338     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
339     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
340     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
341     m_client.transitionToCommittedForNewPage();
342
343     m_didCallImplicitClose = true;
344     m_isComplete = true;
345     m_state = FrameStateComplete;
346     m_needsClear = true;
347
348     m_networkingContext = m_client.createNetworkingContext();
349     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
350 }
351
352 void FrameLoader::setDefersLoading(bool defers)
353 {
354     if (m_documentLoader)
355         m_documentLoader->setDefersLoading(defers);
356     if (m_provisionalDocumentLoader)
357         m_provisionalDocumentLoader->setDefersLoading(defers);
358     if (m_policyDocumentLoader)
359         m_policyDocumentLoader->setDefersLoading(defers);
360     history().setDefersLoading(defers);
361
362     if (!defers) {
363         m_frame.navigationScheduler().startTimer();
364         startCheckCompleteTimer();
365     }
366 }
367
368 void FrameLoader::checkContentPolicy(const ResourceResponse& response, PolicyCheckIdentifier identifier, ContentPolicyDecisionFunction&& function)
369 {
370     if (!activeDocumentLoader()) {
371         // Load was cancelled
372         function(PolicyAction::Ignore, identifier);
373         return;
374     }
375
376     // FIXME: Validate the policy check identifier.
377     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), identifier, activeDocumentLoader()->downloadAttribute(), WTFMove(function));
378 }
379
380 void FrameLoader::changeLocation(FrameLoadRequest&& request)
381 {
382     urlSelected(WTFMove(request), nullptr);
383 }
384
385 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo, Optional<AdClickAttribution>&& adClickAttribution)
386 {
387     auto* frame = lexicalFrameFromCommonVM();
388     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
389
390     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
391     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent, WTFMove(adClickAttribution));
392 }
393
394 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent, Optional<AdClickAttribution>&& adClickAttribution)
395 {
396     RELEASE_LOG_IF_ALLOWED("urlSelected: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
397
398     Ref<Frame> protect(m_frame);
399
400     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
401         return;
402
403     if (frameRequest.frameName().isEmpty())
404         frameRequest.setFrameName(m_frame.document()->baseTarget());
405
406     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
407     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
408
409     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { }, WTFMove(adClickAttribution));
410 }
411
412 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
413 {
414     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
415
416     // FIXME: Find a good spot for these.
417     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
418
419     if (!m_frame.page())
420         return;
421
422     if (submission->action().isEmpty())
423         return;
424
425     if (isDocumentSandboxed(m_frame, SandboxForms)) {
426         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
427         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
428         return;
429     }
430
431     if (WTF::protocolIsJavaScript(submission->action())) {
432         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
433             return;
434         m_isExecutingJavaScriptFormAction = true;
435         Ref<Frame> protect(m_frame);
436         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
437         m_isExecutingJavaScriptFormAction = false;
438         return;
439     }
440
441     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
442     if (!targetFrame) {
443         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
444             return;
445
446         // FIXME: targetFrame can be null for two distinct reasons:
447         // 1. The frame was not found by name, so we should try opening a new window.
448         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
449         // Continuing form submission makes no sense in the latter case.
450         // There is a repeat check after timer fires, so this is not a correctness issue.
451
452         targetFrame = &m_frame;
453     } else
454         submission->clearTarget();
455
456     if (!targetFrame->page())
457         return;
458
459     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
460
461     // We do not want to submit more than one form from the same page, nor do we want to submit a single
462     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
463     // The flag is reset in each time we start dispatching a new mouse or key down event, and
464     // also in setView since this part may get reused for a page from the back/forward cache.
465     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
466
467     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
468     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
469     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
470
471     if (m_frame.tree().isDescendantOf(targetFrame)) {
472         if (m_submittedFormURL == submission->requestURL())
473             return;
474         m_submittedFormURL = submission->requestURL();
475     }
476
477     submission->setReferrer(outgoingReferrer());
478     submission->setOrigin(outgoingOrigin());
479
480     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
481 }
482
483 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
484 {
485     if (m_frame.document() && m_frame.document()->parser())
486         m_frame.document()->parser()->stopParsing();
487
488     if (unloadEventPolicy != UnloadEventPolicyNone)
489         dispatchUnloadEvents(unloadEventPolicy);
490
491     m_isComplete = true; // to avoid calling completed() in finishedParsing()
492     m_didCallImplicitClose = true; // don't want that one either
493
494     if (m_frame.document() && m_frame.document()->parsing()) {
495         finishedParsing();
496         m_frame.document()->setParsing(false);
497     }
498
499     if (auto* document = m_frame.document()) {
500         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
501         DatabaseManager::singleton().stopDatabases(*document, nullptr);
502     }
503
504     policyChecker().stopCheck();
505
506     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
507     m_frame.navigationScheduler().cancel();
508 }
509
510 void FrameLoader::stop()
511 {
512     // http://bugs.webkit.org/show_bug.cgi?id=10854
513     // The frame's last ref may be removed and it will be deleted by checkCompleted().
514     Ref<Frame> protect(m_frame);
515
516     if (DocumentParser* parser = m_frame.document()->parser()) {
517         parser->stopParsing();
518         parser->finish();
519     }
520 }
521
522 void FrameLoader::willTransitionToCommitted()
523 {
524     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
525
526     if (m_frame.editor().hasComposition()) {
527         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
528         m_frame.editor().confirmComposition();
529         if (EditorClient* editorClient = m_frame.editor().client()) {
530             editorClient->respondToChangedSelection(&m_frame);
531             editorClient->discardedComposition(&m_frame);
532         }
533     }
534 }
535
536 bool FrameLoader::closeURL()
537 {
538     history().saveDocumentState();
539
540     Document* currentDocument = m_frame.document();
541     UnloadEventPolicy unloadEventPolicy;
542     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
543         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
544         unloadEventPolicy = UnloadEventPolicyNone;
545     } else {
546         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
547         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
548     }
549
550     stopLoading(unloadEventPolicy);
551     
552     m_frame.editor().clearUndoRedoOperations();
553     return true;
554 }
555
556 bool FrameLoader::didOpenURL()
557 {
558     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
559         // A redirect was scheduled before the document was created.
560         // This can happen when one frame changes another frame's location.
561         return false;
562     }
563
564     m_frame.navigationScheduler().cancel();
565     m_frame.editor().clearLastEditCommand();
566
567     m_isComplete = false;
568     m_didCallImplicitClose = false;
569
570     // If we are still in the process of initializing an empty document then
571     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
572     // since it may cause clients to attempt to render the frame.
573     if (!m_stateMachine.creatingInitialEmptyDocument()) {
574         DOMWindow* window = m_frame.document()->domWindow();
575         window->setStatus(String());
576         window->setDefaultStatus(String());
577     }
578
579     started();
580
581     return true;
582 }
583
584 void FrameLoader::didExplicitOpen()
585 {
586     m_isComplete = false;
587     m_didCallImplicitClose = false;
588
589     // Calling document.open counts as committing the first real document load.
590     if (!m_stateMachine.committedFirstRealDocumentLoad())
591         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
592
593     m_client.dispatchDidExplicitOpen(m_frame.document() ? m_frame.document()->url() : URL());
594     
595     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
596     // from a subsequent window.document.open / window.document.write call. 
597     // Canceling redirection here works for all cases because document.open 
598     // implicitly precedes document.write.
599     m_frame.navigationScheduler().cancel();
600 }
601
602
603 void FrameLoader::cancelAndClear()
604 {
605     m_frame.navigationScheduler().cancel();
606
607     if (!m_isComplete)
608         closeURL();
609
610     clear(m_frame.document(), false);
611     m_frame.script().updatePlatformScriptObjects();
612 }
613
614 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
615 {
616     if (!frame.isMainFrame())
617         return false;
618
619     if (frame.loader().opener())
620         return false;
621
622     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
623 }
624
625 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView, WTF::Function<void()>&& handleDOMWindowCreation)
626 {
627     m_frame.editor().clear();
628
629     bool neededClear = m_needsClear;
630     m_needsClear = false;
631
632     if (neededClear && m_frame.document()->pageCacheState() != Document::InPageCache) {
633         m_frame.document()->cancelParsing();
634         m_frame.document()->stopActiveDOMObjects();
635         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
636         m_frame.document()->prepareForDestruction();
637         if (hadLivingRenderTree)
638             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
639     }
640
641     if (handleDOMWindowCreation)
642         handleDOMWindowCreation();
643
644     if (!neededClear)
645         return;
646     
647     // Do this after detaching the document so that the unload event works.
648     if (clearWindowProperties) {
649         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
650         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
651         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
652
653         if (shouldClearWindowName(m_frame, *newDocument))
654             m_frame.tree().setName(nullAtom());
655     }
656
657     m_frame.selection().prepareForDestruction();
658     m_frame.eventHandler().clear();
659
660     if (clearFrameView && m_frame.view())
661         m_frame.view()->clear();
662
663     // Do not drop the document before the ScriptController and view are cleared
664     // as some destructors might still try to access the document.
665     m_frame.setDocument(nullptr);
666
667     subframeLoader().clear();
668
669     if (clearWindowProperties)
670         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
671
672     if (clearScriptObjects)
673         m_frame.script().clearScriptObjects();
674
675     m_frame.script().enableEval();
676
677     m_frame.navigationScheduler().clear();
678
679     m_checkTimer.stop();
680     m_shouldCallCheckCompleted = false;
681     m_shouldCallCheckLoadComplete = false;
682
683     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
684         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
685 }
686
687 void FrameLoader::receivedFirstData()
688 {
689     dispatchDidCommitLoad(WTF::nullopt);
690     dispatchDidClearWindowObjectsInAllWorlds();
691     dispatchGlobalObjectAvailableInAllWorlds();
692
693     if (!m_documentLoader)
694         return;
695
696     auto& documentLoader = *m_documentLoader;
697     auto& title = documentLoader.title();
698     if (!title.string.isNull())
699         m_client.dispatchDidReceiveTitle(title);
700
701     ASSERT(m_frame.document());
702     auto& document = *m_frame.document();
703
704     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
705
706     double delay;
707     String urlString;
708     if (!parseHTTPRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
709         return;
710     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
711     if (!WTF::protocolIsJavaScript(completedURL))
712         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
713     else {
714         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
715         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
716     }
717 }
718
719 void FrameLoader::setOutgoingReferrer(const URL& url)
720 {
721     m_outgoingReferrer = url.strippedForUseAsReferrer();
722 }
723
724 void FrameLoader::didBeginDocument(bool dispatch, ContentSecurityPolicy* previousPolicy)
725 {
726     m_needsClear = true;
727     m_isComplete = false;
728     m_didCallImplicitClose = false;
729     m_frame.document()->setReadyState(Document::Loading);
730
731     if (m_pendingStateObject) {
732         m_frame.document()->statePopped(*m_pendingStateObject);
733         m_pendingStateObject = nullptr;
734     }
735
736     if (dispatch)
737         dispatchDidClearWindowObjectsInAllWorlds();
738
739     updateFirstPartyForCookies();
740     m_frame.document()->initContentSecurityPolicy(previousPolicy);
741
742     const Settings& settings = m_frame.settings();
743     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
744     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
745
746     if (m_documentLoader) {
747         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
748         if (!dnsPrefetchControl.isEmpty())
749             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
750
751         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
752
753         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
754         if (!referrerPolicy.isNull())
755             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
756
757         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
758         if (!headerContentLanguage.isEmpty()) {
759             size_t commaIndex = headerContentLanguage.find(',');
760             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
761             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
762             if (!headerContentLanguage.isEmpty())
763                 m_frame.document()->setContentLanguage(headerContentLanguage);
764         }
765     }
766
767     history().restoreDocumentState();
768 }
769
770 void FrameLoader::finishedParsing()
771 {
772     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
773
774     m_frame.injectUserScripts(InjectAtDocumentEnd);
775
776     if (m_stateMachine.creatingInitialEmptyDocument())
777         return;
778
779     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
780     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
781     // Null-checking the FrameView indicates whether or not we're in the destructor.
782     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
783
784     m_client.dispatchDidFinishDocumentLoad();
785
786     scrollToFragmentWithParentBoundary(m_frame.document()->url());
787
788     checkCompleted();
789
790     if (!m_frame.view())
791         return; // We are being destroyed by something checkCompleted called.
792
793     // Check if the scrollbars are really needed for the content.
794     // If not, remove them, relayout, and repaint.
795     m_frame.view()->restoreScrollbar();
796 }
797
798 void FrameLoader::loadDone(LoadCompletionType type)
799 {
800     if (type == LoadCompletionType::Finish)
801         checkCompleted();
802     else
803         scheduleCheckCompleted();
804 }
805
806 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
807 {
808     if (type == LoadCompletionType::Finish)
809         checkLoadComplete();
810     else
811         scheduleCheckLoadComplete();
812 }
813
814 bool FrameLoader::allChildrenAreComplete() const
815 {
816     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
817         if (!child->loader().m_isComplete)
818             return false;
819     }
820     return true;
821 }
822
823 bool FrameLoader::allAncestorsAreComplete() const
824 {
825     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
826         if (!ancestor->loader().m_isComplete)
827             return false;
828     }
829     return true;
830 }
831
832 void FrameLoader::checkCompleted()
833 {
834     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
835     m_shouldCallCheckCompleted = false;
836
837     // Have we completed before?
838     if (m_isComplete)
839         return;
840     
841 #if ENABLE(VIDEO)
842     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
843     if (HTMLMediaElement::isRunningDestructor()) {
844         ASSERT_NOT_REACHED();
845         scheduleCheckCompleted();
846         return;
847     }
848 #endif
849
850     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
851     //        https://bugs.webkit.org/show_bug.cgi?id=171729
852     if (m_frame.document()->inRenderTreeUpdate()) {
853         scheduleCheckCompleted();
854         return;
855     }
856
857     // Are we still parsing?
858     if (m_frame.document()->parsing())
859         return;
860
861     // Still waiting for images/scripts?
862     if (m_frame.document()->cachedResourceLoader().requestCount())
863         return;
864
865     // Still waiting for elements that don't go through a FrameLoader?
866     if (m_frame.document()->isDelayingLoadEvent())
867         return;
868
869     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
870     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
871         return;
872
873     // Any frame that hasn't completed yet?
874     if (!allChildrenAreComplete())
875         return;
876
877     // Important not to protect earlier in this function, because earlier parts
878     // of this function can be called in the frame's destructor, and it's not legal
879     // to ref an object while it's being destroyed.
880     Ref<Frame> protect(m_frame);
881
882     // OK, completed.
883     m_isComplete = true;
884     m_requestedHistoryItem = nullptr;
885     m_frame.document()->setReadyState(Document::Complete);
886
887 #if PLATFORM(IOS_FAMILY)
888     if (m_frame.document()->url().isEmpty()) {
889         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
890         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
891         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
892         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
893         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
894         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
895         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
896     }
897 #endif
898
899     checkCallImplicitClose(); // if we didn't do it before
900
901     m_frame.navigationScheduler().startTimer();
902
903     completed();
904     if (m_frame.page())
905         checkLoadComplete();
906 }
907
908 void FrameLoader::checkTimerFired()
909 {
910     checkCompletenessNow();
911 }
912
913 void FrameLoader::checkCompletenessNow()
914 {
915     Ref<Frame> protect(m_frame);
916
917     if (Page* page = m_frame.page()) {
918         if (page->defersLoading())
919             return;
920     }
921     if (m_shouldCallCheckCompleted)
922         checkCompleted();
923     if (m_shouldCallCheckLoadComplete)
924         checkLoadComplete();
925 }
926
927 void FrameLoader::startCheckCompleteTimer()
928 {
929     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
930         return;
931     if (m_checkTimer.isActive())
932         return;
933     m_checkTimer.startOneShot(0_s);
934 }
935
936 void FrameLoader::scheduleCheckCompleted()
937 {
938     m_shouldCallCheckCompleted = true;
939     startCheckCompleteTimer();
940 }
941
942 void FrameLoader::scheduleCheckLoadComplete()
943 {
944     m_shouldCallCheckLoadComplete = true;
945     startCheckCompleteTimer();
946 }
947
948 void FrameLoader::checkCallImplicitClose()
949 {
950     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
951         return;
952
953     if (!allChildrenAreComplete())
954         return; // still got a frame running -> too early
955
956     m_didCallImplicitClose = true;
957     m_wasUnloadEventEmitted = false;
958     m_frame.document()->implicitClose();
959 }
960
961 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
962 {
963     RELEASE_LOG_IF_ALLOWED("loadURLIntoChildFrame: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
964
965     ASSERT(childFrame);
966
967 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
968     if (auto activeLoader = activeDocumentLoader()) {
969         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
970             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
971             return;
972         }
973     }
974 #endif
975
976     // If we're moving in the back/forward list, we might want to replace the content
977     // of this child frame with whatever was there at that point.
978     auto* parentItem = history().currentItem();
979     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
980         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
981             childFrame->loader().m_requestedHistoryItem = childItem;
982             childFrame->loader().loadDifferentDocumentItem(*childItem, nullptr, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
983             return;
984         }
985     }
986
987     auto* lexicalFrame = lexicalFrameFromCommonVM();
988     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
989
990     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
991     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, WTF::nullopt, [] { });
992 }
993
994 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
995
996 void FrameLoader::loadArchive(Ref<Archive>&& archive)
997 {
998     RELEASE_LOG_IF_ALLOWED("loadArchive: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
999
1000     ArchiveResource* mainResource = archive->mainResource();
1001     ASSERT(mainResource);
1002     if (!mainResource)
1003         return;
1004
1005     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1006     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1007     
1008     ResourceRequest request(mainResource->url());
1009
1010     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1011     documentLoader->setArchive(WTFMove(archive));
1012     load(documentLoader.get());
1013 }
1014
1015 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1016
1017 String FrameLoader::outgoingReferrer() const
1018 {
1019     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1020     // for why we walk the parent chain for srcdoc documents.
1021     Frame* frame = &m_frame;
1022     while (frame && frame->document()->isSrcdocDocument()) {
1023         frame = frame->tree().parent();
1024         // Srcdoc documents cannot be top-level documents, by definition,
1025         // because they need to be contained in iframes with the srcdoc.
1026         ASSERT(frame);
1027     }
1028     if (!frame)
1029         return emptyString();
1030     return frame->loader().m_outgoingReferrer;
1031 }
1032
1033 String FrameLoader::outgoingOrigin() const
1034 {
1035     return m_frame.document()->securityOrigin().toString();
1036 }
1037
1038 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1039 {
1040     if (m_submittedFormURL.isEmpty())
1041         return true;
1042
1043     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1044     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1045 }
1046
1047 Frame* FrameLoader::opener()
1048 {
1049     return m_opener;
1050 }
1051
1052 void FrameLoader::setOpener(Frame* opener)
1053 {
1054     if (m_opener && !opener)
1055         m_client.didDisownOpener();
1056
1057     if (m_opener) {
1058         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1059         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1060         openerFrameLoader.m_openedFrames.remove(&m_frame);
1061     }
1062     if (opener) {
1063         opener->loader().m_openedFrames.add(&m_frame);
1064         if (auto* page = m_frame.page())
1065             page->setOpenedByDOMWithOpener();
1066     }
1067     m_opener = opener;
1068
1069     if (m_frame.document())
1070         m_frame.document()->initSecurityContext();
1071 }
1072
1073 // FIXME: This does not belong in FrameLoader!
1074 void FrameLoader::handleFallbackContent()
1075 {
1076     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1077     if (!is<HTMLObjectElement>(owner))
1078         return;
1079     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1080 }
1081
1082 void FrameLoader::provisionalLoadStarted()
1083 {
1084     if (m_stateMachine.firstLayoutDone())
1085         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1086     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1087     m_client.provisionalLoadStarted();
1088
1089     if (m_frame.isMainFrame()) {
1090         tracePoint(MainResourceLoadDidStartProvisional);
1091
1092         if (auto* page = m_frame.page())
1093             page->didStartProvisionalLoad();
1094     }
1095 }
1096
1097 void FrameLoader::resetMultipleFormSubmissionProtection()
1098 {
1099     m_submittedFormURL = URL();
1100 }
1101
1102 void FrameLoader::updateFirstPartyForCookies()
1103 {
1104     if (m_frame.tree().parent())
1105         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1106     else
1107         setFirstPartyForCookies(m_frame.document()->url());
1108 }
1109
1110 void FrameLoader::setFirstPartyForCookies(const URL& url)
1111 {
1112     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1113         frame->document()->setFirstPartyForCookies(url);
1114
1115     RegistrableDomain registrableDomain(url);
1116     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1117         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomain.matches(frame->document()->url()))
1118             frame->document()->setSiteForCookies(url);
1119     }
1120 }
1121
1122 // This does the same kind of work that didOpenURL does, except it relies on the fact
1123 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1124 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1125 {
1126     RELEASE_LOG_IF_ALLOWED("loadInSameDocument: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1127
1128     // If we have a state object, we cannot also be a new navigation.
1129     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1130
1131     // Update the data source's request with the new URL to fake the URL change
1132     URL oldURL = m_frame.document()->url();
1133     m_frame.document()->setURL(url);
1134     setOutgoingReferrer(url);
1135     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1136     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1137         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1138         // based on the current request. Must also happen before we openURL and displace the 
1139         // scroll position, since adding the BF item will save away scroll state.
1140         
1141         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1142         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1143         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1144         // though its load is not yet done.  I think this all works out OK, for one because
1145         // we have already saved away the scroll and doc state for the long slow load,
1146         // but it's not an obvious case.
1147
1148         history().updateBackForwardListForFragmentScroll();
1149     }
1150     
1151     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1152     
1153     history().updateForSameDocumentNavigation();
1154
1155     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1156     if (hashChange)
1157         m_frame.eventHandler().stopAutoscrollTimer();
1158     
1159     // It's important to model this as a load that starts and immediately finishes.
1160     // Otherwise, the parent frame may think we never finished loading.
1161     started();
1162
1163     if (auto* ownerElement = m_frame.ownerElement()) {
1164         auto* ownerRenderer = ownerElement->renderer();
1165         auto* view = m_frame.view();
1166         if (is<RenderWidget>(ownerRenderer) && view)
1167             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1168     }
1169
1170     // We need to scroll to the fragment whether or not a hash change occurred, since
1171     // the user might have scrolled since the previous navigation.
1172     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1173     
1174     m_isComplete = false;
1175     checkCompleted();
1176
1177     if (isNewNavigation) {
1178         // This will clear previousItem from the rest of the frame tree that didn't
1179         // doing any loading. We need to make a pass on this now, since for fragment
1180         // navigation we'll not go through a real load and reach Completed state.
1181         checkLoadComplete();
1182     }
1183
1184     m_client.dispatchDidNavigateWithinPage();
1185
1186     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1187     m_client.dispatchDidPopStateWithinPage();
1188     
1189     if (hashChange) {
1190         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1191         m_client.dispatchDidChangeLocationWithinPage();
1192     }
1193     
1194     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1195     m_client.didFinishLoad();
1196 }
1197
1198 bool FrameLoader::isComplete() const
1199 {
1200     return m_isComplete;
1201 }
1202
1203 void FrameLoader::completed()
1204 {
1205     Ref<Frame> protect(m_frame);
1206
1207     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1208         descendant->navigationScheduler().startTimer();
1209
1210     if (Frame* parent = m_frame.tree().parent())
1211         parent->loader().checkCompleted();
1212
1213     if (m_frame.view())
1214         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1215 }
1216
1217 void FrameLoader::started()
1218 {
1219     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1220         frame->loader().m_isComplete = false;
1221 }
1222
1223 void FrameLoader::prepareForLoadStart()
1224 {
1225     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1226
1227     m_progressTracker->progressStarted();
1228     m_client.dispatchDidStartProvisionalLoad();
1229
1230     if (AXObjectCache::accessibilityEnabled()) {
1231         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1232             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1233             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1234         }
1235     }
1236 }
1237
1238 void FrameLoader::setupForReplace()
1239 {
1240     m_client.revertToProvisionalState(m_documentLoader.get());
1241     setState(FrameStateProvisional);
1242     m_provisionalDocumentLoader = m_documentLoader;
1243     m_documentLoader = nullptr;
1244     detachChildren();
1245 }
1246
1247 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution)
1248 {
1249     RELEASE_LOG_IF_ALLOWED("loadFrameRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1250
1251     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1252     auto protectFrame = makeRef(m_frame);
1253
1254     URL url = request.resourceRequest().url();
1255
1256     ASSERT(m_frame.document());
1257     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1258         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1259         return;
1260     }
1261
1262     String argsReferrer = request.resourceRequest().httpReferrer();
1263     if (argsReferrer.isEmpty())
1264         argsReferrer = outgoingReferrer();
1265
1266     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1267     if (request.shouldSendReferrer() == NeverSendReferrer)
1268         referrer = String();
1269
1270     FrameLoadType loadType;
1271     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1272         loadType = FrameLoadType::Reload;
1273     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1274         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1275     else
1276         loadType = FrameLoadType::Standard;
1277
1278     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1279         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1280         // load if frame names have changed.
1281         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1282         if (!sourceFrame)
1283             sourceFrame = &m_frame;
1284         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1285         if (targetFrame && targetFrame != sourceFrame) {
1286             if (Page* page = targetFrame->page())
1287                 page->chrome().focus();
1288         }
1289     };
1290
1291     if (request.resourceRequest().httpMethod() == "POST")
1292         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1293     else
1294         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(adClickAttribution), WTFMove(completionHandler));
1295 }
1296
1297 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1298 {
1299     if (UserGestureIndicator::processingUserGesture())
1300         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1301
1302     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1303         return propagatedPolicy;
1304
1305     if (!currentFrame.isMainFrame())
1306         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1307
1308     return propagatedPolicy;
1309 }
1310
1311 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1312 {
1313     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1314 }
1315
1316 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1317 {
1318     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1319 }
1320
1321 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1322 {
1323     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1324 }
1325
1326 bool FrameLoader::isNavigationAllowed() const
1327 {
1328     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && !m_frame.script().willReplaceWithResultOfExecutingJavascriptURL() && NavigationDisabler::isNavigationAllowed(m_frame);
1329 }
1330
1331 bool FrameLoader::isStopLoadingAllowed() const
1332 {
1333     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1334 }
1335
1336 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution, CompletionHandler<void()>&& completionHandler)
1337 {
1338     RELEASE_LOG_IF_ALLOWED("loadURL: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1339
1340     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1341     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1342         return;
1343
1344     Ref<Frame> protect(m_frame);
1345
1346     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1347     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1348     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1349     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1350     LockHistory lockHistory = frameLoadRequest.lockHistory();
1351     bool isFormSubmission = formState;
1352
1353     const URL& newURL = frameLoadRequest.resourceRequest().url();
1354     ResourceRequest request(newURL);
1355     if (!referrer.isEmpty()) {
1356         request.setHTTPReferrer(referrer);
1357         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1358         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1359     }
1360     if (&m_frame.tree().top() != &m_frame)
1361         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1362
1363     addExtraFieldsToRequest(request, newLoadType, true);
1364     if (isReload(newLoadType))
1365         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1366
1367     ASSERT(newLoadType != FrameLoadType::Same);
1368
1369     // The search for a target frame is done earlier in the case of form submission.
1370     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1371     if (targetFrame && targetFrame != &m_frame) {
1372         frameLoadRequest.setFrameName("_self");
1373         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), WTFMove(adClickAttribution), completionHandlerCaller.release());
1374         return;
1375     }
1376
1377     if (!isNavigationAllowed())
1378         return;
1379
1380     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1381     action.setLockHistory(lockHistory);
1382     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1383     if (adClickAttribution && m_frame.isMainFrame())
1384         action.setAdClickAttribution(WTFMove(*adClickAttribution));
1385
1386     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1387         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1388         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1389             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1390             completionHandler();
1391         });
1392         return;
1393     }
1394
1395     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1396
1397     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1398     const String& httpMethod = request.httpMethod();
1399     
1400     // Make sure to do scroll to fragment processing even if the URL is
1401     // exactly the same so pages with '#' links and DHTML side effects
1402     // work properly.
1403     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1404         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1405         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1406         policyChecker().stopCheck();
1407         policyChecker().setLoadType(newLoadType);
1408         RELEASE_ASSERT(!isBackForwardLoadType(newLoadType) || history().provisionalItem());
1409         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1410             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1411         }, PolicyDecisionMode::Synchronous);
1412         return;
1413     }
1414
1415     // Must grab this now, since this load may stop the previous load and clear this flag.
1416     bool isRedirect = m_quickRedirectComing;
1417 #if USE(SYSTEM_PREVIEW)
1418     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1419     request.setSystemPreview(isSystemPreview);
1420     if (isSystemPreview)
1421         request.setSystemPreviewRect(frameLoadRequest.systemPreviewRect());
1422 #endif
1423     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, frameLoadRequest.downloadAttribute(), [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1424         if (isRedirect) {
1425             m_quickRedirectComing = false;
1426             if (m_provisionalDocumentLoader)
1427                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1428             else if (m_policyDocumentLoader)
1429                 m_policyDocumentLoader->setIsClientRedirect(true);
1430         } else if (sameURL && !isReload(newLoadType)) {
1431             // Example of this case are sites that reload the same URL with a different cookie
1432             // driving the generated content, or a master frame with links that drive a target
1433             // frame, where the user has clicked on the same link repeatedly.
1434             m_loadType = FrameLoadType::Same;
1435         }
1436         completionHandler();
1437     });
1438 }
1439
1440 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1441 {
1442     if (!shouldTreatURLAsSrcdocDocument(url))
1443         return SubstituteData();
1444     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1445     ASSERT(!srcdoc.isNull());
1446     CString encodedSrcdoc = srcdoc.string().utf8();
1447
1448     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1449     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1450 }
1451
1452 void FrameLoader::load(FrameLoadRequest&& request)
1453 {
1454     RELEASE_LOG_IF_ALLOWED("load (FrameLoadRequest): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1455
1456     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1457         return;
1458
1459     if (!request.frameName().isEmpty()) {
1460         Frame* frame = findFrameForNavigation(request.frameName());
1461         if (frame) {
1462             request.setShouldCheckNewWindowPolicy(false);
1463             if (&frame->loader() != this) {
1464                 frame->loader().load(WTFMove(request));
1465                 return;
1466             }
1467         }
1468     }
1469
1470     if (request.shouldCheckNewWindowPolicy()) {
1471         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1472         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1473             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1474         });
1475
1476         return;
1477     }
1478
1479     if (!request.hasSubstituteData())
1480         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1481
1482     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1483     loader->setAllowsWebArchiveForMainFrame(request.isRequestFromClientOrUserInput());
1484     addSameSiteInfoToRequestIfNeeded(loader->request());
1485     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1486
1487     if (request.shouldTreatAsContinuingLoad()) {
1488         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1489         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1490             loader->setIsClientRedirect(true);
1491             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1492         }
1493     }
1494
1495     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, request.shouldTreatAsContinuingLoad() ? LoadContinuingState::ContinuingWithRequest : LoadContinuingState::NotContinuing);
1496     load(loader.get());
1497 }
1498
1499 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, const String& downloadAttribute, CompletionHandler<void()>&& completionHandler)
1500 {
1501     RELEASE_LOG_IF_ALLOWED("loadWithNavigationAction: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1502
1503     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1504     loader->setDownloadAttribute(downloadAttribute);
1505     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1506
1507     if (lockHistory == LockHistory::Yes && m_documentLoader)
1508         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1509
1510     loader->setTriggeringAction(WTFMove(action));
1511     if (m_documentLoader)
1512         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1513
1514     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1515 }
1516
1517 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1518 {
1519     RELEASE_LOG_IF_ALLOWED("load (DocumentLoader): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1520
1521     ResourceRequest& r = newDocumentLoader.request();
1522     addExtraFieldsToMainResourceRequest(r);
1523     FrameLoadType type;
1524
1525     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1526         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1527         type = FrameLoadType::Same;
1528     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1529         type = m_loadType;
1530     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || shouldTreatCurrentLoadAsContinuingLoad()))
1531         type = FrameLoadType::RedirectWithLockedBackForwardList;
1532     else
1533         type = FrameLoadType::Standard;
1534
1535     if (m_documentLoader)
1536         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1537     
1538     // When we loading alternate content for an unreachable URL that we're
1539     // visiting in the history list, we treat it as a reload so the history list 
1540     // is appropriately maintained.
1541     //
1542     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1543     // shouldn't a more explicit type of reload be defined, that means roughly 
1544     // "load without affecting history" ? 
1545     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1546         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1547         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1548         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1549         history().saveDocumentAndScrollState();
1550
1551         ASSERT(type == FrameLoadType::Standard);
1552         type = FrameLoadType::Reload;
1553     }
1554
1555     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1556 }
1557
1558 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1559 {
1560     RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1561
1562     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1563     Ref<Frame> protect(m_frame);
1564
1565     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1566
1567     ASSERT(m_client.hasWebView());
1568
1569     // Unfortunately the view must be non-nil, this is ultimately due
1570     // to parser requiring a FrameView.  We should fix this dependency.
1571
1572     ASSERT(m_frame.view());
1573
1574     if (!isNavigationAllowed())
1575         return;
1576
1577     if (m_frame.document())
1578         m_previousURL = m_frame.document()->url();
1579
1580     const URL& newURL = loader->request().url();
1581
1582     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1583     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1584     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1585         m_shouldReportResourceTimingToParentFrame = false;
1586
1587     // Log main frame navigation types.
1588     if (m_frame.isMainFrame()) {
1589         if (auto* page = m_frame.page()) {
1590             RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: main frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1591             page->mainFrameLoadStarted(newURL, type);
1592             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1593         }
1594     }
1595
1596     policyChecker().setLoadType(type);
1597     RELEASE_ASSERT(!isBackForwardLoadType(type) || history().provisionalItem());
1598     bool isFormSubmission = formState;
1599
1600     const String& httpMethod = loader->request().httpMethod();
1601
1602     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1603         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1604         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1605
1606         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1607         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1608         policyChecker().stopCheck();
1609         RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1610         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1611             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1612         }, PolicyDecisionMode::Synchronous);
1613         return;
1614     }
1615
1616     if (Frame* parent = m_frame.tree().parent())
1617         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1618
1619     policyChecker().stopCheck();
1620     setPolicyDocumentLoader(loader);
1621     if (loader->triggeringAction().isEmpty())
1622         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1623
1624     if (Element* ownerElement = m_frame.ownerElement()) {
1625         // We skip dispatching the beforeload event if we've already
1626         // committed a real document load because the event would leak
1627         // subsequent activity by the frame which the parent frame isn't
1628         // supposed to learn. For example, if the child frame navigated to
1629         // a new URL, the parent frame shouldn't learn the URL.
1630         if (!m_stateMachine.committedFirstRealDocumentLoad()
1631             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1632             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::IgnoreLoad, allowNavigationToInvalidURL);
1633             return;
1634         }
1635     }
1636
1637     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1638
1639     if (shouldTreatCurrentLoadAsContinuingLoad()) {
1640         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::ContinueLoad, allowNavigationToInvalidURL);
1641         return;
1642     }
1643
1644     RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1645     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, NavigationPolicyDecision navigationPolicyDecision) mutable {
1646         continueLoadAfterNavigationPolicy(request, formState.get(), navigationPolicyDecision, allowNavigationToInvalidURL);
1647         completionHandler();
1648     }, PolicyDecisionMode::Asynchronous);
1649 }
1650
1651 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1652 {
1653     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1654         return;
1655
1656     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1657     m_provisionalDocumentLoader->stopLoading();
1658     setProvisionalDocumentLoader(nullptr);
1659 }
1660
1661 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1662 {
1663     ASSERT(!url.isEmpty());
1664     if (!frame)
1665         return;
1666
1667     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1668 }
1669
1670 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1671 {
1672     ASSERT(!url.isEmpty());
1673     if (!frame)
1674         return;
1675     
1676     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1677 }
1678
1679 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1680 {
1681     if (!frame)
1682         return;
1683
1684     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1685 }
1686
1687 const ResourceRequest& FrameLoader::initialRequest() const
1688 {
1689     return activeDocumentLoader()->originalRequest();
1690 }
1691
1692 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1693 {
1694 #if PLATFORM(IOS_FAMILY)
1695     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1696     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1697     if (IOSApplication::isMobileStore())
1698         return m_client.shouldLoadMediaElementURL(url);
1699 #endif
1700
1701     ResourceRequest request(url);
1702     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1703
1704     unsigned long identifier;
1705     ResourceError error;
1706     requestFromDelegate(request, identifier, error);
1707     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1708
1709     url = request.url();
1710
1711     return error.isNull();
1712 }
1713
1714 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1715 {
1716     URL unreachableURL = docLoader.unreachableURL();
1717
1718     if (unreachableURL.isEmpty())
1719         return false;
1720
1721     if (!isBackForwardLoadType(policyChecker().loadType()))
1722         return false;
1723
1724     // We only treat unreachableURLs specially during the delegate callbacks
1725     // for provisional load errors and navigation policy decisions. The former
1726     // case handles well-formed URLs that can't be loaded, and the latter
1727     // case handles malformed URLs and unknown schemes. Loading alternate content
1728     // at other times behaves like a standard load.
1729     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1730         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1731
1732     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1733 }
1734
1735 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1736 {
1737     if (!m_documentLoader)
1738         return;
1739
1740     RELEASE_LOG_IF_ALLOWED("reloadWithOverrideEncoding: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1741
1742     ResourceRequest request = m_documentLoader->request();
1743     URL unreachableURL = m_documentLoader->unreachableURL();
1744     if (!unreachableURL.isEmpty())
1745         request.setURL(unreachableURL);
1746
1747     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1748     // We should ask the user for confirmation in this case.
1749     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1750
1751     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1752     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1753
1754     setPolicyDocumentLoader(loader.ptr());
1755
1756     loader->setOverrideEncoding(encoding);
1757
1758     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1759 }
1760
1761 void FrameLoader::reload(OptionSet<ReloadOption> options)
1762 {
1763     if (!m_documentLoader)
1764         return;
1765
1766     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1767     // Reloading in this case will lose the current contents (see 4151001).
1768     if (m_documentLoader->request().url().isEmpty())
1769         return;
1770
1771     RELEASE_LOG_IF_ALLOWED("reload: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1772
1773     // Replace error-page URL with the URL we were trying to reach.
1774     ResourceRequest initialRequest = m_documentLoader->request();
1775     URL unreachableURL = m_documentLoader->unreachableURL();
1776     if (!unreachableURL.isEmpty())
1777         initialRequest.setURL(unreachableURL);
1778
1779     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1780     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1781     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1782     loader->setAllowsWebArchiveForMainFrame(m_documentLoader->allowsWebArchiveForMainFrame());
1783     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1784
1785     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1786     
1787     ResourceRequest& request = loader->request();
1788
1789     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1790     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1791
1792     addSameSiteInfoToRequestIfNeeded(request);
1793
1794     // If we're about to re-post, set up action so the application can warn the user.
1795     if (request.httpMethod() == "POST")
1796         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1797
1798     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1799
1800     auto frameLoadTypeForReloadOptions = [] (auto options) {
1801         if (options & ReloadOption::FromOrigin)
1802             return FrameLoadType::ReloadFromOrigin;
1803         if (options & ReloadOption::ExpiredOnly)
1804             return FrameLoadType::ReloadExpiredOnly;
1805         return FrameLoadType::Reload;
1806     };
1807     
1808     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1809 }
1810
1811 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1812 {
1813     if (m_frame.document() && m_frame.document()->pageCacheState() == Document::InPageCache)
1814         return;
1815
1816     if (!isStopLoadingAllowed())
1817         return;
1818
1819     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1820     if (m_inStopAllLoaders)
1821         return;
1822
1823     // This method might dispatch events.
1824     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1825
1826     // Calling stopLoading() on the provisional document loader can blow away
1827     // the frame from underneath.
1828     Ref<Frame> protect(m_frame);
1829
1830     m_inStopAllLoaders = true;
1831
1832     policyChecker().stopCheck();
1833
1834     // If no new load is in progress, we should clear the provisional item from history
1835     // before we call stopLoading.
1836     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1837         history().setProvisionalItem(nullptr);
1838
1839     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1840         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1841     if (m_provisionalDocumentLoader)
1842         m_provisionalDocumentLoader->stopLoading();
1843     if (m_documentLoader)
1844         m_documentLoader->stopLoading();
1845
1846     setProvisionalDocumentLoader(nullptr);
1847
1848     m_inStopAllLoaders = false;    
1849 }
1850
1851 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1852 {
1853     stopAllLoaders();
1854
1855     if (!m_checkTimer.isActive())
1856         return;
1857
1858     m_checkTimer.stop();
1859     m_checkingLoadCompleteForDetachment = true;
1860     checkCompletenessNow();
1861     m_checkingLoadCompleteForDetachment = false;
1862 }
1863
1864 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1865 {
1866     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1867     Ref<Frame> protectedFrame(m_frame);
1868
1869     stopAllLoaders();
1870
1871 #if PLATFORM(IOS_FAMILY)
1872     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1873     // but haven't laid out/painted yet.
1874     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1875     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1876         m_frame.view()->layoutContext().layout();
1877 #endif
1878
1879     if (deferCheckLoadComplete)
1880         scheduleCheckLoadComplete();
1881     else if (m_frame.page())
1882         checkLoadComplete();
1883 }
1884
1885 DocumentLoader* FrameLoader::activeDocumentLoader() const
1886 {
1887     if (m_state == FrameStateProvisional)
1888         return m_provisionalDocumentLoader.get();
1889     return m_documentLoader.get();
1890 }
1891
1892 bool FrameLoader::isLoading() const
1893 {
1894     DocumentLoader* docLoader = activeDocumentLoader();
1895     if (!docLoader)
1896         return false;
1897     return docLoader->isLoading();
1898 }
1899
1900 bool FrameLoader::frameHasLoaded() const
1901 {
1902     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1903 }
1904
1905 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1906 {
1907     if (!loader && !m_documentLoader)
1908         return;
1909
1910     if (loader == m_documentLoader)
1911         return;
1912     
1913     ASSERT(loader != m_documentLoader);
1914     ASSERT(!loader || loader->frameLoader() == this);
1915
1916     m_client.prepareForDataSourceReplacement();
1917     detachChildren();
1918
1919     // detachChildren() can trigger this frame's unload event, and therefore
1920     // script can run and do just about anything. For example, an unload event that calls
1921     // document.write("") on its parent frame can lead to a recursive detachChildren()
1922     // invocation for this frame. In that case, we can end up at this point with a
1923     // loader that hasn't been deleted but has been detached from its frame. Such a
1924     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1925     // state if we try to use it.
1926     if (loader && !loader->frame())
1927         return;
1928
1929     if (m_documentLoader)
1930         m_documentLoader->detachFromFrame();
1931
1932     m_documentLoader = loader;
1933 }
1934
1935 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1936 {
1937     if (m_policyDocumentLoader == loader)
1938         return;
1939
1940     if (loader)
1941         loader->attachToFrame(m_frame);
1942     if (m_policyDocumentLoader
1943             && m_policyDocumentLoader != m_provisionalDocumentLoader
1944             && m_policyDocumentLoader != m_documentLoader)
1945         m_policyDocumentLoader->detachFromFrame();
1946
1947     m_policyDocumentLoader = loader;
1948 }
1949
1950 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1951 {
1952     ASSERT(!loader || !m_provisionalDocumentLoader);
1953     ASSERT(!loader || loader->frameLoader() == this);
1954
1955     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1956         m_provisionalDocumentLoader->detachFromFrame();
1957
1958     m_provisionalDocumentLoader = loader;
1959 }
1960
1961 void FrameLoader::setState(FrameState newState)
1962 {
1963     FrameState oldState = m_state;
1964     m_state = newState;
1965     
1966     if (newState == FrameStateProvisional)
1967         provisionalLoadStarted();
1968     else if (newState == FrameStateComplete) {
1969         frameLoadCompleted();
1970         if (m_documentLoader)
1971             m_documentLoader->stopRecordingResponses();
1972         if (m_frame.isMainFrame() && oldState != newState) {
1973             RELEASE_LOG_IF_ALLOWED("setState: main frame load completed (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1974             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1975         }
1976     }
1977 }
1978
1979 void FrameLoader::clearProvisionalLoad()
1980 {
1981     setProvisionalDocumentLoader(nullptr);
1982     m_progressTracker->progressCompleted();
1983     setState(FrameStateComplete);
1984 }
1985
1986 void FrameLoader::commitProvisionalLoad()
1987 {
1988     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1989     Ref<Frame> protect(m_frame);
1990
1991     std::unique_ptr<CachedPage> cachedPage;
1992     if (m_loadingFromCachedPage && history().provisionalItem())
1993         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1994
1995     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
1996         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1997         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
1998
1999     willTransitionToCommitted();
2000
2001     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
2002         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
2003         // We are doing this here because we know for sure that a new page is about to be loaded.
2004         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
2005         
2006         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
2007     }
2008
2009     if (m_loadType != FrameLoadType::Replace)
2010         closeOldDataSources();
2011
2012     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2013         m_client.makeRepresentation(pdl.get());
2014
2015     transitionToCommitted(cachedPage.get());
2016
2017     if (pdl && m_documentLoader) {
2018         // Check if the destination page is allowed to access the previous page's timing information.
2019         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2020         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2021     }
2022
2023     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2024     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2025     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2026     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2027     if (m_sentRedirectNotification)
2028         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2029     
2030     if (cachedPage && cachedPage->document()) {
2031 #if PLATFORM(IOS_FAMILY)
2032         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2033         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2034         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2035 #endif
2036         willRestoreFromCachedPage();
2037
2038         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2039         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2040         ResourceError mainResouceError;
2041         unsigned long mainResourceIdentifier;
2042         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2043         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2044         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2045
2046         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2047
2048         dispatchDidCommitLoad(hasInsecureContent);
2049
2050         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2051         cachedPage->restore(*m_frame.page());
2052
2053 #if PLATFORM(IOS_FAMILY)
2054         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2055         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2056 #endif
2057         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2058
2059         auto& title = m_documentLoader->title();
2060         if (!title.string.isNull())
2061             m_client.dispatchDidReceiveTitle(title);
2062
2063         // Send remaining notifications for the main resource.
2064         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2065             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2066
2067         checkCompleted();
2068     } else
2069         didOpenURL();
2070
2071     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2072         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2073
2074     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2075         history().updateForClientRedirect();
2076
2077     if (m_loadingFromCachedPage) {
2078         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2079         if (auto* page = m_frame.page())
2080             page->chrome().didReceiveDocType(m_frame);
2081         m_frame.document()->resume(ReasonForSuspension::PageCache);
2082
2083         // Force a layout to update view size and thereby update scrollbars.
2084 #if PLATFORM(IOS_FAMILY)
2085         if (!m_client.forceLayoutOnRestoreFromPageCache())
2086             m_frame.view()->forceLayout();
2087 #else
2088         m_frame.view()->forceLayout();
2089 #endif
2090
2091         // Main resource delegates were already sent, so we skip the first response here.
2092         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2093             const auto& response = m_documentLoader->responses()[i];
2094             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2095             ResourceError error;
2096             unsigned long identifier;
2097             ResourceRequest request(response.url());
2098             requestFromDelegate(request, identifier, error);
2099             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2100             // However, with today's computers and networking speeds, this won't happen in practice.
2101             // Could be an issue with a giant local file.
2102             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2103         }
2104
2105         // FIXME: Why only this frame and not parent frames?
2106         checkLoadCompleteForThisFrame();
2107     }
2108 }
2109
2110 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2111 {
2112     ASSERT(m_client.hasWebView());
2113     ASSERT(m_state == FrameStateProvisional);
2114
2115     if (m_state != FrameStateProvisional)
2116         return;
2117
2118     if (FrameView* view = m_frame.view()) {
2119         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2120             scrollAnimator->cancelAnimations();
2121     }
2122
2123     m_client.setCopiesOnScroll();
2124     history().updateForCommit();
2125
2126     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2127     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2128     // or the two will stomp each other.
2129     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2130     if (m_documentLoader)
2131         closeURL();
2132     if (pdl != m_provisionalDocumentLoader)
2133         return;
2134
2135     if (m_documentLoader)
2136         m_documentLoader->stopLoadingSubresources();
2137     if (m_documentLoader)
2138         m_documentLoader->stopLoadingPlugIns();
2139
2140     // Setting our document loader invokes the unload event handler of our child frames.
2141     // Script can do anything. If the script initiates a new load, we need to abandon the
2142     // current load or the two will stomp each other.
2143     setDocumentLoader(m_provisionalDocumentLoader.get());
2144     if (pdl != m_provisionalDocumentLoader)
2145         return;
2146     setProvisionalDocumentLoader(nullptr);
2147
2148     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2149     setState(FrameStateCommittedPage);
2150
2151     // Handle adding the URL to the back/forward list.
2152     DocumentLoader* dl = m_documentLoader.get();
2153
2154     switch (m_loadType) {
2155     case FrameLoadType::Forward:
2156     case FrameLoadType::Back:
2157     case FrameLoadType::IndexedBackForward:
2158         if (m_frame.page()) {
2159             // If the first load within a frame is a navigation within a back/forward list that was attached
2160             // without any of the items being loaded then we need to update the history in a similar manner as
2161             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2162             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2163                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2164
2165             history().updateForBackForwardNavigation();
2166
2167             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2168             if (history().currentItem() && !cachedPage)
2169                 m_pendingStateObject = history().currentItem()->stateObject();
2170
2171             // Create a document view for this document, or used the cached view.
2172             if (cachedPage) {
2173                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2174                 ASSERT(cachedDocumentLoader);
2175                 cachedDocumentLoader->attachToFrame(m_frame);
2176                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2177             } else
2178                 m_client.transitionToCommittedForNewPage();
2179         }
2180         break;
2181
2182     case FrameLoadType::Reload:
2183     case FrameLoadType::ReloadFromOrigin:
2184     case FrameLoadType::ReloadExpiredOnly:
2185     case FrameLoadType::Same:
2186     case FrameLoadType::Replace:
2187         history().updateForReload();
2188         m_client.transitionToCommittedForNewPage();
2189         break;
2190
2191     case FrameLoadType::Standard:
2192         history().updateForStandardLoad();
2193         if (m_frame.view())
2194             m_frame.view()->setScrollbarsSuppressed(true);
2195         m_client.transitionToCommittedForNewPage();
2196         break;
2197
2198     case FrameLoadType::RedirectWithLockedBackForwardList:
2199         history().updateForRedirectWithLockedBackForwardList();
2200         m_client.transitionToCommittedForNewPage();
2201         break;
2202     }
2203
2204     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2205
2206     // Tell the client we've committed this URL.
2207     ASSERT(m_frame.view());
2208
2209     if (m_stateMachine.creatingInitialEmptyDocument())
2210         return;
2211
2212     if (!m_stateMachine.committedFirstRealDocumentLoad())
2213         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2214 }
2215
2216 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2217 {
2218     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2219     // the redirect succeeded.  We should either rename this API, or add a new method, like
2220     // -webView:didFinishClientRedirectForFrame:
2221     m_client.dispatchDidCancelClientRedirect();
2222
2223     if (newLoadInProgress == NewLoadInProgress::No)
2224         m_quickRedirectComing = false;
2225
2226     m_sentRedirectNotification = false;
2227 }
2228
2229 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2230 {
2231     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2232     
2233     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2234     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2235     m_sentRedirectNotification = true;
2236     
2237     // If a "quick" redirect comes in, we set a special mode so we treat the next
2238     // load as part of the original navigation. If we don't have a document loader, we have
2239     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2240     // Loads triggered by JavaScript form submissions never count as quick redirects.
2241     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2242 }
2243
2244 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2245 {
2246     // This function implements the rule: "Don't reload if navigating by fragment within
2247     // the same URL, but do reload if going to a new URL or to the same URL with no
2248     // fragment identifier at all."
2249     if (!destinationURL.hasFragmentIdentifier())
2250         return true;
2251     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2252 }
2253
2254 void FrameLoader::closeOldDataSources()
2255 {
2256     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2257     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2258     // use a recursive algorithm here.
2259     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2260         child->loader().closeOldDataSources();
2261     
2262     if (m_documentLoader)
2263         m_client.dispatchWillClose();
2264
2265     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2266 }
2267
2268 void FrameLoader::willRestoreFromCachedPage()
2269 {
2270     ASSERT(!m_frame.tree().parent());
2271     ASSERT(m_frame.page());
2272     ASSERT(m_frame.isMainFrame());
2273
2274     m_frame.navigationScheduler().cancel();
2275
2276     // We still have to close the previous part page.
2277     closeURL();
2278     
2279     // Delete old status bar messages (if it _was_ activated on last URL).
2280     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2281         DOMWindow* window = m_frame.document()->domWindow();
2282         window->setStatus(String());
2283         window->setDefaultStatus(String());
2284     }
2285 }
2286
2287 void FrameLoader::open(CachedFrameBase& cachedFrame)
2288 {
2289     m_isComplete = false;
2290     
2291     // Don't re-emit the load event.
2292     m_didCallImplicitClose = true;
2293
2294     URL url = cachedFrame.url();
2295
2296     // FIXME: I suspect this block of code doesn't do anything.
2297     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2298         url.setPath("/");
2299
2300     started();
2301     auto document = makeRef(*cachedFrame.document());
2302     ASSERT(document->domWindow());
2303
2304     clear(document.ptr(), true, true, cachedFrame.isMainFrame());
2305
2306     document->attachToCachedFrame(cachedFrame);
2307     document->setPageCacheState(Document::NotInPageCache);
2308
2309     m_needsClear = true;
2310     m_isComplete = false;
2311     m_didCallImplicitClose = false;
2312     m_outgoingReferrer = url.string();
2313
2314     FrameView* view = cachedFrame.view();
2315     
2316     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2317     ASSERT(view);
2318     view->setWasScrolledByUser(false);
2319
2320     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2321     m_frame.setView(view);
2322
2323     // Use the previous ScrollView's frame rect.
2324     if (previousViewFrameRect)
2325         view->setFrameRect(previousViewFrameRect.value());
2326
2327
2328     // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2329     // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2330     // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2331     Style::PostResolutionCallbackDisabler disabler(document.get());
2332     WidgetHierarchyUpdatesSuspensionScope suspendWidgetHierarchyUpdates;
2333     NavigationDisabler disableNavigation { &m_frame };
2334     
2335     m_frame.setDocument(document.copyRef());
2336
2337     document->domWindow()->resumeFromPageCache();
2338
2339     updateFirstPartyForCookies();
2340
2341     cachedFrame.restore();
2342 }
2343
2344 bool FrameLoader::isHostedByObjectElement() const
2345 {
2346     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2347     return owner && owner->hasTagName(objectTag);
2348 }
2349
2350 bool FrameLoader::isReplacing() const
2351 {
2352     return m_loadType == FrameLoadType::Replace;
2353 }
2354
2355 void FrameLoader::setReplacing()
2356 {
2357     m_loadType = FrameLoadType::Replace;
2358 }
2359
2360 bool FrameLoader::subframeIsLoading() const
2361 {
2362     // It's most likely that the last added frame is the last to load so we walk backwards.
2363     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2364         FrameLoader& childLoader = child->loader();
2365         DocumentLoader* documentLoader = childLoader.documentLoader();
2366         if (documentLoader && documentLoader->isLoadingInAPISense())
2367             return true;
2368         documentLoader = childLoader.provisionalDocumentLoader();
2369         if (documentLoader && documentLoader->isLoadingInAPISense())
2370             return true;
2371         documentLoader = childLoader.policyDocumentLoader();
2372         if (documentLoader)
2373             return true;
2374     }
2375     return false;
2376 }
2377
2378 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2379 {
2380     m_client.willChangeTitle(loader);
2381 }
2382
2383 FrameLoadType FrameLoader::loadType() const
2384 {
2385     return m_loadType;
2386 }
2387     
2388 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2389 {
2390     if (Page* page = m_frame.page()) {
2391         if (page->isResourceCachingDisabled())
2392             return CachePolicyReload;
2393     }
2394
2395     if (m_isComplete)
2396         return CachePolicyVerify;
2397
2398     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2399         return CachePolicyReload;
2400
2401     if (Frame* parentFrame = m_frame.tree().parent()) {
2402         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2403         if (parentCachePolicy != CachePolicyVerify)
2404             return parentCachePolicy;
2405     }
2406     
2407     switch (m_loadType) {
2408     case FrameLoadType::Reload:
2409         return CachePolicyRevalidate;
2410     case FrameLoadType::Back:
2411     case FrameLoadType::Forward:
2412     case FrameLoadType::IndexedBackForward:
2413         return CachePolicyHistoryBuffer;
2414     case FrameLoadType::ReloadFromOrigin:
2415         ASSERT_NOT_REACHED(); // Already handled above.
2416         return CachePolicyReload;
2417     case FrameLoadType::RedirectWithLockedBackForwardList:
2418     case FrameLoadType::Replace:
2419     case FrameLoadType::Same:
2420     case FrameLoadType::Standard:
2421         return CachePolicyVerify;
2422     case FrameLoadType::ReloadExpiredOnly:
2423         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2424         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2425             return CachePolicyReload;
2426         return CachePolicyVerify;
2427     }
2428
2429     RELEASE_ASSERT_NOT_REACHED();
2430     return CachePolicyVerify;
2431 }
2432
2433 void FrameLoader::dispatchDidFailProvisionalLoad(DocumentLoader& provisionalDocumentLoader, const ResourceError& error)
2434 {
2435     m_provisionalLoadErrorBeingHandledURL = provisionalDocumentLoader.url();
2436
2437 #if ENABLE(CONTENT_FILTERING)
2438     auto contentFilter = provisionalDocumentLoader.contentFilter();
2439     auto contentFilterWillContinueLoading = false;
2440 #endif
2441
2442     auto willContinueLoading = WillContinueLoading::No;
2443     if (history().provisionalItem())
2444         willContinueLoading = WillContinueLoading::Yes;
2445 #if ENABLE(CONTENT_FILTERING)
2446     if (contentFilter && contentFilter->willHandleProvisionalLoadFailure(error)) {
2447         willContinueLoading = WillContinueLoading::Yes;
2448         contentFilterWillContinueLoading = true;
2449     }
2450 #endif
2451
2452     m_client.dispatchDidFailProvisionalLoad(error, willContinueLoading);
2453
2454 #if ENABLE(CONTENT_FILTERING)
2455     if (contentFilterWillContinueLoading)
2456         contentFilter->handleProvisionalLoadFailure(error);
2457 #endif
2458
2459     m_provisionalLoadErrorBeingHandledURL = { };
2460 }
2461
2462 void FrameLoader::checkLoadCompleteForThisFrame()
2463 {
2464     ASSERT(m_client.hasWebView());
2465
2466     // FIXME: Should this check be done in checkLoadComplete instead of here?
2467     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2468     if (m_frame.document()->isDelayingLoadEvent())
2469         return;
2470
2471     switch (m_state) {
2472         case FrameStateProvisional: {
2473             // FIXME: Prohibiting any provisional load failures from being sent to clients
2474             // while handling provisional load failures is too heavy. For example, the current
2475             // load will fail to cancel another ongoing load. That might prevent clients' page
2476             // load state being handled properly.
2477             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2478                 return;
2479
2480             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2481             if (!pdl)
2482                 return;
2483                 
2484             // If we've received any errors we may be stuck in the provisional state and actually complete.
2485             const ResourceError& error = pdl->mainDocumentError();
2486             if (error.isNull())
2487                 return;
2488
2489             // Check all children first.
2490             RefPtr<HistoryItem> item;
2491             if (Page* page = m_frame.page())
2492                 if (isBackForwardLoadType(loadType()))
2493                     // Reset the back forward list to the last committed history item at the top level.
2494                     item = page->mainFrame().loader().history().currentItem();
2495                 
2496             // Only reset if we aren't already going to a new provisional item.
2497             bool shouldReset = !history().provisionalItem();
2498             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2499                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Failed provisional load (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2500
2501                 dispatchDidFailProvisionalLoad(*pdl, error);
2502                 ASSERT(!pdl->isLoading());
2503
2504                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2505                 if (isReplacing() && !m_documentLoader.get())
2506                     setDocumentLoader(m_provisionalDocumentLoader.get());
2507
2508                 // Finish resetting the load state, but only if another load hasn't been started by the
2509                 // delegate callback.
2510                 if (pdl == m_provisionalDocumentLoader)
2511                     clearProvisionalLoad();
2512                 else if (activeDocumentLoader()) {
2513                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2514                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2515                         shouldReset = false;
2516                 }
2517             }
2518             if (shouldReset && item)
2519                 if (Page* page = m_frame.page()) {
2520                     page->backForward().setCurrentItem(*item);
2521                 }
2522             return;
2523         }
2524         
2525         case FrameStateCommittedPage: {
2526             if (!m_documentLoader)
2527                 return;
2528             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2529                 return;
2530
2531             setState(FrameStateComplete);
2532
2533             // FIXME: Is this subsequent work important if we already navigated away?
2534             // Maybe there are bugs because of that, or extra work we can skip because
2535             // the new page is ready.
2536
2537             m_client.forceLayoutForNonHTML();
2538              
2539             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2540             if (m_frame.page()) {
2541                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2542                     history().restoreScrollPositionAndViewState();
2543             }
2544
2545             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2546                 return;
2547
2548             m_progressTracker->progressCompleted();
2549             Page* page = m_frame.page();
2550             if (page) {
2551                 if (m_frame.isMainFrame()) {
2552                     tracePoint(MainResourceLoadDidEnd);
2553                     page->didFinishLoad();
2554                 }
2555             }
2556
2557             const ResourceError& error = m_documentLoader->mainDocumentError();
2558
2559             AXObjectCache::AXLoadingEvent loadingEvent;
2560             if (!error.isNull()) {
2561                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2562                 m_client.dispatchDidFailLoad(error);
2563                 loadingEvent = AXObjectCache::AXLoadingFailed;
2564             } else {
2565                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2566 #if ENABLE(DATA_DETECTION)
2567                 auto* document = m_frame.document();
2568                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2569                     if (auto* documentElement = document->documentElement()) {
2570                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2571                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2572                         if (m_frame.isMainFrame())
2573                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2574                     }
2575                 }
2576 #endif
2577                 m_client.dispatchDidFinishLoad();
2578                 loadingEvent = AXObjectCache::AXLoadingFinished;
2579             }
2580
2581             // Notify accessibility.
2582             if (auto* document = m_frame.document()) {
2583                 if (AXObjectCache* cache = document->existingAXObjectCache())
2584                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2585             }
2586
2587             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2588             // from its Page and also might have caused Page to be deleted.
2589             // Don't assume 'page' is still available to use.
2590             if (m_frame.isMainFrame() && m_frame.page()) {
2591                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2592                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2593             }
2594
2595             return;
2596         }
2597         
2598         case FrameStateComplete:
2599             m_loadType = FrameLoadType::Standard;
2600             frameLoadCompleted();
2601             return;
2602     }
2603
2604     ASSERT_NOT_REACHED();
2605 }
2606
2607 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2608 {
2609     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2610     // The originalURL is defined as the URL of the page where the download was initiated.
2611     URL originalURL;
2612     auto* initiator = m_frame.document();
2613     if (initiator) {
2614         originalURL = initiator->firstPartyForCookies();
2615         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2616         // In this case, we need to set the originalURL to this document's opener's main document URL.
2617         if (originalURL.isEmpty() && opener() && opener()->document()) {
2618             originalURL = opener()->document()->firstPartyForCookies();
2619             initiator = opener()->document();
2620         }
2621     }
2622     // If the originalURL is the same as the requested URL, we are processing a download
2623     // initiated directly without a page and do not need to specify the originalURL.
2624     if (originalURL == request.url())
2625         request.setFirstPartyForCookies(URL());
2626     else
2627         request.setFirstPartyForCookies(originalURL);
2628     addSameSiteInfoToRequestIfNeeded(request, initiator);
2629 }
2630
2631 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2632 {
2633     ASSERT(m_frame.isMainFrame());
2634
2635     m_client.dispatchDidReachLayoutMilestone(milestones);
2636 }
2637
2638 void FrameLoader::didFirstLayout()
2639 {
2640 #if PLATFORM(IOS_FAMILY)
2641     // Only send layout-related delegate callbacks synchronously for the main frame to
2642     // avoid reentering layout for the main frame while delivering a layout-related delegate
2643     // callback for a subframe.
2644     if (&m_frame != &m_frame.page()->mainFrame())
2645         return;
2646 #endif
2647     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2648         history().restoreScrollPositionAndViewState();
2649
2650     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2651         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2652 }
2653
2654 void FrameLoader::frameLoadCompleted()
2655 {
2656     // Note: Can be called multiple times.
2657
2658     m_client.frameLoadCompleted();
2659
2660     history().updateForFrameLoadCompleted();
2661
2662     // After a canceled provisional load, firstLayoutDone is false.
2663     // Reset it to true if we're displaying a page.
2664     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2665         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2666 }
2667
2668 void FrameLoader::detachChildren()
2669 {
2670     // detachChildren() will fire the unload event in each subframe and the
2671     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2672     // this event is being fired in its subframes:
2673     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2674     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2675
2676     // detachChildren() will fire the unload event in each subframe and the
2677     // HTML specification states that navigations should be prevented during the prompt to unload algorithm:
2678     // https://html.spec.whatwg.org/multipage/browsing-the-web.html#navigate
2679     std::unique_ptr<NavigationDisabler> navigationDisabler;
2680     if (m_frame.isMainFrame())
2681         navigationDisabler = std::make_unique<NavigationDisabler>(&m_frame);
2682
2683     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2684     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2685     // allow loading of subframes at this point.
2686     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2687
2688     Vector<Ref<Frame>, 16> childrenToDetach;
2689     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2690     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2691         childrenToDetach.uncheckedAppend(*child);
2692     for (auto& child : childrenToDetach)
2693         child->loader().detachFromParent();
2694 }
2695
2696 void FrameLoader::closeAndRemoveChild(Frame& child)
2697 {
2698     child.tree().detachFromParent();
2699
2700     child.setView(nullptr);
2701     if (child.ownerElement() && child.page())
2702         child.page()->decrementSubframeCount();
2703     child.willDetachPage();
2704     child.detachFromPage();
2705
2706     m_frame.tree().removeChild(child);
2707 }
2708
2709 // Called every time a resource is completely loaded or an error is received.
2710 void FrameLoader::checkLoadComplete()
2711 {
2712     m_shouldCallCheckLoadComplete = false;
2713
2714     if (!m_frame.page())
2715         return;
2716
2717     ASSERT(m_client.hasWebView());
2718     
2719     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2720     // is currently needed in order to null out the previous history item for all frames.
2721     Vector<Ref<Frame>, 16> frames;
2722     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2723         frames.append(*frame);
2724
2725     // To process children before their parents, iterate the vector backwards.
2726     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2727         if ((*frame)->page())
2728             (*frame)->loader().checkLoadCompleteForThisFrame();
2729     }
2730 }
2731
2732 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2733 {
2734     if (!recurse)
2735         return m_frame.document()->cachedResourceLoader().requestCount();
2736
2737     int count = 0;
2738     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2739         count += frame->document()->cachedResourceLoader().requestCount();
2740     return count;
2741 }
2742
2743 String FrameLoader::userAgent(const URL& url) const
2744 {
2745     String userAgent;
2746
2747     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader())
2748         userAgent = documentLoader->customUserAgent();
2749
2750     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2751
2752     if (!userAgent.isEmpty())
2753         return userAgent;
2754
2755     return m_client.userAgent(url);
2756 }
2757
2758 String FrameLoader::userAgentForJavaScript(const URL& url) const
2759 {
2760     String userAgent;
2761
2762     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2763         if (m_frame.settings().needsSiteSpecificQuirks())
2764             userAgent = documentLoader->customJavaScriptUserAgentAsSiteSpecificQuirks();
2765         if (userAgent.isEmpty())
2766             userAgent = documentLoader->customUserAgent();
2767     }
2768
2769     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2770
2771     if (!userAgent.isEmpty())
2772         return userAgent;
2773
2774     return m_client.userAgent(url);
2775 }
2776     
2777 String FrameLoader::navigatorPlatform() const
2778 {
2779     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2780         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2781         if (!customNavigatorPlatform.isEmpty())
2782             return customNavigatorPlatform;
2783     }
2784     return String();
2785 }
2786
2787 void FrameLoader::dispatchOnloadEvents()
2788 {
2789     m_client.dispatchDidDispatchOnloadEvents();
2790
2791     if (documentLoader())
2792         documentLoader()->dispatchOnloadEvents();
2793 }
2794
2795 void FrameLoader::frameDetached()
2796 {
2797     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2798     Ref<Frame> protectedFrame(m_frame);
2799
2800     if (m_checkTimer.isActive()) {
2801         m_checkTimer.stop();
2802         checkCompletenessNow();
2803     }
2804
2805     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2806         stopAllLoadersAndCheckCompleteness();
2807         m_frame.document()->stopActiveDOMObjects();
2808     }
2809
2810     detachFromParent();
2811 }
2812
2813 void FrameLoader::detachFromParent()
2814 {
2815     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2816     Ref<Frame> protect(m_frame);
2817
2818     closeURL();
2819     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2820     detachChildren();
2821     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2822         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2823         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2824         // handlers might start a new subresource load in this frame.
2825         stopAllLoaders();
2826     }
2827
2828     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2829
2830     detachViewsAndDocumentLoader();
2831
2832     m_progressTracker = nullptr;
2833
2834     if (Frame* parent = m_frame.tree().parent()) {
2835         parent->loader().closeAndRemoveChild(m_frame);
2836         parent->loader().scheduleCheckCompleted();
2837         parent->loader().scheduleCheckLoadComplete();
2838     } else {
2839         m_frame.setView(nullptr);
2840         m_frame.willDetachPage();
2841         m_frame.detachFromPage();
2842     }
2843 }
2844
2845 void FrameLoader::detachViewsAndDocumentLoader()
2846 {
2847     m_client.detachedFromParent2();
2848     setDocumentLoader(nullptr);
2849     m_client.detachedFromParent3();
2850 }
2851     
2852 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2853 {
2854     addExtraFieldsToRequest(request, m_loadType, false);
2855 }
2856
2857 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2858 {
2859     // FIXME: Using m_loadType seems wrong for some callers.
2860     // If we are only preparing to load the main resource, that is previous load's load type!
2861     addExtraFieldsToRequest(request, m_loadType, true);
2862
2863     // Upgrade-Insecure-Requests should only be added to main resource requests
2864     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2865 }
2866
2867 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2868 {
2869     if (m_overrideCachePolicyForTesting)
2870         return m_overrideCachePolicyForTesting.value();
2871
2872     if (isMainResource) {
2873         if (isReload(loadType) || request.isConditional())
2874             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2875
2876         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2877     }
2878
2879     if (request.isConditional())
2880         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2881
2882     if (documentLoader()->isLoadingInAPISense()) {
2883         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2884         // original request cache policy for two reasons:
2885         // 1. For POST requests, we mutate the cache policy for the main resource,
2886         //    but we do not want this to apply to subresources
2887         // 2. Delegates that modify the cache policy using willSendRequest: should
2888         //    not affect any other resources. Such changes need to be done
2889         //    per request.
2890         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2891         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2892         // This policy is set on initial request too, but should not be inherited.
2893         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2894     }
2895
2896     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2897 }
2898
2899 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2900 {
2901     // If the request came from a previous process due to process-swap-on-navigation then we should not modify the request.
2902     if (m_currentLoadContinuingState == LoadContinuingState::ContinuingWithRequest)
2903         return;
2904
2905     // Don't set the cookie policy URL if it's already been set.
2906     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2907     bool isMainFrameMainResource = isMainResource && m_frame.isMainFrame();
2908     if (request.firstPartyForCookies().isEmpty()) {
2909         if (isMainFrameMainResource)
2910             request.setFirstPartyForCookies(request.url());
2911         else if (Document* document = m_frame.document())
2912             request.setFirstPartyForCookies(document->firstPartyForCookies());
2913     }
2914
2915     if (request.isSameSiteUnspecified()) {
2916         auto* initiator = m_frame.document();
2917         if (isMainResource) {
2918             auto* ownerFrame = m_frame.tree().parent();
2919             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2920                 ownerFrame = m_opener;
2921             if (ownerFrame)
2922                 initiator = ownerFrame->document();
2923             ASSERT(ownerFrame || m_frame.isMainFrame());
2924         }
2925         addSameSiteInfoToRequestIfNeeded(request, initiator);
2926     }
2927     request.setIsTopSite(isMainFrameMainResource);
2928
2929     Page* page = frame().page();
2930     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2931
2932     if (page && page->isResourceCachingDisabled()) {
2933         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2934         loadType = FrameLoadType::ReloadFromOrigin;
2935     } else if (!hasSpecificCachePolicy)
2936         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2937
2938     // The remaining modifications are only necessary for HTTP and HTTPS.
2939     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2940         return;
2941
2942     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2943         if (loadType == FrameLoadType::Reload)
2944             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2945         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2946             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2947             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2948         }
2949     }
2950
2951     if (m_overrideResourceLoadPriorityForTesting)
2952         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2953
2954     applyUserAgentIfNeeded(request);
2955
2956     if (isMainResource)
2957         request.setHTTPAccept(defaultAcceptHeader);
2958
2959     // Make sure we send the Origin header.
2960     addHTTPOriginIfNeeded(request, String());
2961
2962     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2963     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2964         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2965         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2966     }
2967 }
2968
2969 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2970 {
2971     if (!request.httpOrigin().isEmpty())
2972         return;  // Request already has an Origin header.
2973
2974     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2975     // For example, if an intranet page has a hyperlink to an external web
2976     // site, we don't want to include the Origin of the request because it
2977     // will leak the internal host name. Similar privacy concerns have lead
2978     // to the widespread suppression of the Referer header at the network
2979     // layer.
2980     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2981         return;
2982
2983     // For non-GET and non-HEAD methods, always send an Origin header so the
2984     // server knows we support this feature.
2985
2986     if (origin.isEmpty()) {
2987         // If we don't know what origin header to attach, we attach the value
2988         // for an empty origin.
2989         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2990         return;
2991     }
2992
2993     request.setHTTPOrigin(origin);
2994 }
2995
2996 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
2997 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
2998 // as same-site. This matches the behavior of Chrome and Firefox.
2999 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
3000 {
3001     if (!request.isSameSiteUnspecified())
3002         return;
3003     if (!initiator) {
3004         request.setIsSameSite(true);
3005         return;
3006     }
3007     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
3008         request.setIsSameSite(true);
3009         return;
3010     }
3011     request.setIsSameSite(areRegistrableDomainsEqual(initiator->siteForCookies(), request.url()));
3012 }
3013
3014 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
3015 {
3016     if (request.url().protocolIs("https")) {
3017         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
3018         return;
3019     }
3020
3021     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
3022 }
3023
3024 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
3025 {
3026     RELEASE_LOG_IF_ALLOWED("loadPostRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3027
3028     String frameName = request.frameName();
3029     LockHistory lockHistory = request.lockHistory();
3030     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
3031     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
3032
3033     const ResourceRequest& inRequest = request.resourceRequest();
3034     const URL& url = inRequest.url();
3035     const String& contentType = inRequest.httpContentType();
3036     String origin = inRequest.httpOrigin();
3037
3038     ResourceRequest workingResourceRequest(url);    
3039
3040     if (!referrer.isEmpty())
3041         workingResourceRequest.setHTTPReferrer(referrer);
3042     workingResourceRequest.setHTTPOrigin(origin);
3043     workingResourceRequest.setHTTPMethod("POST");
3044     workingResourceRequest.setHTTPBody(inRequest.httpBody());
3045     workingResourceRequest.setHTTPContentType(contentType);
3046     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
3047
3048     if (Document* document = m_frame.document())
3049         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3050
3051     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3052
3053     if (!frameName.isEmpty()) {
3054         // The search for a target frame is done earlier in the case of form submission.
3055         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3056             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, WTFMove(completionHandler));
3057             return;
3058         }
3059
3060         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
3061             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3062             completionHandler();
3063         });
3064         return;
3065     }
3066
3067     // must grab this now, since this load may stop the previous load and clear this flag
3068     bool isRedirect = m_quickRedirectComing;
3069     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3070         if (isRedirect) {
3071             m_quickRedirectComing = false;
3072             if (m_provisionalDocumentLoader)
3073                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3074             else if (m_policyDocumentLoader)
3075                 m_policyDocumentLoader->setIsClientRedirect(true);
3076         }
3077         completionHandler();
3078     });
3079 }
3080
3081 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3082 {
3083     ASSERT(m_frame.document());
3084     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3085     
3086     ResourceRequest initialRequest = request;
3087     initialRequest.setTimeoutInterval(10);
3088     
3089     if (!referrer.isEmpty())
3090         initialRequest.setHTTPReferrer(referrer);
3091     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3092
3093     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3094     
3095     addExtraFieldsToSubresourceRequest(initialRequest);
3096
3097     unsigned long identifier = 0;    
3098     ResourceRequest newRequest(initialRequest);
3099     requestFromDelegate(newRequest, identifier, error);
3100
3101 #if ENABLE(CONTENT_EXTENSIONS)
3102     if (error.isNull()) {
3103         if (auto* page = m_frame.page()) {
3104             if (m_documentLoader) {
3105                 auto results = page->userContentProvider().processContentRuleListsForLoad(newRequest.url(), ContentExtensions::ResourceType::Raw, *m_documentLoader);
3106                 bool blockedLoad = results.summary.blockedLoad;
3107                 ContentExtensions::applyResultsToRequest(WTFMove(results), page, newRequest);
3108                 if (blockedLoad) {
3109                     newRequest = { };
3110                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3111                     response = { };
3112                     data = nullptr;
3113                 }
3114             }
3115         }
3116     }
3117 #endif
3118
3119     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3120     
3121     if (error.isNull()) {
3122         ASSERT(!newRequest.isNull());
3123
3124         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3125             Vector<char> buffer;
3126             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3127             data = SharedBuffer::create(WTFMove(buffer));
3128             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3129             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3130         }
3131     }
3132     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3133     return identifier;
3134 }
3135
3136 const ResourceRequest& FrameLoader::originalRequest() const
3137 {
3138     return activeDocumentLoader()->originalRequestCopy();
3139 }
3140
3141 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3142 {
3143     // Retain because the stop may release the last reference to it.
3144     Ref<Frame> protect(m_frame);
3145
3146     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3147     // FIXME: Don't want to do this if an entirely new load is going, so should check
3148     // that both data sources on the frame are either this or nil.
3149     stop();
3150     if (m_client.shouldFallBack(error))
3151         handleFallbackContent();
3152
3153     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3154         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3155             m_submittedFormURL = URL();
3156             
3157         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3158         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3159         // so that the existing view (that wenever got far enough to replace) can continue being used.
3160         history().invalidateCurrentItemCachedPage();
3161         
3162         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3163         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3164         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3165         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3166         // has ended.
3167         if (m_sentRedirectNotification)
3168             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3169     }
3170
3171     checkCompleted();
3172     if (m_frame.page())
3173         checkLoadComplete();
3174 }
3175
3176 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3177 {
3178     m_quickRedirectComing = false;
3179
3180     if (!shouldContinue)
3181         return;
3182
3183     // Calling stopLoading() on the provisional document loader can cause the underlying
3184     // frame to be deallocated.
3185     Ref<Frame> protectedFrame(m_frame);
3186
3187     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3188     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3189         m_provisionalDocumentLoader->stopLoading();
3190         setProvisionalDocumentLoader(nullptr);
3191     }
3192
3193     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3194     loadInSameDocument(request.url(), 0, !isRedirect);
3195 }
3196
3197 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3198 {
3199     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3200     // currently displaying a frameset, or if the URL does not have a fragment.
3201     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3202
3203     // FIXME: What about load types other than Standard and Reload?
3204
3205     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3206         && !isReload(loadType)
3207         && loadType != FrameLoadType::Same
3208         && m_frame.document()->pageCacheState() != Document::InPageCache
3209         && !shouldReload(m_frame.document()->url(), url)
3210         // We don't want to just scroll if a link from within a
3211         // frameset is trying to reload the frameset into _top.
3212         && !m_frame.document()->isFrameSet();
3213 }
3214
3215 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3216 {
3217     return !historyItem || historyItem->shouldRestoreScrollPosition();
3218 }
3219
3220 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3221 {
3222     return !isNewNavigation && !isBackForwardLoadType(loadType);
3223 }
3224
3225 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3226 {
3227     FrameView* view = m_frame.view();
3228     if (!view)
3229         return;
3230
3231     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3232         view->scrollToFragment(url);
3233 }
3234
3235 bool FrameLoader::shouldClose()
3236 {
3237     Page* page = m_frame.page();
3238     if (!page)
3239         return true;
3240     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3241         return true;
3242
3243     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3244     Vector<Ref<Frame>, 16> targetFrames;
3245     targetFrames.append(m_frame);
3246     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3247         targetFrames.append(*child);
3248
3249     bool shouldClose = false;
3250     {
3251         NavigationDisabler navigationDisabler(&m_frame);
3252         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3253         size_t i;
3254
3255         for (i = 0; i < targetFrames.size(); i++) {
3256             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3257                 continue;
3258             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3259                 break;
3260         }
3261
3262         if (i == targetFrames.size())
3263             shouldClose = true;
3264     }
3265
3266     if (!shouldClose)
3267         m_submittedFormURL = URL();
3268
3269     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3270     return shouldClose;
3271 }
3272
3273 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3274 {
3275     if (!m_frame.document())
3276         return;
3277
3278     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3279     ForbidPromptsScope forbidPrompts(m_frame.page());
3280     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3281
3282     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3283         auto* currentFocusedElement = m_frame.document()->focusedElement();
3284         if (is<HTMLInputElement>(currentFocusedElement))
3285             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3286         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3287             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3288                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3289                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3290             }
3291
3292             // FIXME: update Page Visibility state here.
3293             // https://bugs.webkit.org/show_bug.cgi?id=116770
3294
3295             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3296                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3297                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3298                 // while dispatching the event, so protect it to prevent writing the end
3299                 // time into freed memory.
3300                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3301                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3302                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3303                     auto& timing = documentLoader->timing();
3304                     timing.markUnloadEventStart();
3305                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3306                     timing.markUnloadEventEnd();
3307                 } else
3308                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3309             }
3310         }
3311         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3312         m_wasUnloadEventEmitted = true;
3313     }
3314
3315     // Dispatching the unload event could have made m_frame.document() null.
3316     if (!m_frame.document())
3317         return;
3318
3319     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3320         return;
3321
3322     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3323     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3324         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3325
3326     if (!keepEventListeners)
3327         m_frame.document()->removeAllEventListeners();
3328 }
3329
3330 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3331 {
3332     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3333     if (document.isSandboxed(SandboxModals))
3334         return false;
3335
3336     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3337     // Web pages can request we ask for confirmation before navigating by:
3338     // - Cancelling the BeforeUnloadEvent (modern way)
3339     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3340     // - Returning a non-empty string from the event handler, which is then set as returnValue
3341     //   attribute on the BeforeUnloadEvent.
3342     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3343 }
3344
3345 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3346 {
3347     DOMWindow* domWindow = m_frame.document()->domWindow();
3348     if (!domWindow)
3349         return true;
3350
3351     RefPtr<Document> document = m_frame.document();
3352     if (!document->bodyOrFrameset())
3353         return true;
3354     
3355     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3356     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3357
3358     {
3359         ForbidPromptsScope forbidPrompts(m_frame.page());
3360         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3361     }
3362
3363     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3364
3365     if (!beforeUnloadEvent->defaultPrevented())
3366         document->defaultEventHandler(beforeUnloadEvent.get());
3367
3368     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3369         return true;
3370
3371     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3372     // this frame is not allowed to cause another one to be shown.
3373     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3374         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3375         return true;
3376     }
3377
3378     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3379     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3380     if (frameLoaderBeingNavigated != this) {
3381         Frame* parentFrame = m_frame.tree().parent();
3382         while (parentFrame) {
3383             Document* parentDocument = parentFrame->document();
3384             if (!parentDocument)
3385                 return true;
3386             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3387                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3388                 return true;
3389             }
3390             
3391             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3392                 break;
3393             
3394             parentFrame = parentFrame->tree().parent();
3395         }
3396         
3397         // The navigatingFrameLoader should always be in our ancestory.
3398         ASSERT(parentFrame);
3399         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3400     }
3401
3402     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3403
3404     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3405     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3406 }
3407
3408 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, NavigationPolicyDecision navigationPolicyDecision, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3409 {
3410     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3411     // nil policyDataSource because loading the alternate page will have passed
3412     // through this method already, nested; otherwise, policyDataSource should still be set.
3413     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());