fb8cbadd47b2b367dc7abcea0661f094601dc177
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentSecurityPolicy.h"
49 #include "DOMWindow.h"
50 #include "DatabaseManager.h"
51 #include "DiagnosticLoggingClient.h"
52 #include "DiagnosticLoggingKeys.h"
53 #include "Document.h"
54 #include "DocumentLoader.h"
55 #include "Editor.h"
56 #include "EditorClient.h"
57 #include "Element.h"
58 #include "Event.h"
59 #include "EventHandler.h"
60 #include "EventNames.h"
61 #include "FloatRect.h"
62 #include "FormState.h"
63 #include "FormSubmission.h"
64 #include "Frame.h"
65 #include "FrameLoadRequest.h"
66 #include "FrameLoaderClient.h"
67 #include "FrameNetworkingContext.h"
68 #include "FrameTree.h"
69 #include "FrameView.h"
70 #include "GCController.h"
71 #include "HTMLFormElement.h"
72 #include "HTMLInputElement.h"
73 #include "HTMLNames.h"
74 #include "HTMLObjectElement.h"
75 #include "HTMLParserIdioms.h"
76 #include "HTTPHeaderNames.h"
77 #include "HTTPParsers.h"
78 #include "HistoryController.h"
79 #include "HistoryItem.h"
80 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
81 #include "InspectorController.h"
82 #include "InspectorInstrumentation.h"
83 #include "LinkLoader.h"
84 #include "LoadTiming.h"
85 #include "LoaderStrategy.h"
86 #include "Logging.h"
87 #include "MemoryCache.h"
88 #include "MemoryRelease.h"
89 #include "NavigationDisabler.h"
90 #include "NavigationScheduler.h"
91 #include "Node.h"
92 #include "Page.h"
93 #include "PageCache.h"
94 #include "PageTransitionEvent.h"
95 #include "PerformanceLogging.h"
96 #include "PlatformStrategies.h"
97 #include "PluginData.h"
98 #include "PluginDocument.h"
99 #include "PolicyChecker.h"
100 #include "ProgressTracker.h"
101 #include "ResourceHandle.h"
102 #include "ResourceLoadInfo.h"
103 #include "ResourceLoadObserver.h"
104 #include "ResourceRequest.h"
105 #include "SVGDocument.h"
106 #include "SVGLocatable.h"
107 #include "SVGNames.h"
108 #include "SVGViewElement.h"
109 #include "SVGViewSpec.h"
110 #include "ScriptController.h"
111 #include "ScriptSourceCode.h"
112 #include "ScrollAnimator.h"
113 #include "SecurityOrigin.h"
114 #include "SecurityPolicy.h"
115 #include "SegmentedString.h"
116 #include "SerializedScriptValue.h"
117 #include "Settings.h"
118 #include "ShouldTreatAsContinuingLoad.h"
119 #include "SubframeLoader.h"
120 #include "SubresourceLoader.h"
121 #include "TextResourceDecoder.h"
122 #include "UserContentController.h"
123 #include "UserGestureIndicator.h"
124 #include "WindowFeatures.h"
125 #include "XMLDocumentParser.h"
126 #include <dom/ScriptDisallowedScope.h>
127 #include <wtf/CompletionHandler.h>
128 #include <wtf/URL.h>
129 #include <wtf/Ref.h>
130 #include <wtf/SetForScope.h>
131 #include <wtf/StdLibExtras.h>
132 #include <wtf/SystemTracing.h>
133 #include <wtf/text/CString.h>
134 #include <wtf/text/WTFString.h>
135
136 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
137 #include "Archive.h"
138 #endif
139
140 #if ENABLE(DATA_DETECTION)
141 #include "DataDetection.h"
142 #endif
143
144 #if PLATFORM(IOS_FAMILY)
145 #include "DocumentType.h"
146 #include "ResourceLoader.h"
147 #include "RuntimeApplicationChecks.h"
148 #include "WKContentObservation.h"
149 #endif
150
151 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
152
153 namespace WebCore {
154
155 using namespace HTMLNames;
156 using namespace SVGNames;
157
158 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
159
160 bool isBackForwardLoadType(FrameLoadType type)
161 {
162     switch (type) {
163     case FrameLoadType::Standard:
164     case FrameLoadType::Reload:
165     case FrameLoadType::ReloadFromOrigin:
166     case FrameLoadType::ReloadExpiredOnly:
167     case FrameLoadType::Same:
168     case FrameLoadType::RedirectWithLockedBackForwardList:
169     case FrameLoadType::Replace:
170         return false;
171     case FrameLoadType::Back:
172     case FrameLoadType::Forward:
173     case FrameLoadType::IndexedBackForward:
174         return true;
175     }
176     ASSERT_NOT_REACHED();
177     return false;
178 }
179
180 bool isReload(FrameLoadType type)
181 {
182     switch (type) {
183     case FrameLoadType::Reload:
184     case FrameLoadType::ReloadFromOrigin:
185     case FrameLoadType::ReloadExpiredOnly:
186         return true;
187     case FrameLoadType::Standard:
188     case FrameLoadType::Same:
189     case FrameLoadType::RedirectWithLockedBackForwardList:
190     case FrameLoadType::Replace:
191     case FrameLoadType::Back:
192     case FrameLoadType::Forward:
193     case FrameLoadType::IndexedBackForward:
194         return false;
195     }
196     ASSERT_NOT_REACHED();
197     return false;
198 }
199
200 // This is not in the FrameLoader class to emphasize that it does not depend on
201 // private FrameLoader data, and to avoid increasing the number of public functions
202 // with access to private data.  Since only this .cpp file needs it, making it
203 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
204 // API simpler.
205 //
206 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
207 {
208     return frame.document() && frame.document()->isSandboxed(mask);
209 }
210
211 struct ForbidPromptsScope {
212     ForbidPromptsScope(Page* page) : m_page(page)
213     {
214         if (!m_page)
215             return;
216         m_page->forbidPrompts();
217     }
218
219     ~ForbidPromptsScope()
220     {
221         if (!m_page)
222             return;
223         m_page->allowPrompts();
224     }
225
226     Page* m_page;
227 };
228
229 class FrameLoader::FrameProgressTracker {
230     WTF_MAKE_FAST_ALLOCATED;
231 public:
232     explicit FrameProgressTracker(Frame& frame)
233         : m_frame(frame)
234         , m_inProgress(false)
235     {
236     }
237
238     ~FrameProgressTracker()
239     {
240         if (m_inProgress && m_frame.page())
241             m_frame.page()->progress().progressCompleted(m_frame);
242     }
243
244     void progressStarted()
245     {
246         ASSERT(m_frame.page());
247         if (!m_inProgress)
248             m_frame.page()->progress().progressStarted(m_frame);
249         m_inProgress = true;
250     }
251
252     void progressCompleted()
253     {
254         ASSERT(m_inProgress);
255         ASSERT(m_frame.page());
256         m_inProgress = false;
257         m_frame.page()->progress().progressCompleted(m_frame);
258
259         if (auto pageID = m_frame.loader().client().pageID())
260             platformStrategies()->loaderStrategy()->pageLoadCompleted(pageID.value());
261     }
262
263 private:
264     Frame& m_frame;
265     bool m_inProgress;
266 };
267
268 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
269     : m_frame(frame)
270     , m_client(client)
271     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
272     , m_history(std::make_unique<HistoryController>(frame))
273     , m_notifier(frame)
274     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
275     , m_mixedContentChecker(frame)
276     , m_state(FrameStateProvisional)
277     , m_loadType(FrameLoadType::Standard)
278     , m_quickRedirectComing(false)
279     , m_sentRedirectNotification(false)
280     , m_inStopAllLoaders(false)
281     , m_isExecutingJavaScriptFormAction(false)
282     , m_didCallImplicitClose(true)
283     , m_wasUnloadEventEmitted(false)
284     , m_isComplete(false)
285     , m_needsClear(false)
286     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
287     , m_shouldCallCheckCompleted(false)
288     , m_shouldCallCheckLoadComplete(false)
289     , m_opener(nullptr)
290     , m_loadingFromCachedPage(false)
291     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
292     , m_loadsSynchronously(false)
293     , m_forcedSandboxFlags(SandboxNone)
294 {
295 }
296
297 FrameLoader::~FrameLoader()
298 {
299     setOpener(nullptr);
300
301     for (auto& frame : m_openedFrames)
302         frame->loader().m_opener = nullptr;
303
304     m_client.frameLoaderDestroyed();
305
306     if (m_networkingContext)
307         m_networkingContext->invalidate();
308 }
309
310 void FrameLoader::init()
311 {
312     // This somewhat odd set of steps gives the frame an initial empty document.
313     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
314     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
315     m_provisionalDocumentLoader->startLoadingMainResource();
316
317     Ref<Frame> protect(m_frame);
318     m_frame.document()->cancelParsing();
319     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
320
321     m_networkingContext = m_client.createNetworkingContext();
322     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
323 }
324
325 void FrameLoader::initForSynthesizedDocument(const URL&)
326 {
327     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
328     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
329
330     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
331     loader->attachToFrame(m_frame);
332     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
333     loader->setCommitted(true);
334     setDocumentLoader(loader.ptr());
335
336     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
337     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
338     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
339     m_client.transitionToCommittedForNewPage();
340
341     m_didCallImplicitClose = true;
342     m_isComplete = true;
343     m_state = FrameStateComplete;
344     m_needsClear = true;
345
346     m_networkingContext = m_client.createNetworkingContext();
347     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
348 }
349
350 void FrameLoader::setDefersLoading(bool defers)
351 {
352     if (m_documentLoader)
353         m_documentLoader->setDefersLoading(defers);
354     if (m_provisionalDocumentLoader)
355         m_provisionalDocumentLoader->setDefersLoading(defers);
356     if (m_policyDocumentLoader)
357         m_policyDocumentLoader->setDefersLoading(defers);
358     history().setDefersLoading(defers);
359
360     if (!defers) {
361         m_frame.navigationScheduler().startTimer();
362         startCheckCompleteTimer();
363     }
364 }
365
366 void FrameLoader::checkContentPolicy(const ResourceResponse& response, ContentPolicyDecisionFunction&& function)
367 {
368     if (!activeDocumentLoader()) {
369         // Load was cancelled
370         function(PolicyAction::Ignore);
371         return;
372     }
373
374     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), WTFMove(function));
375 }
376
377 void FrameLoader::changeLocation(FrameLoadRequest&& request)
378 {
379     urlSelected(WTFMove(request), nullptr);
380 }
381
382 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomicString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo)
383 {
384     auto* frame = lexicalFrameFromCommonVM();
385     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
386
387     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
388     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent);
389 }
390
391 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent)
392 {
393     RELEASE_LOG_IF_ALLOWED("urlSelected: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
394
395     Ref<Frame> protect(m_frame);
396
397     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
398         return;
399
400     if (frameRequest.frameName().isEmpty())
401         frameRequest.setFrameName(m_frame.document()->baseTarget());
402
403     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
404     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
405
406     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { });
407 }
408
409 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
410 {
411     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
412
413     // FIXME: Find a good spot for these.
414     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
415
416     if (!m_frame.page())
417         return;
418
419     if (submission->action().isEmpty())
420         return;
421
422     if (isDocumentSandboxed(m_frame, SandboxForms)) {
423         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
424         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
425         return;
426     }
427
428     if (WTF::protocolIsJavaScript(submission->action())) {
429         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
430             return;
431         m_isExecutingJavaScriptFormAction = true;
432         Ref<Frame> protect(m_frame);
433         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
434         m_isExecutingJavaScriptFormAction = false;
435         return;
436     }
437
438     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
439     if (!targetFrame) {
440         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
441             return;
442
443         // FIXME: targetFrame can be null for two distinct reasons:
444         // 1. The frame was not found by name, so we should try opening a new window.
445         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
446         // Continuing form submission makes no sense in the latter case.
447         // There is a repeat check after timer fires, so this is not a correctness issue.
448
449         targetFrame = &m_frame;
450     } else
451         submission->clearTarget();
452
453     if (!targetFrame->page())
454         return;
455
456     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
457
458     // We do not want to submit more than one form from the same page, nor do we want to submit a single
459     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
460     // The flag is reset in each time we start dispatching a new mouse or key down event, and
461     // also in setView since this part may get reused for a page from the back/forward cache.
462     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
463
464     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
465     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
466     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
467
468     if (m_frame.tree().isDescendantOf(targetFrame)) {
469         if (m_submittedFormURL == submission->requestURL())
470             return;
471         m_submittedFormURL = submission->requestURL();
472     }
473
474     submission->data().generateFiles(m_frame.document());
475     submission->setReferrer(outgoingReferrer());
476     submission->setOrigin(outgoingOrigin());
477
478     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
479 }
480
481 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
482 {
483     if (m_frame.document() && m_frame.document()->parser())
484         m_frame.document()->parser()->stopParsing();
485
486     if (unloadEventPolicy != UnloadEventPolicyNone)
487         dispatchUnloadEvents(unloadEventPolicy);
488
489     m_isComplete = true; // to avoid calling completed() in finishedParsing()
490     m_didCallImplicitClose = true; // don't want that one either
491
492     if (m_frame.document() && m_frame.document()->parsing()) {
493         finishedParsing();
494         m_frame.document()->setParsing(false);
495     }
496
497     if (auto* document = m_frame.document()) {
498         // FIXME: HTML5 doesn't tell us to set the state to complete when aborting, but we do anyway to match legacy behavior.
499         // http://www.w3.org/Bugs/Public/show_bug.cgi?id=10537
500         document->setReadyState(Document::Complete);
501
502         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
503         DatabaseManager::singleton().stopDatabases(*document, nullptr);
504     }
505
506     policyChecker().stopCheck();
507
508     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
509     m_frame.navigationScheduler().cancel();
510 }
511
512 void FrameLoader::stop()
513 {
514     // http://bugs.webkit.org/show_bug.cgi?id=10854
515     // The frame's last ref may be removed and it will be deleted by checkCompleted().
516     Ref<Frame> protect(m_frame);
517
518     if (DocumentParser* parser = m_frame.document()->parser()) {
519         parser->stopParsing();
520         parser->finish();
521     }
522 }
523
524 void FrameLoader::willTransitionToCommitted()
525 {
526     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
527
528     if (m_frame.editor().hasComposition()) {
529         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
530         m_frame.editor().confirmComposition();
531         if (EditorClient* editorClient = m_frame.editor().client()) {
532             editorClient->respondToChangedSelection(&m_frame);
533             editorClient->discardedComposition(&m_frame);
534         }
535     }
536 }
537
538 bool FrameLoader::closeURL()
539 {
540     history().saveDocumentState();
541
542     Document* currentDocument = m_frame.document();
543     UnloadEventPolicy unloadEventPolicy;
544     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
545         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
546         unloadEventPolicy = UnloadEventPolicyNone;
547     } else {
548         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
549         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
550     }
551
552     stopLoading(unloadEventPolicy);
553     
554     m_frame.editor().clearUndoRedoOperations();
555     return true;
556 }
557
558 bool FrameLoader::didOpenURL()
559 {
560     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
561         // A redirect was scheduled before the document was created.
562         // This can happen when one frame changes another frame's location.
563         return false;
564     }
565
566     m_frame.navigationScheduler().cancel();
567     m_frame.editor().clearLastEditCommand();
568
569     m_isComplete = false;
570     m_didCallImplicitClose = false;
571
572     // If we are still in the process of initializing an empty document then
573     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
574     // since it may cause clients to attempt to render the frame.
575     if (!m_stateMachine.creatingInitialEmptyDocument()) {
576         DOMWindow* window = m_frame.document()->domWindow();
577         window->setStatus(String());
578         window->setDefaultStatus(String());
579     }
580
581     started();
582
583     return true;
584 }
585
586 void FrameLoader::didExplicitOpen()
587 {
588     m_isComplete = false;
589     m_didCallImplicitClose = false;
590
591     // Calling document.open counts as committing the first real document load.
592     if (!m_stateMachine.committedFirstRealDocumentLoad())
593         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
594     
595     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
596     // from a subsequent window.document.open / window.document.write call. 
597     // Canceling redirection here works for all cases because document.open 
598     // implicitly precedes document.write.
599     m_frame.navigationScheduler().cancel();
600 }
601
602
603 void FrameLoader::cancelAndClear()
604 {
605     m_frame.navigationScheduler().cancel();
606
607     if (!m_isComplete)
608         closeURL();
609
610     clear(m_frame.document(), false);
611     m_frame.script().updatePlatformScriptObjects();
612 }
613
614 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
615 {
616     if (!frame.isMainFrame())
617         return false;
618
619     if (frame.loader().opener())
620         return false;
621
622     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
623 }
624
625 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView)
626 {
627     m_frame.editor().clear();
628
629     if (!m_needsClear)
630         return;
631     m_needsClear = false;
632     
633     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
634         m_frame.document()->cancelParsing();
635         m_frame.document()->stopActiveDOMObjects();
636         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
637         m_frame.document()->prepareForDestruction();
638         if (hadLivingRenderTree)
639             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
640     }
641
642     // Do this after detaching the document so that the unload event works.
643     if (clearWindowProperties) {
644         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
645         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
646         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
647
648         if (shouldClearWindowName(m_frame, *newDocument))
649             m_frame.tree().setName(nullAtom());
650     }
651
652     m_frame.selection().prepareForDestruction();
653     m_frame.eventHandler().clear();
654
655     if (clearFrameView && m_frame.view())
656         m_frame.view()->clear();
657
658     // Do not drop the document before the ScriptController and view are cleared
659     // as some destructors might still try to access the document.
660     m_frame.setDocument(nullptr);
661
662     subframeLoader().clear();
663
664     if (clearWindowProperties)
665         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
666
667     if (clearScriptObjects)
668         m_frame.script().clearScriptObjects();
669
670     m_frame.script().enableEval();
671
672     m_frame.navigationScheduler().clear();
673
674     m_checkTimer.stop();
675     m_shouldCallCheckCompleted = false;
676     m_shouldCallCheckLoadComplete = false;
677
678     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
679         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
680 }
681
682 void FrameLoader::receivedFirstData()
683 {
684     dispatchDidCommitLoad(WTF::nullopt);
685     dispatchDidClearWindowObjectsInAllWorlds();
686     dispatchGlobalObjectAvailableInAllWorlds();
687
688     if (!m_documentLoader)
689         return;
690
691     auto& documentLoader = *m_documentLoader;
692     auto& title = documentLoader.title();
693     if (!title.string.isNull())
694         m_client.dispatchDidReceiveTitle(title);
695
696     ASSERT(m_frame.document());
697     auto& document = *m_frame.document();
698
699     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
700
701     double delay;
702     String urlString;
703     if (!parseHTTPRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
704         return;
705     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
706     if (!WTF::protocolIsJavaScript(completedURL))
707         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
708     else {
709         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
710         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
711     }
712 }
713
714 void FrameLoader::setOutgoingReferrer(const URL& url)
715 {
716     m_outgoingReferrer = url.strippedForUseAsReferrer();
717 }
718
719 void FrameLoader::didBeginDocument(bool dispatch)
720 {
721     m_needsClear = true;
722     m_isComplete = false;
723     m_didCallImplicitClose = false;
724     m_frame.document()->setReadyState(Document::Loading);
725
726     if (m_pendingStateObject) {
727         m_frame.document()->statePopped(*m_pendingStateObject);
728         m_pendingStateObject = nullptr;
729     }
730
731     if (dispatch)
732         dispatchDidClearWindowObjectsInAllWorlds();
733
734     updateFirstPartyForCookies();
735     m_frame.document()->initContentSecurityPolicy();
736
737     const Settings& settings = m_frame.settings();
738     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
739     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
740
741     if (m_documentLoader) {
742         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
743         if (!dnsPrefetchControl.isEmpty())
744             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
745
746         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
747
748         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
749         if (!referrerPolicy.isNull())
750             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
751
752         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
753         if (!headerContentLanguage.isEmpty()) {
754             size_t commaIndex = headerContentLanguage.find(',');
755             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
756             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
757             if (!headerContentLanguage.isEmpty())
758                 m_frame.document()->setContentLanguage(headerContentLanguage);
759         }
760     }
761
762     history().restoreDocumentState();
763 }
764
765 void FrameLoader::finishedParsing()
766 {
767     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
768
769     m_frame.injectUserScripts(InjectAtDocumentEnd);
770
771     if (m_stateMachine.creatingInitialEmptyDocument())
772         return;
773
774     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
775     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
776     // Null-checking the FrameView indicates whether or not we're in the destructor.
777     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
778
779     m_client.dispatchDidFinishDocumentLoad();
780
781     scrollToFragmentWithParentBoundary(m_frame.document()->url());
782
783     checkCompleted();
784
785     if (!m_frame.view())
786         return; // We are being destroyed by something checkCompleted called.
787
788     // Check if the scrollbars are really needed for the content.
789     // If not, remove them, relayout, and repaint.
790     m_frame.view()->restoreScrollbar();
791 }
792
793 void FrameLoader::loadDone(LoadCompletionType type)
794 {
795     if (type == LoadCompletionType::Finish)
796         checkCompleted();
797     else
798         scheduleCheckCompleted();
799 }
800
801 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
802 {
803     if (type == LoadCompletionType::Finish)
804         checkLoadComplete();
805     else
806         scheduleCheckLoadComplete();
807 }
808
809 bool FrameLoader::allChildrenAreComplete() const
810 {
811     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
812         if (!child->loader().m_isComplete)
813             return false;
814     }
815     return true;
816 }
817
818 bool FrameLoader::allAncestorsAreComplete() const
819 {
820     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
821         if (!ancestor->loader().m_isComplete)
822             return false;
823     }
824     return true;
825 }
826
827 void FrameLoader::checkCompleted()
828 {
829     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
830     m_shouldCallCheckCompleted = false;
831
832     // Have we completed before?
833     if (m_isComplete)
834         return;
835     
836 #if ENABLE(VIDEO)
837     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
838     if (HTMLMediaElement::isRunningDestructor()) {
839         ASSERT_NOT_REACHED();
840         scheduleCheckCompleted();
841         return;
842     }
843 #endif
844
845     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
846     //        https://bugs.webkit.org/show_bug.cgi?id=171729
847     if (m_frame.document()->inRenderTreeUpdate()) {
848         scheduleCheckCompleted();
849         return;
850     }
851
852     // Are we still parsing?
853     if (m_frame.document()->parsing())
854         return;
855
856     // Still waiting for images/scripts?
857     if (m_frame.document()->cachedResourceLoader().requestCount())
858         return;
859
860     // Still waiting for elements that don't go through a FrameLoader?
861     if (m_frame.document()->isDelayingLoadEvent())
862         return;
863
864     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
865     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
866         return;
867
868     // Any frame that hasn't completed yet?
869     if (!allChildrenAreComplete())
870         return;
871
872     // Important not to protect earlier in this function, because earlier parts
873     // of this function can be called in the frame's destructor, and it's not legal
874     // to ref an object while it's being destroyed.
875     Ref<Frame> protect(m_frame);
876
877     // OK, completed.
878     m_isComplete = true;
879     m_requestedHistoryItem = nullptr;
880     m_frame.document()->setReadyState(Document::Complete);
881
882 #if PLATFORM(IOS_FAMILY)
883     if (m_frame.document()->url().isEmpty()) {
884         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
885         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
886         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
887         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
888         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
889         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
890         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
891     }
892 #endif
893
894     checkCallImplicitClose(); // if we didn't do it before
895
896     m_frame.navigationScheduler().startTimer();
897
898     completed();
899     if (m_frame.page())
900         checkLoadComplete();
901 }
902
903 void FrameLoader::checkTimerFired()
904 {
905     checkCompletenessNow();
906 }
907
908 void FrameLoader::checkCompletenessNow()
909 {
910     Ref<Frame> protect(m_frame);
911
912     if (Page* page = m_frame.page()) {
913         if (page->defersLoading())
914             return;
915     }
916     if (m_shouldCallCheckCompleted)
917         checkCompleted();
918     if (m_shouldCallCheckLoadComplete)
919         checkLoadComplete();
920 }
921
922 void FrameLoader::startCheckCompleteTimer()
923 {
924     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
925         return;
926     if (m_checkTimer.isActive())
927         return;
928     m_checkTimer.startOneShot(0_s);
929 }
930
931 void FrameLoader::scheduleCheckCompleted()
932 {
933     m_shouldCallCheckCompleted = true;
934     startCheckCompleteTimer();
935 }
936
937 void FrameLoader::scheduleCheckLoadComplete()
938 {
939     m_shouldCallCheckLoadComplete = true;
940     startCheckCompleteTimer();
941 }
942
943 void FrameLoader::checkCallImplicitClose()
944 {
945     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
946         return;
947
948     if (!allChildrenAreComplete())
949         return; // still got a frame running -> too early
950
951     m_didCallImplicitClose = true;
952     m_wasUnloadEventEmitted = false;
953     m_frame.document()->implicitClose();
954 }
955
956 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
957 {
958     RELEASE_LOG_IF_ALLOWED("loadURLIntoChildFrame: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
959
960     ASSERT(childFrame);
961
962 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
963     if (auto activeLoader = activeDocumentLoader()) {
964         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
965             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
966             return;
967         }
968     }
969 #endif
970
971     // If we're moving in the back/forward list, we might want to replace the content
972     // of this child frame with whatever was there at that point.
973     auto* parentItem = history().currentItem();
974     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
975         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
976             childFrame->loader().m_requestedHistoryItem = childItem;
977             childFrame->loader().loadDifferentDocumentItem(*childItem, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
978             return;
979         }
980     }
981
982     auto* lexicalFrame = lexicalFrameFromCommonVM();
983     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
984
985     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
986     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, [] { });
987 }
988
989 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
990
991 void FrameLoader::loadArchive(Ref<Archive>&& archive)
992 {
993     RELEASE_LOG_IF_ALLOWED("loadArchive: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
994
995     ArchiveResource* mainResource = archive->mainResource();
996     ASSERT(mainResource);
997     if (!mainResource)
998         return;
999
1000     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1001     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1002     
1003     ResourceRequest request(mainResource->url());
1004
1005     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1006     documentLoader->setArchive(WTFMove(archive));
1007     load(documentLoader.get());
1008 }
1009
1010 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1011
1012 String FrameLoader::outgoingReferrer() const
1013 {
1014     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1015     // for why we walk the parent chain for srcdoc documents.
1016     Frame* frame = &m_frame;
1017     while (frame && frame->document()->isSrcdocDocument()) {
1018         frame = frame->tree().parent();
1019         // Srcdoc documents cannot be top-level documents, by definition,
1020         // because they need to be contained in iframes with the srcdoc.
1021         ASSERT(frame);
1022     }
1023     if (!frame)
1024         return emptyString();
1025     return frame->loader().m_outgoingReferrer;
1026 }
1027
1028 String FrameLoader::outgoingOrigin() const
1029 {
1030     return m_frame.document()->securityOrigin().toString();
1031 }
1032
1033 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1034 {
1035     if (m_submittedFormURL.isEmpty())
1036         return true;
1037
1038     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1039     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1040 }
1041
1042 Frame* FrameLoader::opener()
1043 {
1044     return m_opener;
1045 }
1046
1047 void FrameLoader::setOpener(Frame* opener)
1048 {
1049     if (m_opener && !opener)
1050         m_client.didDisownOpener();
1051
1052     if (m_opener) {
1053         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1054         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1055         openerFrameLoader.m_openedFrames.remove(&m_frame);
1056     }
1057     if (opener) {
1058         opener->loader().m_openedFrames.add(&m_frame);
1059         if (auto* page = m_frame.page())
1060             page->setOpenedByDOMWithOpener();
1061     }
1062     m_opener = opener;
1063
1064     if (m_frame.document())
1065         m_frame.document()->initSecurityContext();
1066 }
1067
1068 // FIXME: This does not belong in FrameLoader!
1069 void FrameLoader::handleFallbackContent()
1070 {
1071     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1072     if (!is<HTMLObjectElement>(owner))
1073         return;
1074     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1075 }
1076
1077 void FrameLoader::provisionalLoadStarted()
1078 {
1079     if (m_stateMachine.firstLayoutDone())
1080         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1081     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1082     m_client.provisionalLoadStarted();
1083
1084     if (m_frame.isMainFrame()) {
1085         tracePoint(MainResourceLoadDidStartProvisional);
1086
1087         if (auto* page = m_frame.page())
1088             page->didStartProvisionalLoad();
1089     }
1090 }
1091
1092 void FrameLoader::resetMultipleFormSubmissionProtection()
1093 {
1094     m_submittedFormURL = URL();
1095 }
1096
1097 void FrameLoader::updateFirstPartyForCookies()
1098 {
1099     if (m_frame.tree().parent())
1100         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1101     else
1102         setFirstPartyForCookies(m_frame.document()->url());
1103 }
1104
1105 void FrameLoader::setFirstPartyForCookies(const URL& url)
1106 {
1107     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1108         frame->document()->setFirstPartyForCookies(url);
1109
1110     String registrableDomain = ResourceRequest::partitionName(url.host().toString());
1111     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1112         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomainsAreEqual(frame->document()->url(), registrableDomain))
1113             frame->document()->setSiteForCookies(url);
1114     }
1115 }
1116
1117 // This does the same kind of work that didOpenURL does, except it relies on the fact
1118 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1119 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1120 {
1121     RELEASE_LOG_IF_ALLOWED("loadInSameDocument: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1122
1123     // If we have a state object, we cannot also be a new navigation.
1124     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1125
1126     // Update the data source's request with the new URL to fake the URL change
1127     URL oldURL = m_frame.document()->url();
1128     m_frame.document()->setURL(url);
1129     setOutgoingReferrer(url);
1130     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1131     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1132         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1133         // based on the current request. Must also happen before we openURL and displace the 
1134         // scroll position, since adding the BF item will save away scroll state.
1135         
1136         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1137         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1138         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1139         // though its load is not yet done.  I think this all works out OK, for one because
1140         // we have already saved away the scroll and doc state for the long slow load,
1141         // but it's not an obvious case.
1142
1143         history().updateBackForwardListForFragmentScroll();
1144     }
1145     
1146     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1147     
1148     history().updateForSameDocumentNavigation();
1149
1150     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1151     if (hashChange)
1152         m_frame.eventHandler().stopAutoscrollTimer();
1153     
1154     // It's important to model this as a load that starts and immediately finishes.
1155     // Otherwise, the parent frame may think we never finished loading.
1156     started();
1157
1158     if (auto* ownerElement = m_frame.ownerElement()) {
1159         auto* ownerRenderer = ownerElement->renderer();
1160         auto* view = m_frame.view();
1161         if (is<RenderWidget>(ownerRenderer) && view)
1162             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1163     }
1164
1165     // We need to scroll to the fragment whether or not a hash change occurred, since
1166     // the user might have scrolled since the previous navigation.
1167     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1168     
1169     m_isComplete = false;
1170     checkCompleted();
1171
1172     if (isNewNavigation) {
1173         // This will clear previousItem from the rest of the frame tree that didn't
1174         // doing any loading. We need to make a pass on this now, since for fragment
1175         // navigation we'll not go through a real load and reach Completed state.
1176         checkLoadComplete();
1177     }
1178
1179     m_client.dispatchDidNavigateWithinPage();
1180
1181     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1182     m_client.dispatchDidPopStateWithinPage();
1183     
1184     if (hashChange) {
1185         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1186         m_client.dispatchDidChangeLocationWithinPage();
1187     }
1188     
1189     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1190     m_client.didFinishLoad();
1191 }
1192
1193 bool FrameLoader::isComplete() const
1194 {
1195     return m_isComplete;
1196 }
1197
1198 void FrameLoader::completed()
1199 {
1200     Ref<Frame> protect(m_frame);
1201
1202     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1203         descendant->navigationScheduler().startTimer();
1204
1205     if (Frame* parent = m_frame.tree().parent())
1206         parent->loader().checkCompleted();
1207
1208     if (m_frame.view())
1209         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1210 }
1211
1212 void FrameLoader::started()
1213 {
1214     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1215         frame->loader().m_isComplete = false;
1216 }
1217
1218 void FrameLoader::prepareForLoadStart(CompletionHandler<void()>&& completionHandler)
1219 {
1220     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1221
1222     m_progressTracker->progressStarted();
1223     m_client.dispatchDidStartProvisionalLoad([this, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
1224         if (AXObjectCache::accessibilityEnabled()) {
1225             if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1226                 AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1227                 cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1228             }
1229         }
1230         completionHandler();
1231     });
1232 }
1233
1234 void FrameLoader::setupForReplace()
1235 {
1236     m_client.revertToProvisionalState(m_documentLoader.get());
1237     setState(FrameStateProvisional);
1238     m_provisionalDocumentLoader = m_documentLoader;
1239     m_documentLoader = nullptr;
1240     detachChildren();
1241 }
1242
1243 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState)
1244 {
1245     RELEASE_LOG_IF_ALLOWED("loadFrameRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1246
1247     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1248     auto protectFrame = makeRef(m_frame);
1249
1250     URL url = request.resourceRequest().url();
1251
1252     ASSERT(m_frame.document());
1253     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1254         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1255         return;
1256     }
1257
1258     String argsReferrer = request.resourceRequest().httpReferrer();
1259     if (argsReferrer.isEmpty())
1260         argsReferrer = outgoingReferrer();
1261
1262     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1263     if (request.shouldSendReferrer() == NeverSendReferrer)
1264         referrer = String();
1265
1266     FrameLoadType loadType;
1267     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1268         loadType = FrameLoadType::Reload;
1269     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1270         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1271     else
1272         loadType = FrameLoadType::Standard;
1273
1274     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1275         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1276         // load if frame names have changed.
1277         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1278         if (!sourceFrame)
1279             sourceFrame = &m_frame;
1280         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1281         if (targetFrame && targetFrame != sourceFrame) {
1282             if (Page* page = targetFrame->page())
1283                 page->chrome().focus();
1284         }
1285     };
1286
1287     if (request.resourceRequest().httpMethod() == "POST")
1288         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1289     else
1290         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1291 }
1292
1293 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1294 {
1295     if (UserGestureIndicator::processingUserGesture())
1296         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1297
1298     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1299         return propagatedPolicy;
1300
1301     if (!currentFrame.isMainFrame())
1302         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1303
1304     return propagatedPolicy;
1305 }
1306
1307 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1308 {
1309     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1310 }
1311
1312 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1313 {
1314     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1315 }
1316
1317 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1318 {
1319     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1320 }
1321
1322 bool FrameLoader::isNavigationAllowed() const
1323 {
1324     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && NavigationDisabler::isNavigationAllowed(m_frame);
1325 }
1326
1327 bool FrameLoader::isStopLoadingAllowed() const
1328 {
1329     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1330 }
1331
1332 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
1333 {
1334     RELEASE_LOG_IF_ALLOWED("loadURL: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1335
1336     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1337     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1338         return;
1339
1340     Ref<Frame> protect(m_frame);
1341
1342     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1343     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1344     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1345     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1346     LockHistory lockHistory = frameLoadRequest.lockHistory();
1347     bool isFormSubmission = formState;
1348
1349     const URL& newURL = frameLoadRequest.resourceRequest().url();
1350     ResourceRequest request(newURL);
1351     if (!referrer.isEmpty()) {
1352         request.setHTTPReferrer(referrer);
1353         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1354         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1355     }
1356     if (&m_frame.tree().top() != &m_frame)
1357         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1358
1359     addExtraFieldsToRequest(request, newLoadType, true);
1360     if (isReload(newLoadType))
1361         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1362
1363     ASSERT(newLoadType != FrameLoadType::Same);
1364
1365     // The search for a target frame is done earlier in the case of form submission.
1366     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1367     if (targetFrame && targetFrame != &m_frame) {
1368         frameLoadRequest.setFrameName("_self");
1369         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), completionHandlerCaller.release());
1370         return;
1371     }
1372
1373     if (!isNavigationAllowed())
1374         return;
1375
1376     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1377     action.setLockHistory(lockHistory);
1378     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1379
1380     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1381         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1382         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1383             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1384             completionHandler();
1385         });
1386         return;
1387     }
1388
1389     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1390
1391     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1392     const String& httpMethod = request.httpMethod();
1393     
1394     // Make sure to do scroll to fragment processing even if the URL is
1395     // exactly the same so pages with '#' links and DHTML side effects
1396     // work properly.
1397     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1398         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1399         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1400         policyChecker().stopCheck();
1401         policyChecker().setLoadType(newLoadType);
1402         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, ShouldContinue shouldContinue) {
1403             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue == ShouldContinue::Yes);
1404         }, PolicyDecisionMode::Synchronous);
1405         return;
1406     }
1407
1408     // Must grab this now, since this load may stop the previous load and clear this flag.
1409     bool isRedirect = m_quickRedirectComing;
1410 #if USE(SYSTEM_PREVIEW)
1411     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1412     request.setSystemPreview(isSystemPreview);
1413     if (isSystemPreview)
1414         request.setSystemPreviewRect(frameLoadRequest.systemPreviewRect());
1415 #endif
1416     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1417         if (isRedirect) {
1418             m_quickRedirectComing = false;
1419             if (m_provisionalDocumentLoader)
1420                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1421             else if (m_policyDocumentLoader)
1422                 m_policyDocumentLoader->setIsClientRedirect(true);
1423         } else if (sameURL && !isReload(newLoadType)) {
1424             // Example of this case are sites that reload the same URL with a different cookie
1425             // driving the generated content, or a master frame with links that drive a target
1426             // frame, where the user has clicked on the same link repeatedly.
1427             m_loadType = FrameLoadType::Same;
1428         }
1429         completionHandler();
1430     });
1431 }
1432
1433 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1434 {
1435     if (!shouldTreatURLAsSrcdocDocument(url))
1436         return SubstituteData();
1437     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1438     ASSERT(!srcdoc.isNull());
1439     CString encodedSrcdoc = srcdoc.string().utf8();
1440
1441     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1442     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1443 }
1444
1445 void FrameLoader::load(FrameLoadRequest&& request)
1446 {
1447     RELEASE_LOG_IF_ALLOWED("load (FrameLoadRequest): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1448
1449     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1450         return;
1451
1452     if (!request.frameName().isEmpty()) {
1453         Frame* frame = findFrameForNavigation(request.frameName());
1454         if (frame) {
1455             request.setShouldCheckNewWindowPolicy(false);
1456             if (&frame->loader() != this) {
1457                 frame->loader().load(WTFMove(request));
1458                 return;
1459             }
1460         }
1461     }
1462
1463     if (request.shouldCheckNewWindowPolicy()) {
1464         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1465         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1466             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1467         });
1468
1469         return;
1470     }
1471
1472     if (!request.hasSubstituteData())
1473         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1474
1475     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1476     addSameSiteInfoToRequestIfNeeded(loader->request());
1477     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1478
1479     if (request.shouldTreatAsContinuingLoad()) {
1480         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1481         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1482             loader->setIsClientRedirect(true);
1483             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1484         }
1485     }
1486
1487     SetForScope<bool> currentLoadShouldBeTreatedAsContinuingLoadGuard(m_currentLoadShouldBeTreatedAsContinuingLoad, request.shouldTreatAsContinuingLoad());
1488     load(loader.get());
1489 }
1490
1491 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, CompletionHandler<void()>&& completionHandler)
1492 {
1493     RELEASE_LOG_IF_ALLOWED("loadWithNavigationAction: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1494
1495     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1496     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1497
1498     if (lockHistory == LockHistory::Yes && m_documentLoader)
1499         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1500
1501     loader->setTriggeringAction(WTFMove(action));
1502     if (m_documentLoader)
1503         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1504
1505     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1506 }
1507
1508 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1509 {
1510     RELEASE_LOG_IF_ALLOWED("load (DocumentLoader): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1511
1512     ResourceRequest& r = newDocumentLoader.request();
1513     addExtraFieldsToMainResourceRequest(r);
1514     FrameLoadType type;
1515
1516     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1517         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1518         type = FrameLoadType::Same;
1519     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1520         type = m_loadType;
1521     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || m_currentLoadShouldBeTreatedAsContinuingLoad))
1522         type = FrameLoadType::RedirectWithLockedBackForwardList;
1523     else
1524         type = FrameLoadType::Standard;
1525
1526     if (m_documentLoader)
1527         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1528     
1529     // When we loading alternate content for an unreachable URL that we're
1530     // visiting in the history list, we treat it as a reload so the history list 
1531     // is appropriately maintained.
1532     //
1533     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1534     // shouldn't a more explicit type of reload be defined, that means roughly 
1535     // "load without affecting history" ? 
1536     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1537         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1538         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1539         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1540         history().saveDocumentAndScrollState();
1541
1542         ASSERT(type == FrameLoadType::Standard);
1543         type = FrameLoadType::Reload;
1544     }
1545
1546     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1547 }
1548
1549 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1550 {
1551     RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1552
1553     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1554     Ref<Frame> protect(m_frame);
1555
1556     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1557
1558     ASSERT(m_client.hasWebView());
1559
1560     // Unfortunately the view must be non-nil, this is ultimately due
1561     // to parser requiring a FrameView.  We should fix this dependency.
1562
1563     ASSERT(m_frame.view());
1564
1565     if (!isNavigationAllowed())
1566         return;
1567
1568     if (m_frame.document())
1569         m_previousURL = m_frame.document()->url();
1570
1571     const URL& newURL = loader->request().url();
1572
1573     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1574     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1575     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1576         m_shouldReportResourceTimingToParentFrame = false;
1577
1578     // Log main frame navigation types.
1579     if (m_frame.isMainFrame()) {
1580         if (auto* page = m_frame.page()) {
1581             RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: main frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1582             page->mainFrameLoadStarted(newURL, type);
1583             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1584         }
1585     }
1586
1587     policyChecker().setLoadType(type);
1588     bool isFormSubmission = formState;
1589
1590     const String& httpMethod = loader->request().httpMethod();
1591
1592     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1593         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1594         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1595
1596         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1597         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1598         policyChecker().stopCheck();
1599         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, ShouldContinue shouldContinue) {
1600             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue == ShouldContinue::Yes);
1601         }, PolicyDecisionMode::Synchronous);
1602         return;
1603     }
1604
1605     if (Frame* parent = m_frame.tree().parent())
1606         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1607
1608     policyChecker().stopCheck();
1609     setPolicyDocumentLoader(loader);
1610     if (loader->triggeringAction().isEmpty())
1611         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1612
1613     if (Element* ownerElement = m_frame.ownerElement()) {
1614         // We skip dispatching the beforeload event if we've already
1615         // committed a real document load because the event would leak
1616         // subsequent activity by the frame which the parent frame isn't
1617         // supposed to learn. For example, if the child frame navigated to
1618         // a new URL, the parent frame shouldn't learn the URL.
1619         if (!m_stateMachine.committedFirstRealDocumentLoad()
1620             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1621             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), ShouldContinue::No, allowNavigationToInvalidURL);
1622             return;
1623         }
1624     }
1625
1626     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1627
1628     if (m_currentLoadShouldBeTreatedAsContinuingLoad) {
1629         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), ShouldContinue::Yes, allowNavigationToInvalidURL);
1630         return;
1631     }
1632
1633     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, ShouldContinue shouldContinue) mutable {
1634         continueLoadAfterNavigationPolicy(request, formState.get(), shouldContinue, allowNavigationToInvalidURL);
1635         completionHandler();
1636     }, PolicyDecisionMode::Asynchronous);
1637 }
1638
1639 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1640 {
1641     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1642         return;
1643
1644     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1645     m_provisionalDocumentLoader->stopLoading();
1646     setProvisionalDocumentLoader(nullptr);
1647 }
1648
1649 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1650 {
1651     ASSERT(!url.isEmpty());
1652     if (!frame)
1653         return;
1654
1655     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1656 }
1657
1658 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1659 {
1660     ASSERT(!url.isEmpty());
1661     if (!frame)
1662         return;
1663     
1664     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1665 }
1666
1667 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1668 {
1669     if (!frame)
1670         return;
1671
1672     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1673 }
1674
1675 const ResourceRequest& FrameLoader::initialRequest() const
1676 {
1677     return activeDocumentLoader()->originalRequest();
1678 }
1679
1680 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1681 {
1682 #if PLATFORM(IOS_FAMILY)
1683     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1684     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1685     if (IOSApplication::isMobileStore())
1686         return m_client.shouldLoadMediaElementURL(url);
1687 #endif
1688
1689     ResourceRequest request(url);
1690     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1691
1692     unsigned long identifier;
1693     ResourceError error;
1694     requestFromDelegate(request, identifier, error);
1695     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1696
1697     url = request.url();
1698
1699     return error.isNull();
1700 }
1701
1702 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1703 {
1704     URL unreachableURL = docLoader.unreachableURL();
1705
1706     if (unreachableURL.isEmpty())
1707         return false;
1708
1709     if (!isBackForwardLoadType(policyChecker().loadType()))
1710         return false;
1711
1712     // We only treat unreachableURLs specially during the delegate callbacks
1713     // for provisional load errors and navigation policy decisions. The former
1714     // case handles well-formed URLs that can't be loaded, and the latter
1715     // case handles malformed URLs and unknown schemes. Loading alternate content
1716     // at other times behaves like a standard load.
1717     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1718         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1719
1720     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1721 }
1722
1723 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1724 {
1725     if (!m_documentLoader)
1726         return;
1727
1728     RELEASE_LOG_IF_ALLOWED("reloadWithOverrideEncoding: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1729
1730     ResourceRequest request = m_documentLoader->request();
1731     URL unreachableURL = m_documentLoader->unreachableURL();
1732     if (!unreachableURL.isEmpty())
1733         request.setURL(unreachableURL);
1734
1735     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1736     // We should ask the user for confirmation in this case.
1737     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1738
1739     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1740     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1741
1742     setPolicyDocumentLoader(loader.ptr());
1743
1744     loader->setOverrideEncoding(encoding);
1745
1746     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1747 }
1748
1749 void FrameLoader::reload(OptionSet<ReloadOption> options)
1750 {
1751     if (!m_documentLoader)
1752         return;
1753
1754     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1755     // Reloading in this case will lose the current contents (see 4151001).
1756     if (m_documentLoader->request().url().isEmpty())
1757         return;
1758
1759     RELEASE_LOG_IF_ALLOWED("reload: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1760
1761     // Replace error-page URL with the URL we were trying to reach.
1762     ResourceRequest initialRequest = m_documentLoader->request();
1763     URL unreachableURL = m_documentLoader->unreachableURL();
1764     if (!unreachableURL.isEmpty())
1765         initialRequest.setURL(unreachableURL);
1766
1767     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1768     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1769     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1770     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1771
1772     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1773     
1774     ResourceRequest& request = loader->request();
1775
1776     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1777     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1778
1779     addSameSiteInfoToRequestIfNeeded(request);
1780
1781     // If we're about to re-post, set up action so the application can warn the user.
1782     if (request.httpMethod() == "POST")
1783         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1784
1785     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1786
1787     auto frameLoadTypeForReloadOptions = [] (auto options) {
1788         if (options & ReloadOption::FromOrigin)
1789             return FrameLoadType::ReloadFromOrigin;
1790         if (options & ReloadOption::ExpiredOnly)
1791             return FrameLoadType::ReloadExpiredOnly;
1792         return FrameLoadType::Reload;
1793     };
1794     
1795     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1796 }
1797
1798 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1799 {
1800     if (m_frame.document() && m_frame.document()->pageCacheState() == Document::InPageCache)
1801         return;
1802
1803     if (!isStopLoadingAllowed())
1804         return;
1805
1806     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1807     if (m_inStopAllLoaders)
1808         return;
1809
1810     // This method might dispatch events.
1811     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1812
1813     // Calling stopLoading() on the provisional document loader can blow away
1814     // the frame from underneath.
1815     Ref<Frame> protect(m_frame);
1816
1817     m_inStopAllLoaders = true;
1818
1819     policyChecker().stopCheck();
1820
1821     // If no new load is in progress, we should clear the provisional item from history
1822     // before we call stopLoading.
1823     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1824         history().setProvisionalItem(nullptr);
1825
1826     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1827         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1828     if (m_provisionalDocumentLoader)
1829         m_provisionalDocumentLoader->stopLoading();
1830     if (m_documentLoader)
1831         m_documentLoader->stopLoading();
1832
1833     setProvisionalDocumentLoader(nullptr);
1834
1835     m_inStopAllLoaders = false;    
1836 }
1837
1838 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1839 {
1840     stopAllLoaders();
1841
1842     if (!m_checkTimer.isActive())
1843         return;
1844
1845     m_checkTimer.stop();
1846     m_checkingLoadCompleteForDetachment = true;
1847     checkCompletenessNow();
1848     m_checkingLoadCompleteForDetachment = false;
1849 }
1850
1851 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1852 {
1853     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1854     Ref<Frame> protectedFrame(m_frame);
1855
1856     stopAllLoaders();
1857
1858 #if PLATFORM(IOS_FAMILY)
1859     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1860     // but haven't laid out/painted yet.
1861     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1862     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1863         m_frame.view()->layoutContext().layout();
1864 #endif
1865
1866     if (deferCheckLoadComplete)
1867         scheduleCheckLoadComplete();
1868     else if (m_frame.page())
1869         checkLoadComplete();
1870 }
1871
1872 DocumentLoader* FrameLoader::activeDocumentLoader() const
1873 {
1874     if (m_state == FrameStateProvisional)
1875         return m_provisionalDocumentLoader.get();
1876     return m_documentLoader.get();
1877 }
1878
1879 bool FrameLoader::isLoading() const
1880 {
1881     DocumentLoader* docLoader = activeDocumentLoader();
1882     if (!docLoader)
1883         return false;
1884     return docLoader->isLoading();
1885 }
1886
1887 bool FrameLoader::frameHasLoaded() const
1888 {
1889     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1890 }
1891
1892 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1893 {
1894     if (!loader && !m_documentLoader)
1895         return;
1896
1897     if (loader == m_documentLoader)
1898         return;
1899     
1900     ASSERT(loader != m_documentLoader);
1901     ASSERT(!loader || loader->frameLoader() == this);
1902
1903     m_client.prepareForDataSourceReplacement();
1904     detachChildren();
1905
1906     // detachChildren() can trigger this frame's unload event, and therefore
1907     // script can run and do just about anything. For example, an unload event that calls
1908     // document.write("") on its parent frame can lead to a recursive detachChildren()
1909     // invocation for this frame. In that case, we can end up at this point with a
1910     // loader that hasn't been deleted but has been detached from its frame. Such a
1911     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1912     // state if we try to use it.
1913     if (loader && !loader->frame())
1914         return;
1915
1916     if (m_documentLoader)
1917         m_documentLoader->detachFromFrame();
1918
1919     m_documentLoader = loader;
1920 }
1921
1922 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1923 {
1924     if (m_policyDocumentLoader == loader)
1925         return;
1926
1927     if (loader)
1928         loader->attachToFrame(m_frame);
1929     if (m_policyDocumentLoader
1930             && m_policyDocumentLoader != m_provisionalDocumentLoader
1931             && m_policyDocumentLoader != m_documentLoader)
1932         m_policyDocumentLoader->detachFromFrame();
1933
1934     m_policyDocumentLoader = loader;
1935 }
1936
1937 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1938 {
1939     ASSERT(!loader || !m_provisionalDocumentLoader);
1940     ASSERT(!loader || loader->frameLoader() == this);
1941
1942     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1943         m_provisionalDocumentLoader->detachFromFrame();
1944
1945     m_provisionalDocumentLoader = loader;
1946 }
1947
1948 void FrameLoader::setState(FrameState newState)
1949 {
1950     FrameState oldState = m_state;
1951     m_state = newState;
1952     
1953     if (newState == FrameStateProvisional)
1954         provisionalLoadStarted();
1955     else if (newState == FrameStateComplete) {
1956         frameLoadCompleted();
1957         if (m_documentLoader)
1958             m_documentLoader->stopRecordingResponses();
1959         if (m_frame.isMainFrame() && oldState != newState) {
1960             RELEASE_LOG_IF_ALLOWED("setState: main frame load completed (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1961             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1962         }
1963     }
1964 }
1965
1966 void FrameLoader::clearProvisionalLoad()
1967 {
1968     setProvisionalDocumentLoader(nullptr);
1969     m_progressTracker->progressCompleted();
1970     setState(FrameStateComplete);
1971 }
1972
1973 void FrameLoader::commitProvisionalLoad()
1974 {
1975     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1976     Ref<Frame> protect(m_frame);
1977
1978     std::unique_ptr<CachedPage> cachedPage;
1979     if (m_loadingFromCachedPage && history().provisionalItem())
1980         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1981
1982     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
1983         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1984         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
1985
1986     willTransitionToCommitted();
1987
1988     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
1989         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
1990         // We are doing this here because we know for sure that a new page is about to be loaded.
1991         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
1992         
1993         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
1994     }
1995
1996     if (m_loadType != FrameLoadType::Replace)
1997         closeOldDataSources();
1998
1999     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2000         m_client.makeRepresentation(pdl.get());
2001
2002     transitionToCommitted(cachedPage.get());
2003
2004     if (pdl && m_documentLoader) {
2005         // Check if the destination page is allowed to access the previous page's timing information.
2006         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2007         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2008     }
2009
2010     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2011     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2012     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2013     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2014     if (m_sentRedirectNotification)
2015         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2016     
2017     if (cachedPage && cachedPage->document()) {
2018 #if PLATFORM(IOS_FAMILY)
2019         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2020         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2021         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2022 #endif
2023         willRestoreFromCachedPage();
2024
2025         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2026         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2027         ResourceError mainResouceError;
2028         unsigned long mainResourceIdentifier;
2029         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2030         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2031         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2032
2033         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2034
2035         dispatchDidCommitLoad(hasInsecureContent);
2036
2037         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2038         cachedPage->restore(*m_frame.page());
2039
2040 #if PLATFORM(IOS_FAMILY)
2041         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2042         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2043 #endif
2044         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2045
2046         auto& title = m_documentLoader->title();
2047         if (!title.string.isNull())
2048             m_client.dispatchDidReceiveTitle(title);
2049
2050         // Send remaining notifications for the main resource.
2051         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2052             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2053
2054         checkCompleted();
2055     } else
2056         didOpenURL();
2057
2058     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2059         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2060
2061     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2062         history().updateForClientRedirect();
2063
2064     if (m_loadingFromCachedPage) {
2065         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2066         if (auto* page = m_frame.page())
2067             page->chrome().didReceiveDocType(m_frame);
2068         m_frame.document()->resume(ReasonForSuspension::PageCache);
2069
2070         // Force a layout to update view size and thereby update scrollbars.
2071 #if PLATFORM(IOS_FAMILY)
2072         if (!m_client.forceLayoutOnRestoreFromPageCache())
2073             m_frame.view()->forceLayout();
2074 #else
2075         m_frame.view()->forceLayout();
2076 #endif
2077
2078         // Main resource delegates were already sent, so we skip the first response here.
2079         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2080             const auto& response = m_documentLoader->responses()[i];
2081             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2082             ResourceError error;
2083             unsigned long identifier;
2084             ResourceRequest request(response.url());
2085             requestFromDelegate(request, identifier, error);
2086             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2087             // However, with today's computers and networking speeds, this won't happen in practice.
2088             // Could be an issue with a giant local file.
2089             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2090         }
2091
2092         // FIXME: Why only this frame and not parent frames?
2093         checkLoadCompleteForThisFrame();
2094     }
2095 }
2096
2097 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2098 {
2099     ASSERT(m_client.hasWebView());
2100     ASSERT(m_state == FrameStateProvisional);
2101
2102     if (m_state != FrameStateProvisional)
2103         return;
2104
2105     if (FrameView* view = m_frame.view()) {
2106         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2107             scrollAnimator->cancelAnimations();
2108     }
2109
2110     m_client.setCopiesOnScroll();
2111     history().updateForCommit();
2112
2113     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2114     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2115     // or the two will stomp each other.
2116     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2117     if (m_documentLoader)
2118         closeURL();
2119     if (pdl != m_provisionalDocumentLoader)
2120         return;
2121
2122     if (m_documentLoader)
2123         m_documentLoader->stopLoadingSubresources();
2124     if (m_documentLoader)
2125         m_documentLoader->stopLoadingPlugIns();
2126
2127     // Setting our document loader invokes the unload event handler of our child frames.
2128     // Script can do anything. If the script initiates a new load, we need to abandon the
2129     // current load or the two will stomp each other.
2130     setDocumentLoader(m_provisionalDocumentLoader.get());
2131     if (pdl != m_provisionalDocumentLoader)
2132         return;
2133     setProvisionalDocumentLoader(nullptr);
2134
2135     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2136     setState(FrameStateCommittedPage);
2137
2138     // Handle adding the URL to the back/forward list.
2139     DocumentLoader* dl = m_documentLoader.get();
2140
2141     switch (m_loadType) {
2142     case FrameLoadType::Forward:
2143     case FrameLoadType::Back:
2144     case FrameLoadType::IndexedBackForward:
2145         if (m_frame.page()) {
2146             // If the first load within a frame is a navigation within a back/forward list that was attached
2147             // without any of the items being loaded then we need to update the history in a similar manner as
2148             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2149             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2150                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2151
2152             history().updateForBackForwardNavigation();
2153
2154             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2155             if (history().currentItem() && !cachedPage)
2156                 m_pendingStateObject = history().currentItem()->stateObject();
2157
2158             // Create a document view for this document, or used the cached view.
2159             if (cachedPage) {
2160                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2161                 ASSERT(cachedDocumentLoader);
2162                 cachedDocumentLoader->attachToFrame(m_frame);
2163                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2164             } else
2165                 m_client.transitionToCommittedForNewPage();
2166         }
2167         break;
2168
2169     case FrameLoadType::Reload:
2170     case FrameLoadType::ReloadFromOrigin:
2171     case FrameLoadType::ReloadExpiredOnly:
2172     case FrameLoadType::Same:
2173     case FrameLoadType::Replace:
2174         history().updateForReload();
2175         m_client.transitionToCommittedForNewPage();
2176         break;
2177
2178     case FrameLoadType::Standard:
2179         history().updateForStandardLoad();
2180         if (m_frame.view())
2181             m_frame.view()->setScrollbarsSuppressed(true);
2182         m_client.transitionToCommittedForNewPage();
2183         break;
2184
2185     case FrameLoadType::RedirectWithLockedBackForwardList:
2186         history().updateForRedirectWithLockedBackForwardList();
2187         m_client.transitionToCommittedForNewPage();
2188         break;
2189     }
2190
2191     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2192
2193     // Tell the client we've committed this URL.
2194     ASSERT(m_frame.view());
2195
2196     if (m_stateMachine.creatingInitialEmptyDocument())
2197         return;
2198
2199     if (!m_stateMachine.committedFirstRealDocumentLoad())
2200         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2201 }
2202
2203 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2204 {
2205     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2206     // the redirect succeeded.  We should either rename this API, or add a new method, like
2207     // -webView:didFinishClientRedirectForFrame:
2208     m_client.dispatchDidCancelClientRedirect();
2209
2210     if (newLoadInProgress == NewLoadInProgress::No)
2211         m_quickRedirectComing = false;
2212
2213     m_sentRedirectNotification = false;
2214 }
2215
2216 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2217 {
2218     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2219     
2220     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2221     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2222     m_sentRedirectNotification = true;
2223     
2224     // If a "quick" redirect comes in, we set a special mode so we treat the next
2225     // load as part of the original navigation. If we don't have a document loader, we have
2226     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2227     // Loads triggered by JavaScript form submissions never count as quick redirects.
2228     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2229 }
2230
2231 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2232 {
2233     // This function implements the rule: "Don't reload if navigating by fragment within
2234     // the same URL, but do reload if going to a new URL or to the same URL with no
2235     // fragment identifier at all."
2236     if (!destinationURL.hasFragmentIdentifier())
2237         return true;
2238     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2239 }
2240
2241 void FrameLoader::closeOldDataSources()
2242 {
2243     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2244     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2245     // use a recursive algorithm here.
2246     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2247         child->loader().closeOldDataSources();
2248     
2249     if (m_documentLoader)
2250         m_client.dispatchWillClose();
2251
2252     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2253 }
2254
2255 void FrameLoader::willRestoreFromCachedPage()
2256 {
2257     ASSERT(!m_frame.tree().parent());
2258     ASSERT(m_frame.page());
2259     ASSERT(m_frame.isMainFrame());
2260
2261     m_frame.navigationScheduler().cancel();
2262
2263     // We still have to close the previous part page.
2264     closeURL();
2265     
2266     // Delete old status bar messages (if it _was_ activated on last URL).
2267     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2268         DOMWindow* window = m_frame.document()->domWindow();
2269         window->setStatus(String());
2270         window->setDefaultStatus(String());
2271     }
2272 }
2273
2274 void FrameLoader::open(CachedFrameBase& cachedFrame)
2275 {
2276     m_isComplete = false;
2277     
2278     // Don't re-emit the load event.
2279     m_didCallImplicitClose = true;
2280
2281     URL url = cachedFrame.url();
2282
2283     // FIXME: I suspect this block of code doesn't do anything.
2284     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2285         url.setPath("/");
2286
2287     started();
2288     Document* document = cachedFrame.document();
2289     ASSERT(document);
2290     ASSERT(document->domWindow());
2291
2292     clear(document, true, true, cachedFrame.isMainFrame());
2293
2294     document->setPageCacheState(Document::NotInPageCache);
2295
2296     m_needsClear = true;
2297     m_isComplete = false;
2298     m_didCallImplicitClose = false;
2299     m_outgoingReferrer = url.string();
2300
2301     FrameView* view = cachedFrame.view();
2302     
2303     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2304     ASSERT(view);
2305     view->setWasScrolledByUser(false);
2306
2307     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2308     m_frame.setView(view);
2309
2310     // Use the previous ScrollView's frame rect.
2311     if (previousViewFrameRect)
2312         view->setFrameRect(previousViewFrameRect.value());
2313
2314     {
2315         // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2316         // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2317         // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2318         NavigationDisabler disableNavigation { &m_frame };
2319         m_frame.setDocument(document);
2320     }
2321
2322     document->domWindow()->resumeFromPageCache();
2323
2324     updateFirstPartyForCookies();
2325
2326     cachedFrame.restore();
2327 }
2328
2329 bool FrameLoader::isHostedByObjectElement() const
2330 {
2331     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2332     return owner && owner->hasTagName(objectTag);
2333 }
2334
2335 bool FrameLoader::isReplacing() const
2336 {
2337     return m_loadType == FrameLoadType::Replace;
2338 }
2339
2340 void FrameLoader::setReplacing()
2341 {
2342     m_loadType = FrameLoadType::Replace;
2343 }
2344
2345 bool FrameLoader::subframeIsLoading() const
2346 {
2347     // It's most likely that the last added frame is the last to load so we walk backwards.
2348     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2349         FrameLoader& childLoader = child->loader();
2350         DocumentLoader* documentLoader = childLoader.documentLoader();
2351         if (documentLoader && documentLoader->isLoadingInAPISense())
2352             return true;
2353         documentLoader = childLoader.provisionalDocumentLoader();
2354         if (documentLoader && documentLoader->isLoadingInAPISense())
2355             return true;
2356         documentLoader = childLoader.policyDocumentLoader();
2357         if (documentLoader)
2358             return true;
2359     }
2360     return false;
2361 }
2362
2363 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2364 {
2365     m_client.willChangeTitle(loader);
2366 }
2367
2368 FrameLoadType FrameLoader::loadType() const
2369 {
2370     return m_loadType;
2371 }
2372     
2373 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2374 {
2375     if (Page* page = m_frame.page()) {
2376         if (page->isResourceCachingDisabled())
2377             return CachePolicyReload;
2378     }
2379
2380     if (m_isComplete)
2381         return CachePolicyVerify;
2382
2383     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2384         return CachePolicyReload;
2385
2386     if (Frame* parentFrame = m_frame.tree().parent()) {
2387         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2388         if (parentCachePolicy != CachePolicyVerify)
2389             return parentCachePolicy;
2390     }
2391     
2392     switch (m_loadType) {
2393     case FrameLoadType::Reload:
2394         return CachePolicyRevalidate;
2395     case FrameLoadType::Back:
2396     case FrameLoadType::Forward:
2397     case FrameLoadType::IndexedBackForward:
2398         return CachePolicyHistoryBuffer;
2399     case FrameLoadType::ReloadFromOrigin:
2400         ASSERT_NOT_REACHED(); // Already handled above.
2401         return CachePolicyReload;
2402     case FrameLoadType::RedirectWithLockedBackForwardList:
2403     case FrameLoadType::Replace:
2404     case FrameLoadType::Same:
2405     case FrameLoadType::Standard:
2406         return CachePolicyVerify;
2407     case FrameLoadType::ReloadExpiredOnly:
2408         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2409         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2410             return CachePolicyReload;
2411         return CachePolicyVerify;
2412     }
2413
2414     RELEASE_ASSERT_NOT_REACHED();
2415     return CachePolicyVerify;
2416 }
2417
2418 void FrameLoader::checkLoadCompleteForThisFrame()
2419 {
2420     ASSERT(m_client.hasWebView());
2421
2422     // FIXME: Should this check be done in checkLoadComplete instead of here?
2423     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2424     if (m_frame.document()->isDelayingLoadEvent())
2425         return;
2426
2427     switch (m_state) {
2428         case FrameStateProvisional: {
2429             // FIXME: Prohibiting any provisional load failures from being sent to clients
2430             // while handling provisional load failures is too heavy. For example, the current
2431             // load will fail to cancel another ongoing load. That might prevent clients' page
2432             // load state being handled properly.
2433             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2434                 return;
2435
2436             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2437             if (!pdl)
2438                 return;
2439                 
2440             // If we've received any errors we may be stuck in the provisional state and actually complete.
2441             const ResourceError& error = pdl->mainDocumentError();
2442             if (error.isNull())
2443                 return;
2444
2445             // Check all children first.
2446             RefPtr<HistoryItem> item;
2447             if (Page* page = m_frame.page())
2448                 if (isBackForwardLoadType(loadType()))
2449                     // Reset the back forward list to the last committed history item at the top level.
2450                     item = page->mainFrame().loader().history().currentItem();
2451                 
2452             // Only reset if we aren't already going to a new provisional item.
2453             bool shouldReset = !history().provisionalItem();
2454             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2455                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Failed provisional load (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2456                 m_provisionalLoadErrorBeingHandledURL = m_provisionalDocumentLoader->url();
2457                 m_client.dispatchDidFailProvisionalLoad(error);
2458 #if ENABLE(CONTENT_FILTERING)
2459                 if (auto contentFilter = pdl->contentFilter())
2460                     contentFilter->handleProvisionalLoadFailure(error);
2461 #endif
2462                 m_provisionalLoadErrorBeingHandledURL = { };
2463
2464                 ASSERT(!pdl->isLoading());
2465
2466                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2467                 if (isReplacing() && !m_documentLoader.get())
2468                     setDocumentLoader(m_provisionalDocumentLoader.get());
2469
2470                 // Finish resetting the load state, but only if another load hasn't been started by the
2471                 // delegate callback.
2472                 if (pdl == m_provisionalDocumentLoader)
2473                     clearProvisionalLoad();
2474                 else if (activeDocumentLoader()) {
2475                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2476                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2477                         shouldReset = false;
2478                 }
2479             }
2480             if (shouldReset && item)
2481                 if (Page* page = m_frame.page()) {
2482                     page->backForward().setCurrentItem(*item);
2483                 }
2484             return;
2485         }
2486         
2487         case FrameStateCommittedPage: {
2488             if (!m_documentLoader)
2489                 return;
2490             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2491                 return;
2492
2493             setState(FrameStateComplete);
2494
2495             // FIXME: Is this subsequent work important if we already navigated away?
2496             // Maybe there are bugs because of that, or extra work we can skip because
2497             // the new page is ready.
2498
2499             m_client.forceLayoutForNonHTML();
2500              
2501             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2502             if (m_frame.page()) {
2503                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2504                     history().restoreScrollPositionAndViewState();
2505             }
2506
2507             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2508                 return;
2509
2510             m_progressTracker->progressCompleted();
2511             Page* page = m_frame.page();
2512             if (page) {
2513                 if (m_frame.isMainFrame()) {
2514                     tracePoint(MainResourceLoadDidEnd);
2515                     page->didFinishLoad();
2516                 }
2517             }
2518
2519             const ResourceError& error = m_documentLoader->mainDocumentError();
2520
2521             AXObjectCache::AXLoadingEvent loadingEvent;
2522             if (!error.isNull()) {
2523                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2524                 m_client.dispatchDidFailLoad(error);
2525                 loadingEvent = AXObjectCache::AXLoadingFailed;
2526             } else {
2527                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2528 #if ENABLE(DATA_DETECTION)
2529                 auto* document = m_frame.document();
2530                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2531                     if (auto* documentElement = document->documentElement()) {
2532                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2533                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2534                         if (m_frame.isMainFrame())
2535                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2536                     }
2537                 }
2538 #endif
2539                 m_client.dispatchDidFinishLoad();
2540                 loadingEvent = AXObjectCache::AXLoadingFinished;
2541             }
2542
2543             // Notify accessibility.
2544             if (auto* document = m_frame.document()) {
2545                 if (AXObjectCache* cache = document->existingAXObjectCache())
2546                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2547             }
2548
2549             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2550             // from its Page and also might have caused Page to be deleted.
2551             // Don't assume 'page' is still available to use.
2552             if (m_frame.isMainFrame() && m_frame.page()) {
2553                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2554                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2555             }
2556
2557             return;
2558         }
2559         
2560         case FrameStateComplete:
2561             m_loadType = FrameLoadType::Standard;
2562             frameLoadCompleted();
2563             return;
2564     }
2565
2566     ASSERT_NOT_REACHED();
2567 }
2568
2569 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2570 {
2571     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2572     // The originalURL is defined as the URL of the page where the download was initiated.
2573     URL originalURL;
2574     auto* initiator = m_frame.document();
2575     if (initiator) {
2576         originalURL = initiator->firstPartyForCookies();
2577         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2578         // In this case, we need to set the originalURL to this document's opener's main document URL.
2579         if (originalURL.isEmpty() && opener() && opener()->document()) {
2580             originalURL = opener()->document()->firstPartyForCookies();
2581             initiator = opener()->document();
2582         }
2583     }
2584     // If the originalURL is the same as the requested URL, we are processing a download
2585     // initiated directly without a page and do not need to specify the originalURL.
2586     if (originalURL == request.url())
2587         request.setFirstPartyForCookies(URL());
2588     else
2589         request.setFirstPartyForCookies(originalURL);
2590     addSameSiteInfoToRequestIfNeeded(request, initiator);
2591 }
2592
2593 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2594 {
2595     ASSERT(m_frame.isMainFrame());
2596
2597     m_client.dispatchDidReachLayoutMilestone(milestones);
2598 }
2599
2600 void FrameLoader::didFirstLayout()
2601 {
2602 #if PLATFORM(IOS_FAMILY)
2603     // Only send layout-related delegate callbacks synchronously for the main frame to
2604     // avoid reentering layout for the main frame while delivering a layout-related delegate
2605     // callback for a subframe.
2606     if (&m_frame != &m_frame.page()->mainFrame())
2607         return;
2608 #endif
2609     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2610         history().restoreScrollPositionAndViewState();
2611
2612     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2613         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2614 }
2615
2616 void FrameLoader::frameLoadCompleted()
2617 {
2618     // Note: Can be called multiple times.
2619
2620     m_client.frameLoadCompleted();
2621
2622     history().updateForFrameLoadCompleted();
2623
2624     // After a canceled provisional load, firstLayoutDone is false.
2625     // Reset it to true if we're displaying a page.
2626     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2627         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2628 }
2629
2630 void FrameLoader::detachChildren()
2631 {
2632     // detachChildren() will fire the unload event in each subframe and the
2633     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2634     // this event is being fired in its subframes:
2635     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2636     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2637
2638     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2639     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2640     // allow loading of subframes at this point.
2641     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2642
2643     Vector<Ref<Frame>, 16> childrenToDetach;
2644     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2645     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2646         childrenToDetach.uncheckedAppend(*child);
2647     for (auto& child : childrenToDetach)
2648         child->loader().detachFromParent();
2649 }
2650
2651 void FrameLoader::closeAndRemoveChild(Frame& child)
2652 {
2653     child.tree().detachFromParent();
2654
2655     child.setView(nullptr);
2656     if (child.ownerElement() && child.page())
2657         child.page()->decrementSubframeCount();
2658     child.willDetachPage();
2659     child.detachFromPage();
2660
2661     m_frame.tree().removeChild(child);
2662 }
2663
2664 // Called every time a resource is completely loaded or an error is received.
2665 void FrameLoader::checkLoadComplete()
2666 {
2667     m_shouldCallCheckLoadComplete = false;
2668
2669     if (!m_frame.page())
2670         return;
2671
2672     ASSERT(m_client.hasWebView());
2673     
2674     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2675     // is currently needed in order to null out the previous history item for all frames.
2676     Vector<Ref<Frame>, 16> frames;
2677     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2678         frames.append(*frame);
2679
2680     // To process children before their parents, iterate the vector backwards.
2681     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2682         if ((*frame)->page())
2683             (*frame)->loader().checkLoadCompleteForThisFrame();
2684     }
2685 }
2686
2687 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2688 {
2689     if (!recurse)
2690         return m_frame.document()->cachedResourceLoader().requestCount();
2691
2692     int count = 0;
2693     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2694         count += frame->document()->cachedResourceLoader().requestCount();
2695     return count;
2696 }
2697
2698 String FrameLoader::userAgent(const URL& url) const
2699 {
2700     String userAgent;
2701
2702     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader())
2703         userAgent = documentLoader->customUserAgent();
2704
2705     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2706
2707     if (!userAgent.isEmpty())
2708         return userAgent;
2709
2710     return m_client.userAgent(url);
2711 }
2712
2713 String FrameLoader::userAgentForJavaScript(const URL& url) const
2714 {
2715     String userAgent;
2716
2717     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2718         userAgent = documentLoader->customJavaScriptUserAgent();
2719         if (userAgent.isEmpty())
2720             userAgent = documentLoader->customUserAgent();
2721     }
2722
2723     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2724
2725     if (!userAgent.isEmpty())
2726         return userAgent;
2727
2728     return m_client.userAgent(url);
2729 }
2730     
2731 String FrameLoader::navigatorPlatform() const
2732 {
2733     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2734         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2735         if (!customNavigatorPlatform.isEmpty())
2736             return customNavigatorPlatform;
2737     }
2738     return String();
2739 }
2740
2741 void FrameLoader::dispatchOnloadEvents()
2742 {
2743     m_client.dispatchDidDispatchOnloadEvents();
2744
2745     if (documentLoader())
2746         documentLoader()->dispatchOnloadEvents();
2747 }
2748
2749 void FrameLoader::frameDetached()
2750 {
2751     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2752     Ref<Frame> protectedFrame(m_frame);
2753
2754     if (m_checkTimer.isActive()) {
2755         m_checkTimer.stop();
2756         checkCompletenessNow();
2757     }
2758
2759     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2760         stopAllLoadersAndCheckCompleteness();
2761         m_frame.document()->stopActiveDOMObjects();
2762     }
2763
2764     detachFromParent();
2765 }
2766
2767 void FrameLoader::detachFromParent()
2768 {
2769     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2770     Ref<Frame> protect(m_frame);
2771
2772     closeURL();
2773     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2774     detachChildren();
2775     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2776         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2777         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2778         // handlers might start a new subresource load in this frame.
2779         stopAllLoaders();
2780     }
2781
2782     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2783
2784     detachViewsAndDocumentLoader();
2785
2786     m_progressTracker = nullptr;
2787
2788     if (Frame* parent = m_frame.tree().parent()) {
2789         parent->loader().closeAndRemoveChild(m_frame);
2790         parent->loader().scheduleCheckCompleted();
2791         parent->loader().scheduleCheckLoadComplete();
2792     } else {
2793         m_frame.setView(nullptr);
2794         m_frame.willDetachPage();
2795         m_frame.detachFromPage();
2796     }
2797 }
2798
2799 void FrameLoader::detachViewsAndDocumentLoader()
2800 {
2801     m_client.detachedFromParent2();
2802     setDocumentLoader(nullptr);
2803     m_client.detachedFromParent3();
2804 }
2805     
2806 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2807 {
2808     addExtraFieldsToRequest(request, m_loadType, false);
2809 }
2810
2811 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2812 {
2813     // FIXME: Using m_loadType seems wrong for some callers.
2814     // If we are only preparing to load the main resource, that is previous load's load type!
2815     addExtraFieldsToRequest(request, m_loadType, true);
2816
2817     // Upgrade-Insecure-Requests should only be added to main resource requests
2818     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2819 }
2820
2821 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2822 {
2823     if (m_overrideCachePolicyForTesting)
2824         return m_overrideCachePolicyForTesting.value();
2825
2826     if (isMainResource) {
2827         if (isReload(loadType) || request.isConditional())
2828             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2829
2830         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2831     }
2832
2833     if (request.isConditional())
2834         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2835
2836     if (documentLoader()->isLoadingInAPISense()) {
2837         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2838         // original request cache policy for two reasons:
2839         // 1. For POST requests, we mutate the cache policy for the main resource,
2840         //    but we do not want this to apply to subresources
2841         // 2. Delegates that modify the cache policy using willSendRequest: should
2842         //    not affect any other resources. Such changes need to be done
2843         //    per request.
2844         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2845         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2846         // This policy is set on initial request too, but should not be inherited.
2847         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2848     }
2849
2850     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2851 }
2852
2853 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2854 {
2855     if (m_currentLoadShouldBeTreatedAsContinuingLoad)
2856         return;
2857
2858     // Don't set the cookie policy URL if it's already been set.
2859     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2860     if (request.firstPartyForCookies().isEmpty()) {
2861         if (isMainResource && m_frame.isMainFrame())
2862             request.setFirstPartyForCookies(request.url());
2863         else if (Document* document = m_frame.document())
2864             request.setFirstPartyForCookies(document->firstPartyForCookies());
2865     }
2866
2867     if (request.isSameSiteUnspecified()) {
2868         auto* initiator = m_frame.document();
2869         if (isMainResource) {
2870             auto* ownerFrame = m_frame.tree().parent();
2871             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2872                 ownerFrame = m_opener;
2873             if (ownerFrame)
2874                 initiator = ownerFrame->document();
2875             ASSERT(ownerFrame || m_frame.isMainFrame());
2876         }
2877         addSameSiteInfoToRequestIfNeeded(request, initiator);
2878         request.setIsTopSite(isMainResource && m_frame.isMainFrame());
2879     }
2880
2881     Page* page = frame().page();
2882     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2883
2884     if (page && page->isResourceCachingDisabled()) {
2885         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2886         loadType = FrameLoadType::ReloadFromOrigin;
2887     } else if (!hasSpecificCachePolicy)
2888         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2889
2890     // The remaining modifications are only necessary for HTTP and HTTPS.
2891     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2892         return;
2893
2894     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2895         if (loadType == FrameLoadType::Reload)
2896             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2897         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2898             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2899             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2900         }
2901     }
2902
2903     if (m_overrideResourceLoadPriorityForTesting)
2904         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2905
2906     applyUserAgentIfNeeded(request);
2907
2908     if (isMainResource)
2909         request.setHTTPAccept(defaultAcceptHeader);
2910
2911     // Make sure we send the Origin header.
2912     addHTTPOriginIfNeeded(request, String());
2913
2914     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2915     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2916         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2917         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2918     }
2919 }
2920
2921 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2922 {
2923     if (!request.httpOrigin().isEmpty())
2924         return;  // Request already has an Origin header.
2925
2926     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2927     // For example, if an intranet page has a hyperlink to an external web
2928     // site, we don't want to include the Origin of the request because it
2929     // will leak the internal host name. Similar privacy concerns have lead
2930     // to the widespread suppression of the Referer header at the network
2931     // layer.
2932     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2933         return;
2934
2935     // For non-GET and non-HEAD methods, always send an Origin header so the
2936     // server knows we support this feature.
2937
2938     if (origin.isEmpty()) {
2939         // If we don't know what origin header to attach, we attach the value
2940         // for an empty origin.
2941         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2942         return;
2943     }
2944
2945     request.setHTTPOrigin(origin);
2946 }
2947
2948 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
2949 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
2950 // as same-site. This matches the behavior of Chrome and Firefox.
2951 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
2952 {
2953     if (!request.isSameSiteUnspecified())
2954         return;
2955     if (!initiator) {
2956         request.setIsSameSite(true);
2957         return;
2958     }
2959     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
2960         request.setIsSameSite(true);
2961         return;
2962     }
2963     request.setIsSameSite(registrableDomainsAreEqual(initiator->siteForCookies(), request.url()));
2964 }
2965
2966 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
2967 {
2968     if (request.url().protocolIs("https")) {
2969         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
2970         return;
2971     }
2972
2973     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
2974 }
2975
2976 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
2977 {
2978     RELEASE_LOG_IF_ALLOWED("loadPostRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2979
2980     String frameName = request.frameName();
2981     LockHistory lockHistory = request.lockHistory();
2982     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
2983     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
2984
2985     const ResourceRequest& inRequest = request.resourceRequest();
2986     const URL& url = inRequest.url();
2987     const String& contentType = inRequest.httpContentType();
2988     String origin = inRequest.httpOrigin();
2989
2990     ResourceRequest workingResourceRequest(url);    
2991
2992     if (!referrer.isEmpty())
2993         workingResourceRequest.setHTTPReferrer(referrer);
2994     workingResourceRequest.setHTTPOrigin(origin);
2995     workingResourceRequest.setHTTPMethod("POST");
2996     workingResourceRequest.setHTTPBody(inRequest.httpBody());
2997     workingResourceRequest.setHTTPContentType(contentType);
2998     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
2999
3000     if (Document* document = m_frame.document())
3001         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3002
3003     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3004
3005     if (!frameName.isEmpty()) {
3006         // The search for a target frame is done earlier in the case of form submission.
3007         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3008             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, WTFMove(completionHandler));
3009             return;
3010         }
3011
3012         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
3013             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3014             completionHandler();
3015         });
3016         return;
3017     }
3018
3019     // must grab this now, since this load may stop the previous load and clear this flag
3020     bool isRedirect = m_quickRedirectComing;
3021     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3022         if (isRedirect) {
3023             m_quickRedirectComing = false;
3024             if (m_provisionalDocumentLoader)
3025                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3026             else if (m_policyDocumentLoader)
3027                 m_policyDocumentLoader->setIsClientRedirect(true);
3028         }
3029         completionHandler();
3030     });
3031 }
3032
3033 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3034 {
3035     ASSERT(m_frame.document());
3036     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3037     
3038     ResourceRequest initialRequest = request;
3039     initialRequest.setTimeoutInterval(10);
3040     
3041     if (!referrer.isEmpty())
3042         initialRequest.setHTTPReferrer(referrer);
3043     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3044
3045     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3046     
3047     addExtraFieldsToSubresourceRequest(initialRequest);
3048
3049     unsigned long identifier = 0;    
3050     ResourceRequest newRequest(initialRequest);
3051     requestFromDelegate(newRequest, identifier, error);
3052
3053 #if ENABLE(CONTENT_EXTENSIONS)
3054     if (error.isNull()) {
3055         if (auto* page = m_frame.page()) {
3056             if (m_documentLoader) {
3057                 auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(newRequest.url(), ResourceType::Raw, *m_documentLoader);
3058                 applyBlockedStatusToRequest(blockedStatus, page, newRequest);
3059                 if (blockedStatus.blockedLoad) {
3060                     newRequest = { };
3061                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3062                     response = { };
3063                     data = nullptr;
3064                 }
3065             }
3066         }
3067     }
3068 #endif
3069
3070     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3071     
3072     if (error.isNull()) {
3073         ASSERT(!newRequest.isNull());
3074
3075         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3076             Vector<char> buffer;
3077             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3078             data = SharedBuffer::create(WTFMove(buffer));
3079             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3080             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3081         }
3082     }
3083     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3084     return identifier;
3085 }
3086
3087 const ResourceRequest& FrameLoader::originalRequest() const
3088 {
3089     return activeDocumentLoader()->originalRequestCopy();
3090 }
3091
3092 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3093 {
3094     // Retain because the stop may release the last reference to it.
3095     Ref<Frame> protect(m_frame);
3096
3097     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3098     // FIXME: Don't want to do this if an entirely new load is going, so should check
3099     // that both data sources on the frame are either this or nil.
3100     stop();
3101     if (m_client.shouldFallBack(error))
3102         handleFallbackContent();
3103
3104     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3105         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3106             m_submittedFormURL = URL();
3107             
3108         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3109         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3110         // so that the existing view (that wenever got far enough to replace) can continue being used.
3111         history().invalidateCurrentItemCachedPage();
3112         
3113         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3114         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3115         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3116         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3117         // has ended.
3118         if (m_sentRedirectNotification)
3119             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3120     }
3121
3122     checkCompleted();
3123     if (m_frame.page())
3124         checkLoadComplete();
3125 }
3126
3127 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3128 {
3129     m_quickRedirectComing = false;
3130
3131     if (!shouldContinue)
3132         return;
3133
3134     // Calling stopLoading() on the provisional document loader can cause the underlying
3135     // frame to be deallocated.
3136     Ref<Frame> protectedFrame(m_frame);
3137
3138     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3139     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3140         m_provisionalDocumentLoader->stopLoading();
3141         setProvisionalDocumentLoader(nullptr);
3142     }
3143
3144     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3145     loadInSameDocument(request.url(), 0, !isRedirect);
3146 }
3147
3148 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3149 {
3150     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3151     // currently displaying a frameset, or if the URL does not have a fragment.
3152     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3153
3154     // FIXME: What about load types other than Standard and Reload?
3155
3156     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3157         && !isReload(loadType)
3158         && loadType != FrameLoadType::Same
3159         && m_frame.document()->pageCacheState() != Document::InPageCache
3160         && !shouldReload(m_frame.document()->url(), url)
3161         // We don't want to just scroll if a link from within a
3162         // frameset is trying to reload the frameset into _top.
3163         && !m_frame.document()->isFrameSet();
3164 }
3165
3166 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3167 {
3168     return !historyItem || historyItem->shouldRestoreScrollPosition();
3169 }
3170
3171 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3172 {
3173     return !isNewNavigation && !isBackForwardLoadType(loadType);
3174 }
3175
3176 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3177 {
3178     FrameView* view = m_frame.view();
3179     if (!view)
3180         return;
3181
3182     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3183         view->scrollToFragment(url);
3184 }
3185
3186 bool FrameLoader::shouldClose()
3187 {
3188     Page* page = m_frame.page();
3189     if (!page)
3190         return true;
3191     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3192         return true;
3193
3194     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3195     Vector<Ref<Frame>, 16> targetFrames;
3196     targetFrames.append(m_frame);
3197     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3198         targetFrames.append(*child);
3199
3200     bool shouldClose = false;
3201     {
3202         NavigationDisabler navigationDisabler(&m_frame);
3203         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3204         size_t i;
3205
3206         for (i = 0; i < targetFrames.size(); i++) {
3207             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3208                 continue;
3209             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3210                 break;
3211         }
3212
3213         if (i == targetFrames.size())
3214             shouldClose = true;
3215     }
3216
3217     if (!shouldClose)
3218         m_submittedFormURL = URL();
3219
3220     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3221     return shouldClose;
3222 }
3223
3224 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3225 {
3226     if (!m_frame.document())
3227         return;
3228
3229     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3230     ForbidPromptsScope forbidPrompts(m_frame.page());
3231     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3232
3233     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3234         auto* currentFocusedElement = m_frame.document()->focusedElement();
3235         if (is<HTMLInputElement>(currentFocusedElement))
3236             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3237         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3238             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3239                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3240                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3241             }
3242
3243             // FIXME: update Page Visibility state here.
3244             // https://bugs.webkit.org/show_bug.cgi?id=116770
3245
3246             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3247                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3248                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3249                 // while dispatching the event, so protect it to prevent writing the end
3250                 // time into freed memory.
3251                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3252                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3253                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3254                     auto& timing = documentLoader->timing();
3255                     timing.markUnloadEventStart();
3256                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3257                     timing.markUnloadEventEnd();
3258                 } else
3259                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3260             }
3261         }
3262         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3263         m_wasUnloadEventEmitted = true;
3264     }
3265
3266     // Dispatching the unload event could have made m_frame.document() null.
3267     if (!m_frame.document())
3268         return;
3269
3270     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3271         return;
3272
3273     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3274     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3275         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3276
3277     if (!keepEventListeners)
3278         m_frame.document()->removeAllEventListeners();
3279 }
3280
3281 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3282 {
3283     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3284     if (document.isSandboxed(SandboxModals))
3285         return false;
3286
3287     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3288     // Web pages can request we ask for confirmation before navigating by:
3289     // - Cancelling the BeforeUnloadEvent (modern way)
3290     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3291     // - Returning a non-empty string from the event handler, which is then set as returnValue
3292     //   attribute on the BeforeUnloadEvent.
3293     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3294 }
3295
3296 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3297 {
3298     DOMWindow* domWindow = m_frame.document()->domWindow();
3299     if (!domWindow)
3300         return true;
3301
3302     RefPtr<Document> document = m_frame.document();
3303     if (!document->bodyOrFrameset())
3304         return true;
3305     
3306     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3307     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3308
3309     {
3310         ForbidPromptsScope forbidPrompts(m_frame.page());
3311         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3312     }
3313
3314     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3315
3316     if (!beforeUnloadEvent->defaultPrevented())
3317         document->defaultEventHandler(beforeUnloadEvent.get());
3318
3319     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3320         return true;
3321
3322     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3323     // this frame is not allowed to cause another one to be shown.
3324     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3325         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3326         return true;
3327     }
3328
3329     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3330     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3331     if (frameLoaderBeingNavigated != this) {
3332         Frame* parentFrame = m_frame.tree().parent();
3333         while (parentFrame) {
3334             Document* parentDocument = parentFrame->document();
3335             if (!parentDocument)
3336                 return true;
3337             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3338                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3339                 return true;
3340             }
3341             
3342             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3343                 break;
3344             
3345             parentFrame = parentFrame->tree().parent();
3346         }
3347         
3348         // The navigatingFrameLoader should always be in our ancestory.
3349         ASSERT(parentFrame);
3350         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3351     }
3352
3353     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3354
3355     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3356     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3357 }
3358
3359 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3360 {
3361     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3362     // nil policyDataSource because loading the alternate page will have passed
3363     // through this method already, nested; otherwise, policyDataSource should still be set.
3364     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3365
3366     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3367
3368     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3369     bool canContinue = shouldContinue != ShouldContinue::No && shouldClose() && !urlIsDisallowed;
3370
3371     if (!canContinue) {
3372         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame due to the following reasons ("
3373             "frame = %p, "
3374             "main = %d, "
3375             "allowNavigationToInvalidURL = %d, "
3376             "requestURLIsValid = %d, "
3377             "shouldContinue = %d)",
3378             &m_frame,
3379             m_frame.isMainFrame(),
3380             static_cast<int>(allowNavigationToInvalidURL),
3381             request.url().isValid(),
3382             static_cast<int>(shouldContinue));
3383
3384         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3385         // need to report that the client redirect was cancelled.
3386         // FIXME: The client should be told about ignored non-quick redirects, too.
3387         if (m_quickRedirectComing)
3388             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3389
3390         setPolicyDocumentLoader(nullptr);
3391         checkCompleted();
3392         checkLoadComplete();
3393
3394         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3395         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3396         // we only do this when punting a navigation for the target frame or top-level frame.  
3397         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3398             if (Page* page = m_frame.page()) {
3399                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem())
3400                     page->backForward().setCurrentItem(*resetItem);
3401             }
3402         }
3403         return;
3404     }
3405
3406     FrameLoadType type = policyChecker().loadType();
3407     // A new navigation is in progress, so don't clear the history's provisional item.
3408     stopAllLoaders(ShouldNotClearProvisionalItem);
3409     
3410     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3411     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3412     if (!m_frame.page()) {
3413         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it became defunct (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3414         return;
3415     }
3416
3417     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3418     m_loadType = type;
3419     setState(FrameStateProvisional);
3420
3421     setPolicyDocumentLoader(nullptr);
3422
3423     if (isBackForwardLoadType(type)) {
3424         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3425         if (history().provisionalItem()->isInPageCache()) {
3426             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3427             loadProvisionalItemFromCachedPage();
3428             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it will be loaded from cache (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3429             return;
3430         }
3431         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3432     }
3433
3434     CompletionHandler<void()> completionHandler = [this, protectedFrame = makeRef(m_frame)] () mutable {
3435         if (!m_provisionalDocumentLoader) {
3436             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy completionHandler: Frame load canceled #1 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3437             return;
3438         }
3439         
3440         prepareForLoadStart([this, protectedFrame = WTFMove(protectedFrame)] {
3441
3442             // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3443             // so we need to null check it again.
3444             if (!m_provisionalDocumentLoader) {
3445                 RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Frame load canceled #2 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3446                 return;
3447             }
3448             
3449             DocumentLoader* activeDocLoader = activeDocumentLoader();
3450             if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3451                 RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3452                 return;
3453             }
3454             
3455             m_loadingFromCachedPage = false;
3456
3457             m_provisionalDocumentLoader->startLoadingMainResource();
3458         });
3459     };
3460     
3461     if (!formState) {
3462         completionHandler();
3463         return;
3464     }
3465
3466     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3467 }
3468
3469 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3470     FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3471 {
3472     if (shouldContinue != ShouldContinue::Yes)
3473         return;
3474
3475     Ref<Frame> frame(m_frame);
3476     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3477     if (!mainFrame)
3478         return;
3479
3480     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3481     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3482         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3483
3484     if (!equalIgnoringASCIICase(frameName, "_blank"))
3485         mainFrame->tree().setName(frameName);
3486
3487     mainFrame->page()->setOpenedByDOM();
3488     mainFrame->loader().m_client.dispatchShow();
3489     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3490         mainFrame->loader().setOpener(frame.ptr());
3491         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3492     }
3493
3494     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy(), nullptr, action.downloadAttribute() };
3495     mainFrame->loader().loadWithNavigationAction(request, WTFMove(newAction), LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3496 }
3497
3498 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3499 {
3500     ASSERT(!request.isNull());
3501
3502     identifier = 0;
3503     if (Page* page = m_frame.page()) {
3504         identifier = page->progress().createUniqueIdentifier();
3505         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3506     }
3507
3508     ResourceRequest newRequest(request);
3509     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3510
3511     if (newRequest.isNull())
3512         error = cancelledError(request);
3513     else
3514         error = ResourceError();
3515
3516     request = newRequest;
3517 }
3518
3519 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3520 {
3521     Page* page = m_frame.page();
3522     if (!page)
3523         return;
3524
3525     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3526         return;
3527
3528     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3529     if (resource.type() == CachedResource::Type::MainResource)
3530         return;
3531
3532     if (!page->areMemoryCacheClientCallsEnabled()) {
3533         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3534         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3535         m_documentLoader->didTellClientAboutLoad(resource.url());
3536         return;
3537     }
3538
3539     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3540         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3541         m_documentLoader->didTellClientAboutLoad(resource.url());
3542         return;
3543     }
3544
3545     unsigned long identifier;
3546     requestFromDelegate(newRequest, identifier, error);
3547
3548     ResourceResponse response = resource.response();
3549     response.setSource(ResourceResponse::Source::MemoryCache);
3550     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3551 }
3552
3553 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3554 {
3555     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3556         String userAgent = this->userAgent(request.url());
3557         ASSERT(!userAgent.isNull());
3558         request.setHTTPUserAgent(userAgent);
3559     }
3560 }
3561
3562 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3563 {
3564     Frame& topFrame = m_frame.tree().top();
3565     if (&m_frame == &topFrame)
3566         return false;
3567
3568     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3569
3570     switch (disposition) {
3571     case XFrameOptionsSameOrigin: {
3572         auto origin = SecurityOrigin::create(url);
3573         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3574             return true;
3575         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3576             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3577                 return true;
3578         }
3579         return false;
3580     }
3581     case XFrameOptionsDeny:
3582         return true;
3583     case XFrameOptionsAllowAll:
3584         return false;
3585     case XFrameOptionsConflict:
3586         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3587         return true;
3588     case XFrameOptionsInvalid:
3589         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3590         return false;
3591     case XFrameOptionsNone:
3592         return false;
3593     }
3594     ASSERT_NOT_REACHED();
3595     return false;
3596 }
3597
3598 void FrameLoader::loadProvisionalItemFromCachedPage()
3599 {
3600     prepareForLoadStart([this, protectedFrame = makeRef(m_frame)] {
3601         DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3602         LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3603
3604         m_loadingFromCachedPage = true;
3605         
3606         // Should have timing data from previous time(s) the page was shown.
3607         ASSERT(provisionalLoader->timing().startTime());
3608         provisionalLoader->resetTiming();
3609         provisionalLoader->timing().markStartTime();
3610         
3611         provisionalLoader->setCommitted(true);
3612         commitProvisionalLoad();
3613     });
3614 }
3615
3616 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3617 {
3618     if (!history().currentItem())
3619         return false;
3620     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3621 }
3622
3623 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3624 {
3625     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3626         return false;
3627     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3628     if (!ownerElement)
3629         return false;
3630     if (!ownerElement->hasTagName(iframeTag))
3631         return false;
3632     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3633 }
3634
3635 Frame* FrameLoader::findFrameForNavigation(const AtomicString& name, Document* activeDocument)
3636 {
3637     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3638     if (!activeDocument)
3639         activeDocument = m_frame.document();
3640
3641     auto* frame = m_frame.tree().find(name, activeDocument->frame() ? *activeDocument->frame() : m_frame);
3642
3643     if (!activeDocument->canNavigate(frame))
3644         return nullptr;
3645
3646     return frame;
3647 }
3648
3649 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3650 {
3651     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3652
3653     Ref<Frame> protect(m_frame);
3654
3655     // Save user view state to the current history item here since we don't do a normal load.
3656     // FIXME: Does form state need to be saved here too?
3657     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3658     if (FrameView* view = m_frame.view())
3659         view->setWasScrolledByUser(false);
3660
3661     history().setCurrentItem(item);
3662         
3663     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3664     loadInSameDocument(item.url(), item.stateObject(), false);
3665
3666     // Restore user view state from the current history item here since we don't do a normal load.
3667     history().restoreScrollPositionAndViewState();
3668 }
3669
3670 // FIXME: This function should really be split into a couple pieces, some of
3671 // which should be methods of HistoryController and some of which should be
3672 // methods of FrameLoader.
3673 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3674 {
3675     RELEASE_LOG_IF_ALLOWED("loadDifferentDocumentItem: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3676
3677     // History items should not be reported to the parent.
3678     m_shouldReportResourceTimingToParentFrame = false;
3679
3680     // Remember this item so we can traverse any child items as child frames load
3681     history().setProvisionalItem(&item);
3682
3683     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3684
3685     SetForScope<bool> currentLoadShouldBeTreatedAsContinuingLoadGuard(m_currentLoadShouldBeTreatedAsContinuingLoad, shouldTreatAsContinuingLoad == ShouldTreatAsContinuingLoad::Yes);
3686
3687     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3688         auto documentLoader = cachedPage->documentLoader();
3689         m_client.updateCachedDocumentLoader(*documentLoader);
3690
3691         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3692         action.setTargetBackForwardItem(item);
3693         documentLoader->setTriggeringAction(WTFMove(action));
3694
3695         documentLoader->setLastCheckedRequest(ResourceRequest());
3696         loadWithDocumentLoader(documentLoader, loadType, { }, AllowNavigationToInvalidURL::Yes, shouldTreatAsContinuingLoad);
3697         return;
3698     }
3699
3700     URL itemURL = item.url();
3701     URL itemOriginalURL = item.originalURL();
3702     URL currentURL;
3703     if (documentLoader())
3704         currentURL = documentLoader()->url();
3705     RefPtr<FormData> formData = item.formData();
3706
3707     ResourceRequest request(itemURL);
3708
3709     if (!item.referrer().isNull())
3710         request.setHTTPReferrer(item.referrer());
3711
3712     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3713     bool isFormSubmission = false;
3714     Event* event = nullptr;
3715
3716     // If this was a repost that failed the page cache, we might try to repost the form.
3717     NavigationAction action;
3718     if (formData) {
3719         formData->generateFiles(m_frame.document());
3720
3721         request.setHTTPMethod("POST");
3722         request.setHTTPBody(WTFMove(formData));
3723         request.setHTTPContentType(item.formContentType());
3724         auto securityOrigin = SecurityOrigin::createFromString(item.referrer());
3725         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3726         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3727
3728         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3729         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3730         addExtraFieldsToRequest(request, loadType, true);
3731         
3732         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3733         // We want to know this before talking to the policy delegate, since it affects whether 
3734         // we show the DoYouReallyWantToRepost nag.
3735         //
3736         // This trick has a small bug (3123893) where we might find a cache hit, but then
3737         // have the item vanish when we try to use it in the ensuing nav.  This should be
3738         // extremely rare, but in that case the user will get an error on the navigation.
3739         
3740         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3741             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataDontLoad);
3742             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3743         } else {
3744             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3745             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3746         }
3747     } else {
3748         switch (loadType) {
3749         case FrameLoadType::Reload:
3750         case FrameLoadType::ReloadFromOrigin:
3751         case FrameLoadType::ReloadExpiredOnly:
3752             request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
3753             break;
3754         case FrameLoadType::Back:
3755         case FrameLoadType::Forward:
3756         case FrameLoadType::IndexedBackForward: {
3757 #if PLATFORM(COCOA)
3758             bool allowStaleData = true;
3759 #else
3760             bool allowStaleData = !item.wasRestoredFromSession();
3761 #endif
3762             if (allowStaleData)
3763                 request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3764             item.setWasRestoredFromSession(false);
3765             break;
3766         }
3767         case FrameLoadType::Standard:
3768         case FrameLoadType::RedirectWithLockedBackForwardList:
3769             break;
3770         case FrameLoadType::Same:
3771         case FrameLoadType::Replace:
3772             ASSERT_NOT_REACHED();
3773         }
3774
3775         addExtraFieldsToRequest(request, loadType, true);
3776
3777         ResourceRequest requestForOriginalURL(request);
3778         requestForOriginalURL.setURL(itemOriginalURL);
3779         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3780     }
3781
3782     action.setTargetBackForwardItem(item);
3783
3784     loadWithNavigationAction(request, WTFMove(action), LockHistory::No, loadType, { }, AllowNavigationToInvalidURL::Yes);
3785 }
3786
3787 // Loads content into this frame, as specified by history item
3788 void FrameLoader::loadItem(HistoryItem& item, FrameLoadType loadType, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3789 {
3790     m_requestedHistoryItem = &item;
3791     HistoryItem* currentItem = history().currentItem();
3792     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3793
3794     if (sameDocumentNavigation)
3795         loadSameDocumentItem(item);
3796     else
3797         loadDifferentDocumentItem(item, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, shouldTreatAsContinuingLoad);
3798 }
3799
3800 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3801 {
3802     ASSERT(m_state == FrameStateProvisional);
3803     ASSERT(!m_loadingFromCachedPage);
3804     ASSERT(history().provisionalItem());
3805     ASSERT(history().provisionalItem()->formData());
3806     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3807
3808     FrameLoadType loadType = m_loadType;
3809     HistoryItem& item = *history().provisionalItem();
3810
3811     stopAllLoaders(ShouldNotClearProvisionalItem);
3812     loadDifferentDocumentItem(item, loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
3813 }
3814
3815 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3816 {
3817     ResourceError error = m_client.cancelledError(request);
3818     error.setType(ResourceError::Type::Cancellation);
3819     return error;
3820 }
3821
3822 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3823 {
3824     return m_client.blockedByContentBlockerError(request);
3825 }
3826
3827 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3828 {
3829     ResourceError error = m_client.blockedError(request);
3830     error.setType(ResourceError::Type::Cancellation);
3831     return error;
3832 }
3833
3834 #if ENABLE(CONTENT_FILTERING)
3835 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3836 {
3837     ResourceError error = m_client.blockedByContentFilterError(request);
3838     error.setType(ResourceError::Type::General);
3839     return error;
3840 }
3841 #endif
3842
3843 #if PLATFORM(IOS_FAMILY)
3844 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3845 {
3846     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3847 }
3848 #endif
3849
3850 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3851 {
3852     if (auto* parentFrame = m_frame.tree().parent())
3853         return parentFrame->document()->referrerPolicy();
3854     if (m_opener)
3855         return m_opener->document()->referrerPolicy();
3856     return ReferrerPolicy::NoReferrerWhenDowngrade;
3857 }
3858
3859 String FrameLoader::referrer() const
3860 {
3861     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3862 }
3863
3864 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3865 {
3866     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3867         return;
3868
3869     Vector<Ref<DOMWrapperWorld>> worlds;
3870     ScriptController::getAllWorlds(worlds);
3871     for (auto& world : worlds)
3872         dispatchDidClearWindowObjectInWorld(world);
3873 }
3874
3875 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3876 {
3877     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3878         return;
3879
3880     m_client.dispatchDidClearWindowObjectInWorld(world);
3881
3882     if (Page* page = m_frame.page())
3883         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3884
3885     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3886 }
3887
3888 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3889 {
3890     Vector<Ref<DOMWrapperWorld>> worlds;
3891     ScriptController::getAllWorlds(worlds);
3892     for (auto& world : worlds)
3893         m_client.dispatchGlobalObjectAvailable(world);
3894 }
3895
3896 SandboxFlags FrameLoader::effectiveSandboxFlags() const
3897 {
3898     SandboxFlags flags = m_forcedSandboxFlags;
3899     if (Frame* parentFrame = m_frame.tree().parent())
3900         flags |= parentFrame->document()->sandboxFlags();
3901     if (HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement())
3902         flags |= ownerElement->sandboxFlags();
3903     return flags;
3904 }
3905
3906 void FrameLoader::didChangeTitle(DocumentLoader* loader)
3907 {
3908     m_client.didChangeTitle(loader);
3909
3910     if (loader == m_documentLoader) {
3911         // Must update the entries in the back-forward list too.
3912         history().setCurrentItemTitle(loader->title());
3913         // This must go through the WebFrame because it has the right notion of the current b/f item.
3914         m_client.setTitle(loader->title(), loader->urlForHistory());
3915         m_client.setMainFrameDocumentReady(true); // update observers with new DOMDocument
3916         m_client.dispatchDidReceiveTitle(loader->title());
3917     }
3918
3919 #if ENABLE(REMOTE_INSPECTOR)
3920     if (m_frame.isMainFrame())
3921         m_frame.page()->remoteInspectorInformationDidChange();
3922 #endif
3923 }
3924
3925 void FrameLoader::dispatchDidCommitLoad(Optional<HasInsecureContent> initialHasInsecureContent)
3926 {
3927     if (m_stateMachine.creatingInitialEmptyDocument())
3928         return;
3929
3930     m_client.dispatchDidCommitLoad(initialHasInsecureContent);
3931
3932     if (m_frame.isMainFrame()) {
3933         m_frame.page()->resetSeenPlugins();
3934         m_frame.page()->resetSeenMediaEngines();
3935     }
3936
3937     InspectorInstrumentation::didCommitLoad(m_frame, m_documentLoader.get());
3938
3939 #if ENABLE(REMOTE_INSPECTOR)
3940     if (m_frame.isMainFrame())
3941         m_frame.page()->remoteInspectorInformationDidChange();
3942 #endif
3943 }
3944
3945 void FrameLoader::tellClientAboutPastMemoryCacheLoads()
3946 {
3947     ASSERT(m_frame.page());
3948     ASSERT(m_frame.page()->areMemoryCacheClientCallsEnabled());
3949
3950     if (!m_documentLoader)
3951         return;
3952
3953     Vector<ResourceRequest> pastLoads;
3954     m_documentLoader->takeMemoryCacheLoadsForClientNotification(pastLoads);
3955
3956     for (auto& pastLoad : pastLoads) {
3957         CachedResource* resource = MemoryCache::singleton().resourceForRequest(pastLoad, m_frame.page()->sessionID());
3958
3959         // FIXME: These loads, loaded from cache, but now gone from the cache by the time
3960         // Page::setMemoryCacheClientCallsEnabled(true) is called, will not be seen by the client.
3961         // Consider if there's some efficient way of remembering enough to deliver this client call.
3962         // We have the URL, but not the rest of the response or the length.
3963         if (!resource)
3964             continue;
3965
3966         ResourceRequest request(resource->url());
3967         m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), request, resource->response(), resource->encodedSize());
3968     }
3969 }
3970
3971 NetworkingContext* FrameLoader::networkingContext() const
3972 {
3973     return m_networkingContext.get();
3974 }
3975
3976 void FrameLoader::loadProgressingStatusChanged()
3977 {
3978     if (auto* view = m_frame.mainFrame().view())
3979         view->loadProgressingStatusChanged();
3980 }
3981
3982 void FrameLoader::forcePageTransitionIfNeeded()
3983 {
3984     m_client.forcePageTransitionIfNeeded();
3985 }
3986
3987 void FrameLoader::clearTestingOverrides()
3988 {
3989     m_overrideCachePolicyForTesting = WTF::nullopt;
3990     m_overrideResourceLoadPriorityForTesting = WTF::nullopt;
3991     m_isStrictRawResourceValidationPolicyDisabledForTesting = false;
3992 }
3993
3994 bool FrameLoader::isAlwaysOnLoggingAllowed() const
3995 {
3996     return frame().isAlwaysOnLoggingAllowed();