Same Site Lax cookies are not sent with cross-site redirect from client-initiated...
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentSecurityPolicy.h"
49 #include "DOMWindow.h"
50 #include "DatabaseManager.h"
51 #include "DiagnosticLoggingClient.h"
52 #include "DiagnosticLoggingKeys.h"
53 #include "Document.h"
54 #include "DocumentLoader.h"
55 #include "Editor.h"
56 #include "EditorClient.h"
57 #include "Element.h"
58 #include "Event.h"
59 #include "EventHandler.h"
60 #include "EventNames.h"
61 #include "FloatRect.h"
62 #include "FormState.h"
63 #include "FormSubmission.h"
64 #include "Frame.h"
65 #include "FrameLoadRequest.h"
66 #include "FrameLoaderClient.h"
67 #include "FrameNetworkingContext.h"
68 #include "FrameTree.h"
69 #include "FrameView.h"
70 #include "GCController.h"
71 #include "HTMLFormElement.h"
72 #include "HTMLInputElement.h"
73 #include "HTMLNames.h"
74 #include "HTMLObjectElement.h"
75 #include "HTMLParserIdioms.h"
76 #include "HTTPHeaderNames.h"
77 #include "HTTPParsers.h"
78 #include "HistoryController.h"
79 #include "HistoryItem.h"
80 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
81 #include "InspectorController.h"
82 #include "InspectorInstrumentation.h"
83 #include "LinkLoader.h"
84 #include "LoadTiming.h"
85 #include "LoaderStrategy.h"
86 #include "Logging.h"
87 #include "MemoryCache.h"
88 #include "MemoryRelease.h"
89 #include "NavigationDisabler.h"
90 #include "NavigationScheduler.h"
91 #include "Node.h"
92 #include "Page.h"
93 #include "PageCache.h"
94 #include "PageTransitionEvent.h"
95 #include "PerformanceLogging.h"
96 #include "PlatformStrategies.h"
97 #include "PluginData.h"
98 #include "PluginDocument.h"
99 #include "PolicyChecker.h"
100 #include "ProgressTracker.h"
101 #include "ResourceHandle.h"
102 #include "ResourceLoadInfo.h"
103 #include "ResourceLoadObserver.h"
104 #include "ResourceRequest.h"
105 #include "SVGDocument.h"
106 #include "SVGLocatable.h"
107 #include "SVGNames.h"
108 #include "SVGViewElement.h"
109 #include "SVGViewSpec.h"
110 #include "ScriptController.h"
111 #include "ScriptSourceCode.h"
112 #include "ScrollAnimator.h"
113 #include "SecurityOrigin.h"
114 #include "SecurityPolicy.h"
115 #include "SegmentedString.h"
116 #include "SerializedScriptValue.h"
117 #include "Settings.h"
118 #include "ShouldTreatAsContinuingLoad.h"
119 #include "SubframeLoader.h"
120 #include "SubresourceLoader.h"
121 #include "TextResourceDecoder.h"
122 #include "UserContentController.h"
123 #include "UserGestureIndicator.h"
124 #include "WindowFeatures.h"
125 #include "XMLDocumentParser.h"
126 #include <dom/ScriptDisallowedScope.h>
127 #include <wtf/CompletionHandler.h>
128 #include <wtf/URL.h>
129 #include <wtf/Ref.h>
130 #include <wtf/SetForScope.h>
131 #include <wtf/StdLibExtras.h>
132 #include <wtf/SystemTracing.h>
133 #include <wtf/text/CString.h>
134 #include <wtf/text/WTFString.h>
135
136 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
137 #include "Archive.h"
138 #endif
139
140 #if ENABLE(DATA_DETECTION)
141 #include "DataDetection.h"
142 #endif
143
144 #if PLATFORM(IOS_FAMILY)
145 #include "DocumentType.h"
146 #include "ResourceLoader.h"
147 #include "RuntimeApplicationChecks.h"
148 #include "WKContentObservation.h"
149 #endif
150
151 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
152
153 namespace WebCore {
154
155 using namespace HTMLNames;
156 using namespace SVGNames;
157
158 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
159
160 bool isBackForwardLoadType(FrameLoadType type)
161 {
162     switch (type) {
163     case FrameLoadType::Standard:
164     case FrameLoadType::Reload:
165     case FrameLoadType::ReloadFromOrigin:
166     case FrameLoadType::ReloadExpiredOnly:
167     case FrameLoadType::Same:
168     case FrameLoadType::RedirectWithLockedBackForwardList:
169     case FrameLoadType::Replace:
170         return false;
171     case FrameLoadType::Back:
172     case FrameLoadType::Forward:
173     case FrameLoadType::IndexedBackForward:
174         return true;
175     }
176     ASSERT_NOT_REACHED();
177     return false;
178 }
179
180 bool isReload(FrameLoadType type)
181 {
182     switch (type) {
183     case FrameLoadType::Reload:
184     case FrameLoadType::ReloadFromOrigin:
185     case FrameLoadType::ReloadExpiredOnly:
186         return true;
187     case FrameLoadType::Standard:
188     case FrameLoadType::Same:
189     case FrameLoadType::RedirectWithLockedBackForwardList:
190     case FrameLoadType::Replace:
191     case FrameLoadType::Back:
192     case FrameLoadType::Forward:
193     case FrameLoadType::IndexedBackForward:
194         return false;
195     }
196     ASSERT_NOT_REACHED();
197     return false;
198 }
199
200 // This is not in the FrameLoader class to emphasize that it does not depend on
201 // private FrameLoader data, and to avoid increasing the number of public functions
202 // with access to private data.  Since only this .cpp file needs it, making it
203 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
204 // API simpler.
205 //
206 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
207 {
208     return frame.document() && frame.document()->isSandboxed(mask);
209 }
210
211 struct ForbidPromptsScope {
212     ForbidPromptsScope(Page* page) : m_page(page)
213     {
214         if (!m_page)
215             return;
216         m_page->forbidPrompts();
217     }
218
219     ~ForbidPromptsScope()
220     {
221         if (!m_page)
222             return;
223         m_page->allowPrompts();
224     }
225
226     Page* m_page;
227 };
228
229 class FrameLoader::FrameProgressTracker {
230     WTF_MAKE_FAST_ALLOCATED;
231 public:
232     explicit FrameProgressTracker(Frame& frame)
233         : m_frame(frame)
234         , m_inProgress(false)
235     {
236     }
237
238     ~FrameProgressTracker()
239     {
240         if (m_inProgress && m_frame.page())
241             m_frame.page()->progress().progressCompleted(m_frame);
242     }
243
244     void progressStarted()
245     {
246         ASSERT(m_frame.page());
247         if (!m_inProgress)
248             m_frame.page()->progress().progressStarted(m_frame);
249         m_inProgress = true;
250     }
251
252     void progressCompleted()
253     {
254         ASSERT(m_inProgress);
255         ASSERT(m_frame.page());
256         m_inProgress = false;
257         m_frame.page()->progress().progressCompleted(m_frame);
258
259         if (auto pageID = m_frame.loader().client().pageID())
260             platformStrategies()->loaderStrategy()->pageLoadCompleted(pageID.value());
261     }
262
263 private:
264     Frame& m_frame;
265     bool m_inProgress;
266 };
267
268 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
269     : m_frame(frame)
270     , m_client(client)
271     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
272     , m_history(std::make_unique<HistoryController>(frame))
273     , m_notifier(frame)
274     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
275     , m_mixedContentChecker(frame)
276     , m_state(FrameStateProvisional)
277     , m_loadType(FrameLoadType::Standard)
278     , m_quickRedirectComing(false)
279     , m_sentRedirectNotification(false)
280     , m_inStopAllLoaders(false)
281     , m_isExecutingJavaScriptFormAction(false)
282     , m_didCallImplicitClose(true)
283     , m_wasUnloadEventEmitted(false)
284     , m_isComplete(false)
285     , m_needsClear(false)
286     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
287     , m_shouldCallCheckCompleted(false)
288     , m_shouldCallCheckLoadComplete(false)
289     , m_opener(nullptr)
290     , m_loadingFromCachedPage(false)
291     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
292     , m_loadsSynchronously(false)
293     , m_forcedSandboxFlags(SandboxNone)
294 {
295 }
296
297 FrameLoader::~FrameLoader()
298 {
299     setOpener(nullptr);
300
301     for (auto& frame : m_openedFrames)
302         frame->loader().m_opener = nullptr;
303
304     m_client.frameLoaderDestroyed();
305
306     if (m_networkingContext)
307         m_networkingContext->invalidate();
308 }
309
310 void FrameLoader::init()
311 {
312     // This somewhat odd set of steps gives the frame an initial empty document.
313     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
314     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
315     m_provisionalDocumentLoader->startLoadingMainResource();
316
317     Ref<Frame> protect(m_frame);
318     m_frame.document()->cancelParsing();
319     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
320
321     m_networkingContext = m_client.createNetworkingContext();
322     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
323 }
324
325 void FrameLoader::initForSynthesizedDocument(const URL&)
326 {
327     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
328     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
329
330     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
331     loader->attachToFrame(m_frame);
332     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
333     loader->setCommitted(true);
334     setDocumentLoader(loader.ptr());
335
336     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
337     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
338     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
339     m_client.transitionToCommittedForNewPage();
340
341     m_didCallImplicitClose = true;
342     m_isComplete = true;
343     m_state = FrameStateComplete;
344     m_needsClear = true;
345
346     m_networkingContext = m_client.createNetworkingContext();
347     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
348 }
349
350 void FrameLoader::setDefersLoading(bool defers)
351 {
352     if (m_documentLoader)
353         m_documentLoader->setDefersLoading(defers);
354     if (m_provisionalDocumentLoader)
355         m_provisionalDocumentLoader->setDefersLoading(defers);
356     if (m_policyDocumentLoader)
357         m_policyDocumentLoader->setDefersLoading(defers);
358     history().setDefersLoading(defers);
359
360     if (!defers) {
361         m_frame.navigationScheduler().startTimer();
362         startCheckCompleteTimer();
363     }
364 }
365
366 void FrameLoader::checkContentPolicy(const ResourceResponse& response, PolicyCheckIdentifier identifier, ContentPolicyDecisionFunction&& function)
367 {
368     if (!activeDocumentLoader()) {
369         // Load was cancelled
370         function(PolicyAction::Ignore, identifier);
371         return;
372     }
373
374     // FIXME: Validate the policy check identifier.
375     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), identifier, WTFMove(function));
376 }
377
378 void FrameLoader::changeLocation(FrameLoadRequest&& request)
379 {
380     urlSelected(WTFMove(request), nullptr);
381 }
382
383 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomicString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo, Optional<AdClickAttribution>&& adClickAttribution)
384 {
385     auto* frame = lexicalFrameFromCommonVM();
386     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
387
388     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
389     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent, WTFMove(adClickAttribution));
390 }
391
392 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent, Optional<AdClickAttribution>&& adClickAttribution)
393 {
394     RELEASE_LOG_IF_ALLOWED("urlSelected: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
395
396     Ref<Frame> protect(m_frame);
397
398     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
399         return;
400
401     if (frameRequest.frameName().isEmpty())
402         frameRequest.setFrameName(m_frame.document()->baseTarget());
403
404     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
405     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
406
407     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { }, WTFMove(adClickAttribution));
408 }
409
410 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
411 {
412     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
413
414     // FIXME: Find a good spot for these.
415     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
416
417     if (!m_frame.page())
418         return;
419
420     if (submission->action().isEmpty())
421         return;
422
423     if (isDocumentSandboxed(m_frame, SandboxForms)) {
424         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
425         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
426         return;
427     }
428
429     if (WTF::protocolIsJavaScript(submission->action())) {
430         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
431             return;
432         m_isExecutingJavaScriptFormAction = true;
433         Ref<Frame> protect(m_frame);
434         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
435         m_isExecutingJavaScriptFormAction = false;
436         return;
437     }
438
439     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
440     if (!targetFrame) {
441         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
442             return;
443
444         // FIXME: targetFrame can be null for two distinct reasons:
445         // 1. The frame was not found by name, so we should try opening a new window.
446         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
447         // Continuing form submission makes no sense in the latter case.
448         // There is a repeat check after timer fires, so this is not a correctness issue.
449
450         targetFrame = &m_frame;
451     } else
452         submission->clearTarget();
453
454     if (!targetFrame->page())
455         return;
456
457     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
458
459     // We do not want to submit more than one form from the same page, nor do we want to submit a single
460     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
461     // The flag is reset in each time we start dispatching a new mouse or key down event, and
462     // also in setView since this part may get reused for a page from the back/forward cache.
463     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
464
465     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
466     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
467     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
468
469     if (m_frame.tree().isDescendantOf(targetFrame)) {
470         if (m_submittedFormURL == submission->requestURL())
471             return;
472         m_submittedFormURL = submission->requestURL();
473     }
474
475     submission->data().generateFiles(m_frame.document());
476     submission->setReferrer(outgoingReferrer());
477     submission->setOrigin(outgoingOrigin());
478
479     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
480 }
481
482 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
483 {
484     if (m_frame.document() && m_frame.document()->parser())
485         m_frame.document()->parser()->stopParsing();
486
487     if (unloadEventPolicy != UnloadEventPolicyNone)
488         dispatchUnloadEvents(unloadEventPolicy);
489
490     m_isComplete = true; // to avoid calling completed() in finishedParsing()
491     m_didCallImplicitClose = true; // don't want that one either
492
493     if (m_frame.document() && m_frame.document()->parsing()) {
494         finishedParsing();
495         m_frame.document()->setParsing(false);
496     }
497
498     if (auto* document = m_frame.document()) {
499         // FIXME: HTML5 doesn't tell us to set the state to complete when aborting, but we do anyway to match legacy behavior.
500         // http://www.w3.org/Bugs/Public/show_bug.cgi?id=10537
501         document->setReadyState(Document::Complete);
502
503         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
504         DatabaseManager::singleton().stopDatabases(*document, nullptr);
505     }
506
507     policyChecker().stopCheck();
508
509     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
510     m_frame.navigationScheduler().cancel();
511 }
512
513 void FrameLoader::stop()
514 {
515     // http://bugs.webkit.org/show_bug.cgi?id=10854
516     // The frame's last ref may be removed and it will be deleted by checkCompleted().
517     Ref<Frame> protect(m_frame);
518
519     if (DocumentParser* parser = m_frame.document()->parser()) {
520         parser->stopParsing();
521         parser->finish();
522     }
523 }
524
525 void FrameLoader::willTransitionToCommitted()
526 {
527     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
528
529     if (m_frame.editor().hasComposition()) {
530         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
531         m_frame.editor().confirmComposition();
532         if (EditorClient* editorClient = m_frame.editor().client()) {
533             editorClient->respondToChangedSelection(&m_frame);
534             editorClient->discardedComposition(&m_frame);
535         }
536     }
537 }
538
539 bool FrameLoader::closeURL()
540 {
541     history().saveDocumentState();
542
543     Document* currentDocument = m_frame.document();
544     UnloadEventPolicy unloadEventPolicy;
545     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
546         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
547         unloadEventPolicy = UnloadEventPolicyNone;
548     } else {
549         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
550         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
551     }
552
553     stopLoading(unloadEventPolicy);
554     
555     m_frame.editor().clearUndoRedoOperations();
556     return true;
557 }
558
559 bool FrameLoader::didOpenURL()
560 {
561     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
562         // A redirect was scheduled before the document was created.
563         // This can happen when one frame changes another frame's location.
564         return false;
565     }
566
567     m_frame.navigationScheduler().cancel();
568     m_frame.editor().clearLastEditCommand();
569
570     m_isComplete = false;
571     m_didCallImplicitClose = false;
572
573     // If we are still in the process of initializing an empty document then
574     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
575     // since it may cause clients to attempt to render the frame.
576     if (!m_stateMachine.creatingInitialEmptyDocument()) {
577         DOMWindow* window = m_frame.document()->domWindow();
578         window->setStatus(String());
579         window->setDefaultStatus(String());
580     }
581
582     started();
583
584     return true;
585 }
586
587 void FrameLoader::didExplicitOpen()
588 {
589     m_isComplete = false;
590     m_didCallImplicitClose = false;
591
592     // Calling document.open counts as committing the first real document load.
593     if (!m_stateMachine.committedFirstRealDocumentLoad())
594         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
595     
596     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
597     // from a subsequent window.document.open / window.document.write call. 
598     // Canceling redirection here works for all cases because document.open 
599     // implicitly precedes document.write.
600     m_frame.navigationScheduler().cancel();
601 }
602
603
604 void FrameLoader::cancelAndClear()
605 {
606     m_frame.navigationScheduler().cancel();
607
608     if (!m_isComplete)
609         closeURL();
610
611     clear(m_frame.document(), false);
612     m_frame.script().updatePlatformScriptObjects();
613 }
614
615 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
616 {
617     if (!frame.isMainFrame())
618         return false;
619
620     if (frame.loader().opener())
621         return false;
622
623     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
624 }
625
626 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView)
627 {
628     m_frame.editor().clear();
629
630     if (!m_needsClear)
631         return;
632     m_needsClear = false;
633     
634     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
635         m_frame.document()->cancelParsing();
636         m_frame.document()->stopActiveDOMObjects();
637         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
638         m_frame.document()->prepareForDestruction();
639         if (hadLivingRenderTree)
640             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
641     }
642
643     // Do this after detaching the document so that the unload event works.
644     if (clearWindowProperties) {
645         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
646         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
647         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
648
649         if (shouldClearWindowName(m_frame, *newDocument))
650             m_frame.tree().setName(nullAtom());
651     }
652
653     m_frame.selection().prepareForDestruction();
654     m_frame.eventHandler().clear();
655
656     if (clearFrameView && m_frame.view())
657         m_frame.view()->clear();
658
659     // Do not drop the document before the ScriptController and view are cleared
660     // as some destructors might still try to access the document.
661     m_frame.setDocument(nullptr);
662
663     subframeLoader().clear();
664
665     if (clearWindowProperties)
666         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
667
668     if (clearScriptObjects)
669         m_frame.script().clearScriptObjects();
670
671     m_frame.script().enableEval();
672
673     m_frame.navigationScheduler().clear();
674
675     m_checkTimer.stop();
676     m_shouldCallCheckCompleted = false;
677     m_shouldCallCheckLoadComplete = false;
678
679     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
680         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
681 }
682
683 void FrameLoader::receivedFirstData()
684 {
685     dispatchDidCommitLoad(WTF::nullopt);
686     dispatchDidClearWindowObjectsInAllWorlds();
687     dispatchGlobalObjectAvailableInAllWorlds();
688
689     if (!m_documentLoader)
690         return;
691
692     auto& documentLoader = *m_documentLoader;
693     auto& title = documentLoader.title();
694     if (!title.string.isNull())
695         m_client.dispatchDidReceiveTitle(title);
696
697     ASSERT(m_frame.document());
698     auto& document = *m_frame.document();
699
700     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
701
702     double delay;
703     String urlString;
704     if (!parseHTTPRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
705         return;
706     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
707     if (!WTF::protocolIsJavaScript(completedURL))
708         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
709     else {
710         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
711         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
712     }
713 }
714
715 void FrameLoader::setOutgoingReferrer(const URL& url)
716 {
717     m_outgoingReferrer = url.strippedForUseAsReferrer();
718 }
719
720 void FrameLoader::didBeginDocument(bool dispatch)
721 {
722     m_needsClear = true;
723     m_isComplete = false;
724     m_didCallImplicitClose = false;
725     m_frame.document()->setReadyState(Document::Loading);
726
727     if (m_pendingStateObject) {
728         m_frame.document()->statePopped(*m_pendingStateObject);
729         m_pendingStateObject = nullptr;
730     }
731
732     if (dispatch)
733         dispatchDidClearWindowObjectsInAllWorlds();
734
735     updateFirstPartyForCookies();
736     m_frame.document()->initContentSecurityPolicy();
737
738     const Settings& settings = m_frame.settings();
739     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
740     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
741
742     if (m_documentLoader) {
743         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
744         if (!dnsPrefetchControl.isEmpty())
745             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
746
747         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
748
749         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
750         if (!referrerPolicy.isNull())
751             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
752
753         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
754         if (!headerContentLanguage.isEmpty()) {
755             size_t commaIndex = headerContentLanguage.find(',');
756             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
757             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
758             if (!headerContentLanguage.isEmpty())
759                 m_frame.document()->setContentLanguage(headerContentLanguage);
760         }
761     }
762
763     history().restoreDocumentState();
764 }
765
766 void FrameLoader::finishedParsing()
767 {
768     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
769
770     m_frame.injectUserScripts(InjectAtDocumentEnd);
771
772     if (m_stateMachine.creatingInitialEmptyDocument())
773         return;
774
775     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
776     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
777     // Null-checking the FrameView indicates whether or not we're in the destructor.
778     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
779
780     m_client.dispatchDidFinishDocumentLoad();
781
782     scrollToFragmentWithParentBoundary(m_frame.document()->url());
783
784     checkCompleted();
785
786     if (!m_frame.view())
787         return; // We are being destroyed by something checkCompleted called.
788
789     // Check if the scrollbars are really needed for the content.
790     // If not, remove them, relayout, and repaint.
791     m_frame.view()->restoreScrollbar();
792 }
793
794 void FrameLoader::loadDone(LoadCompletionType type)
795 {
796     if (type == LoadCompletionType::Finish)
797         checkCompleted();
798     else
799         scheduleCheckCompleted();
800 }
801
802 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
803 {
804     if (type == LoadCompletionType::Finish)
805         checkLoadComplete();
806     else
807         scheduleCheckLoadComplete();
808 }
809
810 bool FrameLoader::allChildrenAreComplete() const
811 {
812     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
813         if (!child->loader().m_isComplete)
814             return false;
815     }
816     return true;
817 }
818
819 bool FrameLoader::allAncestorsAreComplete() const
820 {
821     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
822         if (!ancestor->loader().m_isComplete)
823             return false;
824     }
825     return true;
826 }
827
828 void FrameLoader::checkCompleted()
829 {
830     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
831     m_shouldCallCheckCompleted = false;
832
833     // Have we completed before?
834     if (m_isComplete)
835         return;
836     
837 #if ENABLE(VIDEO)
838     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
839     if (HTMLMediaElement::isRunningDestructor()) {
840         ASSERT_NOT_REACHED();
841         scheduleCheckCompleted();
842         return;
843     }
844 #endif
845
846     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
847     //        https://bugs.webkit.org/show_bug.cgi?id=171729
848     if (m_frame.document()->inRenderTreeUpdate()) {
849         scheduleCheckCompleted();
850         return;
851     }
852
853     // Are we still parsing?
854     if (m_frame.document()->parsing())
855         return;
856
857     // Still waiting for images/scripts?
858     if (m_frame.document()->cachedResourceLoader().requestCount())
859         return;
860
861     // Still waiting for elements that don't go through a FrameLoader?
862     if (m_frame.document()->isDelayingLoadEvent())
863         return;
864
865     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
866     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
867         return;
868
869     // Any frame that hasn't completed yet?
870     if (!allChildrenAreComplete())
871         return;
872
873     // Important not to protect earlier in this function, because earlier parts
874     // of this function can be called in the frame's destructor, and it's not legal
875     // to ref an object while it's being destroyed.
876     Ref<Frame> protect(m_frame);
877
878     // OK, completed.
879     m_isComplete = true;
880     m_requestedHistoryItem = nullptr;
881     m_frame.document()->setReadyState(Document::Complete);
882
883 #if PLATFORM(IOS_FAMILY)
884     if (m_frame.document()->url().isEmpty()) {
885         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
886         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
887         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
888         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
889         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
890         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
891         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
892     }
893 #endif
894
895     checkCallImplicitClose(); // if we didn't do it before
896
897     m_frame.navigationScheduler().startTimer();
898
899     completed();
900     if (m_frame.page())
901         checkLoadComplete();
902 }
903
904 void FrameLoader::checkTimerFired()
905 {
906     checkCompletenessNow();
907 }
908
909 void FrameLoader::checkCompletenessNow()
910 {
911     Ref<Frame> protect(m_frame);
912
913     if (Page* page = m_frame.page()) {
914         if (page->defersLoading())
915             return;
916     }
917     if (m_shouldCallCheckCompleted)
918         checkCompleted();
919     if (m_shouldCallCheckLoadComplete)
920         checkLoadComplete();
921 }
922
923 void FrameLoader::startCheckCompleteTimer()
924 {
925     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
926         return;
927     if (m_checkTimer.isActive())
928         return;
929     m_checkTimer.startOneShot(0_s);
930 }
931
932 void FrameLoader::scheduleCheckCompleted()
933 {
934     m_shouldCallCheckCompleted = true;
935     startCheckCompleteTimer();
936 }
937
938 void FrameLoader::scheduleCheckLoadComplete()
939 {
940     m_shouldCallCheckLoadComplete = true;
941     startCheckCompleteTimer();
942 }
943
944 void FrameLoader::checkCallImplicitClose()
945 {
946     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
947         return;
948
949     if (!allChildrenAreComplete())
950         return; // still got a frame running -> too early
951
952     m_didCallImplicitClose = true;
953     m_wasUnloadEventEmitted = false;
954     m_frame.document()->implicitClose();
955 }
956
957 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
958 {
959     RELEASE_LOG_IF_ALLOWED("loadURLIntoChildFrame: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
960
961     ASSERT(childFrame);
962
963 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
964     if (auto activeLoader = activeDocumentLoader()) {
965         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
966             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
967             return;
968         }
969     }
970 #endif
971
972     // If we're moving in the back/forward list, we might want to replace the content
973     // of this child frame with whatever was there at that point.
974     auto* parentItem = history().currentItem();
975     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
976         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
977             childFrame->loader().m_requestedHistoryItem = childItem;
978             childFrame->loader().loadDifferentDocumentItem(*childItem, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
979             return;
980         }
981     }
982
983     auto* lexicalFrame = lexicalFrameFromCommonVM();
984     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
985
986     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
987     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, WTF::nullopt, [] { });
988 }
989
990 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
991
992 void FrameLoader::loadArchive(Ref<Archive>&& archive)
993 {
994     RELEASE_LOG_IF_ALLOWED("loadArchive: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
995
996     ArchiveResource* mainResource = archive->mainResource();
997     ASSERT(mainResource);
998     if (!mainResource)
999         return;
1000
1001     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1002     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1003     
1004     ResourceRequest request(mainResource->url());
1005
1006     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1007     documentLoader->setArchive(WTFMove(archive));
1008     load(documentLoader.get());
1009 }
1010
1011 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1012
1013 String FrameLoader::outgoingReferrer() const
1014 {
1015     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1016     // for why we walk the parent chain for srcdoc documents.
1017     Frame* frame = &m_frame;
1018     while (frame && frame->document()->isSrcdocDocument()) {
1019         frame = frame->tree().parent();
1020         // Srcdoc documents cannot be top-level documents, by definition,
1021         // because they need to be contained in iframes with the srcdoc.
1022         ASSERT(frame);
1023     }
1024     if (!frame)
1025         return emptyString();
1026     return frame->loader().m_outgoingReferrer;
1027 }
1028
1029 String FrameLoader::outgoingOrigin() const
1030 {
1031     return m_frame.document()->securityOrigin().toString();
1032 }
1033
1034 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1035 {
1036     if (m_submittedFormURL.isEmpty())
1037         return true;
1038
1039     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1040     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1041 }
1042
1043 Frame* FrameLoader::opener()
1044 {
1045     return m_opener;
1046 }
1047
1048 void FrameLoader::setOpener(Frame* opener)
1049 {
1050     if (m_opener && !opener)
1051         m_client.didDisownOpener();
1052
1053     if (m_opener) {
1054         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1055         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1056         openerFrameLoader.m_openedFrames.remove(&m_frame);
1057     }
1058     if (opener) {
1059         opener->loader().m_openedFrames.add(&m_frame);
1060         if (auto* page = m_frame.page())
1061             page->setOpenedByDOMWithOpener();
1062     }
1063     m_opener = opener;
1064
1065     if (m_frame.document())
1066         m_frame.document()->initSecurityContext();
1067 }
1068
1069 // FIXME: This does not belong in FrameLoader!
1070 void FrameLoader::handleFallbackContent()
1071 {
1072     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1073     if (!is<HTMLObjectElement>(owner))
1074         return;
1075     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1076 }
1077
1078 void FrameLoader::provisionalLoadStarted()
1079 {
1080     if (m_stateMachine.firstLayoutDone())
1081         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1082     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1083     m_client.provisionalLoadStarted();
1084
1085     if (m_frame.isMainFrame()) {
1086         tracePoint(MainResourceLoadDidStartProvisional);
1087
1088         if (auto* page = m_frame.page())
1089             page->didStartProvisionalLoad();
1090     }
1091 }
1092
1093 void FrameLoader::resetMultipleFormSubmissionProtection()
1094 {
1095     m_submittedFormURL = URL();
1096 }
1097
1098 void FrameLoader::updateFirstPartyForCookies()
1099 {
1100     if (m_frame.tree().parent())
1101         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1102     else
1103         setFirstPartyForCookies(m_frame.document()->url());
1104 }
1105
1106 void FrameLoader::setFirstPartyForCookies(const URL& url)
1107 {
1108     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1109         frame->document()->setFirstPartyForCookies(url);
1110
1111     String registrableDomain = ResourceRequest::partitionName(url.host().toString());
1112     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1113         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomainsAreEqual(frame->document()->url(), registrableDomain))
1114             frame->document()->setSiteForCookies(url);
1115     }
1116 }
1117
1118 // This does the same kind of work that didOpenURL does, except it relies on the fact
1119 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1120 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1121 {
1122     RELEASE_LOG_IF_ALLOWED("loadInSameDocument: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1123
1124     // If we have a state object, we cannot also be a new navigation.
1125     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1126
1127     // Update the data source's request with the new URL to fake the URL change
1128     URL oldURL = m_frame.document()->url();
1129     m_frame.document()->setURL(url);
1130     setOutgoingReferrer(url);
1131     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1132     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1133         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1134         // based on the current request. Must also happen before we openURL and displace the 
1135         // scroll position, since adding the BF item will save away scroll state.
1136         
1137         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1138         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1139         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1140         // though its load is not yet done.  I think this all works out OK, for one because
1141         // we have already saved away the scroll and doc state for the long slow load,
1142         // but it's not an obvious case.
1143
1144         history().updateBackForwardListForFragmentScroll();
1145     }
1146     
1147     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1148     
1149     history().updateForSameDocumentNavigation();
1150
1151     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1152     if (hashChange)
1153         m_frame.eventHandler().stopAutoscrollTimer();
1154     
1155     // It's important to model this as a load that starts and immediately finishes.
1156     // Otherwise, the parent frame may think we never finished loading.
1157     started();
1158
1159     if (auto* ownerElement = m_frame.ownerElement()) {
1160         auto* ownerRenderer = ownerElement->renderer();
1161         auto* view = m_frame.view();
1162         if (is<RenderWidget>(ownerRenderer) && view)
1163             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1164     }
1165
1166     // We need to scroll to the fragment whether or not a hash change occurred, since
1167     // the user might have scrolled since the previous navigation.
1168     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1169     
1170     m_isComplete = false;
1171     checkCompleted();
1172
1173     if (isNewNavigation) {
1174         // This will clear previousItem from the rest of the frame tree that didn't
1175         // doing any loading. We need to make a pass on this now, since for fragment
1176         // navigation we'll not go through a real load and reach Completed state.
1177         checkLoadComplete();
1178     }
1179
1180     m_client.dispatchDidNavigateWithinPage();
1181
1182     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1183     m_client.dispatchDidPopStateWithinPage();
1184     
1185     if (hashChange) {
1186         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1187         m_client.dispatchDidChangeLocationWithinPage();
1188     }
1189     
1190     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1191     m_client.didFinishLoad();
1192 }
1193
1194 bool FrameLoader::isComplete() const
1195 {
1196     return m_isComplete;
1197 }
1198
1199 void FrameLoader::completed()
1200 {
1201     Ref<Frame> protect(m_frame);
1202
1203     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1204         descendant->navigationScheduler().startTimer();
1205
1206     if (Frame* parent = m_frame.tree().parent())
1207         parent->loader().checkCompleted();
1208
1209     if (m_frame.view())
1210         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1211 }
1212
1213 void FrameLoader::started()
1214 {
1215     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1216         frame->loader().m_isComplete = false;
1217 }
1218
1219 void FrameLoader::prepareForLoadStart()
1220 {
1221     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1222
1223     m_progressTracker->progressStarted();
1224     m_client.dispatchDidStartProvisionalLoad();
1225
1226     if (AXObjectCache::accessibilityEnabled()) {
1227         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1228             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1229             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1230         }
1231     }
1232 }
1233
1234 void FrameLoader::setupForReplace()
1235 {
1236     m_client.revertToProvisionalState(m_documentLoader.get());
1237     setState(FrameStateProvisional);
1238     m_provisionalDocumentLoader = m_documentLoader;
1239     m_documentLoader = nullptr;
1240     detachChildren();
1241 }
1242
1243 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution)
1244 {
1245     RELEASE_LOG_IF_ALLOWED("loadFrameRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1246
1247     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1248     auto protectFrame = makeRef(m_frame);
1249
1250     URL url = request.resourceRequest().url();
1251
1252     ASSERT(m_frame.document());
1253     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1254         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1255         return;
1256     }
1257
1258     String argsReferrer = request.resourceRequest().httpReferrer();
1259     if (argsReferrer.isEmpty())
1260         argsReferrer = outgoingReferrer();
1261
1262     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1263     if (request.shouldSendReferrer() == NeverSendReferrer)
1264         referrer = String();
1265
1266     FrameLoadType loadType;
1267     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1268         loadType = FrameLoadType::Reload;
1269     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1270         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1271     else
1272         loadType = FrameLoadType::Standard;
1273
1274     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1275         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1276         // load if frame names have changed.
1277         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1278         if (!sourceFrame)
1279             sourceFrame = &m_frame;
1280         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1281         if (targetFrame && targetFrame != sourceFrame) {
1282             if (Page* page = targetFrame->page())
1283                 page->chrome().focus();
1284         }
1285     };
1286
1287     if (request.resourceRequest().httpMethod() == "POST")
1288         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1289     else
1290         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(adClickAttribution), WTFMove(completionHandler));
1291 }
1292
1293 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1294 {
1295     if (UserGestureIndicator::processingUserGesture())
1296         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1297
1298     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1299         return propagatedPolicy;
1300
1301     if (!currentFrame.isMainFrame())
1302         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1303
1304     return propagatedPolicy;
1305 }
1306
1307 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1308 {
1309     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1310 }
1311
1312 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1313 {
1314     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1315 }
1316
1317 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1318 {
1319     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1320 }
1321
1322 bool FrameLoader::isNavigationAllowed() const
1323 {
1324     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && NavigationDisabler::isNavigationAllowed(m_frame);
1325 }
1326
1327 bool FrameLoader::isStopLoadingAllowed() const
1328 {
1329     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1330 }
1331
1332 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution, CompletionHandler<void()>&& completionHandler)
1333 {
1334     RELEASE_LOG_IF_ALLOWED("loadURL: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1335
1336     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1337     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1338         return;
1339
1340     Ref<Frame> protect(m_frame);
1341
1342     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1343     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1344     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1345     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1346     LockHistory lockHistory = frameLoadRequest.lockHistory();
1347     bool isFormSubmission = formState;
1348
1349     const URL& newURL = frameLoadRequest.resourceRequest().url();
1350     ResourceRequest request(newURL);
1351     if (!referrer.isEmpty()) {
1352         request.setHTTPReferrer(referrer);
1353         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1354         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1355     }
1356     if (&m_frame.tree().top() != &m_frame)
1357         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1358
1359     addExtraFieldsToRequest(request, newLoadType, true);
1360     if (isReload(newLoadType))
1361         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1362
1363     ASSERT(newLoadType != FrameLoadType::Same);
1364
1365     // The search for a target frame is done earlier in the case of form submission.
1366     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1367     if (targetFrame && targetFrame != &m_frame) {
1368         frameLoadRequest.setFrameName("_self");
1369         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), WTFMove(adClickAttribution), completionHandlerCaller.release());
1370         return;
1371     }
1372
1373     if (!isNavigationAllowed())
1374         return;
1375
1376     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1377     action.setLockHistory(lockHistory);
1378     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1379     if (adClickAttribution && m_frame.isMainFrame())
1380         action.setAdClickAttribution(WTFMove(*adClickAttribution));
1381
1382     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1383         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1384         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1385             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1386             completionHandler();
1387         });
1388         return;
1389     }
1390
1391     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1392
1393     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1394     const String& httpMethod = request.httpMethod();
1395     
1396     // Make sure to do scroll to fragment processing even if the URL is
1397     // exactly the same so pages with '#' links and DHTML side effects
1398     // work properly.
1399     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1400         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1401         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1402         policyChecker().stopCheck();
1403         policyChecker().setLoadType(newLoadType);
1404         RELEASE_ASSERT(!isBackForwardLoadType(newLoadType) || history().provisionalItem());
1405         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1406             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1407         }, PolicyDecisionMode::Synchronous);
1408         return;
1409     }
1410
1411     // Must grab this now, since this load may stop the previous load and clear this flag.
1412     bool isRedirect = m_quickRedirectComing;
1413 #if USE(SYSTEM_PREVIEW)
1414     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1415     request.setSystemPreview(isSystemPreview);
1416     if (isSystemPreview)
1417         request.setSystemPreviewRect(frameLoadRequest.systemPreviewRect());
1418 #endif
1419     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1420         if (isRedirect) {
1421             m_quickRedirectComing = false;
1422             if (m_provisionalDocumentLoader)
1423                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1424             else if (m_policyDocumentLoader)
1425                 m_policyDocumentLoader->setIsClientRedirect(true);
1426         } else if (sameURL && !isReload(newLoadType)) {
1427             // Example of this case are sites that reload the same URL with a different cookie
1428             // driving the generated content, or a master frame with links that drive a target
1429             // frame, where the user has clicked on the same link repeatedly.
1430             m_loadType = FrameLoadType::Same;
1431         }
1432         completionHandler();
1433     });
1434 }
1435
1436 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1437 {
1438     if (!shouldTreatURLAsSrcdocDocument(url))
1439         return SubstituteData();
1440     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1441     ASSERT(!srcdoc.isNull());
1442     CString encodedSrcdoc = srcdoc.string().utf8();
1443
1444     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1445     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1446 }
1447
1448 void FrameLoader::load(FrameLoadRequest&& request)
1449 {
1450     RELEASE_LOG_IF_ALLOWED("load (FrameLoadRequest): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1451
1452     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1453         return;
1454
1455     if (!request.frameName().isEmpty()) {
1456         Frame* frame = findFrameForNavigation(request.frameName());
1457         if (frame) {
1458             request.setShouldCheckNewWindowPolicy(false);
1459             if (&frame->loader() != this) {
1460                 frame->loader().load(WTFMove(request));
1461                 return;
1462             }
1463         }
1464     }
1465
1466     if (request.shouldCheckNewWindowPolicy()) {
1467         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1468         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1469             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1470         });
1471
1472         return;
1473     }
1474
1475     if (!request.hasSubstituteData())
1476         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1477
1478     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1479     loader->setAllowsWebArchiveForMainFrame(request.isRequestFromClientOrUserInput());
1480     addSameSiteInfoToRequestIfNeeded(loader->request());
1481     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1482
1483     if (request.shouldTreatAsContinuingLoad()) {
1484         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1485         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1486             loader->setIsClientRedirect(true);
1487             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1488         }
1489     }
1490
1491     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, request.shouldTreatAsContinuingLoad() ? LoadContinuingState::ContinuingWithRequest : LoadContinuingState::NotContinuing);
1492     load(loader.get());
1493 }
1494
1495 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, CompletionHandler<void()>&& completionHandler)
1496 {
1497     RELEASE_LOG_IF_ALLOWED("loadWithNavigationAction: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1498
1499     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1500     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1501
1502     if (lockHistory == LockHistory::Yes && m_documentLoader)
1503         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1504
1505     loader->setTriggeringAction(WTFMove(action));
1506     if (m_documentLoader)
1507         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1508
1509     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1510 }
1511
1512 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1513 {
1514     RELEASE_LOG_IF_ALLOWED("load (DocumentLoader): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1515
1516     ResourceRequest& r = newDocumentLoader.request();
1517     addExtraFieldsToMainResourceRequest(r);
1518     FrameLoadType type;
1519
1520     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1521         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1522         type = FrameLoadType::Same;
1523     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1524         type = m_loadType;
1525     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || shouldTreatCurrentLoadAsContinuingLoad()))
1526         type = FrameLoadType::RedirectWithLockedBackForwardList;
1527     else
1528         type = FrameLoadType::Standard;
1529
1530     if (m_documentLoader)
1531         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1532     
1533     // When we loading alternate content for an unreachable URL that we're
1534     // visiting in the history list, we treat it as a reload so the history list 
1535     // is appropriately maintained.
1536     //
1537     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1538     // shouldn't a more explicit type of reload be defined, that means roughly 
1539     // "load without affecting history" ? 
1540     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1541         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1542         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1543         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1544         history().saveDocumentAndScrollState();
1545
1546         ASSERT(type == FrameLoadType::Standard);
1547         type = FrameLoadType::Reload;
1548     }
1549
1550     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1551 }
1552
1553 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1554 {
1555     RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1556
1557     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1558     Ref<Frame> protect(m_frame);
1559
1560     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1561
1562     ASSERT(m_client.hasWebView());
1563
1564     // Unfortunately the view must be non-nil, this is ultimately due
1565     // to parser requiring a FrameView.  We should fix this dependency.
1566
1567     ASSERT(m_frame.view());
1568
1569     if (!isNavigationAllowed())
1570         return;
1571
1572     if (m_frame.document())
1573         m_previousURL = m_frame.document()->url();
1574
1575     const URL& newURL = loader->request().url();
1576
1577     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1578     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1579     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1580         m_shouldReportResourceTimingToParentFrame = false;
1581
1582     // Log main frame navigation types.
1583     if (m_frame.isMainFrame()) {
1584         if (auto* page = m_frame.page()) {
1585             RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: main frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1586             page->mainFrameLoadStarted(newURL, type);
1587             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1588         }
1589     }
1590
1591     policyChecker().setLoadType(type);
1592     RELEASE_ASSERT(!isBackForwardLoadType(type) || history().provisionalItem());
1593     bool isFormSubmission = formState;
1594
1595     const String& httpMethod = loader->request().httpMethod();
1596
1597     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1598         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1599         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1600
1601         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1602         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1603         policyChecker().stopCheck();
1604         RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1605         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1606             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1607         }, PolicyDecisionMode::Synchronous);
1608         return;
1609     }
1610
1611     if (Frame* parent = m_frame.tree().parent())
1612         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1613
1614     policyChecker().stopCheck();
1615     setPolicyDocumentLoader(loader);
1616     if (loader->triggeringAction().isEmpty())
1617         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1618
1619     if (Element* ownerElement = m_frame.ownerElement()) {
1620         // We skip dispatching the beforeload event if we've already
1621         // committed a real document load because the event would leak
1622         // subsequent activity by the frame which the parent frame isn't
1623         // supposed to learn. For example, if the child frame navigated to
1624         // a new URL, the parent frame shouldn't learn the URL.
1625         if (!m_stateMachine.committedFirstRealDocumentLoad()
1626             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1627             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::IgnoreLoad, allowNavigationToInvalidURL);
1628             return;
1629         }
1630     }
1631
1632     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1633
1634     if (shouldTreatCurrentLoadAsContinuingLoad()) {
1635         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::ContinueLoad, allowNavigationToInvalidURL);
1636         return;
1637     }
1638
1639     RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1640     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, NavigationPolicyDecision navigationPolicyDecision) mutable {
1641         continueLoadAfterNavigationPolicy(request, formState.get(), navigationPolicyDecision, allowNavigationToInvalidURL);
1642         completionHandler();
1643     }, PolicyDecisionMode::Asynchronous);
1644 }
1645
1646 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1647 {
1648     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1649         return;
1650
1651     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1652     m_provisionalDocumentLoader->stopLoading();
1653     setProvisionalDocumentLoader(nullptr);
1654 }
1655
1656 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1657 {
1658     ASSERT(!url.isEmpty());
1659     if (!frame)
1660         return;
1661
1662     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1663 }
1664
1665 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1666 {
1667     ASSERT(!url.isEmpty());
1668     if (!frame)
1669         return;
1670     
1671     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1672 }
1673
1674 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1675 {
1676     if (!frame)
1677         return;
1678
1679     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1680 }
1681
1682 const ResourceRequest& FrameLoader::initialRequest() const
1683 {
1684     return activeDocumentLoader()->originalRequest();
1685 }
1686
1687 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1688 {
1689 #if PLATFORM(IOS_FAMILY)
1690     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1691     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1692     if (IOSApplication::isMobileStore())
1693         return m_client.shouldLoadMediaElementURL(url);
1694 #endif
1695
1696     ResourceRequest request(url);
1697     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1698
1699     unsigned long identifier;
1700     ResourceError error;
1701     requestFromDelegate(request, identifier, error);
1702     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1703
1704     url = request.url();
1705
1706     return error.isNull();
1707 }
1708
1709 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1710 {
1711     URL unreachableURL = docLoader.unreachableURL();
1712
1713     if (unreachableURL.isEmpty())
1714         return false;
1715
1716     if (!isBackForwardLoadType(policyChecker().loadType()))
1717         return false;
1718
1719     // We only treat unreachableURLs specially during the delegate callbacks
1720     // for provisional load errors and navigation policy decisions. The former
1721     // case handles well-formed URLs that can't be loaded, and the latter
1722     // case handles malformed URLs and unknown schemes. Loading alternate content
1723     // at other times behaves like a standard load.
1724     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1725         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1726
1727     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1728 }
1729
1730 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1731 {
1732     if (!m_documentLoader)
1733         return;
1734
1735     RELEASE_LOG_IF_ALLOWED("reloadWithOverrideEncoding: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1736
1737     ResourceRequest request = m_documentLoader->request();
1738     URL unreachableURL = m_documentLoader->unreachableURL();
1739     if (!unreachableURL.isEmpty())
1740         request.setURL(unreachableURL);
1741
1742     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1743     // We should ask the user for confirmation in this case.
1744     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1745
1746     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1747     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1748
1749     setPolicyDocumentLoader(loader.ptr());
1750
1751     loader->setOverrideEncoding(encoding);
1752
1753     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1754 }
1755
1756 void FrameLoader::reload(OptionSet<ReloadOption> options)
1757 {
1758     if (!m_documentLoader)
1759         return;
1760
1761     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1762     // Reloading in this case will lose the current contents (see 4151001).
1763     if (m_documentLoader->request().url().isEmpty())
1764         return;
1765
1766     RELEASE_LOG_IF_ALLOWED("reload: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1767
1768     // Replace error-page URL with the URL we were trying to reach.
1769     ResourceRequest initialRequest = m_documentLoader->request();
1770     URL unreachableURL = m_documentLoader->unreachableURL();
1771     if (!unreachableURL.isEmpty())
1772         initialRequest.setURL(unreachableURL);
1773
1774     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1775     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1776     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1777     loader->setAllowsWebArchiveForMainFrame(m_documentLoader->allowsWebArchiveForMainFrame());
1778     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1779
1780     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1781     
1782     ResourceRequest& request = loader->request();
1783
1784     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1785     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1786
1787     addSameSiteInfoToRequestIfNeeded(request);
1788
1789     // If we're about to re-post, set up action so the application can warn the user.
1790     if (request.httpMethod() == "POST")
1791         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1792
1793     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1794
1795     auto frameLoadTypeForReloadOptions = [] (auto options) {
1796         if (options & ReloadOption::FromOrigin)
1797             return FrameLoadType::ReloadFromOrigin;
1798         if (options & ReloadOption::ExpiredOnly)
1799             return FrameLoadType::ReloadExpiredOnly;
1800         return FrameLoadType::Reload;
1801     };
1802     
1803     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1804 }
1805
1806 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1807 {
1808     if (m_frame.document() && m_frame.document()->pageCacheState() == Document::InPageCache)
1809         return;
1810
1811     if (!isStopLoadingAllowed())
1812         return;
1813
1814     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1815     if (m_inStopAllLoaders)
1816         return;
1817
1818     // This method might dispatch events.
1819     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1820
1821     // Calling stopLoading() on the provisional document loader can blow away
1822     // the frame from underneath.
1823     Ref<Frame> protect(m_frame);
1824
1825     m_inStopAllLoaders = true;
1826
1827     policyChecker().stopCheck();
1828
1829     // If no new load is in progress, we should clear the provisional item from history
1830     // before we call stopLoading.
1831     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1832         history().setProvisionalItem(nullptr);
1833
1834     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1835         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1836     if (m_provisionalDocumentLoader)
1837         m_provisionalDocumentLoader->stopLoading();
1838     if (m_documentLoader)
1839         m_documentLoader->stopLoading();
1840
1841     setProvisionalDocumentLoader(nullptr);
1842
1843     m_inStopAllLoaders = false;    
1844 }
1845
1846 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1847 {
1848     stopAllLoaders();
1849
1850     if (!m_checkTimer.isActive())
1851         return;
1852
1853     m_checkTimer.stop();
1854     m_checkingLoadCompleteForDetachment = true;
1855     checkCompletenessNow();
1856     m_checkingLoadCompleteForDetachment = false;
1857 }
1858
1859 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1860 {
1861     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1862     Ref<Frame> protectedFrame(m_frame);
1863
1864     stopAllLoaders();
1865
1866 #if PLATFORM(IOS_FAMILY)
1867     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1868     // but haven't laid out/painted yet.
1869     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1870     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1871         m_frame.view()->layoutContext().layout();
1872 #endif
1873
1874     if (deferCheckLoadComplete)
1875         scheduleCheckLoadComplete();
1876     else if (m_frame.page())
1877         checkLoadComplete();
1878 }
1879
1880 DocumentLoader* FrameLoader::activeDocumentLoader() const
1881 {
1882     if (m_state == FrameStateProvisional)
1883         return m_provisionalDocumentLoader.get();
1884     return m_documentLoader.get();
1885 }
1886
1887 bool FrameLoader::isLoading() const
1888 {
1889     DocumentLoader* docLoader = activeDocumentLoader();
1890     if (!docLoader)
1891         return false;
1892     return docLoader->isLoading();
1893 }
1894
1895 bool FrameLoader::frameHasLoaded() const
1896 {
1897     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1898 }
1899
1900 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1901 {
1902     if (!loader && !m_documentLoader)
1903         return;
1904
1905     if (loader == m_documentLoader)
1906         return;
1907     
1908     ASSERT(loader != m_documentLoader);
1909     ASSERT(!loader || loader->frameLoader() == this);
1910
1911     m_client.prepareForDataSourceReplacement();
1912     detachChildren();
1913
1914     // detachChildren() can trigger this frame's unload event, and therefore
1915     // script can run and do just about anything. For example, an unload event that calls
1916     // document.write("") on its parent frame can lead to a recursive detachChildren()
1917     // invocation for this frame. In that case, we can end up at this point with a
1918     // loader that hasn't been deleted but has been detached from its frame. Such a
1919     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1920     // state if we try to use it.
1921     if (loader && !loader->frame())
1922         return;
1923
1924     if (m_documentLoader)
1925         m_documentLoader->detachFromFrame();
1926
1927     m_documentLoader = loader;
1928 }
1929
1930 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1931 {
1932     if (m_policyDocumentLoader == loader)
1933         return;
1934
1935     if (loader)
1936         loader->attachToFrame(m_frame);
1937     if (m_policyDocumentLoader
1938             && m_policyDocumentLoader != m_provisionalDocumentLoader
1939             && m_policyDocumentLoader != m_documentLoader)
1940         m_policyDocumentLoader->detachFromFrame();
1941
1942     m_policyDocumentLoader = loader;
1943 }
1944
1945 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1946 {
1947     ASSERT(!loader || !m_provisionalDocumentLoader);
1948     ASSERT(!loader || loader->frameLoader() == this);
1949
1950     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1951         m_provisionalDocumentLoader->detachFromFrame();
1952
1953     m_provisionalDocumentLoader = loader;
1954 }
1955
1956 void FrameLoader::setState(FrameState newState)
1957 {
1958     FrameState oldState = m_state;
1959     m_state = newState;
1960     
1961     if (newState == FrameStateProvisional)
1962         provisionalLoadStarted();
1963     else if (newState == FrameStateComplete) {
1964         frameLoadCompleted();
1965         if (m_documentLoader)
1966             m_documentLoader->stopRecordingResponses();
1967         if (m_frame.isMainFrame() && oldState != newState) {
1968             RELEASE_LOG_IF_ALLOWED("setState: main frame load completed (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1969             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1970         }
1971     }
1972 }
1973
1974 void FrameLoader::clearProvisionalLoad()
1975 {
1976     setProvisionalDocumentLoader(nullptr);
1977     m_progressTracker->progressCompleted();
1978     setState(FrameStateComplete);
1979 }
1980
1981 void FrameLoader::commitProvisionalLoad()
1982 {
1983     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1984     Ref<Frame> protect(m_frame);
1985
1986     std::unique_ptr<CachedPage> cachedPage;
1987     if (m_loadingFromCachedPage && history().provisionalItem())
1988         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1989
1990     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
1991         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1992         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
1993
1994     willTransitionToCommitted();
1995
1996     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
1997         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
1998         // We are doing this here because we know for sure that a new page is about to be loaded.
1999         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
2000         
2001         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
2002     }
2003
2004     if (m_loadType != FrameLoadType::Replace)
2005         closeOldDataSources();
2006
2007     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2008         m_client.makeRepresentation(pdl.get());
2009
2010     transitionToCommitted(cachedPage.get());
2011
2012     if (pdl && m_documentLoader) {
2013         // Check if the destination page is allowed to access the previous page's timing information.
2014         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2015         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2016     }
2017
2018     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2019     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2020     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2021     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2022     if (m_sentRedirectNotification)
2023         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2024     
2025     if (cachedPage && cachedPage->document()) {
2026 #if PLATFORM(IOS_FAMILY)
2027         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2028         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2029         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2030 #endif
2031         willRestoreFromCachedPage();
2032
2033         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2034         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2035         ResourceError mainResouceError;
2036         unsigned long mainResourceIdentifier;
2037         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2038         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2039         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2040
2041         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2042
2043         dispatchDidCommitLoad(hasInsecureContent);
2044
2045         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2046         cachedPage->restore(*m_frame.page());
2047
2048 #if PLATFORM(IOS_FAMILY)
2049         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2050         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2051 #endif
2052         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2053
2054         auto& title = m_documentLoader->title();
2055         if (!title.string.isNull())
2056             m_client.dispatchDidReceiveTitle(title);
2057
2058         // Send remaining notifications for the main resource.
2059         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2060             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2061
2062         checkCompleted();
2063     } else
2064         didOpenURL();
2065
2066     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2067         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2068
2069     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2070         history().updateForClientRedirect();
2071
2072     if (m_loadingFromCachedPage) {
2073         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2074         if (auto* page = m_frame.page())
2075             page->chrome().didReceiveDocType(m_frame);
2076         m_frame.document()->resume(ReasonForSuspension::PageCache);
2077
2078         // Force a layout to update view size and thereby update scrollbars.
2079 #if PLATFORM(IOS_FAMILY)
2080         if (!m_client.forceLayoutOnRestoreFromPageCache())
2081             m_frame.view()->forceLayout();
2082 #else
2083         m_frame.view()->forceLayout();
2084 #endif
2085
2086         // Main resource delegates were already sent, so we skip the first response here.
2087         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2088             const auto& response = m_documentLoader->responses()[i];
2089             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2090             ResourceError error;
2091             unsigned long identifier;
2092             ResourceRequest request(response.url());
2093             requestFromDelegate(request, identifier, error);
2094             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2095             // However, with today's computers and networking speeds, this won't happen in practice.
2096             // Could be an issue with a giant local file.
2097             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2098         }
2099
2100         // FIXME: Why only this frame and not parent frames?
2101         checkLoadCompleteForThisFrame();
2102     }
2103 }
2104
2105 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2106 {
2107     ASSERT(m_client.hasWebView());
2108     ASSERT(m_state == FrameStateProvisional);
2109
2110     if (m_state != FrameStateProvisional)
2111         return;
2112
2113     if (FrameView* view = m_frame.view()) {
2114         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2115             scrollAnimator->cancelAnimations();
2116     }
2117
2118     m_client.setCopiesOnScroll();
2119     history().updateForCommit();
2120
2121     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2122     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2123     // or the two will stomp each other.
2124     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2125     if (m_documentLoader)
2126         closeURL();
2127     if (pdl != m_provisionalDocumentLoader)
2128         return;
2129
2130     if (m_documentLoader)
2131         m_documentLoader->stopLoadingSubresources();
2132     if (m_documentLoader)
2133         m_documentLoader->stopLoadingPlugIns();
2134
2135     // Setting our document loader invokes the unload event handler of our child frames.
2136     // Script can do anything. If the script initiates a new load, we need to abandon the
2137     // current load or the two will stomp each other.
2138     setDocumentLoader(m_provisionalDocumentLoader.get());
2139     if (pdl != m_provisionalDocumentLoader)
2140         return;
2141     setProvisionalDocumentLoader(nullptr);
2142
2143     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2144     setState(FrameStateCommittedPage);
2145
2146     // Handle adding the URL to the back/forward list.
2147     DocumentLoader* dl = m_documentLoader.get();
2148
2149     switch (m_loadType) {
2150     case FrameLoadType::Forward:
2151     case FrameLoadType::Back:
2152     case FrameLoadType::IndexedBackForward:
2153         if (m_frame.page()) {
2154             // If the first load within a frame is a navigation within a back/forward list that was attached
2155             // without any of the items being loaded then we need to update the history in a similar manner as
2156             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2157             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2158                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2159
2160             history().updateForBackForwardNavigation();
2161
2162             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2163             if (history().currentItem() && !cachedPage)
2164                 m_pendingStateObject = history().currentItem()->stateObject();
2165
2166             // Create a document view for this document, or used the cached view.
2167             if (cachedPage) {
2168                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2169                 ASSERT(cachedDocumentLoader);
2170                 cachedDocumentLoader->attachToFrame(m_frame);
2171                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2172             } else
2173                 m_client.transitionToCommittedForNewPage();
2174         }
2175         break;
2176
2177     case FrameLoadType::Reload:
2178     case FrameLoadType::ReloadFromOrigin:
2179     case FrameLoadType::ReloadExpiredOnly:
2180     case FrameLoadType::Same:
2181     case FrameLoadType::Replace:
2182         history().updateForReload();
2183         m_client.transitionToCommittedForNewPage();
2184         break;
2185
2186     case FrameLoadType::Standard:
2187         history().updateForStandardLoad();
2188         if (m_frame.view())
2189             m_frame.view()->setScrollbarsSuppressed(true);
2190         m_client.transitionToCommittedForNewPage();
2191         break;
2192
2193     case FrameLoadType::RedirectWithLockedBackForwardList:
2194         history().updateForRedirectWithLockedBackForwardList();
2195         m_client.transitionToCommittedForNewPage();
2196         break;
2197     }
2198
2199     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2200
2201     // Tell the client we've committed this URL.
2202     ASSERT(m_frame.view());
2203
2204     if (m_stateMachine.creatingInitialEmptyDocument())
2205         return;
2206
2207     if (!m_stateMachine.committedFirstRealDocumentLoad())
2208         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2209 }
2210
2211 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2212 {
2213     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2214     // the redirect succeeded.  We should either rename this API, or add a new method, like
2215     // -webView:didFinishClientRedirectForFrame:
2216     m_client.dispatchDidCancelClientRedirect();
2217
2218     if (newLoadInProgress == NewLoadInProgress::No)
2219         m_quickRedirectComing = false;
2220
2221     m_sentRedirectNotification = false;
2222 }
2223
2224 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2225 {
2226     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2227     
2228     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2229     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2230     m_sentRedirectNotification = true;
2231     
2232     // If a "quick" redirect comes in, we set a special mode so we treat the next
2233     // load as part of the original navigation. If we don't have a document loader, we have
2234     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2235     // Loads triggered by JavaScript form submissions never count as quick redirects.
2236     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2237 }
2238
2239 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2240 {
2241     // This function implements the rule: "Don't reload if navigating by fragment within
2242     // the same URL, but do reload if going to a new URL or to the same URL with no
2243     // fragment identifier at all."
2244     if (!destinationURL.hasFragmentIdentifier())
2245         return true;
2246     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2247 }
2248
2249 void FrameLoader::closeOldDataSources()
2250 {
2251     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2252     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2253     // use a recursive algorithm here.
2254     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2255         child->loader().closeOldDataSources();
2256     
2257     if (m_documentLoader)
2258         m_client.dispatchWillClose();
2259
2260     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2261 }
2262
2263 void FrameLoader::willRestoreFromCachedPage()
2264 {
2265     ASSERT(!m_frame.tree().parent());
2266     ASSERT(m_frame.page());
2267     ASSERT(m_frame.isMainFrame());
2268
2269     m_frame.navigationScheduler().cancel();
2270
2271     // We still have to close the previous part page.
2272     closeURL();
2273     
2274     // Delete old status bar messages (if it _was_ activated on last URL).
2275     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2276         DOMWindow* window = m_frame.document()->domWindow();
2277         window->setStatus(String());
2278         window->setDefaultStatus(String());
2279     }
2280 }
2281
2282 void FrameLoader::open(CachedFrameBase& cachedFrame)
2283 {
2284     m_isComplete = false;
2285     
2286     // Don't re-emit the load event.
2287     m_didCallImplicitClose = true;
2288
2289     URL url = cachedFrame.url();
2290
2291     // FIXME: I suspect this block of code doesn't do anything.
2292     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2293         url.setPath("/");
2294
2295     started();
2296     Document* document = cachedFrame.document();
2297     ASSERT(document);
2298     ASSERT(document->domWindow());
2299
2300     clear(document, true, true, cachedFrame.isMainFrame());
2301
2302     document->setPageCacheState(Document::NotInPageCache);
2303
2304     m_needsClear = true;
2305     m_isComplete = false;
2306     m_didCallImplicitClose = false;
2307     m_outgoingReferrer = url.string();
2308
2309     FrameView* view = cachedFrame.view();
2310     
2311     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2312     ASSERT(view);
2313     view->setWasScrolledByUser(false);
2314
2315     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2316     m_frame.setView(view);
2317
2318     // Use the previous ScrollView's frame rect.
2319     if (previousViewFrameRect)
2320         view->setFrameRect(previousViewFrameRect.value());
2321
2322     {
2323         // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2324         // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2325         // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2326         NavigationDisabler disableNavigation { &m_frame };
2327         m_frame.setDocument(document);
2328     }
2329
2330     document->domWindow()->resumeFromPageCache();
2331
2332     updateFirstPartyForCookies();
2333
2334     cachedFrame.restore();
2335 }
2336
2337 bool FrameLoader::isHostedByObjectElement() const
2338 {
2339     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2340     return owner && owner->hasTagName(objectTag);
2341 }
2342
2343 bool FrameLoader::isReplacing() const
2344 {
2345     return m_loadType == FrameLoadType::Replace;
2346 }
2347
2348 void FrameLoader::setReplacing()
2349 {
2350     m_loadType = FrameLoadType::Replace;
2351 }
2352
2353 bool FrameLoader::subframeIsLoading() const
2354 {
2355     // It's most likely that the last added frame is the last to load so we walk backwards.
2356     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2357         FrameLoader& childLoader = child->loader();
2358         DocumentLoader* documentLoader = childLoader.documentLoader();
2359         if (documentLoader && documentLoader->isLoadingInAPISense())
2360             return true;
2361         documentLoader = childLoader.provisionalDocumentLoader();
2362         if (documentLoader && documentLoader->isLoadingInAPISense())
2363             return true;
2364         documentLoader = childLoader.policyDocumentLoader();
2365         if (documentLoader)
2366             return true;
2367     }
2368     return false;
2369 }
2370
2371 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2372 {
2373     m_client.willChangeTitle(loader);
2374 }
2375
2376 FrameLoadType FrameLoader::loadType() const
2377 {
2378     return m_loadType;
2379 }
2380     
2381 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2382 {
2383     if (Page* page = m_frame.page()) {
2384         if (page->isResourceCachingDisabled())
2385             return CachePolicyReload;
2386     }
2387
2388     if (m_isComplete)
2389         return CachePolicyVerify;
2390
2391     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2392         return CachePolicyReload;
2393
2394     if (Frame* parentFrame = m_frame.tree().parent()) {
2395         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2396         if (parentCachePolicy != CachePolicyVerify)
2397             return parentCachePolicy;
2398     }
2399     
2400     switch (m_loadType) {
2401     case FrameLoadType::Reload:
2402         return CachePolicyRevalidate;
2403     case FrameLoadType::Back:
2404     case FrameLoadType::Forward:
2405     case FrameLoadType::IndexedBackForward:
2406         return CachePolicyHistoryBuffer;
2407     case FrameLoadType::ReloadFromOrigin:
2408         ASSERT_NOT_REACHED(); // Already handled above.
2409         return CachePolicyReload;
2410     case FrameLoadType::RedirectWithLockedBackForwardList:
2411     case FrameLoadType::Replace:
2412     case FrameLoadType::Same:
2413     case FrameLoadType::Standard:
2414         return CachePolicyVerify;
2415     case FrameLoadType::ReloadExpiredOnly:
2416         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2417         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2418             return CachePolicyReload;
2419         return CachePolicyVerify;
2420     }
2421
2422     RELEASE_ASSERT_NOT_REACHED();
2423     return CachePolicyVerify;
2424 }
2425
2426 void FrameLoader::checkLoadCompleteForThisFrame()
2427 {
2428     ASSERT(m_client.hasWebView());
2429
2430     // FIXME: Should this check be done in checkLoadComplete instead of here?
2431     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2432     if (m_frame.document()->isDelayingLoadEvent())
2433         return;
2434
2435     switch (m_state) {
2436         case FrameStateProvisional: {
2437             // FIXME: Prohibiting any provisional load failures from being sent to clients
2438             // while handling provisional load failures is too heavy. For example, the current
2439             // load will fail to cancel another ongoing load. That might prevent clients' page
2440             // load state being handled properly.
2441             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2442                 return;
2443
2444             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2445             if (!pdl)
2446                 return;
2447                 
2448             // If we've received any errors we may be stuck in the provisional state and actually complete.
2449             const ResourceError& error = pdl->mainDocumentError();
2450             if (error.isNull())
2451                 return;
2452
2453             // Check all children first.
2454             RefPtr<HistoryItem> item;
2455             if (Page* page = m_frame.page())
2456                 if (isBackForwardLoadType(loadType()))
2457                     // Reset the back forward list to the last committed history item at the top level.
2458                     item = page->mainFrame().loader().history().currentItem();
2459                 
2460             // Only reset if we aren't already going to a new provisional item.
2461             bool shouldReset = !history().provisionalItem();
2462             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2463                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Failed provisional load (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2464                 m_provisionalLoadErrorBeingHandledURL = m_provisionalDocumentLoader->url();
2465                 m_client.dispatchDidFailProvisionalLoad(error);
2466 #if ENABLE(CONTENT_FILTERING)
2467                 if (auto contentFilter = pdl->contentFilter())
2468                     contentFilter->handleProvisionalLoadFailure(error);
2469 #endif
2470                 m_provisionalLoadErrorBeingHandledURL = { };
2471
2472                 ASSERT(!pdl->isLoading());
2473
2474                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2475                 if (isReplacing() && !m_documentLoader.get())
2476                     setDocumentLoader(m_provisionalDocumentLoader.get());
2477
2478                 // Finish resetting the load state, but only if another load hasn't been started by the
2479                 // delegate callback.
2480                 if (pdl == m_provisionalDocumentLoader)
2481                     clearProvisionalLoad();
2482                 else if (activeDocumentLoader()) {
2483                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2484                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2485                         shouldReset = false;
2486                 }
2487             }
2488             if (shouldReset && item)
2489                 if (Page* page = m_frame.page()) {
2490                     page->backForward().setCurrentItem(*item);
2491                 }
2492             return;
2493         }
2494         
2495         case FrameStateCommittedPage: {
2496             if (!m_documentLoader)
2497                 return;
2498             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2499                 return;
2500
2501             setState(FrameStateComplete);
2502
2503             // FIXME: Is this subsequent work important if we already navigated away?
2504             // Maybe there are bugs because of that, or extra work we can skip because
2505             // the new page is ready.
2506
2507             m_client.forceLayoutForNonHTML();
2508              
2509             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2510             if (m_frame.page()) {
2511                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2512                     history().restoreScrollPositionAndViewState();
2513             }
2514
2515             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2516                 return;
2517
2518             m_progressTracker->progressCompleted();
2519             Page* page = m_frame.page();
2520             if (page) {
2521                 if (m_frame.isMainFrame()) {
2522                     tracePoint(MainResourceLoadDidEnd);
2523                     page->didFinishLoad();
2524                 }
2525             }
2526
2527             const ResourceError& error = m_documentLoader->mainDocumentError();
2528
2529             AXObjectCache::AXLoadingEvent loadingEvent;
2530             if (!error.isNull()) {
2531                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2532                 m_client.dispatchDidFailLoad(error);
2533                 loadingEvent = AXObjectCache::AXLoadingFailed;
2534             } else {
2535                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2536 #if ENABLE(DATA_DETECTION)
2537                 auto* document = m_frame.document();
2538                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2539                     if (auto* documentElement = document->documentElement()) {
2540                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2541                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2542                         if (m_frame.isMainFrame())
2543                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2544                     }
2545                 }
2546 #endif
2547                 m_client.dispatchDidFinishLoad();
2548                 loadingEvent = AXObjectCache::AXLoadingFinished;
2549             }
2550
2551             // Notify accessibility.
2552             if (auto* document = m_frame.document()) {
2553                 if (AXObjectCache* cache = document->existingAXObjectCache())
2554                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2555             }
2556
2557             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2558             // from its Page and also might have caused Page to be deleted.
2559             // Don't assume 'page' is still available to use.
2560             if (m_frame.isMainFrame() && m_frame.page()) {
2561                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2562                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2563             }
2564
2565             return;
2566         }
2567         
2568         case FrameStateComplete:
2569             m_loadType = FrameLoadType::Standard;
2570             frameLoadCompleted();
2571             return;
2572     }
2573
2574     ASSERT_NOT_REACHED();
2575 }
2576
2577 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2578 {
2579     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2580     // The originalURL is defined as the URL of the page where the download was initiated.
2581     URL originalURL;
2582     auto* initiator = m_frame.document();
2583     if (initiator) {
2584         originalURL = initiator->firstPartyForCookies();
2585         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2586         // In this case, we need to set the originalURL to this document's opener's main document URL.
2587         if (originalURL.isEmpty() && opener() && opener()->document()) {
2588             originalURL = opener()->document()->firstPartyForCookies();
2589             initiator = opener()->document();
2590         }
2591     }
2592     // If the originalURL is the same as the requested URL, we are processing a download
2593     // initiated directly without a page and do not need to specify the originalURL.
2594     if (originalURL == request.url())
2595         request.setFirstPartyForCookies(URL());
2596     else
2597         request.setFirstPartyForCookies(originalURL);
2598     addSameSiteInfoToRequestIfNeeded(request, initiator);
2599 }
2600
2601 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2602 {
2603     ASSERT(m_frame.isMainFrame());
2604
2605     m_client.dispatchDidReachLayoutMilestone(milestones);
2606 }
2607
2608 void FrameLoader::didFirstLayout()
2609 {
2610 #if PLATFORM(IOS_FAMILY)
2611     // Only send layout-related delegate callbacks synchronously for the main frame to
2612     // avoid reentering layout for the main frame while delivering a layout-related delegate
2613     // callback for a subframe.
2614     if (&m_frame != &m_frame.page()->mainFrame())
2615         return;
2616 #endif
2617     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2618         history().restoreScrollPositionAndViewState();
2619
2620     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2621         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2622 }
2623
2624 void FrameLoader::frameLoadCompleted()
2625 {
2626     // Note: Can be called multiple times.
2627
2628     m_client.frameLoadCompleted();
2629
2630     history().updateForFrameLoadCompleted();
2631
2632     // After a canceled provisional load, firstLayoutDone is false.
2633     // Reset it to true if we're displaying a page.
2634     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2635         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2636 }
2637
2638 void FrameLoader::detachChildren()
2639 {
2640     // detachChildren() will fire the unload event in each subframe and the
2641     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2642     // this event is being fired in its subframes:
2643     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2644     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2645
2646     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2647     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2648     // allow loading of subframes at this point.
2649     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2650
2651     Vector<Ref<Frame>, 16> childrenToDetach;
2652     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2653     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2654         childrenToDetach.uncheckedAppend(*child);
2655     for (auto& child : childrenToDetach)
2656         child->loader().detachFromParent();
2657 }
2658
2659 void FrameLoader::closeAndRemoveChild(Frame& child)
2660 {
2661     child.tree().detachFromParent();
2662
2663     child.setView(nullptr);
2664     if (child.ownerElement() && child.page())
2665         child.page()->decrementSubframeCount();
2666     child.willDetachPage();
2667     child.detachFromPage();
2668
2669     m_frame.tree().removeChild(child);
2670 }
2671
2672 // Called every time a resource is completely loaded or an error is received.
2673 void FrameLoader::checkLoadComplete()
2674 {
2675     m_shouldCallCheckLoadComplete = false;
2676
2677     if (!m_frame.page())
2678         return;
2679
2680     ASSERT(m_client.hasWebView());
2681     
2682     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2683     // is currently needed in order to null out the previous history item for all frames.
2684     Vector<Ref<Frame>, 16> frames;
2685     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2686         frames.append(*frame);
2687
2688     // To process children before their parents, iterate the vector backwards.
2689     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2690         if ((*frame)->page())
2691             (*frame)->loader().checkLoadCompleteForThisFrame();
2692     }
2693 }
2694
2695 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2696 {
2697     if (!recurse)
2698         return m_frame.document()->cachedResourceLoader().requestCount();
2699
2700     int count = 0;
2701     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2702         count += frame->document()->cachedResourceLoader().requestCount();
2703     return count;
2704 }
2705
2706 String FrameLoader::userAgent(const URL& url) const
2707 {
2708     String userAgent;
2709
2710     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader())
2711         userAgent = documentLoader->customUserAgent();
2712
2713     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2714
2715     if (!userAgent.isEmpty())
2716         return userAgent;
2717
2718     return m_client.userAgent(url);
2719 }
2720
2721 String FrameLoader::userAgentForJavaScript(const URL& url) const
2722 {
2723     String userAgent;
2724
2725     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2726         if (m_frame.settings().needsSiteSpecificQuirks())
2727             userAgent = documentLoader->customJavaScriptUserAgentAsSiteSpecificQuirks();
2728         if (userAgent.isEmpty())
2729             userAgent = documentLoader->customUserAgent();
2730     }
2731
2732     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2733
2734     if (!userAgent.isEmpty())
2735         return userAgent;
2736
2737     return m_client.userAgent(url);
2738 }
2739     
2740 String FrameLoader::navigatorPlatform() const
2741 {
2742     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2743         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2744         if (!customNavigatorPlatform.isEmpty())
2745             return customNavigatorPlatform;
2746     }
2747     return String();
2748 }
2749
2750 void FrameLoader::dispatchOnloadEvents()
2751 {
2752     m_client.dispatchDidDispatchOnloadEvents();
2753
2754     if (documentLoader())
2755         documentLoader()->dispatchOnloadEvents();
2756 }
2757
2758 void FrameLoader::frameDetached()
2759 {
2760     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2761     Ref<Frame> protectedFrame(m_frame);
2762
2763     if (m_checkTimer.isActive()) {
2764         m_checkTimer.stop();
2765         checkCompletenessNow();
2766     }
2767
2768     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2769         stopAllLoadersAndCheckCompleteness();
2770         m_frame.document()->stopActiveDOMObjects();
2771     }
2772
2773     detachFromParent();
2774 }
2775
2776 void FrameLoader::detachFromParent()
2777 {
2778     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2779     Ref<Frame> protect(m_frame);
2780
2781     closeURL();
2782     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2783     detachChildren();
2784     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2785         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2786         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2787         // handlers might start a new subresource load in this frame.
2788         stopAllLoaders();
2789     }
2790
2791     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2792
2793     detachViewsAndDocumentLoader();
2794
2795     m_progressTracker = nullptr;
2796
2797     if (Frame* parent = m_frame.tree().parent()) {
2798         parent->loader().closeAndRemoveChild(m_frame);
2799         parent->loader().scheduleCheckCompleted();
2800         parent->loader().scheduleCheckLoadComplete();
2801     } else {
2802         m_frame.setView(nullptr);
2803         m_frame.willDetachPage();
2804         m_frame.detachFromPage();
2805     }
2806 }
2807
2808 void FrameLoader::detachViewsAndDocumentLoader()
2809 {
2810     m_client.detachedFromParent2();
2811     setDocumentLoader(nullptr);
2812     m_client.detachedFromParent3();
2813 }
2814     
2815 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2816 {
2817     addExtraFieldsToRequest(request, m_loadType, false);
2818 }
2819
2820 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2821 {
2822     // FIXME: Using m_loadType seems wrong for some callers.
2823     // If we are only preparing to load the main resource, that is previous load's load type!
2824     addExtraFieldsToRequest(request, m_loadType, true);
2825
2826     // Upgrade-Insecure-Requests should only be added to main resource requests
2827     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2828 }
2829
2830 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2831 {
2832     if (m_overrideCachePolicyForTesting)
2833         return m_overrideCachePolicyForTesting.value();
2834
2835     if (isMainResource) {
2836         if (isReload(loadType) || request.isConditional())
2837             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2838
2839         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2840     }
2841
2842     if (request.isConditional())
2843         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2844
2845     if (documentLoader()->isLoadingInAPISense()) {
2846         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2847         // original request cache policy for two reasons:
2848         // 1. For POST requests, we mutate the cache policy for the main resource,
2849         //    but we do not want this to apply to subresources
2850         // 2. Delegates that modify the cache policy using willSendRequest: should
2851         //    not affect any other resources. Such changes need to be done
2852         //    per request.
2853         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2854         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2855         // This policy is set on initial request too, but should not be inherited.
2856         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2857     }
2858
2859     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2860 }
2861
2862 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2863 {
2864     // If the request came from a previous process due to process-swap-on-navigation then we should not modify the request.
2865     if (m_currentLoadContinuingState == LoadContinuingState::ContinuingWithRequest)
2866         return;
2867
2868     // Don't set the cookie policy URL if it's already been set.
2869     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2870     bool isMainFrameMainResource = isMainResource && m_frame.isMainFrame();
2871     if (request.firstPartyForCookies().isEmpty()) {
2872         if (isMainFrameMainResource)
2873             request.setFirstPartyForCookies(request.url());
2874         else if (Document* document = m_frame.document())
2875             request.setFirstPartyForCookies(document->firstPartyForCookies());
2876     }
2877
2878     if (request.isSameSiteUnspecified()) {
2879         auto* initiator = m_frame.document();
2880         if (isMainResource) {
2881             auto* ownerFrame = m_frame.tree().parent();
2882             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2883                 ownerFrame = m_opener;
2884             if (ownerFrame)
2885                 initiator = ownerFrame->document();
2886             ASSERT(ownerFrame || m_frame.isMainFrame());
2887         }
2888         addSameSiteInfoToRequestIfNeeded(request, initiator);
2889     }
2890     request.setIsTopSite(isMainFrameMainResource);
2891
2892     Page* page = frame().page();
2893     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2894
2895     if (page && page->isResourceCachingDisabled()) {
2896         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2897         loadType = FrameLoadType::ReloadFromOrigin;
2898     } else if (!hasSpecificCachePolicy)
2899         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2900
2901     // The remaining modifications are only necessary for HTTP and HTTPS.
2902     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2903         return;
2904
2905     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2906         if (loadType == FrameLoadType::Reload)
2907             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2908         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2909             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2910             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2911         }
2912     }
2913
2914     if (m_overrideResourceLoadPriorityForTesting)
2915         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2916
2917     applyUserAgentIfNeeded(request);
2918
2919     if (isMainResource)
2920         request.setHTTPAccept(defaultAcceptHeader);
2921
2922     // Make sure we send the Origin header.
2923     addHTTPOriginIfNeeded(request, String());
2924
2925     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2926     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2927         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2928         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2929     }
2930 }
2931
2932 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2933 {
2934     if (!request.httpOrigin().isEmpty())
2935         return;  // Request already has an Origin header.
2936
2937     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2938     // For example, if an intranet page has a hyperlink to an external web
2939     // site, we don't want to include the Origin of the request because it
2940     // will leak the internal host name. Similar privacy concerns have lead
2941     // to the widespread suppression of the Referer header at the network
2942     // layer.
2943     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2944         return;
2945
2946     // For non-GET and non-HEAD methods, always send an Origin header so the
2947     // server knows we support this feature.
2948
2949     if (origin.isEmpty()) {
2950         // If we don't know what origin header to attach, we attach the value
2951         // for an empty origin.
2952         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2953         return;
2954     }
2955
2956     request.setHTTPOrigin(origin);
2957 }
2958
2959 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
2960 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
2961 // as same-site. This matches the behavior of Chrome and Firefox.
2962 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
2963 {
2964     if (!request.isSameSiteUnspecified())
2965         return;
2966     if (!initiator) {
2967         request.setIsSameSite(true);
2968         return;
2969     }
2970     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
2971         request.setIsSameSite(true);
2972         return;
2973     }
2974     request.setIsSameSite(registrableDomainsAreEqual(initiator->siteForCookies(), request.url()));
2975 }
2976
2977 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
2978 {
2979     if (request.url().protocolIs("https")) {
2980         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
2981         return;
2982     }
2983
2984     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
2985 }
2986
2987 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
2988 {
2989     RELEASE_LOG_IF_ALLOWED("loadPostRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2990
2991     String frameName = request.frameName();
2992     LockHistory lockHistory = request.lockHistory();
2993     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
2994     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
2995
2996     const ResourceRequest& inRequest = request.resourceRequest();
2997     const URL& url = inRequest.url();
2998     const String& contentType = inRequest.httpContentType();
2999     String origin = inRequest.httpOrigin();
3000
3001     ResourceRequest workingResourceRequest(url);    
3002
3003     if (!referrer.isEmpty())
3004         workingResourceRequest.setHTTPReferrer(referrer);
3005     workingResourceRequest.setHTTPOrigin(origin);
3006     workingResourceRequest.setHTTPMethod("POST");
3007     workingResourceRequest.setHTTPBody(inRequest.httpBody());
3008     workingResourceRequest.setHTTPContentType(contentType);
3009     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
3010
3011     if (Document* document = m_frame.document())
3012         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3013
3014     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3015
3016     if (!frameName.isEmpty()) {
3017         // The search for a target frame is done earlier in the case of form submission.
3018         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3019             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, WTFMove(completionHandler));
3020             return;
3021         }
3022
3023         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
3024             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3025             completionHandler();
3026         });
3027         return;
3028     }
3029
3030     // must grab this now, since this load may stop the previous load and clear this flag
3031     bool isRedirect = m_quickRedirectComing;
3032     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3033         if (isRedirect) {
3034             m_quickRedirectComing = false;
3035             if (m_provisionalDocumentLoader)
3036                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3037             else if (m_policyDocumentLoader)
3038                 m_policyDocumentLoader->setIsClientRedirect(true);
3039         }
3040         completionHandler();
3041     });
3042 }
3043
3044 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3045 {
3046     ASSERT(m_frame.document());
3047     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3048     
3049     ResourceRequest initialRequest = request;
3050     initialRequest.setTimeoutInterval(10);
3051     
3052     if (!referrer.isEmpty())
3053         initialRequest.setHTTPReferrer(referrer);
3054     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3055
3056     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3057     
3058     addExtraFieldsToSubresourceRequest(initialRequest);
3059
3060     unsigned long identifier = 0;    
3061     ResourceRequest newRequest(initialRequest);
3062     requestFromDelegate(newRequest, identifier, error);
3063
3064 #if ENABLE(CONTENT_EXTENSIONS)
3065     if (error.isNull()) {
3066         if (auto* page = m_frame.page()) {
3067             if (m_documentLoader) {
3068                 auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(newRequest.url(), ResourceType::Raw, *m_documentLoader);
3069                 applyBlockedStatusToRequest(blockedStatus, page, newRequest);
3070                 if (blockedStatus.blockedLoad) {
3071                     newRequest = { };
3072                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3073                     response = { };
3074                     data = nullptr;
3075                 }
3076             }
3077         }
3078     }
3079 #endif
3080
3081     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3082     
3083     if (error.isNull()) {
3084         ASSERT(!newRequest.isNull());
3085
3086         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3087             Vector<char> buffer;
3088             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3089             data = SharedBuffer::create(WTFMove(buffer));
3090             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3091             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3092         }
3093     }
3094     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3095     return identifier;
3096 }
3097
3098 const ResourceRequest& FrameLoader::originalRequest() const
3099 {
3100     return activeDocumentLoader()->originalRequestCopy();
3101 }
3102
3103 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3104 {
3105     // Retain because the stop may release the last reference to it.
3106     Ref<Frame> protect(m_frame);
3107
3108     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3109     // FIXME: Don't want to do this if an entirely new load is going, so should check
3110     // that both data sources on the frame are either this or nil.
3111     stop();
3112     if (m_client.shouldFallBack(error))
3113         handleFallbackContent();
3114
3115     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3116         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3117             m_submittedFormURL = URL();
3118             
3119         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3120         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3121         // so that the existing view (that wenever got far enough to replace) can continue being used.
3122         history().invalidateCurrentItemCachedPage();
3123         
3124         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3125         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3126         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3127         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3128         // has ended.
3129         if (m_sentRedirectNotification)
3130             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3131     }
3132
3133     checkCompleted();
3134     if (m_frame.page())
3135         checkLoadComplete();
3136 }
3137
3138 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3139 {
3140     m_quickRedirectComing = false;
3141
3142     if (!shouldContinue)
3143         return;
3144
3145     // Calling stopLoading() on the provisional document loader can cause the underlying
3146     // frame to be deallocated.
3147     Ref<Frame> protectedFrame(m_frame);
3148
3149     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3150     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3151         m_provisionalDocumentLoader->stopLoading();
3152         setProvisionalDocumentLoader(nullptr);
3153     }
3154
3155     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3156     loadInSameDocument(request.url(), 0, !isRedirect);
3157 }
3158
3159 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3160 {
3161     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3162     // currently displaying a frameset, or if the URL does not have a fragment.
3163     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3164
3165     // FIXME: What about load types other than Standard and Reload?
3166
3167     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3168         && !isReload(loadType)
3169         && loadType != FrameLoadType::Same
3170         && m_frame.document()->pageCacheState() != Document::InPageCache
3171         && !shouldReload(m_frame.document()->url(), url)
3172         // We don't want to just scroll if a link from within a
3173         // frameset is trying to reload the frameset into _top.
3174         && !m_frame.document()->isFrameSet();
3175 }
3176
3177 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3178 {
3179     return !historyItem || historyItem->shouldRestoreScrollPosition();
3180 }
3181
3182 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3183 {
3184     return !isNewNavigation && !isBackForwardLoadType(loadType);
3185 }
3186
3187 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3188 {
3189     FrameView* view = m_frame.view();
3190     if (!view)
3191         return;
3192
3193     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3194         view->scrollToFragment(url);
3195 }
3196
3197 bool FrameLoader::shouldClose()
3198 {
3199     Page* page = m_frame.page();
3200     if (!page)
3201         return true;
3202     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3203         return true;
3204
3205     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3206     Vector<Ref<Frame>, 16> targetFrames;
3207     targetFrames.append(m_frame);
3208     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3209         targetFrames.append(*child);
3210
3211     bool shouldClose = false;
3212     {
3213         NavigationDisabler navigationDisabler(&m_frame);
3214         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3215         size_t i;
3216
3217         for (i = 0; i < targetFrames.size(); i++) {
3218             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3219                 continue;
3220             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3221                 break;
3222         }
3223
3224         if (i == targetFrames.size())
3225             shouldClose = true;
3226     }
3227
3228     if (!shouldClose)
3229         m_submittedFormURL = URL();
3230
3231     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3232     return shouldClose;
3233 }
3234
3235 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3236 {
3237     if (!m_frame.document())
3238         return;
3239
3240     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3241     ForbidPromptsScope forbidPrompts(m_frame.page());
3242     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3243
3244     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3245         auto* currentFocusedElement = m_frame.document()->focusedElement();
3246         if (is<HTMLInputElement>(currentFocusedElement))
3247             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3248         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3249             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3250                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3251                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3252             }
3253
3254             // FIXME: update Page Visibility state here.
3255             // https://bugs.webkit.org/show_bug.cgi?id=116770
3256
3257             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3258                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3259                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3260                 // while dispatching the event, so protect it to prevent writing the end
3261                 // time into freed memory.
3262                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3263                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3264                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3265                     auto& timing = documentLoader->timing();
3266                     timing.markUnloadEventStart();
3267                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3268                     timing.markUnloadEventEnd();
3269                 } else
3270                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3271             }
3272         }
3273         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3274         m_wasUnloadEventEmitted = true;
3275     }
3276
3277     // Dispatching the unload event could have made m_frame.document() null.
3278     if (!m_frame.document())
3279         return;
3280
3281     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3282         return;
3283
3284     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3285     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3286         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3287
3288     if (!keepEventListeners)
3289         m_frame.document()->removeAllEventListeners();
3290 }
3291
3292 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3293 {
3294     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3295     if (document.isSandboxed(SandboxModals))
3296         return false;
3297
3298     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3299     // Web pages can request we ask for confirmation before navigating by:
3300     // - Cancelling the BeforeUnloadEvent (modern way)
3301     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3302     // - Returning a non-empty string from the event handler, which is then set as returnValue
3303     //   attribute on the BeforeUnloadEvent.
3304     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3305 }
3306
3307 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3308 {
3309     DOMWindow* domWindow = m_frame.document()->domWindow();
3310     if (!domWindow)
3311         return true;
3312
3313     RefPtr<Document> document = m_frame.document();
3314     if (!document->bodyOrFrameset())
3315         return true;
3316     
3317     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3318     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3319
3320     {
3321         ForbidPromptsScope forbidPrompts(m_frame.page());
3322         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3323     }
3324
3325     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3326
3327     if (!beforeUnloadEvent->defaultPrevented())
3328         document->defaultEventHandler(beforeUnloadEvent.get());
3329
3330     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3331         return true;
3332
3333     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3334     // this frame is not allowed to cause another one to be shown.
3335     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3336         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3337         return true;
3338     }
3339
3340     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3341     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3342     if (frameLoaderBeingNavigated != this) {
3343         Frame* parentFrame = m_frame.tree().parent();
3344         while (parentFrame) {
3345             Document* parentDocument = parentFrame->document();
3346             if (!parentDocument)
3347                 return true;
3348             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3349                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3350                 return true;
3351             }
3352             
3353             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3354                 break;
3355             
3356             parentFrame = parentFrame->tree().parent();
3357         }
3358         
3359         // The navigatingFrameLoader should always be in our ancestory.
3360         ASSERT(parentFrame);
3361         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3362     }
3363
3364     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3365
3366     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3367     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3368 }
3369
3370 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, NavigationPolicyDecision navigationPolicyDecision, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3371 {
3372     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3373     // nil policyDataSource because loading the alternate page will have passed
3374     // through this method already, nested; otherwise, policyDataSource should still be set.
3375     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3376
3377     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3378
3379     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3380     bool canContinue = navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad && shouldClose() && !urlIsDisallowed;
3381
3382     if (!canContinue) {
3383         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame due to the following reasons ("
3384             "frame = %p, "
3385             "main = %d, "
3386             "allowNavigationToInvalidURL = %d, "
3387             "requestURLIsValid = %d, "
3388             "navigationPolicyDecision = %d)",
3389             &m_frame,
3390             m_frame.isMainFrame(),
3391             static_cast<int>(allowNavigationToInvalidURL),
3392             request.url().isValid(),
3393             static_cast<int>(navigationPolicyDecision));
3394
3395         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3396         // need to report that the client redirect was cancelled.
3397         // FIXME: The client should be told about ignored non-quick redirects, too.
3398         if (m_quickRedirectComing)
3399             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3400
3401         if (navigationPolicyDecision == NavigationPolicyDecision::StopAllLoads) {
3402             stopAllLoaders();
3403             m_checkTimer.stop();
3404         }
3405
3406         setPolicyDocumentLoader(nullptr);
3407         checkCompleted();
3408
3409         if (navigationPolicyDecision != NavigationPolicyDecision::StopAllLoads)
3410             checkLoadComplete();
3411
3412         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3413         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3414         // we only do this when punting a navigation for the target frame or top-level frame.  
3415         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3416             if (Page* page = m_frame.page()) {
3417                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem())
3418                     page->backForward().setCurrentItem(*resetItem);
3419             }
3420         }
3421         return;
3422     }
3423
3424     FrameLoadType type = policyChecker().loadType();
3425     // A new navigation is in progress, so don't clear the history's provisional item.
3426     stopAllLoaders(ShouldNotClearProvisionalItem);
3427     
3428     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3429     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3430     if (!m_frame.page()) {
3431         RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it became defunct (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3432         return;
3433     }
3434
3435     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3436     m_loadType = type;
3437     setState(FrameStateProvisional);
3438
3439     setPolicyDocumentLoader(nullptr);
3440
3441     if (isBackForwardLoadType(type)) {
3442         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3443         if (history().provisionalItem()->isInPageCache()) {
3444             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3445             loadProvisionalItemFromCachedPage();
3446             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy: can't continue loading frame because it will be loaded from cache (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3447             return;
3448         }
3449         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3450     }
3451
3452     CompletionHandler<void()> completionHandler = [this, protectedFrame = makeRef(m_frame)] () mutable {
3453         if (!m_provisionalDocumentLoader) {
3454             RELEASE_LOG_IF_ALLOWED("continueLoadAfterNavigationPolicy completionHandler: Frame load canceled #1 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3455             return;
3456         }
3457         
3458         prepareForLoadStart();
3459
3460         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3461         // so we need to null check it again.
3462         if (!m_provisionalDocumentLoader) {
3463             RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Frame load canceled #2 (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3464             return;
3465         }
3466         
3467         DocumentLoader* activeDocLoader = activeDocumentLoader();
3468         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3469             RELEASE_LOG_IF_ALLOWED("prepareForLoadStart completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3470             return;
3471         }
3472         
3473         m_loadingFromCachedPage = false;
3474
3475         m_provisionalDocumentLoader->startLoadingMainResource();
3476     };
3477     
3478     if (!formState) {
3479         completionHandler();
3480         return;
3481     }
3482
3483     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3484 }
3485
3486 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3487     FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3488 {
3489     if (shouldContinue != ShouldContinue::Yes)
3490         return;
3491
3492     Ref<Frame> frame(m_frame);
3493     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3494     if (!mainFrame)
3495         return;
3496
3497     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3498     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3499         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3500
3501     if (!equalIgnoringASCIICase(frameName, "_blank"))
3502         mainFrame->tree().setName(frameName);
3503
3504     mainFrame->page()->setOpenedByDOM();
3505     mainFrame->loader().m_client.dispatchShow();
3506     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3507         mainFrame->loader().setOpener(frame.ptr());
3508         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3509     }
3510
3511     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy(), nullptr, action.downloadAttribute() };
3512     mainFrame->loader().loadWithNavigationAction(request, WTFMove(newAction), LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3513 }
3514
3515 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3516 {
3517     ASSERT(!request.isNull());
3518
3519     identifier = 0;
3520     if (Page* page = m_frame.page()) {
3521         identifier = page->progress().createUniqueIdentifier();
3522         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3523     }
3524
3525     ResourceRequest newRequest(request);
3526     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3527
3528     if (newRequest.isNull())
3529         error = cancelledError(request);
3530     else
3531         error = ResourceError();
3532
3533     request = newRequest;
3534 }
3535
3536 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3537 {
3538     Page* page = m_frame.page();
3539     if (!page)
3540         return;
3541
3542     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3543         return;
3544
3545     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3546     if (resource.type() == CachedResource::Type::MainResource)
3547         return;
3548
3549     if (!page->areMemoryCacheClientCallsEnabled()) {
3550         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3551         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3552         m_documentLoader->didTellClientAboutLoad(resource.url());
3553         return;
3554     }
3555
3556     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3557         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3558         m_documentLoader->didTellClientAboutLoad(resource.url());
3559         return;
3560     }
3561
3562     unsigned long identifier;
3563     requestFromDelegate(newRequest, identifier, error);
3564
3565     ResourceResponse response = resource.response();
3566     response.setSource(ResourceResponse::Source::MemoryCache);
3567     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3568 }
3569
3570 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3571 {
3572     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3573         String userAgent = this->userAgent(request.url());
3574         ASSERT(!userAgent.isNull());
3575         request.setHTTPUserAgent(userAgent);
3576     }
3577 }
3578
3579 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3580 {
3581     Frame& topFrame = m_frame.tree().top();
3582     if (&m_frame == &topFrame)
3583         return false;
3584
3585     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3586
3587     switch (disposition) {
3588     case XFrameOptionsSameOrigin: {
3589         auto origin = SecurityOrigin::create(url);
3590         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3591             return true;
3592         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3593             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3594                 return true;
3595         }
3596         return false;
3597     }
3598     case XFrameOptionsDeny:
3599         return true;
3600     case XFrameOptionsAllowAll:
3601         return false;
3602     case XFrameOptionsConflict:
3603         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3604         return true;
3605     case XFrameOptionsInvalid:
3606         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3607         return false;
3608     case XFrameOptionsNone:
3609         return false;
3610     }
3611     ASSERT_NOT_REACHED();
3612     return false;
3613 }
3614
3615 void FrameLoader::loadProvisionalItemFromCachedPage()
3616 {
3617     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3618     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3619
3620     prepareForLoadStart();
3621
3622     m_loadingFromCachedPage = true;
3623     
3624     // Should have timing data from previous time(s) the page was shown.
3625     ASSERT(provisionalLoader->timing().startTime());
3626     provisionalLoader->resetTiming();
3627     provisionalLoader->timing().markStartTime();
3628     
3629     provisionalLoader->setCommitted(true);
3630     commitProvisionalLoad();
3631 }
3632
3633 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3634 {
3635     if (!history().currentItem())
3636         return false;
3637     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3638 }
3639
3640 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3641 {
3642     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3643         return false;
3644     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3645     if (!ownerElement)
3646         return false;
3647     if (!ownerElement->hasTagName(iframeTag))
3648         return false;
3649     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3650 }
3651
3652 Frame* FrameLoader::findFrameForNavigation(const AtomicString& name, Document* activeDocument)
3653 {
3654     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3655     if (!activeDocument)
3656         activeDocument = m_frame.document();
3657
3658     auto* frame = m_frame.tree().find(name, activeDocument->frame() ? *activeDocument->frame() : m_frame);
3659
3660     if (!activeDocument->canNavigate(frame))
3661         return nullptr;
3662
3663     return frame;
3664 }
3665
3666 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3667 {
3668     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3669
3670     Ref<Frame> protect(m_frame);
3671
3672     // Save user view state to the current history item here since we don't do a normal load.
3673     // FIXME: Does form state need to be saved here too?
3674     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3675     if (FrameView* view = m_frame.view())
3676         view->setWasScrolledByUser(false);
3677
3678     history().setCurrentItem(item);
3679         
3680     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3681     loadInSameDocument(item.url(), item.stateObject(), false);
3682
3683     // Restore user view state from the current history item here since we don't do a normal load.
3684     history().restoreScrollPositionAndViewState();
3685 }
3686
3687 // FIXME: This function should really be split into a couple pieces, some of
3688 // which should be methods of HistoryController and some of which should be
3689 // methods of FrameLoader.
3690 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3691 {
3692     RELEASE_LOG_IF_ALLOWED("loadDifferentDocumentItem: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3693
3694     // History items should not be reported to the parent.
3695     m_shouldReportResourceTimingToParentFrame = false;
3696
3697     // Remember this item so we can traverse any child items as child frames load
3698     history().setProvisionalItem(&item);
3699
3700     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3701
3702     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, shouldTreatAsContinuingLoad == ShouldTreatAsContinuingLoad::Yes ? LoadContinuingState::ContinuingWithHistoryItem : LoadContinuingState::NotContinuing);
3703
3704     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3705         auto documentLoader = cachedPage->documentLoader();
3706         m_client.updateCachedDocumentLoader(*documentLoader);
3707
3708         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3709         action.setTargetBackForwardItem(item);
3710         documentLoader->setTriggeringAction(WTFMove(action));
3711
3712         documentLoader->setLastCheckedRequest(ResourceRequest());
3713         loadWithDocumentLoader(documentLoader, loadType, { }, AllowNavigationToInvalidURL::Yes, shouldTreatAsContinuingLoad);
3714         return;
3715     }
3716
3717     URL itemURL = item.url();
3718     URL itemOriginalURL = item.originalURL();
3719     URL currentURL;
3720     if (documentLoader())
3721         currentURL = documentLoader()->url();
3722     RefPtr<FormData> formData = item.formData();
3723
3724     ResourceRequest request(itemURL);
3725
3726     if (!item.referrer().isNull())
3727         request.setHTTPReferrer(item.referrer());
3728
3729     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3730     bool isFormSubmission = false;
3731     Event* event = nullptr;
3732
3733     // If this was a repost that failed the page cache, we might try to repost the form.
3734     NavigationAction action;
3735     if (formData) {
3736         formData->generateFiles(m_frame.document());
3737
3738         request.setHTTPMethod("POST");
3739         request.setHTTPBody(WTFMove(formData));
3740         request.setHTTPContentType(item.formContentType());
3741         auto securityOrigin = SecurityOrigin::createFromString(item.referrer());
3742         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3743         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3744
3745         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3746         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3747         addExtraFieldsToRequest(request, loadType, true);
3748         
3749         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3750         // We want to know this before talking to the policy delegate, since it affects whether 
3751         // we show the DoYouReallyWantToRepost nag.
3752         //
3753         // This trick has a small bug (3123893) where we might find a cache hit, but then
3754         // have the item vanish when we try to use it in the ensuing nav.  This should be
3755         // extremely rare, but in that case the user will get an error on the navigation.
3756         
3757         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3758             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataDontLoad);
3759             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3760         } else {
3761             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3762             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3763         }
3764     } else {
3765         switch (loadType) {
3766         case FrameLoadType::Reload:
3767         case FrameLoadType::ReloadFromOrigin:
3768         case FrameLoadType::ReloadExpiredOnly:
3769             request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
3770             break;
3771         case FrameLoadType::Back:
3772         case FrameLoadType::Forward:
3773         case FrameLoadType::IndexedBackForward: {
3774 #if PLATFORM(COCOA)
3775             bool allowStaleData = true;
3776 #else
3777             bool allowStaleData = !item.wasRestoredFromSession();
3778 #endif
3779             if (allowStaleData)
3780                 request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3781             item.setWasRestoredFromSession(false);
3782             break;
3783         }
3784         case FrameLoadType::Standard:
3785         case FrameLoadType::RedirectWithLockedBackForwardList:
3786             break;
3787         case FrameLoadType::Same:
3788         case FrameLoadType::Replace:
3789             ASSERT_NOT_REACHED();
3790         }
3791
3792         addExtraFieldsToRequest(request, loadType, true);
3793
3794         ResourceRequest requestForOriginalURL(request);
3795         requestForOriginalURL.setURL(itemOriginalURL);
3796         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3797     }
3798
3799     action.setTargetBackForwardItem(item);
3800
3801     loadWithNavigationAction(request, WTFMove(action), LockHistory::No, loadType, { }, AllowNavigationToInvalidURL::Yes);
3802 }
3803
3804 // Loads content into this frame, as specified by history item
3805 void FrameLoader::loadItem(HistoryItem& item, FrameLoadType loadType, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3806 {
3807     m_requestedHistoryItem = &item;
3808     HistoryItem* currentItem = history().currentItem();
3809     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3810
3811     if (sameDocumentNavigation)
3812         loadSameDocumentItem(item);
3813     else
3814         loadDifferentDocumentItem(item, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, shouldTreatAsContinuingLoad);
3815 }
3816
3817 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3818 {
3819     ASSERT(m_state == FrameStateProvisional);
3820     ASSERT(!m_loadingFromCachedPage);
3821     ASSERT(history().provisionalItem());
3822     ASSERT(history().provisionalItem()->formData());
3823     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3824
3825     FrameLoadType loadType = m_loadType;
3826     HistoryItem& item = *history().provisionalItem();
3827
3828     stopAllLoaders(ShouldNotClearProvisionalItem);
3829     loadDifferentDocumentItem(item, loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
3830 }
3831
3832 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3833 {
3834     ResourceError error = m_client.cancelledError(request);
3835     error.setType(ResourceError::Type::Cancellation);
3836     return error;
3837 }
3838
3839 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3840 {
3841     return m_client.blockedByContentBlockerError(request);
3842 }
3843
3844 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3845 {
3846     ResourceError error = m_client.blockedError(request);
3847     error.setType(ResourceError::Type::Cancellation);
3848     return error;
3849 }
3850
3851 #if ENABLE(CONTENT_FILTERING)
3852 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3853 {
3854     ResourceError error = m_client.blockedByContentFilterError(request);
3855     error.setType(ResourceError::Type::General);
3856     return error;
3857 }
3858 #endif
3859
3860 #if PLATFORM(IOS_FAMILY)
3861 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3862 {
3863     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3864 }
3865 #endif
3866
3867 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3868 {
3869     if (auto* parentFrame = m_frame.tree().parent())
3870         return parentFrame->document()->referrerPolicy();
3871     if (m_opener)
3872         return m_opener->document()->referrerPolicy();
3873     return ReferrerPolicy::NoReferrerWhenDowngrade;
3874 }
3875
3876 String FrameLoader::referrer() const
3877 {
3878     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3879 }
3880
3881 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3882 {
3883     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3884         return;
3885
3886     Vector<Ref<DOMWrapperWorld>> worlds;
3887     ScriptController::getAllWorlds(worlds);
3888     for (auto& world : worlds)
3889         dispatchDidClearWindowObjectInWorld(world);
3890 }
3891
3892 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3893 {
3894     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3895         return;
3896
3897     m_client.dispatchDidClearWindowObjectInWorld(world);
3898
3899     if (Page* page = m_frame.page())
3900         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3901
3902     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3903 }
3904
3905 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3906 {
3907     Vector<Ref<DOMWrapperWorld>> worlds;
3908     ScriptController::getAllWorlds(worlds);
3909     for (auto& world : worlds)
3910         m_client.dispatchGlobalObjectAvailable(world);
3911 }
3912
3913 SandboxFlags FrameLoader::effectiveSandboxFlags() const
3914 {
3915     SandboxFlags flags = m_forcedSandboxFlags;
3916     if (Frame* parentFrame = m_frame.tree().parent())
3917         flags |= parentFrame->document()->sandboxFlags();
3918     if (HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement())
3919         flags |= ownerElement->sandboxFlags();
3920     return flags;
3921 }
3922
3923 void FrameLoader::didChangeTitle(DocumentLoader* loader)
3924 {
3925     m_client.didChangeTitle(loader);
3926
3927     if (loader == m_documentLoader) {
3928         // Must update the entries in the back-forward list too.
3929         history().setCurrentItemTitle(loader->title());
3930         // This must go through the WebFrame because it has the right notion of the current b/f item.
3931         m_client.setTitle(loader->title(), loader->urlForHistory());
3932         m_client.setMainFrameDocumentReady(true); // update observers with new DOMDocument
3933         m_client.dispatchDidReceiveTitle(loader->title());
3934     }
3935
3936 #if ENABLE(REMOTE_INSPECTOR)
3937     if (m_frame.isMainFrame())
3938         m_frame.page()->remoteInspectorInformationDidChange();
3939 #endif
3940 }
3941
3942 void FrameLoader::dispatchDidCommitLoad(Optional<HasInsecureContent> initialHasInsecureContent)
3943 {
3944     if (m_stateMachine.creatingInitialEmptyDocument())
3945         return;
3946
3947     m_client.dispatchDidCommitLoad(initialHasInsecureContent);
3948
3949     if (m_frame.isMainFrame()) {
3950         m_frame.page()->resetSeenPlugins();
3951         m_frame.page()->resetSeenMediaEngines();
3952     }
3953
3954     InspectorInstrumentation::didCommitLoad(m_frame, m_documentLoader.get());
3955
3956 #if ENABLE(REMOTE_INSPECTOR)
3957     if (m_frame.isMainFrame())
3958         m_frame.page()->remoteInspectorInformationDidChange();
3959 #endif
3960 }
3961
3962 void FrameLoader::tellClientAboutPastMemoryCacheLoads()
3963 {
3964     ASSERT(m_frame.page());
3965     ASSERT(m_frame.page()->areMemoryCacheClientCallsEnabled());
3966
3967     if (!m_documentLoader)
3968         return;
3969
3970     Vector<ResourceRequest> pastLoads;
3971     m_documentLoader->takeMemoryCacheLoadsForClientNotification(pastLoads);
3972