X-Frame-Options: SAMEORIGIN needs to check all ancestor frames
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2016 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentSecurityPolicy.h"
49 #include "DOMWindow.h"
50 #include "DatabaseManager.h"
51 #include "DiagnosticLoggingClient.h"
52 #include "DiagnosticLoggingKeys.h"
53 #include "Document.h"
54 #include "DocumentLoader.h"
55 #include "Editor.h"
56 #include "EditorClient.h"
57 #include "Element.h"
58 #include "Event.h"
59 #include "EventHandler.h"
60 #include "EventNames.h"
61 #include "FloatRect.h"
62 #include "FormState.h"
63 #include "FormSubmission.h"
64 #include "Frame.h"
65 #include "FrameLoadRequest.h"
66 #include "FrameLoaderClient.h"
67 #include "FrameNetworkingContext.h"
68 #include "FrameTree.h"
69 #include "FrameView.h"
70 #include "GCController.h"
71 #include "HTMLFormElement.h"
72 #include "HTMLInputElement.h"
73 #include "HTMLNames.h"
74 #include "HTMLObjectElement.h"
75 #include "HTMLParserIdioms.h"
76 #include "HTTPHeaderNames.h"
77 #include "HTTPParsers.h"
78 #include "HistoryController.h"
79 #include "HistoryItem.h"
80 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
81 #include "InspectorController.h"
82 #include "InspectorInstrumentation.h"
83 #include "LinkLoader.h"
84 #include "LoadTiming.h"
85 #include "LoaderStrategy.h"
86 #include "Logging.h"
87 #include "MemoryCache.h"
88 #include "MemoryRelease.h"
89 #include "NavigationDisabler.h"
90 #include "NavigationPolicyCheck.h"
91 #include "NavigationScheduler.h"
92 #include "Page.h"
93 #include "PageCache.h"
94 #include "PageTransitionEvent.h"
95 #include "PerformanceLogging.h"
96 #include "PlatformStrategies.h"
97 #include "PluginData.h"
98 #include "PluginDocument.h"
99 #include "PolicyChecker.h"
100 #include "ProgressTracker.h"
101 #include "ResourceHandle.h"
102 #include "ResourceLoadInfo.h"
103 #include "ResourceLoadObserver.h"
104 #include "ResourceRequest.h"
105 #include "SVGDocument.h"
106 #include "SVGLocatable.h"
107 #include "SVGNames.h"
108 #include "SVGViewElement.h"
109 #include "SVGViewSpec.h"
110 #include "ScriptController.h"
111 #include "ScriptSourceCode.h"
112 #include "ScrollAnimator.h"
113 #include "SecurityOrigin.h"
114 #include "SecurityPolicy.h"
115 #include "SegmentedString.h"
116 #include "SerializedScriptValue.h"
117 #include "Settings.h"
118 #include "SubframeLoader.h"
119 #include "SubresourceLoader.h"
120 #include "TextResourceDecoder.h"
121 #include "UserContentController.h"
122 #include "UserGestureIndicator.h"
123 #include "WindowFeatures.h"
124 #include "XMLDocumentParser.h"
125 #include <wtf/CompletionHandler.h>
126 #include <wtf/Ref.h>
127 #include <wtf/SetForScope.h>
128 #include <wtf/StdLibExtras.h>
129 #include <wtf/SystemTracing.h>
130 #include <wtf/text/CString.h>
131 #include <wtf/text/WTFString.h>
132
133 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
134 #include "Archive.h"
135 #endif
136
137 #if ENABLE(DATA_DETECTION)
138 #include "DataDetection.h"
139 #endif
140
141 #if PLATFORM(IOS)
142 #include "DocumentType.h"
143 #include "ResourceLoader.h"
144 #include "RuntimeApplicationChecks.h"
145 #include "WKContentObservation.h"
146 #endif
147
148 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
149
150 namespace WebCore {
151
152 using namespace HTMLNames;
153 using namespace SVGNames;
154
155 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
156
157 bool isBackForwardLoadType(FrameLoadType type)
158 {
159     switch (type) {
160     case FrameLoadType::Standard:
161     case FrameLoadType::Reload:
162     case FrameLoadType::ReloadFromOrigin:
163     case FrameLoadType::ReloadExpiredOnly:
164     case FrameLoadType::Same:
165     case FrameLoadType::RedirectWithLockedBackForwardList:
166     case FrameLoadType::Replace:
167         return false;
168     case FrameLoadType::Back:
169     case FrameLoadType::Forward:
170     case FrameLoadType::IndexedBackForward:
171         return true;
172     }
173     ASSERT_NOT_REACHED();
174     return false;
175 }
176
177 bool isReload(FrameLoadType type)
178 {
179     switch (type) {
180     case FrameLoadType::Reload:
181     case FrameLoadType::ReloadFromOrigin:
182     case FrameLoadType::ReloadExpiredOnly:
183         return true;
184     case FrameLoadType::Standard:
185     case FrameLoadType::Same:
186     case FrameLoadType::RedirectWithLockedBackForwardList:
187     case FrameLoadType::Replace:
188     case FrameLoadType::Back:
189     case FrameLoadType::Forward:
190     case FrameLoadType::IndexedBackForward:
191         return false;
192     }
193     ASSERT_NOT_REACHED();
194     return false;
195 }
196
197 // This is not in the FrameLoader class to emphasize that it does not depend on
198 // private FrameLoader data, and to avoid increasing the number of public functions
199 // with access to private data.  Since only this .cpp file needs it, making it
200 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
201 // API simpler.
202 //
203 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
204 {
205     return frame.document() && frame.document()->isSandboxed(mask);
206 }
207
208 struct ForbidPromptsScope {
209     ForbidPromptsScope(Page* page) : m_page(page)
210     {
211         if (!m_page)
212             return;
213         m_page->forbidPrompts();
214     }
215
216     ~ForbidPromptsScope()
217     {
218         if (!m_page)
219             return;
220         m_page->allowPrompts();
221     }
222
223     Page* m_page;
224 };
225
226 class FrameLoader::FrameProgressTracker {
227     WTF_MAKE_FAST_ALLOCATED;
228 public:
229     explicit FrameProgressTracker(Frame& frame)
230         : m_frame(frame)
231         , m_inProgress(false)
232     {
233     }
234
235     ~FrameProgressTracker()
236     {
237         if (m_inProgress && m_frame.page())
238             m_frame.page()->progress().progressCompleted(m_frame);
239     }
240
241     void progressStarted()
242     {
243         ASSERT(m_frame.page());
244         if (!m_inProgress)
245             m_frame.page()->progress().progressStarted(m_frame);
246         m_inProgress = true;
247     }
248
249     void progressCompleted()
250     {
251         ASSERT(m_inProgress);
252         ASSERT(m_frame.page());
253         m_inProgress = false;
254         m_frame.page()->progress().progressCompleted(m_frame);
255
256         if (auto pageID = m_frame.loader().client().pageID())
257             platformStrategies()->loaderStrategy()->pageLoadCompleted(pageID.value());
258     }
259
260 private:
261     Frame& m_frame;
262     bool m_inProgress;
263 };
264
265 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
266     : m_frame(frame)
267     , m_client(client)
268     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
269     , m_history(std::make_unique<HistoryController>(frame))
270     , m_notifier(frame)
271     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
272     , m_mixedContentChecker(frame)
273     , m_state(FrameStateProvisional)
274     , m_loadType(FrameLoadType::Standard)
275     , m_quickRedirectComing(false)
276     , m_sentRedirectNotification(false)
277     , m_inStopAllLoaders(false)
278     , m_isExecutingJavaScriptFormAction(false)
279     , m_didCallImplicitClose(true)
280     , m_wasUnloadEventEmitted(false)
281     , m_isComplete(false)
282     , m_needsClear(false)
283     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
284     , m_shouldCallCheckCompleted(false)
285     , m_shouldCallCheckLoadComplete(false)
286     , m_opener(nullptr)
287     , m_loadingFromCachedPage(false)
288     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
289     , m_loadsSynchronously(false)
290     , m_forcedSandboxFlags(SandboxNone)
291 {
292 }
293
294 FrameLoader::~FrameLoader()
295 {
296     setOpener(nullptr);
297
298     for (auto& frame : m_openedFrames)
299         frame->loader().m_opener = nullptr;
300
301     m_client.frameLoaderDestroyed();
302
303     if (m_networkingContext)
304         m_networkingContext->invalidate();
305 }
306
307 void FrameLoader::init()
308 {
309     // This somewhat odd set of steps gives the frame an initial empty document.
310     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL(ParsedURLString, emptyString())), SubstituteData()).ptr());
311     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
312     m_provisionalDocumentLoader->startLoadingMainResource(ShouldContinue::Yes);
313
314     Ref<Frame> protect(m_frame);
315     m_frame.document()->cancelParsing();
316     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
317
318     m_networkingContext = m_client.createNetworkingContext();
319     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
320 }
321
322 void FrameLoader::initForSynthesizedDocument(const URL&)
323 {
324     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
325     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
326
327     auto loader = m_client.createDocumentLoader(ResourceRequest(URL(ParsedURLString, emptyString())), SubstituteData());
328     loader->attachToFrame(m_frame);
329     loader->setResponse(ResourceResponse(URL(), ASCIILiteral("text/html"), 0, String()));
330     loader->setCommitted(true);
331     setDocumentLoader(loader.ptr());
332
333     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
334     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
335     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
336     m_client.transitionToCommittedForNewPage();
337
338     m_didCallImplicitClose = true;
339     m_isComplete = true;
340     m_state = FrameStateComplete;
341     m_needsClear = true;
342
343     m_networkingContext = m_client.createNetworkingContext();
344     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
345 }
346
347 void FrameLoader::setDefersLoading(bool defers)
348 {
349     if (m_documentLoader)
350         m_documentLoader->setDefersLoading(defers);
351     if (m_provisionalDocumentLoader)
352         m_provisionalDocumentLoader->setDefersLoading(defers);
353     if (m_policyDocumentLoader)
354         m_policyDocumentLoader->setDefersLoading(defers);
355     history().setDefersLoading(defers);
356
357     if (!defers) {
358         m_frame.navigationScheduler().startTimer();
359         startCheckCompleteTimer();
360     }
361 }
362
363 void FrameLoader::checkContentPolicy(const ResourceResponse& response, ContentPolicyDecisionFunction&& function)
364 {
365     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), WTFMove(function));
366 }
367
368 void FrameLoader::changeLocation(FrameLoadRequest&& request)
369 {
370     urlSelected(WTFMove(request), nullptr);
371 }
372
373 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, std::optional<NewFrameOpenerPolicy> openerPolicy, const AtomicString& downloadAttribute, bool isSystemPreview)
374 {
375     auto* frame = lexicalFrameFromCommonVM();
376     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
377
378     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.value_or(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
379     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, isSystemPreview), triggeringEvent);
380 }
381
382 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent)
383 {
384     Ref<Frame> protect(m_frame);
385
386     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
387         return;
388
389     if (frameRequest.frameName().isEmpty())
390         frameRequest.setFrameName(m_frame.document()->baseTarget());
391
392     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
393     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
394
395     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, nullptr);
396 }
397
398 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
399 {
400     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
401
402     // FIXME: Find a good spot for these.
403     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
404
405     if (!m_frame.page())
406         return;
407
408     if (submission->action().isEmpty())
409         return;
410
411     if (isDocumentSandboxed(m_frame, SandboxForms)) {
412         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
413         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
414         return;
415     }
416
417     if (protocolIsJavaScript(submission->action())) {
418         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
419             return;
420         m_isExecutingJavaScriptFormAction = true;
421         Ref<Frame> protect(m_frame);
422         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
423         m_isExecutingJavaScriptFormAction = false;
424         return;
425     }
426
427     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
428     if (!targetFrame) {
429         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
430             return;
431
432         // FIXME: targetFrame can be null for two distinct reasons:
433         // 1. The frame was not found by name, so we should try opening a new window.
434         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
435         // Continuing form submission makes no sense in the latter case.
436         // There is a repeat check after timer fires, so this is not a correctness issue.
437
438         targetFrame = &m_frame;
439     } else
440         submission->clearTarget();
441
442     if (!targetFrame->page())
443         return;
444
445     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
446
447     // We do not want to submit more than one form from the same page, nor do we want to submit a single
448     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
449     // The flag is reset in each time we start dispatching a new mouse or key down event, and
450     // also in setView since this part may get reused for a page from the back/forward cache.
451     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
452
453     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
454     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
455     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
456
457     if (m_frame.tree().isDescendantOf(targetFrame)) {
458         if (m_submittedFormURL == submission->requestURL())
459             return;
460         m_submittedFormURL = submission->requestURL();
461     }
462
463     submission->data().generateFiles(m_frame.document());
464     submission->setReferrer(outgoingReferrer());
465     submission->setOrigin(outgoingOrigin());
466
467     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
468 }
469
470 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
471 {
472     if (m_frame.document() && m_frame.document()->parser())
473         m_frame.document()->parser()->stopParsing();
474
475     if (unloadEventPolicy != UnloadEventPolicyNone)
476         dispatchUnloadEvents(unloadEventPolicy);
477
478     m_isComplete = true; // to avoid calling completed() in finishedParsing()
479     m_didCallImplicitClose = true; // don't want that one either
480
481     if (m_frame.document() && m_frame.document()->parsing()) {
482         finishedParsing();
483         m_frame.document()->setParsing(false);
484     }
485
486     if (auto* document = m_frame.document()) {
487         // FIXME: HTML5 doesn't tell us to set the state to complete when aborting, but we do anyway to match legacy behavior.
488         // http://www.w3.org/Bugs/Public/show_bug.cgi?id=10537
489         document->setReadyState(Document::Complete);
490
491         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
492         DatabaseManager::singleton().stopDatabases(*document, nullptr);
493     }
494
495     policyChecker().stopCheck();
496
497     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
498     m_frame.navigationScheduler().cancel();
499 }
500
501 void FrameLoader::stop()
502 {
503     // http://bugs.webkit.org/show_bug.cgi?id=10854
504     // The frame's last ref may be removed and it will be deleted by checkCompleted().
505     Ref<Frame> protect(m_frame);
506
507     if (DocumentParser* parser = m_frame.document()->parser()) {
508         parser->stopParsing();
509         parser->finish();
510     }
511 }
512
513 void FrameLoader::willTransitionToCommitted()
514 {
515     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
516
517     if (m_frame.editor().hasComposition()) {
518         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
519         m_frame.editor().confirmComposition();
520         if (EditorClient* editorClient = m_frame.editor().client()) {
521             editorClient->respondToChangedSelection(&m_frame);
522             editorClient->discardedComposition(&m_frame);
523         }
524     }
525 }
526
527 bool FrameLoader::closeURL()
528 {
529     history().saveDocumentState();
530
531     Document* currentDocument = m_frame.document();
532     UnloadEventPolicy unloadEventPolicy;
533     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
534         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
535         unloadEventPolicy = UnloadEventPolicyNone;
536     } else {
537         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
538         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
539     }
540
541     stopLoading(unloadEventPolicy);
542     
543     m_frame.editor().clearUndoRedoOperations();
544     return true;
545 }
546
547 bool FrameLoader::didOpenURL()
548 {
549     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
550         // A redirect was scheduled before the document was created.
551         // This can happen when one frame changes another frame's location.
552         return false;
553     }
554
555     m_frame.navigationScheduler().cancel();
556     m_frame.editor().clearLastEditCommand();
557
558     m_isComplete = false;
559     m_didCallImplicitClose = false;
560
561     // If we are still in the process of initializing an empty document then
562     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
563     // since it may cause clients to attempt to render the frame.
564     if (!m_stateMachine.creatingInitialEmptyDocument()) {
565         DOMWindow* window = m_frame.document()->domWindow();
566         window->setStatus(String());
567         window->setDefaultStatus(String());
568     }
569
570     started();
571
572     return true;
573 }
574
575 void FrameLoader::didExplicitOpen()
576 {
577     m_isComplete = false;
578     m_didCallImplicitClose = false;
579
580     // Calling document.open counts as committing the first real document load.
581     if (!m_stateMachine.committedFirstRealDocumentLoad())
582         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
583     
584     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
585     // from a subsequent window.document.open / window.document.write call. 
586     // Canceling redirection here works for all cases because document.open 
587     // implicitly precedes document.write.
588     m_frame.navigationScheduler().cancel();
589 }
590
591
592 void FrameLoader::cancelAndClear()
593 {
594     m_frame.navigationScheduler().cancel();
595
596     if (!m_isComplete)
597         closeURL();
598
599     clear(m_frame.document(), false);
600     m_frame.script().updatePlatformScriptObjects();
601 }
602
603 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
604 {
605     if (!frame.isMainFrame())
606         return false;
607
608     if (frame.loader().opener())
609         return false;
610
611     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
612 }
613
614 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView)
615 {
616     m_frame.editor().clear();
617
618     if (!m_needsClear)
619         return;
620     m_needsClear = false;
621     
622     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
623         m_frame.document()->cancelParsing();
624         m_frame.document()->stopActiveDOMObjects();
625         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
626         m_frame.document()->prepareForDestruction();
627         if (hadLivingRenderTree)
628             m_frame.document()->removeFocusedNodeOfSubtree(*m_frame.document());
629     }
630
631     // Do this after detaching the document so that the unload event works.
632     if (clearWindowProperties) {
633         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
634         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
635         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
636
637         if (shouldClearWindowName(m_frame, *newDocument))
638             m_frame.tree().setName(nullAtom());
639     }
640
641     m_frame.selection().prepareForDestruction();
642     m_frame.eventHandler().clear();
643
644     if (clearFrameView && m_frame.view())
645         m_frame.view()->clear();
646
647     // Do not drop the document before the ScriptController and view are cleared
648     // as some destructors might still try to access the document.
649     m_frame.setDocument(nullptr);
650
651     subframeLoader().clear();
652
653     if (clearWindowProperties)
654         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
655
656     if (clearScriptObjects)
657         m_frame.script().clearScriptObjects();
658
659     m_frame.script().enableEval();
660
661     m_frame.navigationScheduler().clear();
662
663     m_checkTimer.stop();
664     m_shouldCallCheckCompleted = false;
665     m_shouldCallCheckLoadComplete = false;
666
667     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
668         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
669 }
670
671 void FrameLoader::receivedFirstData()
672 {
673     dispatchDidCommitLoad(std::nullopt);
674     dispatchDidClearWindowObjectsInAllWorlds();
675     dispatchGlobalObjectAvailableInAllWorlds();
676
677     if (!m_documentLoader)
678         return;
679
680     auto& documentLoader = *m_documentLoader;
681     auto& title = documentLoader.title();
682     if (!title.string.isNull())
683         m_client.dispatchDidReceiveTitle(title);
684
685     ASSERT(m_frame.document());
686     auto& document = *m_frame.document();
687
688     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
689
690     double delay;
691     String urlString;
692     if (!parseHTTPRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
693         return;
694     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
695     if (!protocolIsJavaScript(completedURL))
696         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
697     else {
698         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
699         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
700     }
701 }
702
703 void FrameLoader::setOutgoingReferrer(const URL& url)
704 {
705     m_outgoingReferrer = url.strippedForUseAsReferrer();
706 }
707
708 void FrameLoader::didBeginDocument(bool dispatch)
709 {
710     m_needsClear = true;
711     m_isComplete = false;
712     m_didCallImplicitClose = false;
713     m_frame.document()->setReadyState(Document::Loading);
714
715     if (m_pendingStateObject) {
716         m_frame.document()->statePopped(*m_pendingStateObject);
717         m_pendingStateObject = nullptr;
718     }
719
720     if (dispatch)
721         dispatchDidClearWindowObjectsInAllWorlds();
722
723     updateFirstPartyForCookies();
724     m_frame.document()->initContentSecurityPolicy();
725
726     const Settings& settings = m_frame.settings();
727     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
728     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
729
730     if (m_documentLoader) {
731         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
732         if (!dnsPrefetchControl.isEmpty())
733             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
734
735         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
736
737         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
738         if (!headerContentLanguage.isEmpty()) {
739             size_t commaIndex = headerContentLanguage.find(',');
740             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
741             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
742             if (!headerContentLanguage.isEmpty())
743                 m_frame.document()->setContentLanguage(headerContentLanguage);
744         }
745
746         if (m_frame.settings().crossOriginOptionsSupportEnabled()) {
747             String crossOriginOptionsHeader = m_documentLoader->response().httpHeaderField(HTTPHeaderName::CrossOriginOptions);
748             if (!crossOriginOptionsHeader.isNull()) {
749                 ASSERT(m_frame.window());
750                 m_frame.window()->setCrossOriginOptions(parseCrossOriginOptionsHeader(crossOriginOptionsHeader));
751             }
752         }
753     }
754
755     history().restoreDocumentState();
756 }
757
758 void FrameLoader::finishedParsing()
759 {
760     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
761
762     m_frame.injectUserScripts(InjectAtDocumentEnd);
763
764     if (m_stateMachine.creatingInitialEmptyDocument())
765         return;
766
767     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
768     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
769     // Null-checking the FrameView indicates whether or not we're in the destructor.
770     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
771
772     m_client.dispatchDidFinishDocumentLoad();
773
774     scrollToFragmentWithParentBoundary(m_frame.document()->url());
775
776     checkCompleted();
777
778     if (!m_frame.view())
779         return; // We are being destroyed by something checkCompleted called.
780
781     // Check if the scrollbars are really needed for the content.
782     // If not, remove them, relayout, and repaint.
783     m_frame.view()->restoreScrollbar();
784 }
785
786 void FrameLoader::loadDone()
787 {
788     checkCompleted();
789 }
790
791 bool FrameLoader::allChildrenAreComplete() const
792 {
793     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
794         if (!child->loader().m_isComplete)
795             return false;
796     }
797     return true;
798 }
799
800 bool FrameLoader::allAncestorsAreComplete() const
801 {
802     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
803         if (!ancestor->loader().m_isComplete)
804             return false;
805     }
806     return true;
807 }
808
809 void FrameLoader::checkCompleted()
810 {
811     m_shouldCallCheckCompleted = false;
812
813     // Have we completed before?
814     if (m_isComplete)
815         return;
816     
817     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
818     if (HTMLMediaElement::isRunningDestructor()) {
819         ASSERT_NOT_REACHED();
820         scheduleCheckCompleted();
821         return;
822     }
823
824     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
825     //        https://bugs.webkit.org/show_bug.cgi?id=171729
826     if (m_frame.document()->inRenderTreeUpdate()) {
827         scheduleCheckCompleted();
828         return;
829     }
830
831     // Are we still parsing?
832     if (m_frame.document()->parsing())
833         return;
834
835     // Still waiting for images/scripts?
836     if (m_frame.document()->cachedResourceLoader().requestCount())
837         return;
838
839     // Still waiting for elements that don't go through a FrameLoader?
840     if (m_frame.document()->isDelayingLoadEvent())
841         return;
842
843     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
844     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
845         return;
846
847     // Any frame that hasn't completed yet?
848     if (!allChildrenAreComplete())
849         return;
850
851     // Important not to protect earlier in this function, because earlier parts
852     // of this function can be called in the frame's destructor, and it's not legal
853     // to ref an object while it's being destroyed.
854     Ref<Frame> protect(m_frame);
855
856     // OK, completed.
857     m_isComplete = true;
858     m_requestedHistoryItem = nullptr;
859     m_frame.document()->setReadyState(Document::Complete);
860
861 #if PLATFORM(IOS)
862     if (m_frame.document()->url().isEmpty()) {
863         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
864         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
865         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
866         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
867         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
868         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
869         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
870     }
871 #endif
872
873     checkCallImplicitClose(); // if we didn't do it before
874
875     m_frame.navigationScheduler().startTimer();
876
877     completed();
878     if (m_frame.page())
879         checkLoadComplete();
880 }
881
882 void FrameLoader::checkTimerFired()
883 {
884     Ref<Frame> protect(m_frame);
885
886     if (Page* page = m_frame.page()) {
887         if (page->defersLoading())
888             return;
889     }
890     if (m_shouldCallCheckCompleted)
891         checkCompleted();
892     if (m_shouldCallCheckLoadComplete)
893         checkLoadComplete();
894 }
895
896 void FrameLoader::startCheckCompleteTimer()
897 {
898     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
899         return;
900     if (m_checkTimer.isActive())
901         return;
902     m_checkTimer.startOneShot(0_s);
903 }
904
905 void FrameLoader::scheduleCheckCompleted()
906 {
907     m_shouldCallCheckCompleted = true;
908     startCheckCompleteTimer();
909 }
910
911 void FrameLoader::scheduleCheckLoadComplete()
912 {
913     m_shouldCallCheckLoadComplete = true;
914     startCheckCompleteTimer();
915 }
916
917 void FrameLoader::checkCallImplicitClose()
918 {
919     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
920         return;
921
922     if (!allChildrenAreComplete())
923         return; // still got a frame running -> too early
924
925     m_didCallImplicitClose = true;
926     m_wasUnloadEventEmitted = false;
927     m_frame.document()->implicitClose();
928 }
929
930 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
931 {
932     ASSERT(childFrame);
933
934 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
935     if (auto activeLoader = activeDocumentLoader()) {
936         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
937             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
938             return;
939         }
940     }
941 #endif
942
943     // If we're moving in the back/forward list, we might want to replace the content
944     // of this child frame with whatever was there at that point.
945     auto* parentItem = history().currentItem();
946     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
947         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
948             childFrame->loader().m_requestedHistoryItem = childItem;
949             childFrame->loader().loadDifferentDocumentItem(*childItem, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, NavigationPolicyCheck::Require);
950             return;
951         }
952     }
953
954     auto* lexicalFrame = lexicalFrameFromCommonVM();
955     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
956
957     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, ASCIILiteral("_self"), LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
958     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, nullptr, [] { });
959 }
960
961 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
962
963 void FrameLoader::loadArchive(Ref<Archive>&& archive)
964 {
965     ArchiveResource* mainResource = archive->mainResource();
966     ASSERT(mainResource);
967     if (!mainResource)
968         return;
969
970     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
971     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
972     
973     ResourceRequest request(mainResource->url());
974
975     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
976     documentLoader->setArchive(WTFMove(archive));
977     load(documentLoader.ptr());
978 }
979
980 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
981
982 String FrameLoader::outgoingReferrer() const
983 {
984     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
985     // for why we walk the parent chain for srcdoc documents.
986     Frame* frame = &m_frame;
987     while (frame && frame->document()->isSrcdocDocument()) {
988         frame = frame->tree().parent();
989         // Srcdoc documents cannot be top-level documents, by definition,
990         // because they need to be contained in iframes with the srcdoc.
991         ASSERT(frame);
992     }
993     if (!frame)
994         return emptyString();
995     return frame->loader().m_outgoingReferrer;
996 }
997
998 String FrameLoader::outgoingOrigin() const
999 {
1000     return m_frame.document()->securityOrigin().toString();
1001 }
1002
1003 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1004 {
1005     if (m_submittedFormURL.isEmpty())
1006         return true;
1007
1008     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1009     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1010 }
1011
1012 Frame* FrameLoader::opener()
1013 {
1014     return m_opener;
1015 }
1016
1017 void FrameLoader::setOpener(Frame* opener)
1018 {
1019     if (m_opener && !opener)
1020         m_client.didDisownOpener();
1021
1022     if (m_opener) {
1023         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1024         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1025         openerFrameLoader.m_openedFrames.remove(&m_frame);
1026     }
1027     if (opener)
1028         opener->loader().m_openedFrames.add(&m_frame);
1029     m_opener = opener;
1030
1031     if (m_frame.document())
1032         m_frame.document()->initSecurityContext();
1033 }
1034
1035 // FIXME: This does not belong in FrameLoader!
1036 void FrameLoader::handleFallbackContent()
1037 {
1038     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1039     if (!is<HTMLObjectElement>(owner))
1040         return;
1041     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1042 }
1043
1044 void FrameLoader::provisionalLoadStarted()
1045 {
1046     if (m_stateMachine.firstLayoutDone())
1047         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1048     m_frame.navigationScheduler().cancel(true);
1049     m_client.provisionalLoadStarted();
1050
1051     if (m_frame.isMainFrame()) {
1052         tracePoint(MainResourceLoadDidStartProvisional);
1053
1054         if (auto* page = m_frame.page())
1055             page->didStartProvisionalLoad();
1056     }
1057 }
1058
1059 void FrameLoader::resetMultipleFormSubmissionProtection()
1060 {
1061     m_submittedFormURL = URL();
1062 }
1063
1064 void FrameLoader::updateFirstPartyForCookies()
1065 {
1066     if (m_frame.tree().parent())
1067         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1068     else
1069         setFirstPartyForCookies(m_frame.document()->url());
1070 }
1071
1072 void FrameLoader::setFirstPartyForCookies(const URL& url)
1073 {
1074     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1075         frame->document()->setFirstPartyForCookies(url);
1076
1077     String registrableDomain = ResourceRequest::partitionName(url.host());
1078     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1079         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomainsAreEqual(frame->document()->url(), registrableDomain))
1080             frame->document()->setFirstPartyForSameSiteCookies(url);
1081     }
1082 }
1083
1084 // This does the same kind of work that didOpenURL does, except it relies on the fact
1085 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1086 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1087 {
1088     // If we have a state object, we cannot also be a new navigation.
1089     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1090
1091     // Update the data source's request with the new URL to fake the URL change
1092     URL oldURL = m_frame.document()->url();
1093     m_frame.document()->setURL(url);
1094     setOutgoingReferrer(url);
1095     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1096     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1097         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1098         // based on the current request. Must also happen before we openURL and displace the 
1099         // scroll position, since adding the BF item will save away scroll state.
1100         
1101         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1102         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1103         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1104         // though its load is not yet done.  I think this all works out OK, for one because
1105         // we have already saved away the scroll and doc state for the long slow load,
1106         // but it's not an obvious case.
1107
1108         history().updateBackForwardListForFragmentScroll();
1109     }
1110     
1111     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1112     
1113     history().updateForSameDocumentNavigation();
1114
1115     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1116     if (hashChange)
1117         m_frame.eventHandler().stopAutoscrollTimer();
1118     
1119     // It's important to model this as a load that starts and immediately finishes.
1120     // Otherwise, the parent frame may think we never finished loading.
1121     started();
1122
1123     // We need to scroll to the fragment whether or not a hash change occurred, since
1124     // the user might have scrolled since the previous navigation.
1125     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1126     
1127     m_isComplete = false;
1128     checkCompleted();
1129
1130     if (isNewNavigation) {
1131         // This will clear previousItem from the rest of the frame tree that didn't
1132         // doing any loading. We need to make a pass on this now, since for fragment
1133         // navigation we'll not go through a real load and reach Completed state.
1134         checkLoadComplete();
1135     }
1136
1137     m_client.dispatchDidNavigateWithinPage();
1138
1139     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1140     m_client.dispatchDidPopStateWithinPage();
1141     
1142     if (hashChange) {
1143         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1144         m_client.dispatchDidChangeLocationWithinPage();
1145     }
1146     
1147     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1148     m_client.didFinishLoad();
1149 }
1150
1151 bool FrameLoader::isComplete() const
1152 {
1153     return m_isComplete;
1154 }
1155
1156 void FrameLoader::completed()
1157 {
1158     Ref<Frame> protect(m_frame);
1159
1160     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1161         descendant->navigationScheduler().startTimer();
1162
1163     if (Frame* parent = m_frame.tree().parent())
1164         parent->loader().checkCompleted();
1165
1166     if (m_frame.view())
1167         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1168 }
1169
1170 void FrameLoader::started()
1171 {
1172     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1173         frame->loader().m_isComplete = false;
1174 }
1175
1176 void FrameLoader::prepareForLoadStart()
1177 {
1178     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1179
1180     m_progressTracker->progressStarted();
1181     m_client.dispatchDidStartProvisionalLoad();
1182
1183     if (AXObjectCache::accessibilityEnabled()) {
1184         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1185             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1186             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1187         }
1188     }
1189 }
1190
1191 void FrameLoader::setupForReplace()
1192 {
1193     m_client.revertToProvisionalState(m_documentLoader.get());
1194     setState(FrameStateProvisional);
1195     m_provisionalDocumentLoader = m_documentLoader;
1196     m_documentLoader = nullptr;
1197     detachChildren();
1198 }
1199
1200 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, FormState* formState)
1201 {
1202     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1203     auto protectFrame = makeRef(m_frame);
1204
1205     URL url = request.resourceRequest().url();
1206
1207     ASSERT(m_frame.document());
1208     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1209         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1210         return;
1211     }
1212
1213     String argsReferrer = request.resourceRequest().httpReferrer();
1214     if (argsReferrer.isEmpty())
1215         argsReferrer = outgoingReferrer();
1216
1217     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1218     if (request.shouldSendReferrer() == NeverSendReferrer)
1219         referrer = String();
1220
1221     FrameLoadType loadType;
1222     if (request.resourceRequest().cachePolicy() == ReloadIgnoringCacheData)
1223         loadType = FrameLoadType::Reload;
1224     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1225         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1226     else
1227         loadType = FrameLoadType::Standard;
1228
1229     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeRefPtr(formState), frameName = request.frameName()] {
1230         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1231         // load if frame names have changed.
1232         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1233         if (!sourceFrame)
1234             sourceFrame = &m_frame;
1235         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1236         if (targetFrame && targetFrame != sourceFrame) {
1237             if (Page* page = targetFrame->page())
1238                 page->chrome().focus();
1239         }
1240     };
1241
1242     if (request.resourceRequest().httpMethod() == "POST")
1243         loadPostRequest(WTFMove(request), referrer, loadType, event, formState, WTFMove(completionHandler));
1244     else
1245         loadURL(WTFMove(request), referrer, loadType, event, formState, WTFMove(completionHandler));
1246 }
1247
1248 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1249 {
1250     if (UserGestureIndicator::processingUserGesture())
1251         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1252
1253     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1254         return propagatedPolicy;
1255
1256     if (!currentFrame.isMainFrame())
1257         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1258
1259     return propagatedPolicy;
1260 }
1261
1262 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1263 {
1264     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1265 }
1266
1267 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1268 {
1269     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1270 }
1271
1272 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1273 {
1274     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1275 }
1276
1277 bool FrameLoader::isNavigationAllowed() const
1278 {
1279     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && NavigationDisabler::isNavigationAllowed(m_frame);
1280 }
1281
1282 bool FrameLoader::isStopLoadingAllowed() const
1283 {
1284     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1285 }
1286
1287 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, FormState* formState, CompletionHandler<void()>&& completionHandler)
1288 {
1289     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1290     if (m_inStopAllLoaders)
1291         return;
1292
1293     Ref<Frame> protect(m_frame);
1294
1295     String frameName = frameLoadRequest.frameName();
1296     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1297     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1298     LockHistory lockHistory = frameLoadRequest.lockHistory();
1299     bool isFormSubmission = formState;
1300
1301     const URL& newURL = frameLoadRequest.resourceRequest().url();
1302     ResourceRequest request(newURL);
1303     if (!referrer.isEmpty()) {
1304         request.setHTTPReferrer(referrer);
1305         RefPtr<SecurityOrigin> referrerOrigin = SecurityOrigin::createFromString(referrer);
1306         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1307     }
1308     if (&m_frame.tree().top() != &m_frame)
1309         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1310
1311     addExtraFieldsToRequest(request, newLoadType, true);
1312     if (isReload(newLoadType))
1313         request.setCachePolicy(ReloadIgnoringCacheData);
1314
1315     ASSERT(newLoadType != FrameLoadType::Same);
1316
1317     // The search for a target frame is done earlier in the case of form submission.
1318     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(frameName);
1319     if (targetFrame && targetFrame != &m_frame) {
1320         frameLoadRequest.setFrameName("_self");
1321         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, formState, completionHandlerCaller.release());
1322         return;
1323     }
1324
1325     if (!isNavigationAllowed())
1326         return;
1327
1328     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1329     action.setIsCrossOriginWindowOpenNavigation(frameLoadRequest.isCrossOriginWindowOpenNavigation());
1330     if (auto* opener = this->opener()) {
1331         auto pageID = opener->loader().client().pageID();
1332         auto frameID = opener->loader().client().frameID();
1333         if (pageID && frameID)
1334             action.setOpener(std::make_pair(*pageID, *frameID));
1335     }
1336
1337     if (!targetFrame && !frameName.isEmpty()) {
1338         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1339         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), formState, frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1340             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1341             completionHandler();
1342         });
1343         return;
1344     }
1345
1346     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1347
1348     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1349     const String& httpMethod = request.httpMethod();
1350     
1351     // Make sure to do scroll to fragment processing even if the URL is
1352     // exactly the same so pages with '#' links and DHTML side effects
1353     // work properly.
1354     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1355         oldDocumentLoader->setTriggeringAction(action);
1356         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1357         policyChecker().stopCheck();
1358         policyChecker().setLoadType(newLoadType);
1359         policyChecker().checkNavigationPolicy(WTFMove(request), false /* didReceiveRedirectResponse */, oldDocumentLoader.get(), formState, [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, FormState*, ShouldContinue shouldContinue) {
1360             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue == ShouldContinue::Yes);
1361         }, PolicyDecisionMode::Synchronous);
1362         return;
1363     }
1364
1365     // Must grab this now, since this load may stop the previous load and clear this flag.
1366     bool isRedirect = m_quickRedirectComing;
1367     request.setSystemPreview(frameLoadRequest.isSystemPreview());
1368     loadWithNavigationAction(request, action, lockHistory, newLoadType, formState, allowNavigationToInvalidURL, [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] {
1369         if (isRedirect) {
1370             m_quickRedirectComing = false;
1371             if (m_provisionalDocumentLoader)
1372                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1373             else if (m_policyDocumentLoader)
1374                 m_policyDocumentLoader->setIsClientRedirect(true);
1375         } else if (sameURL && !isReload(newLoadType)) {
1376             // Example of this case are sites that reload the same URL with a different cookie
1377             // driving the generated content, or a master frame with links that drive a target
1378             // frame, where the user has clicked on the same link repeatedly.
1379             m_loadType = FrameLoadType::Same;
1380         }
1381         completionHandler();
1382     });
1383 }
1384
1385 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1386 {
1387     if (!shouldTreatURLAsSrcdocDocument(url))
1388         return SubstituteData();
1389     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1390     ASSERT(!srcdoc.isNull());
1391     CString encodedSrcdoc = srcdoc.string().utf8();
1392
1393     ResourceResponse response(URL(), ASCIILiteral("text/html"), encodedSrcdoc.length(), ASCIILiteral("UTF-8"));
1394     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1395 }
1396
1397 void FrameLoader::load(FrameLoadRequest&& request)
1398 {
1399     if (m_inStopAllLoaders)
1400         return;
1401
1402     if (!request.frameName().isEmpty()) {
1403         Frame* frame = findFrameForNavigation(request.frameName());
1404         if (frame) {
1405             request.setShouldCheckNewWindowPolicy(false);
1406             if (&frame->loader() != this) {
1407                 frame->loader().load(WTFMove(request));
1408                 return;
1409             }
1410         }
1411     }
1412
1413     if (request.shouldCheckNewWindowPolicy()) {
1414         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1415         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), nullptr, request.frameName(), [this] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1416             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1417         });
1418
1419         return;
1420     }
1421
1422     if (!request.hasSubstituteData())
1423         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1424
1425     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1426     addSameSiteInfoToRequestIfNeeded(loader->request());
1427     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1428
1429     SetForScope<bool> currentLoadShouldCheckNavigationPolicyGuard(m_currentLoadShouldCheckNavigationPolicy, request.shouldCheckNavigationPolicy());
1430     load(loader.ptr());
1431 }
1432
1433 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, const NavigationAction& action, LockHistory lockHistory, FrameLoadType type, FormState* formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, CompletionHandler<void()>&& completionHandler)
1434 {
1435     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1436     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1437
1438     if (lockHistory == LockHistory::Yes && m_documentLoader)
1439         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1440
1441     loader->setTriggeringAction(action);
1442     if (m_documentLoader)
1443         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1444
1445     loadWithDocumentLoader(loader.ptr(), type, formState, allowNavigationToInvalidURL, NavigationPolicyCheck::Require, WTFMove(completionHandler));
1446 }
1447
1448 void FrameLoader::load(DocumentLoader* newDocumentLoader)
1449 {
1450     ResourceRequest& r = newDocumentLoader->request();
1451     addExtraFieldsToMainResourceRequest(r);
1452     FrameLoadType type;
1453
1454     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader->originalRequest().url())) {
1455         r.setCachePolicy(ReloadIgnoringCacheData);
1456         type = FrameLoadType::Same;
1457     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader->unreachableURL()) && isReload(m_loadType))
1458         type = m_loadType;
1459     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && !newDocumentLoader->unreachableURL().isEmpty() && newDocumentLoader->substituteData().isValid())
1460         type = FrameLoadType::RedirectWithLockedBackForwardList;
1461     else
1462         type = FrameLoadType::Standard;
1463
1464     if (m_documentLoader)
1465         newDocumentLoader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1466     
1467     // When we loading alternate content for an unreachable URL that we're
1468     // visiting in the history list, we treat it as a reload so the history list 
1469     // is appropriately maintained.
1470     //
1471     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1472     // shouldn't a more explicit type of reload be defined, that means roughly 
1473     // "load without affecting history" ? 
1474     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1475         // shouldReloadToHandleUnreachableURL() returns true only when the original load type is back-forward.
1476         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1477         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1478         history().saveDocumentAndScrollState();
1479
1480         ASSERT(type == FrameLoadType::Standard);
1481         type = FrameLoadType::Reload;
1482     }
1483
1484     loadWithDocumentLoader(newDocumentLoader, type, 0, AllowNavigationToInvalidURL::Yes, NavigationPolicyCheck::Require, [] { });
1485 }
1486
1487 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, FormState* formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NavigationPolicyCheck, CompletionHandler<void()>&& completionHandler)
1488 {
1489     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1490     Ref<Frame> protect(m_frame);
1491
1492     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1493
1494     ASSERT(m_client.hasWebView());
1495
1496     // Unfortunately the view must be non-nil, this is ultimately due
1497     // to parser requiring a FrameView.  We should fix this dependency.
1498
1499     ASSERT(m_frame.view());
1500
1501     if (!isNavigationAllowed())
1502         return;
1503
1504     if (m_frame.document())
1505         m_previousURL = m_frame.document()->url();
1506
1507     const URL& newURL = loader->request().url();
1508
1509     // Log main frame navigation types.
1510     if (m_frame.isMainFrame()) {
1511         if (auto* page = m_frame.page()) {
1512             page->mainFrameLoadStarted(newURL, type);
1513             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1514         }
1515     }
1516
1517     policyChecker().setLoadType(type);
1518     bool isFormSubmission = formState;
1519
1520     const String& httpMethod = loader->request().httpMethod();
1521
1522     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1523         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1524         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1525
1526         oldDocumentLoader->setTriggeringAction(action);
1527         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1528         policyChecker().stopCheck();
1529         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), false /* didReceiveRedirectResponse */, oldDocumentLoader.get(), formState, [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, FormState*, ShouldContinue shouldContinue) {
1530             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue == ShouldContinue::Yes);
1531         }, PolicyDecisionMode::Synchronous);
1532         return;
1533     }
1534
1535     if (Frame* parent = m_frame.tree().parent())
1536         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1537
1538     policyChecker().stopCheck();
1539     setPolicyDocumentLoader(loader);
1540     if (loader->triggeringAction().isEmpty())
1541         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1542
1543     if (Element* ownerElement = m_frame.ownerElement()) {
1544         // We skip dispatching the beforeload event if we've already
1545         // committed a real document load because the event would leak
1546         // subsequent activity by the frame which the parent frame isn't
1547         // supposed to learn. For example, if the child frame navigated to
1548         // a new URL, the parent frame shouldn't learn the URL.
1549         if (!m_stateMachine.committedFirstRealDocumentLoad()
1550             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1551             continueLoadAfterNavigationPolicy(loader->request(), formState, ShouldContinue::No, allowNavigationToInvalidURL);
1552             return;
1553         }
1554     }
1555
1556     m_frame.navigationScheduler().cancel(true);
1557
1558     if (!m_currentLoadShouldCheckNavigationPolicy) {
1559         continueLoadAfterNavigationPolicy(loader->request(), formState, ShouldContinue::Yes, allowNavigationToInvalidURL);
1560         return;
1561     }
1562
1563     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), false /* didReceiveRedirectResponse */, loader, formState, [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, FormState* formState, ShouldContinue shouldContinue) {
1564         continueLoadAfterNavigationPolicy(request, formState, shouldContinue, allowNavigationToInvalidURL);
1565         completionHandler();
1566     });
1567 }
1568
1569 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1570 {
1571     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader)
1572         return;
1573
1574     m_provisionalDocumentLoader->stopLoading();
1575     setProvisionalDocumentLoader(nullptr);
1576 }
1577
1578 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1579 {
1580     ASSERT(!url.isEmpty());
1581     if (!frame)
1582         return;
1583
1584     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1585 }
1586
1587 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1588 {
1589     ASSERT(!url.isEmpty());
1590     if (!frame)
1591         return;
1592     
1593     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1594 }
1595
1596 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1597 {
1598     if (!frame)
1599         return;
1600
1601     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1602 }
1603
1604 const ResourceRequest& FrameLoader::initialRequest() const
1605 {
1606     return activeDocumentLoader()->originalRequest();
1607 }
1608
1609 bool FrameLoader::willLoadMediaElementURL(URL& url)
1610 {
1611 #if PLATFORM(IOS)
1612     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1613     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1614     if (IOSApplication::isMobileStore())
1615         return m_client.shouldLoadMediaElementURL(url);
1616 #endif
1617
1618     ResourceRequest request(url);
1619
1620     unsigned long identifier;
1621     ResourceError error;
1622     requestFromDelegate(request, identifier, error);
1623     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1624
1625     url = request.url();
1626
1627     return error.isNull();
1628 }
1629
1630 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader* docLoader)
1631 {
1632     URL unreachableURL = docLoader->unreachableURL();
1633
1634     if (unreachableURL.isEmpty())
1635         return false;
1636
1637     if (!isBackForwardLoadType(policyChecker().loadType()))
1638         return false;
1639
1640     // We only treat unreachableURLs specially during the delegate callbacks
1641     // for provisional load errors and navigation policy decisions. The former
1642     // case handles well-formed URLs that can't be loaded, and the latter
1643     // case handles malformed URLs and unknown schemes. Loading alternate content
1644     // at other times behaves like a standard load.
1645     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1646         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1647
1648     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1649 }
1650
1651 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1652 {
1653     if (!m_documentLoader)
1654         return;
1655
1656     ResourceRequest request = m_documentLoader->request();
1657     URL unreachableURL = m_documentLoader->unreachableURL();
1658     if (!unreachableURL.isEmpty())
1659         request.setURL(unreachableURL);
1660
1661     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1662     // We should ask the user for confirmation in this case.
1663     request.setCachePolicy(ReturnCacheDataElseLoad);
1664
1665     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1666     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1667
1668     setPolicyDocumentLoader(loader.ptr());
1669
1670     loader->setOverrideEncoding(encoding);
1671
1672     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, 0, AllowNavigationToInvalidURL::Yes, NavigationPolicyCheck::Require, [] { });
1673 }
1674
1675 void FrameLoader::reload(OptionSet<ReloadOption> options)
1676 {
1677     if (!m_documentLoader)
1678         return;
1679
1680     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1681     // Reloading in this case will lose the current contents (see 4151001).
1682     if (m_documentLoader->request().url().isEmpty())
1683         return;
1684
1685     // Replace error-page URL with the URL we were trying to reach.
1686     ResourceRequest initialRequest = m_documentLoader->request();
1687     URL unreachableURL = m_documentLoader->unreachableURL();
1688     if (!unreachableURL.isEmpty())
1689         initialRequest.setURL(unreachableURL);
1690
1691     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1692     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1693     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1694     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1695
1696     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1697     
1698     ResourceRequest& request = loader->request();
1699
1700     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1701     request.setCachePolicy(ReloadIgnoringCacheData);
1702
1703     addSameSiteInfoToRequestIfNeeded(request);
1704
1705     // If we're about to re-post, set up action so the application can warn the user.
1706     if (request.httpMethod() == "POST")
1707         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1708
1709     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1710
1711     auto frameLoadTypeForReloadOptions = [] (auto options) {
1712         if (options & ReloadOption::FromOrigin)
1713             return FrameLoadType::ReloadFromOrigin;
1714         if (options & ReloadOption::ExpiredOnly)
1715             return FrameLoadType::ReloadExpiredOnly;
1716         return FrameLoadType::Reload;
1717     };
1718     
1719     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), 0, AllowNavigationToInvalidURL::Yes, NavigationPolicyCheck::Require, [] { });
1720 }
1721
1722 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1723 {
1724     ASSERT(!m_frame.document() || m_frame.document()->pageCacheState() != Document::InPageCache);
1725     if (!isStopLoadingAllowed())
1726         return;
1727
1728     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1729     if (m_inStopAllLoaders)
1730         return;
1731
1732     // This method might dispatch events.
1733     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1734
1735     // Calling stopLoading() on the provisional document loader can blow away
1736     // the frame from underneath.
1737     Ref<Frame> protect(m_frame);
1738
1739     m_inStopAllLoaders = true;
1740
1741     policyChecker().stopCheck();
1742
1743     // If no new load is in progress, we should clear the provisional item from history
1744     // before we call stopLoading.
1745     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1746         history().setProvisionalItem(nullptr);
1747
1748     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1749         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1750     if (m_provisionalDocumentLoader)
1751         m_provisionalDocumentLoader->stopLoading();
1752     if (m_documentLoader)
1753         m_documentLoader->stopLoading();
1754
1755     setProvisionalDocumentLoader(nullptr);
1756
1757     m_checkTimer.stop();
1758
1759     m_inStopAllLoaders = false;    
1760 }
1761
1762 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1763 {
1764     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1765     Ref<Frame> protectedFrame(m_frame);
1766
1767     stopAllLoaders();
1768
1769 #if PLATFORM(IOS)
1770     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1771     // but haven't laid out/painted yet.
1772     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1773     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1774         m_frame.view()->layoutContext().layout();
1775 #endif
1776
1777     if (deferCheckLoadComplete)
1778         scheduleCheckLoadComplete();
1779     else if (m_frame.page())
1780         checkLoadComplete();
1781 }
1782
1783 DocumentLoader* FrameLoader::activeDocumentLoader() const
1784 {
1785     if (m_state == FrameStateProvisional)
1786         return m_provisionalDocumentLoader.get();
1787     return m_documentLoader.get();
1788 }
1789
1790 bool FrameLoader::isLoading() const
1791 {
1792     DocumentLoader* docLoader = activeDocumentLoader();
1793     if (!docLoader)
1794         return false;
1795     return docLoader->isLoading();
1796 }
1797
1798 bool FrameLoader::frameHasLoaded() const
1799 {
1800     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1801 }
1802
1803 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1804 {
1805     if (!loader && !m_documentLoader)
1806         return;
1807     
1808     ASSERT(loader != m_documentLoader);
1809     ASSERT(!loader || loader->frameLoader() == this);
1810
1811     m_client.prepareForDataSourceReplacement();
1812     detachChildren();
1813
1814     // detachChildren() can trigger this frame's unload event, and therefore
1815     // script can run and do just about anything. For example, an unload event that calls
1816     // document.write("") on its parent frame can lead to a recursive detachChildren()
1817     // invocation for this frame. In that case, we can end up at this point with a
1818     // loader that hasn't been deleted but has been detached from its frame. Such a
1819     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1820     // state if we try to use it.
1821     if (loader && !loader->frame())
1822         return;
1823
1824     if (m_documentLoader)
1825         m_documentLoader->detachFromFrame();
1826
1827     m_documentLoader = loader;
1828 }
1829
1830 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1831 {
1832     if (m_policyDocumentLoader == loader)
1833         return;
1834
1835     if (loader)
1836         loader->attachToFrame(m_frame);
1837     if (m_policyDocumentLoader
1838             && m_policyDocumentLoader != m_provisionalDocumentLoader
1839             && m_policyDocumentLoader != m_documentLoader)
1840         m_policyDocumentLoader->detachFromFrame();
1841
1842     m_policyDocumentLoader = loader;
1843 }
1844
1845 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1846 {
1847     ASSERT(!loader || !m_provisionalDocumentLoader);
1848     ASSERT(!loader || loader->frameLoader() == this);
1849
1850     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1851         m_provisionalDocumentLoader->detachFromFrame();
1852
1853     m_provisionalDocumentLoader = loader;
1854 }
1855
1856 void FrameLoader::setState(FrameState newState)
1857 {
1858     FrameState oldState = m_state;
1859     m_state = newState;
1860     
1861     if (newState == FrameStateProvisional)
1862         provisionalLoadStarted();
1863     else if (newState == FrameStateComplete) {
1864         frameLoadCompleted();
1865         if (m_documentLoader)
1866             m_documentLoader->stopRecordingResponses();
1867         if (m_frame.isMainFrame() && oldState != newState)
1868             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
1869     }
1870 }
1871
1872 void FrameLoader::clearProvisionalLoad()
1873 {
1874     setProvisionalDocumentLoader(nullptr);
1875     m_progressTracker->progressCompleted();
1876     setState(FrameStateComplete);
1877 }
1878
1879 void FrameLoader::commitProvisionalLoad()
1880 {
1881     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1882     Ref<Frame> protect(m_frame);
1883
1884     std::unique_ptr<CachedPage> cachedPage;
1885     if (m_loadingFromCachedPage && history().provisionalItem())
1886         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1887
1888     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
1889         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1890         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
1891
1892     willTransitionToCommitted();
1893
1894     if (!m_frame.tree().parent() && history().currentItem()) {
1895         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
1896         // We are doing this here because we know for sure that a new page is about to be loaded.
1897         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
1898         
1899         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
1900     }
1901
1902     if (m_loadType != FrameLoadType::Replace)
1903         closeOldDataSources();
1904
1905     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
1906         m_client.makeRepresentation(pdl.get());
1907
1908     transitionToCommitted(cachedPage.get());
1909
1910     if (pdl && m_documentLoader) {
1911         // Check if the destination page is allowed to access the previous page's timing information.
1912         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
1913         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
1914     }
1915
1916     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
1917     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
1918     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
1919     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
1920     if (m_sentRedirectNotification)
1921         clientRedirectCancelledOrFinished(false);
1922     
1923     if (cachedPage && cachedPage->document()) {
1924 #if PLATFORM(IOS)
1925         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
1926         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
1927         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
1928 #endif
1929         willRestoreFromCachedPage();
1930
1931         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
1932         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
1933         ResourceError mainResouceError;
1934         unsigned long mainResourceIdentifier;
1935         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
1936         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
1937         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
1938
1939         std::optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
1940
1941         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
1942         cachedPage->restore(*m_frame.page());
1943
1944         dispatchDidCommitLoad(hasInsecureContent);
1945
1946 #if PLATFORM(IOS)
1947         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
1948         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
1949 #endif
1950
1951         auto& title = m_documentLoader->title();
1952         if (!title.string.isNull())
1953             m_client.dispatchDidReceiveTitle(title);
1954
1955         // Send remaining notifications for the main resource.
1956         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
1957             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
1958
1959         checkCompleted();
1960     } else
1961         didOpenURL();
1962
1963     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
1964         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
1965
1966     if (m_loadType == FrameLoadType::Standard && m_documentLoader->isClientRedirect())
1967         history().updateForClientRedirect();
1968
1969     if (m_loadingFromCachedPage) {
1970         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
1971         if (auto* page = m_frame.page())
1972             page->chrome().didReceiveDocType(m_frame);
1973         m_frame.document()->resume(ActiveDOMObject::PageCache);
1974
1975         // Force a layout to update view size and thereby update scrollbars.
1976 #if PLATFORM(IOS)
1977         if (!m_client.forceLayoutOnRestoreFromPageCache())
1978             m_frame.view()->forceLayout();
1979 #else
1980         m_frame.view()->forceLayout();
1981 #endif
1982
1983         // Main resource delegates were already sent, so we skip the first response here.
1984         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
1985             const auto& response = m_documentLoader->responses()[i];
1986             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
1987             ResourceError error;
1988             unsigned long identifier;
1989             ResourceRequest request(response.url());
1990             requestFromDelegate(request, identifier, error);
1991             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
1992             // However, with today's computers and networking speeds, this won't happen in practice.
1993             // Could be an issue with a giant local file.
1994             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
1995         }
1996
1997         // FIXME: Why only this frame and not parent frames?
1998         checkLoadCompleteForThisFrame();
1999     }
2000 }
2001
2002 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2003 {
2004     ASSERT(m_client.hasWebView());
2005     ASSERT(m_state == FrameStateProvisional);
2006
2007     if (m_state != FrameStateProvisional)
2008         return;
2009
2010     if (FrameView* view = m_frame.view()) {
2011         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2012             scrollAnimator->cancelAnimations();
2013     }
2014
2015     m_client.setCopiesOnScroll();
2016     history().updateForCommit();
2017
2018     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2019     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2020     // or the two will stomp each other.
2021     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2022     if (m_documentLoader)
2023         closeURL();
2024     if (pdl != m_provisionalDocumentLoader)
2025         return;
2026
2027     if (m_documentLoader)
2028         m_documentLoader->stopLoadingSubresources();
2029     if (m_documentLoader)
2030         m_documentLoader->stopLoadingPlugIns();
2031
2032     // Setting our document loader invokes the unload event handler of our child frames.
2033     // Script can do anything. If the script initiates a new load, we need to abandon the
2034     // current load or the two will stomp each other.
2035     setDocumentLoader(m_provisionalDocumentLoader.get());
2036     if (pdl != m_provisionalDocumentLoader)
2037         return;
2038     setProvisionalDocumentLoader(nullptr);
2039
2040     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2041     setState(FrameStateCommittedPage);
2042
2043     // Handle adding the URL to the back/forward list.
2044     DocumentLoader* dl = m_documentLoader.get();
2045
2046     switch (m_loadType) {
2047     case FrameLoadType::Forward:
2048     case FrameLoadType::Back:
2049     case FrameLoadType::IndexedBackForward:
2050         if (m_frame.page()) {
2051             // If the first load within a frame is a navigation within a back/forward list that was attached
2052             // without any of the items being loaded then we need to update the history in a similar manner as
2053             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2054             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2055                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2056
2057             history().updateForBackForwardNavigation();
2058
2059             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2060             if (history().currentItem() && !cachedPage)
2061                 m_pendingStateObject = history().currentItem()->stateObject();
2062
2063             // Create a document view for this document, or used the cached view.
2064             if (cachedPage) {
2065                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2066                 ASSERT(cachedDocumentLoader);
2067                 cachedDocumentLoader->attachToFrame(m_frame);
2068                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2069             } else
2070                 m_client.transitionToCommittedForNewPage();
2071         }
2072         break;
2073
2074     case FrameLoadType::Reload:
2075     case FrameLoadType::ReloadFromOrigin:
2076     case FrameLoadType::ReloadExpiredOnly:
2077     case FrameLoadType::Same:
2078     case FrameLoadType::Replace:
2079         history().updateForReload();
2080         m_client.transitionToCommittedForNewPage();
2081         break;
2082
2083     case FrameLoadType::Standard:
2084         history().updateForStandardLoad();
2085         if (m_frame.view())
2086             m_frame.view()->setScrollbarsSuppressed(true);
2087         m_client.transitionToCommittedForNewPage();
2088         break;
2089
2090     case FrameLoadType::RedirectWithLockedBackForwardList:
2091         history().updateForRedirectWithLockedBackForwardList();
2092         m_client.transitionToCommittedForNewPage();
2093         break;
2094     }
2095
2096     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2097
2098     // Tell the client we've committed this URL.
2099     ASSERT(m_frame.view());
2100
2101     if (m_stateMachine.creatingInitialEmptyDocument())
2102         return;
2103
2104     if (!m_stateMachine.committedFirstRealDocumentLoad())
2105         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2106 }
2107
2108 void FrameLoader::clientRedirectCancelledOrFinished(bool cancelWithLoadInProgress)
2109 {
2110     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2111     // the redirect succeeded.  We should either rename this API, or add a new method, like
2112     // -webView:didFinishClientRedirectForFrame:
2113     m_client.dispatchDidCancelClientRedirect();
2114
2115     if (!cancelWithLoadInProgress)
2116         m_quickRedirectComing = false;
2117
2118     m_sentRedirectNotification = false;
2119 }
2120
2121 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2122 {
2123     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate);
2124     
2125     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2126     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2127     m_sentRedirectNotification = true;
2128     
2129     // If a "quick" redirect comes in, we set a special mode so we treat the next
2130     // load as part of the original navigation. If we don't have a document loader, we have
2131     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2132     // Loads triggered by JavaScript form submissions never count as quick redirects.
2133     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2134 }
2135
2136 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2137 {
2138     // This function implements the rule: "Don't reload if navigating by fragment within
2139     // the same URL, but do reload if going to a new URL or to the same URL with no
2140     // fragment identifier at all."
2141     if (!destinationURL.hasFragmentIdentifier())
2142         return true;
2143     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2144 }
2145
2146 void FrameLoader::closeOldDataSources()
2147 {
2148     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2149     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2150     // use a recursive algorithm here.
2151     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2152         child->loader().closeOldDataSources();
2153     
2154     if (m_documentLoader)
2155         m_client.dispatchWillClose();
2156
2157     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2158 }
2159
2160 void FrameLoader::willRestoreFromCachedPage()
2161 {
2162     ASSERT(!m_frame.tree().parent());
2163     ASSERT(m_frame.page());
2164     ASSERT(m_frame.isMainFrame());
2165
2166     m_frame.navigationScheduler().cancel();
2167
2168     // We still have to close the previous part page.
2169     closeURL();
2170     
2171     // Delete old status bar messages (if it _was_ activated on last URL).
2172     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2173         DOMWindow* window = m_frame.document()->domWindow();
2174         window->setStatus(String());
2175         window->setDefaultStatus(String());
2176     }
2177 }
2178
2179 void FrameLoader::open(CachedFrameBase& cachedFrame)
2180 {
2181     m_isComplete = false;
2182     
2183     // Don't re-emit the load event.
2184     m_didCallImplicitClose = true;
2185
2186     URL url = cachedFrame.url();
2187
2188     // FIXME: I suspect this block of code doesn't do anything.
2189     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2190         url.setPath("/");
2191
2192     started();
2193     Document* document = cachedFrame.document();
2194     ASSERT(document);
2195     ASSERT(document->domWindow());
2196
2197     clear(document, true, true, cachedFrame.isMainFrame());
2198
2199     document->setPageCacheState(Document::NotInPageCache);
2200
2201     m_needsClear = true;
2202     m_isComplete = false;
2203     m_didCallImplicitClose = false;
2204     m_outgoingReferrer = url.string();
2205
2206     FrameView* view = cachedFrame.view();
2207     
2208     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2209     ASSERT(view);
2210     view->setWasScrolledByUser(false);
2211
2212     std::optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : std::optional<IntRect>(std::nullopt);
2213     m_frame.setView(view);
2214
2215     // Use the previous ScrollView's frame rect.
2216     if (previousViewFrameRect)
2217         view->setFrameRect(previousViewFrameRect.value());
2218     
2219     m_frame.setDocument(document);
2220     document->domWindow()->resumeFromDocumentSuspension();
2221
2222     updateFirstPartyForCookies();
2223
2224     cachedFrame.restore();
2225 }
2226
2227 bool FrameLoader::isHostedByObjectElement() const
2228 {
2229     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2230     return owner && owner->hasTagName(objectTag);
2231 }
2232
2233 bool FrameLoader::isReplacing() const
2234 {
2235     return m_loadType == FrameLoadType::Replace;
2236 }
2237
2238 void FrameLoader::setReplacing()
2239 {
2240     m_loadType = FrameLoadType::Replace;
2241 }
2242
2243 bool FrameLoader::subframeIsLoading() const
2244 {
2245     // It's most likely that the last added frame is the last to load so we walk backwards.
2246     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2247         FrameLoader& childLoader = child->loader();
2248         DocumentLoader* documentLoader = childLoader.documentLoader();
2249         if (documentLoader && documentLoader->isLoadingInAPISense())
2250             return true;
2251         documentLoader = childLoader.provisionalDocumentLoader();
2252         if (documentLoader && documentLoader->isLoadingInAPISense())
2253             return true;
2254         documentLoader = childLoader.policyDocumentLoader();
2255         if (documentLoader)
2256             return true;
2257     }
2258     return false;
2259 }
2260
2261 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2262 {
2263     m_client.willChangeTitle(loader);
2264 }
2265
2266 FrameLoadType FrameLoader::loadType() const
2267 {
2268     return m_loadType;
2269 }
2270     
2271 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2272 {
2273     if (Page* page = m_frame.page()) {
2274         if (page->isResourceCachingDisabled())
2275             return CachePolicyReload;
2276     }
2277
2278     if (m_isComplete)
2279         return CachePolicyVerify;
2280
2281     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2282         return CachePolicyReload;
2283
2284     if (Frame* parentFrame = m_frame.tree().parent()) {
2285         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2286         if (parentCachePolicy != CachePolicyVerify)
2287             return parentCachePolicy;
2288     }
2289     
2290     switch (m_loadType) {
2291     case FrameLoadType::Reload:
2292         return CachePolicyRevalidate;
2293     case FrameLoadType::Back:
2294     case FrameLoadType::Forward:
2295     case FrameLoadType::IndexedBackForward:
2296         return CachePolicyHistoryBuffer;
2297     case FrameLoadType::ReloadFromOrigin:
2298         ASSERT_NOT_REACHED(); // Already handled above.
2299         return CachePolicyReload;
2300     case FrameLoadType::RedirectWithLockedBackForwardList:
2301     case FrameLoadType::Replace:
2302     case FrameLoadType::Same:
2303     case FrameLoadType::Standard:
2304         return CachePolicyVerify;
2305     case FrameLoadType::ReloadExpiredOnly:
2306         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2307         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2308             return CachePolicyReload;
2309         return CachePolicyVerify;
2310     }
2311
2312     RELEASE_ASSERT_NOT_REACHED();
2313     return CachePolicyVerify;
2314 }
2315
2316 void FrameLoader::checkLoadCompleteForThisFrame()
2317 {
2318     ASSERT(m_client.hasWebView());
2319
2320     // FIXME: Should this check be done in checkLoadComplete instead of here?
2321     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2322     if (m_frame.document()->isDelayingLoadEvent())
2323         return;
2324
2325     switch (m_state) {
2326         case FrameStateProvisional: {
2327             // FIXME: Prohibiting any provisional load failures from being sent to clients
2328             // while handling provisional load failures is too heavy. For example, the current
2329             // load will fail to cancel another ongoing load. That might prevent clients' page
2330             // load state being handled properly.
2331             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2332                 return;
2333
2334             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2335             if (!pdl)
2336                 return;
2337                 
2338             // If we've received any errors we may be stuck in the provisional state and actually complete.
2339             const ResourceError& error = pdl->mainDocumentError();
2340             if (error.isNull())
2341                 return;
2342
2343             // Check all children first.
2344             RefPtr<HistoryItem> item;
2345             if (Page* page = m_frame.page())
2346                 if (isBackForwardLoadType(loadType()))
2347                     // Reset the back forward list to the last committed history item at the top level.
2348                     item = page->mainFrame().loader().history().currentItem();
2349                 
2350             // Only reset if we aren't already going to a new provisional item.
2351             bool shouldReset = !history().provisionalItem();
2352             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2353                 m_provisionalLoadErrorBeingHandledURL = m_provisionalDocumentLoader->url();
2354                 m_client.dispatchDidFailProvisionalLoad(error);
2355 #if ENABLE(CONTENT_FILTERING)
2356                 if (auto contentFilter = pdl->contentFilter())
2357                     contentFilter->handleProvisionalLoadFailure(error);
2358 #endif
2359                 m_provisionalLoadErrorBeingHandledURL = { };
2360
2361                 ASSERT(!pdl->isLoading());
2362
2363                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2364                 if (isReplacing() && !m_documentLoader.get())
2365                     setDocumentLoader(m_provisionalDocumentLoader.get());
2366
2367                 // Finish resetting the load state, but only if another load hasn't been started by the
2368                 // delegate callback.
2369                 if (pdl == m_provisionalDocumentLoader)
2370                     clearProvisionalLoad();
2371                 else if (activeDocumentLoader()) {
2372                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2373                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2374                         shouldReset = false;
2375                 }
2376             }
2377             if (shouldReset && item)
2378                 if (Page* page = m_frame.page()) {
2379                     page->backForward().setCurrentItem(item.get());
2380                     m_frame.loader().client().updateGlobalHistoryItemForPage();
2381                 }
2382             return;
2383         }
2384         
2385         case FrameStateCommittedPage: {
2386             DocumentLoader* dl = m_documentLoader.get();            
2387             if (!dl || (dl->isLoadingInAPISense() && !dl->isStopping()))
2388                 return;
2389
2390             setState(FrameStateComplete);
2391
2392             // FIXME: Is this subsequent work important if we already navigated away?
2393             // Maybe there are bugs because of that, or extra work we can skip because
2394             // the new page is ready.
2395
2396             m_client.forceLayoutForNonHTML();
2397              
2398             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2399             if (m_frame.page()) {
2400                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2401                     history().restoreScrollPositionAndViewState();
2402             }
2403
2404             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2405                 return;
2406
2407             m_progressTracker->progressCompleted();
2408             Page* page = m_frame.page();
2409             if (page) {
2410                 if (m_frame.isMainFrame()) {
2411                     tracePoint(MainResourceLoadDidEnd);
2412                     page->didFinishLoad();
2413                 }
2414             }
2415
2416             const ResourceError& error = dl->mainDocumentError();
2417
2418             AXObjectCache::AXLoadingEvent loadingEvent;
2419             if (!error.isNull()) {
2420                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2421                 m_client.dispatchDidFailLoad(error);
2422                 loadingEvent = AXObjectCache::AXLoadingFailed;
2423             } else {
2424                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2425 #if ENABLE(DATA_DETECTION)
2426                 auto* document = m_frame.document();
2427                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2428                     if (auto* documentElement = document->documentElement()) {
2429                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2430                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2431                         if (m_frame.isMainFrame())
2432                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2433                     }
2434                 }
2435 #endif
2436                 m_client.dispatchDidFinishLoad();
2437                 loadingEvent = AXObjectCache::AXLoadingFinished;
2438             }
2439
2440             // Notify accessibility.
2441             if (auto* document = m_frame.document()) {
2442                 if (AXObjectCache* cache = document->existingAXObjectCache())
2443                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2444             }
2445
2446             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2447             // from its Page and also might have caused Page to be deleted.
2448             // Don't assume 'page' is still available to use.
2449             if (m_frame.isMainFrame() && m_frame.page()) {
2450                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2451                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2452             }
2453
2454             return;
2455         }
2456         
2457         case FrameStateComplete:
2458             m_loadType = FrameLoadType::Standard;
2459             frameLoadCompleted();
2460             return;
2461     }
2462
2463     ASSERT_NOT_REACHED();
2464 }
2465
2466 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2467 {
2468     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2469     // The originalURL is defined as the URL of the page where the download was initiated.
2470     URL originalURL;
2471     auto* initiator = m_frame.document();
2472     if (initiator) {
2473         originalURL = initiator->firstPartyForCookies();
2474         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2475         // In this case, we need to set the originalURL to this document's opener's main document URL.
2476         if (originalURL.isEmpty() && opener() && opener()->document()) {
2477             originalURL = opener()->document()->firstPartyForCookies();
2478             initiator = opener()->document();
2479         }
2480     }
2481     // If the originalURL is the same as the requested URL, we are processing a download
2482     // initiated directly without a page and do not need to specify the originalURL.
2483     if (originalURL == request.url())
2484         request.setFirstPartyForCookies(URL());
2485     else
2486         request.setFirstPartyForCookies(originalURL);
2487     addSameSiteInfoToRequestIfNeeded(request, initiator);
2488 }
2489
2490 void FrameLoader::didReachLayoutMilestone(LayoutMilestones milestones)
2491 {
2492     ASSERT(m_frame.isMainFrame());
2493
2494     m_client.dispatchDidReachLayoutMilestone(milestones);
2495 }
2496
2497 void FrameLoader::didFirstLayout()
2498 {
2499 #if PLATFORM(IOS)
2500     // Only send layout-related delegate callbacks synchronously for the main frame to
2501     // avoid reentering layout for the main frame while delivering a layout-related delegate
2502     // callback for a subframe.
2503     if (&m_frame != &m_frame.page()->mainFrame())
2504         return;
2505 #endif
2506     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2507         history().restoreScrollPositionAndViewState();
2508
2509     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2510         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2511 }
2512
2513 void FrameLoader::frameLoadCompleted()
2514 {
2515     // Note: Can be called multiple times.
2516
2517     m_client.frameLoadCompleted();
2518
2519     history().updateForFrameLoadCompleted();
2520
2521     // After a canceled provisional load, firstLayoutDone is false.
2522     // Reset it to true if we're displaying a page.
2523     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2524         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2525 }
2526
2527 void FrameLoader::detachChildren()
2528 {
2529     // detachChildren() will fire the unload event in each subframe and the
2530     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2531     // this event is being fired in its subframes:
2532     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2533     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2534
2535     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2536     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2537     // allow loading of subframes at this point.
2538     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2539
2540     Vector<Ref<Frame>, 16> childrenToDetach;
2541     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2542     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2543         childrenToDetach.uncheckedAppend(*child);
2544     for (auto& child : childrenToDetach)
2545         child->loader().detachFromParent();
2546 }
2547
2548 void FrameLoader::closeAndRemoveChild(Frame& child)
2549 {
2550     child.tree().detachFromParent();
2551
2552     child.setView(nullptr);
2553     if (child.ownerElement() && child.page())
2554         child.page()->decrementSubframeCount();
2555     child.willDetachPage();
2556     child.detachFromPage();
2557
2558     m_frame.tree().removeChild(child);
2559 }
2560
2561 // Called every time a resource is completely loaded or an error is received.
2562 void FrameLoader::checkLoadComplete()
2563 {
2564     m_shouldCallCheckLoadComplete = false;
2565
2566     if (!m_frame.page())
2567         return;
2568
2569     ASSERT(m_client.hasWebView());
2570     
2571     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2572     // is currently needed in order to null out the previous history item for all frames.
2573     Vector<Ref<Frame>, 16> frames;
2574     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2575         frames.append(*frame);
2576
2577     // To process children before their parents, iterate the vector backwards.
2578     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2579         if ((*frame)->page())
2580             (*frame)->loader().checkLoadCompleteForThisFrame();
2581     }
2582 }
2583
2584 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2585 {
2586     if (!recurse)
2587         return m_frame.document()->cachedResourceLoader().requestCount();
2588
2589     int count = 0;
2590     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2591         count += frame->document()->cachedResourceLoader().requestCount();
2592     return count;
2593 }
2594
2595 String FrameLoader::userAgent(const URL& url) const
2596 {
2597     return m_client.userAgent(url);
2598 }
2599
2600 void FrameLoader::dispatchOnloadEvents()
2601 {
2602     m_client.dispatchDidDispatchOnloadEvents();
2603
2604     if (documentLoader())
2605         documentLoader()->dispatchOnloadEvents();
2606 }
2607
2608 void FrameLoader::frameDetached()
2609 {
2610     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2611     Ref<Frame> protectedFrame(m_frame);
2612
2613     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2614         stopAllLoaders();
2615         m_frame.document()->stopActiveDOMObjects();
2616     }
2617
2618     detachFromParent();
2619 }
2620
2621 void FrameLoader::detachFromParent()
2622 {
2623     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2624     Ref<Frame> protect(m_frame);
2625
2626     closeURL();
2627     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2628     detachChildren();
2629     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2630         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2631         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2632         // handlers might start a new subresource load in this frame.
2633         stopAllLoaders();
2634     }
2635
2636     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2637
2638     detachViewsAndDocumentLoader();
2639
2640     m_progressTracker = nullptr;
2641
2642     if (Frame* parent = m_frame.tree().parent()) {
2643         parent->loader().closeAndRemoveChild(m_frame);
2644         parent->loader().scheduleCheckCompleted();
2645         parent->loader().scheduleCheckLoadComplete();
2646     } else {
2647         m_frame.setView(nullptr);
2648         m_frame.willDetachPage();
2649         m_frame.detachFromPage();
2650     }
2651 }
2652
2653 void FrameLoader::detachViewsAndDocumentLoader()
2654 {
2655     m_client.detachedFromParent2();
2656     setDocumentLoader(nullptr);
2657     m_client.detachedFromParent3();
2658 }
2659     
2660 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2661 {
2662     addExtraFieldsToRequest(request, m_loadType, false);
2663 }
2664
2665 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2666 {
2667     // FIXME: Using m_loadType seems wrong for some callers.
2668     // If we are only preparing to load the main resource, that is previous load's load type!
2669     addExtraFieldsToRequest(request, m_loadType, true);
2670
2671     // Upgrade-Insecure-Requests should only be added to main resource requests
2672     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2673 }
2674
2675 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2676 {
2677     if (m_overrideCachePolicyForTesting)
2678         return m_overrideCachePolicyForTesting.value();
2679
2680     if (isMainResource) {
2681         if (isReload(loadType) || request.isConditional())
2682             return ReloadIgnoringCacheData;
2683
2684         return UseProtocolCachePolicy;
2685     }
2686
2687     if (request.isConditional())
2688         return ReloadIgnoringCacheData;
2689
2690     if (documentLoader()->isLoadingInAPISense()) {
2691         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2692         // original request cache policy for two reasons:
2693         // 1. For POST requests, we mutate the cache policy for the main resource,
2694         //    but we do not want this to apply to subresources
2695         // 2. Delegates that modify the cache policy using willSendRequest: should
2696         //    not affect any other resources. Such changes need to be done
2697         //    per request.
2698         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2699         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2700         // This policy is set on initial request too, but should not be inherited.
2701         return (mainDocumentOriginalCachePolicy == ReturnCacheDataDontLoad) ? ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2702     }
2703
2704     return UseProtocolCachePolicy;
2705 }
2706
2707 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2708 {
2709     // Don't set the cookie policy URL if it's already been set.
2710     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2711     if (request.firstPartyForCookies().isEmpty()) {
2712         if (isMainResource && m_frame.isMainFrame())
2713             request.setFirstPartyForCookies(request.url());
2714         else if (Document* document = m_frame.document())
2715             request.setFirstPartyForCookies(document->firstPartyForCookies());
2716     }
2717
2718     if (request.isSameSiteUnspecified()) {
2719         auto* initiator = m_frame.document();
2720         if (isMainResource) {
2721             auto* ownerFrame = m_frame.tree().parent();
2722             if (!ownerFrame)
2723                 ownerFrame = m_opener;
2724             if (ownerFrame)
2725                 initiator = ownerFrame->document();
2726             ASSERT(ownerFrame || m_frame.isMainFrame());
2727         }
2728         addSameSiteInfoToRequestIfNeeded(request, initiator);
2729         request.setIsTopSite(isMainResource && m_frame.isMainFrame());
2730     }
2731
2732     Page* page = frame().page();
2733     bool hasSpecificCachePolicy = request.cachePolicy() != UseProtocolCachePolicy;
2734
2735     if (page && page->isResourceCachingDisabled()) {
2736         request.setCachePolicy(ReloadIgnoringCacheData);
2737         loadType = FrameLoadType::ReloadFromOrigin;
2738     } else if (!hasSpecificCachePolicy)
2739         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2740
2741     // The remaining modifications are only necessary for HTTP and HTTPS.
2742     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2743         return;
2744
2745     if (!hasSpecificCachePolicy && request.cachePolicy() == ReloadIgnoringCacheData) {
2746         if (loadType == FrameLoadType::Reload)
2747             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2748         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2749             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2750             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2751         }
2752     }
2753
2754     if (m_overrideResourceLoadPriorityForTesting)
2755         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2756
2757     applyUserAgentIfNeeded(request);
2758
2759     if (isMainResource)
2760         request.setHTTPAccept(defaultAcceptHeader);
2761
2762     // Make sure we send the Origin header.
2763     addHTTPOriginIfNeeded(request, String());
2764
2765     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2766     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2767         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2768         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2769     }
2770 }
2771
2772 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2773 {
2774     if (!request.httpOrigin().isEmpty())
2775         return;  // Request already has an Origin header.
2776
2777     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2778     // For example, if an intranet page has a hyperlink to an external web
2779     // site, we don't want to include the Origin of the request because it
2780     // will leak the internal host name. Similar privacy concerns have lead
2781     // to the widespread suppression of the Referer header at the network
2782     // layer.
2783     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2784         return;
2785
2786     // For non-GET and non-HEAD methods, always send an Origin header so the
2787     // server knows we support this feature.
2788
2789     if (origin.isEmpty()) {
2790         // If we don't know what origin header to attach, we attach the value
2791         // for an empty origin.
2792         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2793         return;
2794     }
2795
2796     request.setHTTPOrigin(origin);
2797 }
2798
2799 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
2800 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
2801 // as same-site. This matches the behavior of Chrome and Firefox.
2802 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
2803 {
2804     if (!request.isSameSiteUnspecified())
2805         return;
2806     if (!initiator) {
2807         request.setIsSameSite(true);
2808         return;
2809     }
2810     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
2811         request.setIsSameSite(true);
2812         return;
2813     }
2814     request.setIsSameSite(registrableDomainsAreEqual(initiator->firstPartyForSameSiteCookies(), request.url()));
2815 }
2816
2817 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
2818 {
2819     if (request.url().protocolIs("https")) {
2820         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
2821         return;
2822     }
2823
2824     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, ASCIILiteral("1"));
2825 }
2826
2827 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, FormState* formState, CompletionHandler<void()>&& completionHandler)
2828 {
2829     String frameName = request.frameName();
2830     LockHistory lockHistory = request.lockHistory();
2831     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
2832     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
2833
2834     const ResourceRequest& inRequest = request.resourceRequest();
2835     const URL& url = inRequest.url();
2836     const String& contentType = inRequest.httpContentType();
2837     String origin = inRequest.httpOrigin();
2838
2839     ResourceRequest workingResourceRequest(url);    
2840
2841     if (!referrer.isEmpty())
2842         workingResourceRequest.setHTTPReferrer(referrer);
2843     workingResourceRequest.setHTTPOrigin(origin);
2844     workingResourceRequest.setHTTPMethod("POST");
2845     workingResourceRequest.setHTTPBody(inRequest.httpBody());
2846     workingResourceRequest.setHTTPContentType(contentType);
2847     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
2848
2849     if (Document* document = m_frame.document())
2850         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2851
2852     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
2853
2854     if (!frameName.isEmpty()) {
2855         // The search for a target frame is done earlier in the case of form submission.
2856         if (Frame* targetFrame = formState ? 0 : findFrameForNavigation(frameName)) {
2857             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, action, lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, WTFMove(completionHandler));
2858             return;
2859         }
2860
2861         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
2862             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
2863             completionHandler();
2864         });
2865         return;
2866     }
2867
2868     // must grab this now, since this load may stop the previous load and clear this flag
2869     bool isRedirect = m_quickRedirectComing;
2870     loadWithNavigationAction(workingResourceRequest, action, lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] {
2871         if (isRedirect) {
2872             m_quickRedirectComing = false;
2873             if (m_provisionalDocumentLoader)
2874                 m_provisionalDocumentLoader->setIsClientRedirect(true);
2875             else if (m_policyDocumentLoader)
2876                 m_policyDocumentLoader->setIsClientRedirect(true);
2877         }
2878         completionHandler();
2879     });
2880 }
2881
2882 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
2883 {
2884     ASSERT(m_frame.document());
2885     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
2886     
2887     ResourceRequest initialRequest = request;
2888     initialRequest.setTimeoutInterval(10);
2889     
2890     if (!referrer.isEmpty())
2891         initialRequest.setHTTPReferrer(referrer);
2892     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
2893
2894     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
2895     
2896     addExtraFieldsToSubresourceRequest(initialRequest);
2897
2898     unsigned long identifier = 0;    
2899     ResourceRequest newRequest(initialRequest);
2900     requestFromDelegate(newRequest, identifier, error);
2901
2902 #if ENABLE(CONTENT_EXTENSIONS)
2903     if (error.isNull()) {
2904         if (auto* page = m_frame.page()) {
2905             if (m_documentLoader) {
2906                 auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(newRequest.url(), ResourceType::Raw, *m_documentLoader);
2907                 applyBlockedStatusToRequest(blockedStatus, page, newRequest);
2908                 if (blockedStatus.blockedLoad) {
2909                     newRequest = { };
2910                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
2911                     response = { };
2912                     data = nullptr;
2913                 }
2914             }
2915         }
2916     }
2917 #endif
2918
2919     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2920     
2921     if (error.isNull()) {
2922         ASSERT(!newRequest.isNull());
2923
2924         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
2925             Vector<char> buffer;
2926             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
2927             data = SharedBuffer::create(WTFMove(buffer));
2928             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
2929             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
2930         }
2931     }
2932     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
2933     return identifier;
2934 }
2935
2936 const ResourceRequest& FrameLoader::originalRequest() const
2937 {
2938     return activeDocumentLoader()->originalRequestCopy();
2939 }
2940
2941 void FrameLoader::receivedMainResourceError(const ResourceError& error)
2942 {
2943     // Retain because the stop may release the last reference to it.
2944     Ref<Frame> protect(m_frame);
2945
2946     RefPtr<DocumentLoader> loader = activeDocumentLoader();
2947     // FIXME: Don't want to do this if an entirely new load is going, so should check
2948     // that both data sources on the frame are either this or nil.
2949     stop();
2950     if (m_client.shouldFallBack(error))
2951         handleFallbackContent();
2952
2953     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
2954         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
2955             m_submittedFormURL = URL();
2956             
2957         // We might have made a page cache item, but now we're bailing out due to an error before we ever
2958         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
2959         // so that the existing view (that wenever got far enough to replace) can continue being used.
2960         history().invalidateCurrentItemCachedPage();
2961         
2962         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
2963         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
2964         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
2965         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
2966         // has ended.
2967         if (m_sentRedirectNotification)
2968             clientRedirectCancelledOrFinished(false);
2969     }
2970
2971     checkCompleted();
2972     if (m_frame.page())
2973         checkLoadComplete();
2974 }
2975
2976 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
2977 {
2978     m_quickRedirectComing = false;
2979
2980     if (!shouldContinue)
2981         return;
2982
2983     // Calling stopLoading() on the provisional document loader can cause the underlying
2984     // frame to be deallocated.
2985     Ref<Frame> protectedFrame(m_frame);
2986
2987     // If we have a provisional request for a different document, a fragment scroll should cancel it.
2988     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
2989         m_provisionalDocumentLoader->stopLoading();
2990         setProvisionalDocumentLoader(nullptr);
2991     }
2992
2993     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
2994     loadInSameDocument(request.url(), 0, !isRedirect);
2995 }
2996
2997 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
2998 {
2999     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3000     // currently displaying a frameset, or if the URL does not have a fragment.
3001     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3002
3003     // FIXME: What about load types other than Standard and Reload?
3004
3005     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3006         && !isReload(loadType)
3007         && loadType != FrameLoadType::Same
3008         && !shouldReload(m_frame.document()->url(), url)
3009         // We don't want to just scroll if a link from within a
3010         // frameset is trying to reload the frameset into _top.
3011         && !m_frame.document()->isFrameSet();
3012 }
3013
3014 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3015 {
3016     return !historyItem || historyItem->shouldRestoreScrollPosition();
3017 }
3018
3019 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3020 {
3021     return !isNewNavigation && !isBackForwardLoadType(loadType);
3022 }
3023
3024 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3025 {
3026     FrameView* view = m_frame.view();
3027     if (!view)
3028         return;
3029
3030     // Leaking scroll position to a cross-origin ancestor would permit the so-called "framesniffing" attack.
3031     RefPtr<Frame> boundaryFrame(url.hasFragmentIdentifier() ? m_frame.document()->findUnsafeParentScrollPropagationBoundary() : 0);
3032
3033     if (boundaryFrame)
3034         boundaryFrame->view()->setSafeToPropagateScrollToParent(false);
3035
3036     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3037         view->scrollToFragment(url);
3038
3039     if (boundaryFrame)
3040         boundaryFrame->view()->setSafeToPropagateScrollToParent(true);
3041 }
3042
3043 bool FrameLoader::shouldClose()
3044 {
3045     Page* page = m_frame.page();
3046     if (!page)
3047         return true;
3048     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3049         return true;
3050
3051     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3052     Vector<Ref<Frame>, 16> targetFrames;
3053     targetFrames.append(m_frame);
3054     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3055         targetFrames.append(*child);
3056
3057     bool shouldClose = false;
3058     {
3059         NavigationDisabler navigationDisabler(&m_frame);
3060         size_t i;
3061
3062         for (i = 0; i < targetFrames.size(); i++) {
3063             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3064                 continue;
3065             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3066                 break;
3067         }
3068
3069         if (i == targetFrames.size())
3070             shouldClose = true;
3071     }
3072
3073     if (!shouldClose)
3074         m_submittedFormURL = URL();
3075
3076     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3077     return shouldClose;
3078 }
3079
3080 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3081 {
3082     if (!m_frame.document())
3083         return;
3084
3085     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3086     ForbidPromptsScope forbidPrompts(m_frame.page());
3087     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3088
3089     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3090         auto* currentFocusedElement = m_frame.document()->focusedElement();
3091         if (is<HTMLInputElement>(currentFocusedElement))
3092             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3093         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3094             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3095                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3096                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3097             }
3098
3099             // FIXME: update Page Visibility state here.
3100             // https://bugs.webkit.org/show_bug.cgi?id=116770
3101
3102             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3103                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, false, false));
3104                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3105                 // while dispatching the event, so protect it to prevent writing the end
3106                 // time into freed memory.
3107                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3108                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3109                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3110                     auto& timing = documentLoader->timing();
3111                     timing.markUnloadEventStart();
3112                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3113                     timing.markUnloadEventEnd();
3114                 } else
3115                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3116             }
3117         }
3118         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3119         m_wasUnloadEventEmitted = true;
3120     }
3121
3122     // Dispatching the unload event could have made m_frame.document() null.
3123     if (!m_frame.document())
3124         return;
3125
3126     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3127         return;
3128
3129     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3130     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3131         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3132
3133     if (!keepEventListeners)
3134         m_frame.document()->removeAllEventListeners();
3135 }
3136
3137 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3138 {
3139     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3140     if (document.isSandboxed(SandboxModals))
3141         return false;
3142
3143     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3144     // Web pages can request we ask for confirmation before navigating by:
3145     // - Cancelling the BeforeUnloadEvent (modern way)
3146     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3147     // - Returning a non-empty string from the event handler, which is then set as returnValue
3148     //   attribute on the BeforeUnloadEvent.
3149     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3150 }
3151
3152 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3153 {
3154     DOMWindow* domWindow = m_frame.document()->domWindow();
3155     if (!domWindow)
3156         return true;
3157
3158     RefPtr<Document> document = m_frame.document();
3159     if (!document->bodyOrFrameset())
3160         return true;
3161     
3162     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3163     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3164
3165     {
3166         ForbidPromptsScope forbidPrompts(m_frame.page());
3167         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3168         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3169     }
3170
3171     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3172
3173     if (!beforeUnloadEvent->defaultPrevented())
3174         document->defaultEventHandler(beforeUnloadEvent.get());
3175
3176     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3177         return true;
3178
3179     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3180     // this frame is not allowed to cause another one to be shown.
3181     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3182         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, ASCIILiteral("Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."));
3183         return true;
3184     }
3185
3186     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3187     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3188     if (frameLoaderBeingNavigated != this) {
3189         Frame* parentFrame = m_frame.tree().parent();
3190         while (parentFrame) {
3191             Document* parentDocument = parentFrame->document();
3192             if (!parentDocument)
3193                 return true;
3194             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3195                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, ASCIILiteral("Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."));
3196                 return true;
3197             }
3198             
3199             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3200                 break;
3201             
3202             parentFrame = parentFrame->tree().parent();
3203         }
3204         
3205         // The navigatingFrameLoader should always be in our ancestory.
3206         ASSERT(parentFrame);
3207         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3208     }
3209
3210     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3211
3212     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3213     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3214 }
3215
3216 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3217 {
3218     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3219     // nil policyDataSource because loading the alternate page will have passed
3220     // through this method already, nested; otherwise, policyDataSource should still be set.
3221     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3222
3223     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3224
3225     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3226     bool canContinue = shouldContinue != ShouldContinue::No && shouldClose() && !urlIsDisallowed;
3227
3228     if (!canContinue) {
3229         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3230         // need to report that the client redirect was cancelled.
3231         // FIXME: The client should be told about ignored non-quick redirects, too.
3232         if (m_quickRedirectComing)
3233             clientRedirectCancelledOrFinished(false);
3234
3235         setPolicyDocumentLoader(nullptr);
3236         checkCompleted();
3237         checkLoadComplete();
3238
3239         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3240         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3241         // we only do this when punting a navigation for the target frame or top-level frame.  
3242         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3243             if (Page* page = m_frame.page()) {
3244                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem()) {
3245                     page->backForward().setCurrentItem(resetItem);
3246                     m_frame.loader().client().updateGlobalHistoryItemForPage();
3247                 }
3248             }
3249         }
3250         return;
3251     }
3252
3253     FrameLoadType type = policyChecker().loadType();
3254     // A new navigation is in progress, so don't clear the history's provisional item.
3255     stopAllLoaders(ShouldNotClearProvisionalItem);
3256     
3257     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3258     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3259     if (!m_frame.page())
3260         return;
3261
3262     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3263     m_loadType = type;
3264     setState(FrameStateProvisional);
3265
3266     setPolicyDocumentLoader(nullptr);
3267
3268     if (isBackForwardLoadType(type)) {
3269         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3270         if (history().provisionalItem()->isInPageCache()) {
3271             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3272             loadProvisionalItemFromCachedPage();
3273             return;
3274         }
3275         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3276     }
3277
3278     CompletionHandler<void(void)> completionHandler = [this, shouldContinue] {
3279         if (!m_provisionalDocumentLoader)
3280             return;
3281         
3282         prepareForLoadStart();
3283         
3284         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3285         // so we need to null check it again.
3286         if (!m_provisionalDocumentLoader) {
3287             RELEASE_LOG_IF_ALLOWED("dispatchWillSubmitForm completionHandler: Frame load canceled (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3288             return;
3289         }
3290         
3291         DocumentLoader* activeDocLoader = activeDocumentLoader();
3292         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3293             RELEASE_LOG_IF_ALLOWED("dispatchWillSubmitForm completionHandler: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3294             return;
3295         }
3296         
3297         m_loadingFromCachedPage = false;
3298
3299         // We handle suspension by navigating forward to about:blank, which leaves us setup to navigate back to resume.
3300         if (shouldContinue == ShouldContinue::ForSuspension)
3301             m_provisionalDocumentLoader->willContinueMainResourceLoadAfterRedirect({ blankURL() });
3302
3303         m_provisionalDocumentLoader->startLoadingMainResource(shouldContinue);
3304     };
3305     
3306     if (!formState) {
3307         completionHandler();
3308         return;
3309     }
3310
3311     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3312 }
3313
3314 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3315     FormState* formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3316 {
3317     ASSERT(shouldContinue != ShouldContinue::ForSuspension);
3318     if (shouldContinue != ShouldContinue::Yes)
3319         return;
3320
3321     Ref<Frame> frame(m_frame);
3322     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3323     if (!mainFrame)
3324         return;
3325
3326     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3327     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3328         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3329
3330     if (!equalIgnoringASCIICase(frameName, "_blank"))
3331         mainFrame->tree().setName(frameName);
3332
3333     mainFrame->page()->setOpenedByDOM();
3334     mainFrame->loader().m_client.dispatchShow();
3335     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3336         mainFrame->loader().setOpener(frame.ptr());
3337         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3338     }
3339
3340     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy() };
3341     mainFrame->loader().loadWithNavigationAction(request, newAction, LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL, [] { });
3342 }
3343
3344 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3345 {
3346     ASSERT(!request.isNull());
3347
3348     identifier = 0;
3349     if (Page* page = m_frame.page()) {
3350         identifier = page->progress().createUniqueIdentifier();
3351         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3352     }
3353
3354     ResourceRequest newRequest(request);
3355     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3356
3357     if (newRequest.isNull())
3358         error = cancelledError(request);
3359     else
3360         error = ResourceError();
3361
3362     request = newRequest;
3363 }
3364
3365 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3366 {
3367     Page* page = m_frame.page();
3368     if (!page)
3369         return;
3370
3371     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3372         return;
3373
3374     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3375     if (resource.type() == CachedResource::MainResource)
3376         return;
3377
3378     if (!page->areMemoryCacheClientCallsEnabled()) {
3379         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3380         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3381         m_documentLoader->didTellClientAboutLoad(resource.url());
3382         return;
3383     }
3384
3385     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3386         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3387         m_documentLoader->didTellClientAboutLoad(resource.url());
3388         return;
3389     }
3390
3391     unsigned long identifier;
3392     requestFromDelegate(newRequest, identifier, error);
3393
3394     ResourceResponse response = resource.response();
3395     response.setSource(ResourceResponse::Source::MemoryCache);
3396     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3397 }
3398
3399 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3400 {
3401     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3402         String userAgent = this->userAgent(request.url());
3403         ASSERT(!userAgent.isNull());
3404         request.setHTTPUserAgent(userAgent);
3405     }
3406 }
3407
3408 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3409 {
3410     Frame& topFrame = m_frame.tree().top();
3411     if (&m_frame == &topFrame)
3412         return false;
3413
3414     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3415
3416     switch (disposition) {
3417     case XFrameOptionsSameOrigin: {
3418         RefPtr<SecurityOrigin> origin = SecurityOrigin::create(url);
3419         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3420             return true;
3421         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3422             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3423                 return true;
3424         }
3425         return false;
3426     }
3427     case XFrameOptionsDeny:
3428         return true;
3429     case XFrameOptionsAllowAll:
3430         return false;
3431     case XFrameOptionsConflict:
3432         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3433         return true;
3434     case XFrameOptionsInvalid:
3435         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3436         return false;
3437     case XFrameOptionsNone:
3438         return false;
3439     }
3440     ASSERT_NOT_REACHED();
3441     return false;
3442 }
3443
3444 void FrameLoader::loadProvisionalItemFromCachedPage()
3445 {
3446     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3447     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3448
3449     prepareForLoadStart();
3450
3451     m_loadingFromCachedPage = true;
3452
3453     // Should have timing data from previous time(s) the page was shown.
3454     ASSERT(provisionalLoader->timing().startTime());
3455     provisionalLoader->resetTiming();
3456     provisionalLoader->timing().markStartTime();
3457
3458     provisionalLoader->setCommitted(true);
3459     commitProvisionalLoad();
3460 }
3461
3462 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3463 {
3464     if (!history().currentItem())
3465         return false;
3466     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3467 }
3468
3469 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3470 {
3471     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3472         return false;
3473     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3474     if (!ownerElement)
3475         return false;
3476     if (!ownerElement->hasTagName(iframeTag))
3477         return false;
3478     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3479 }
3480
3481 Frame* FrameLoader::findFrameForNavigation(const AtomicString& name, Document* activeDocument)
3482 {
3483     Frame* frame = m_frame.tree().find(name);
3484
3485     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3486     if (!activeDocument)
3487         activeDocument = m_frame.document();
3488
3489     if (!activeDocument->canNavigate(frame))
3490         return nullptr;
3491
3492     return frame;
3493 }
3494
3495 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3496 {
3497     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3498
3499     Ref<Frame> protect(m_frame);
3500
3501     // Save user view state to the current history item here since we don't do a normal load.
3502     // FIXME: Does form state need to be saved here too?
3503     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3504     if (FrameView* view = m_frame.view())
3505         view->setWasScrolledByUser(false);
3506
3507     history().setCurrentItem(&item);
3508         
3509     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3510     loadInSameDocument(item.url(), item.stateObject(), false);
3511
3512     // Restore user view state from the current history item here since we don't do a normal load.
3513     history().restoreScrollPositionAndViewState();
3514 }
3515
3516 // FIXME: This function should really be split into a couple pieces, some of
3517 // which should be methods of HistoryController and some of which should be
3518 // methods of FrameLoader.
3519 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, NavigationPolicyCheck navigationPolicyCheck)
3520 {
3521     // Remember this item so we can traverse any child items as child frames load
3522     history().setProvisionalItem(&item);
3523
3524     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3525
3526     SetForScope<bool> currentLoadShouldCheckNavigationPolicyGuard(m_currentLoadShouldCheckNavigationPolicy, navigationPolicyCheck != NavigationPolicyCheck::Bypass);
3527
3528     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3529         auto documentLoader = cachedPage->documentLoader();
3530         m_client.updateCachedDocumentLoader(*documentLoader);
3531
3532         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3533         action.setTargetBackForwardItem(item);
3534         documentLoader->setTriggeringAction(WTFMove(action));
3535
3536         documentLoader->setLastCheckedRequest(ResourceRequest());
3537         loadWithDocumentLoader(documentLoader, loadType, 0, AllowNavigationToInvalidURL::Yes, navigationPolicyCheck, [] { });
3538         return;
3539     }
3540
3541     URL itemURL = item.url();
3542     URL itemOriginalURL = item.originalURL();
3543     URL currentURL;
3544     if (documentLoader())
3545         currentURL = documentLoader()->url();
3546     RefPtr<FormData> formData = item.formData();
3547
3548     ResourceRequest request(itemURL);
3549
3550     if (!item.referrer().isNull())
3551         request.setHTTPReferrer(item.referrer());
3552
3553     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3554     bool isFormSubmission = false;
3555     Event* event = nullptr;
3556
3557     // If this was a repost that failed the page cache, we might try to repost the form.
3558     NavigationAction action;
3559     if (formData) {
3560         formData->generateFiles(m_frame.document());
3561
3562         request.setHTTPMethod("POST");
3563         request.setHTTPBody(WTFMove(formData));
3564         request.setHTTPContentType(item.formContentType());
3565         RefPtr<SecurityOrigin> securityOrigin = SecurityOrigin::createFromString(item.referrer());
3566         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3567         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3568
3569         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3570         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3571         addExtraFieldsToRequest(request, loadType, true);
3572         
3573         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3574         // We want to know this before talking to the policy delegate, since it affects whether 
3575         // we show the DoYouReallyWantToRepost nag.
3576         //
3577         // This trick has a small bug (3123893) where we might find a cache hit, but then
3578         // have the item vanish when we try to use it in the ensuing nav.  This should be
3579         // extremely rare, but in that case the user will get an error on the navigation.
3580         
3581         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3582             request.setCachePolicy(ReturnCacheDataDontLoad);
3583             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3584         } else {
3585             request.setCachePolicy(ReturnCacheDataElseLoad);
3586             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3587         }
3588     } else {
3589         switch (loadType) {
3590         case FrameLoadType::Reload:
3591         case FrameLoadType::ReloadFromOrigin:
3592         case FrameLoadType::ReloadExpiredOnly:
3593             request.setCachePolicy(ReloadIgnoringCacheData);
3594             break;
3595         case FrameLoadType::Back:
3596         case FrameLoadType::Forward:
3597         case FrameLoadType::IndexedBackForward: {
3598 #if PLATFORM(COCOA)
3599             bool allowStaleData = true;
3600 #else
3601             bool allowStaleData = !item.wasRestoredFromSession();
3602 #endif
3603             if (allowStaleData)
3604                 request.setCachePolicy(ReturnCacheDataElseLoad);
3605             item.setWasRestoredFromSession(false);
3606             break;
3607         }
3608         case FrameLoadType::Standard:
3609         case FrameLoadType::RedirectWithLockedBackForwardList:
3610             break;
3611         case FrameLoadType::Same:
3612         case FrameLoadType::Replace:
3613             ASSERT_NOT_REACHED();
3614         }
3615
3616         addExtraFieldsToRequest(request, loadType, true);
3617
3618         ResourceRequest requestForOriginalURL(request);
3619         requestForOriginalURL.setURL(itemOriginalURL);
3620         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3621     }
3622
3623     action.setTargetBackForwardItem(item);
3624
3625     loadWithNavigationAction(request, action, LockHistory::No, loadType, 0, AllowNavigationToInvalidURL::Yes, [] { });
3626 }
3627
3628 // Loads content into this frame, as specified by history item
3629 void FrameLoader::loadItem(HistoryItem& item, FrameLoadType loadType, NavigationPolicyCheck navigationPolicyCheck)
3630 {
3631     m_requestedHistoryItem = &item;
3632     HistoryItem* currentItem = history().currentItem();
3633     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3634
3635     if (sameDocumentNavigation)
3636         loadSameDocumentItem(item);
3637     else
3638         loadDifferentDocumentItem(item, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, navigationPolicyCheck);
3639 }
3640
3641 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3642 {
3643     ASSERT(m_state == FrameStateProvisional);
3644     ASSERT(!m_loadingFromCachedPage);
3645     ASSERT(history().provisionalItem());
3646     ASSERT(history().provisionalItem()->formData());
3647     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3648
3649     FrameLoadType loadType = m_loadType;
3650     HistoryItem& item = *history().provisionalItem();
3651
3652     stopAllLoaders(ShouldNotClearProvisionalItem);
3653     loadDifferentDocumentItem(item, loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, NavigationPolicyCheck::Require);
3654 }
3655
3656 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3657 {
3658     ResourceError error = m_client.cancelledError(request);
3659     error.setType(ResourceError::Type::Cancellation);
3660     return error;
3661 }
3662
3663 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3664 {
3665     return m_client.blockedByContentBlockerError(request);
3666 }
3667
3668 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3669 {
3670     ResourceError error = m_client.blockedError(request);
3671     error.setType(ResourceError::Type::Cancellation);
3672     return error;
3673 }
3674
3675 #if ENABLE(CONTENT_FILTERING)
3676 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3677 {
3678     ResourceError error = m_client.blockedByContentFilterError(request);
3679     error.setType(ResourceError::Type::General);
3680     return error;
3681 }
3682 #endif
3683
3684 #if PLATFORM(IOS)
3685 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3686 {
3687     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3688 }
3689 #endif
3690
3691 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3692 {
3693     if (auto* parentFrame = m_frame.tree().parent())
3694         return parentFrame->document()->referrerPolicy();
3695     if (m_opener)
3696         return m_opener->document()->referrerPolicy();
3697     return ReferrerPolicy::NoReferrerWhenDowngrade;
3698 }
3699
3700 String FrameLoader::referrer() const
3701 {
3702     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3703 }
3704
3705 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3706 {
3707     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3708         return;
3709
3710     Vector<Ref<DOMWrapperWorld>> worlds;
3711     ScriptController::getAllWorlds(worlds);
3712     for (auto& world : worlds)
3713         dispatchDidClearWindowObjectInWorld(world);
3714 }
3715
3716 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3717 {
3718     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3719         return;
3720
3721     m_client.dispatchDidClearWindowObjectInWorld(world);
3722
3723     if (Page* page = m_frame.page())
3724         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3725
3726     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3727 }
3728
3729 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3730 {
3731     Vector<Ref<DOMWrapperWorld>> worlds;
3732     ScriptController::getAllWorlds(worlds);
3733     for (auto& world : worlds)
3734         m_client.dispatchGlobalObjectAvailable(world);
3735 }
3736
3737 SandboxFlags FrameLoader::effectiveSandboxFlags() const
3738 {
3739     SandboxFlags flags = m_forcedSandboxFlags;
3740     if (Frame* parentFrame = m_frame.tree().parent())
3741         flags |= parentFrame->document()->sandboxFlags();
3742     if (HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement())
3743         flags |= ownerElement->sandboxFlags();
3744     return flags;
3745 }
3746
3747 void FrameLoader::didChangeTitle(DocumentLoader* loader)
3748 {
3749     m_client.didChangeTitle(loader);
3750
3751     if (loader == m_documentLoader) {
3752         // Must update the entries in the back-forward list too.
3753         history().setCurrentItemTitle(loader->title());
3754         // This must go through the WebFrame because it has the right notion of the current b/f item.
3755         m_client.setTitle(loader->title(), loader->urlForHistory());
3756         m_client.setMainFrameDocumentReady(true); // update observers with new DOMDocument
3757         m_client.dispatchDidReceiveTitle(loader->title());
3758     }
3759
3760 #if ENABLE(REMOTE_INSPECTOR)
3761     if (m_frame.isMainFrame())
3762         m_frame.page()->remoteInspectorInformationDidChange();
3763 #endif
3764 }
3765
3766 void FrameLoader::dispatchDidCommitLoad(std::optional<HasInsecureContent> initialHasInsecureContent)
3767 {
3768     if (m_stateMachine.creatingInitialEmptyDocument())
3769         return;
3770
3771     m_client.dispatchDidCommitLoad(initialHasInsecureContent);
3772
3773     if (m_frame.isMainFrame()) {
3774         m_frame.page()->resetSeenPlugins();
3775         m_frame.page()->resetSeenMediaEngines();
3776     }
3777
3778     InspectorInstrumentation::didCommitLoad(m_frame, m_documentLoader.get());
3779
3780 #if ENABLE(REMOTE_INSPECTOR)
3781     if (m_frame.isMainFrame())
3782         m_frame.page()->remoteInspectorInformationDidChange();
3783 #endif
3784 }
3785
3786 void FrameLoader::tellClientAboutPastMemoryCacheLoads()
3787 {
3788     ASSERT(m_frame.page());
3789     ASSERT(m_frame.page()->areMemoryCacheClientCallsEnabled());
3790
3791     if (!m_documentLoader)
3792         return;
3793
3794     Vector<ResourceRequest> pastLoads;
3795     m_documentLoader->takeMemoryCacheLoadsForClientNotification(pastLoads);
3796
3797     for (auto& pastLoad : pastLoads) {
3798         CachedResource* resource = MemoryCache::singleton().resourceForRequest(pastLoad, m_frame.page()->sessionID());
3799
3800         // FIXME: These loads, loaded from cache, but now gone from the cache by the time
3801         // Page::setMemoryCacheClientCallsEnabled(true) is called, will not be seen by the client.
3802         // Consider if there's some efficient way of remembering enough to deliver this client call.
3803         // We have the URL, but not the rest of the response or the length.
3804         if (!resource)
3805             continue;
3806
3807         ResourceRequest request(resource->url());
3808         m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), request, resource->response(), resource->encodedSize());
3809     }
3810 }
3811
3812 NetworkingContext* FrameLoader::networkingContext() const
3813 {
3814     return m_networkingContext.get();
3815 }
3816
3817 void FrameLoader::loadProgressingStatusChanged()
3818 {
3819     if (auto* view = m_frame.mainFrame().view())
3820         view->loadProgressingStatusChanged();
3821 }
3822
3823 void FrameLoader::forcePageTransitionIfNeeded()
3824 {
3825     m_client.forcePageTransitionIfNeeded();
3826 }
3827
3828 void FrameLoader::clearTestingOverrides()
3829 {
3830     m_overrideCachePolicyForTesting = std::nullopt;
3831     m_overrideResourceLoadPriorityForTesting = std::nullopt;
3832     m_isStrictRawResourceValidationPolicyDisabledForTesting = false;
3833 }
3834
3835 bool FrameLoader::isAlwaysOnLoggingAllowed() const
3836 {
3837     return frame().isAlwaysOnLoggingAllowed();
3838 }
3839
3840 bool FrameLoaderClient::hasHTMLView() const
3841 {
3842     return true;
3843 }
3844
3845 RefPtr<Frame> createWindow(Frame& openerFrame, Frame& lookupFrame, FrameLoadRequest&& request, const WindowFeatures& features, bool& created)
3846 {
3847     ASSERT(!features.dialog || request.frameName().isEmpty());
3848
3849     created = false;
3850
3851     // FIXME: Provide line number information with respect to the opener's document.
3852     if (protocolIsJavaScript(request.resourceRequest().url()) && !openerFrame.document()->contentSecurityPolicy()->allowJavaScriptURLs(openerFrame.document()->url(), { }))
3853         return nullptr;
3854
3855     if (!request.frameName().isEmpty() && !equalIgnoringASCIICase(request.frameName(), "_blank")) {
3856         if (RefPtr<Frame> frame = lookupFrame.loader().findFrameForNavigation(request.frameName(), openerFrame.document())) {
3857             if (!equalIgnoringASCIICase(request.frameName(), "_self")) {
3858                 if (Page* page = frame->page())
3859                     page->chrome().focus();
3860             }
3861             return frame;
3862         }
3863     }
3864
3865     // Sandboxed frames cannot open new auxiliary browsing contexts.
3866     if (isDocumentSandboxed(openerFrame, SandboxPopups)) {
3867         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
3868         openerFrame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked opening '" + request.resourceRequest().url().stringCenterEllipsizedToLength() + "' in a new window because the request was made in a sandboxed frame whose 'allow-popups' permission is not set.");
3869         return nullptr;
3870     }
3871
3872     // FIXME: Setting the referrer should be the caller's responsibility.
3873     String referrer = SecurityPolicy::generateReferrerHeader(openerFrame.document()->referrerPolicy(), request.resourceRequest().url(), openerFrame.loader().outgoingReferrer());
3874     if (!referrer.isEmpty())
3875         request.resourceRequest().setHTTPReferrer(referrer);
3876     FrameLoader::addHTTPOriginIfNeeded(request.resourceRequest(), openerFrame.loader().outgoingOrigin());
3877     FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(request.resourceRequest());
3878     FrameLoader::addSameSiteInfoToRequestIfNeeded(request.resourceRequest(), openerFrame.document());
3879
3880     Page* oldPage = openerFrame.page();
3881     if (!oldPage)
3882         return nullptr;
3883
3884     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(openerFrame, request);
3885     NavigationAction action { request.requester(), request.resourceRequest(), request.initiatedByMainFrame(), NavigationType::Other, shouldOpenExternalURLsPolicy };
3886     Page* page = oldPage->chrome().createWindow(openerFrame, request, features, action);
3887     if (!page)
3888         return nullptr;
3889
3890     RefPtr<Frame> frame = &page->mainFrame();
3891
3892     if (isDocumentSandboxed(openerFrame, SandboxPropagatesToAuxiliaryBrowsingContexts))
3893         frame->loader().forceSandboxFlags(openerFrame.document()->sandboxFlags());
3894
3895     if (!equalIgnoringASCIICase(request.frameName(), "_blank"))
3896         frame->tree().setName(request.frameName());
3897
3898     page->chrome().setToolbarsVisible(features.toolBarVisible || features.locationBarVisible);
3899
3900     if (!frame->page())
3901         return nullptr;
3902     page->chrome().setStatusbarVisible(features.statusBarVisible);
3903
3904     if (!frame->page())
3905         return nullptr;
3906     page->chrome().setScrollbarsVisible(features.scrollbarsVisible);
3907
3908     if (!frame->page())
3909         return nullptr;
3910     page->chrome().setMenubarVisible(features.menuBarVisible);
3911
3912     if (!frame->page())
3913         return nullptr;
3914     page->chrome().setResizable(features.resizable);
3915
3916     // 'x' and 'y' specify the location of the window, while 'width' and 'height'
3917     // specify the size of the viewport. We can only resize the window, so adjust
3918     // for the difference between the window size and the viewport size.
3919
3920     // FIXME: We should reconcile the initialization of viewport arguments between iOS and non-IOS.
3921 #if !PLATFORM(IOS)
3922     FloatSize viewportSize = page->chrome().pageRect().size();
3923     FloatRect windowRect = page->chrome().windowRect();
3924     if (features.x)
3925         windowRect.setX(*features.x);
3926     if (features.y)
3927         windowRect.setY(*features.y);
3928     // Zero width and height mean using default size, not minumum one.
3929     if (features.width && *features.width)
3930         windowRect.setWidth(*features.width + (windowRect.width() - viewportSize.width()));
3931     if (features.height && *features.height)
3932         windowRect.setHeight(*features.height + (windowRect.height() - viewportSize.height()));
3933
3934     // Ensure non-NaN values, minimum size as well as being within valid screen area.
3935     FloatRect newWindowRect = DOMWindow::adjustWindowRect(*page, windowRect);
3936
3937     if (!frame->page())
3938         return nullptr;
3939     page->chrome().setWindowRect(newWindowRect);
3940 #else
3941     // On iOS, width and height refer to the viewport dimensions.
3942     ViewportArguments arguments;
3943     // Zero width and height mean using default size, not minimum one.
3944     if (features.width && *features.width)
3945         arguments.width = *features.width;
3946     if (features.height && *features.height)
3947         arguments.height = *features.height;
3948     frame->setViewportArguments(arguments);
3949 #endif
3950
3951     if (!frame->page())
3952         return nullptr;
3953     page->chrome().show();
3954
3955     created = true;
3956     return frame;
3957 }
3958
3959 bool FrameLoader::shouldSuppressTextInputFromEditing() const
3960 {
3961     return m_frame.settings().shouldSuppressTextInputFromEditingDuringProvisionalNavigation() && m_state == FrameStateProvisional;
3962 }
3963
3964 } // namespace WebCore