Get rid of WebCore IconDatabase code.
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2016 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentSecurityPolicy.h"
49 #include "DOMWindow.h"
50 #include "DatabaseManager.h"
51 #include "DiagnosticLoggingClient.h"
52 #include "DiagnosticLoggingKeys.h"
53 #include "Document.h"
54 #include "DocumentLoader.h"
55 #include "Editor.h"
56 #include "EditorClient.h"
57 #include "Element.h"
58 #include "Event.h"
59 #include "EventHandler.h"
60 #include "EventNames.h"
61 #include "FloatRect.h"
62 #include "FormState.h"
63 #include "FormSubmission.h"
64 #include "FrameLoadRequest.h"
65 #include "FrameLoaderClient.h"
66 #include "FrameNetworkingContext.h"
67 #include "FrameTree.h"
68 #include "FrameView.h"
69 #include "GCController.h"
70 #include "HTMLFormElement.h"
71 #include "HTMLInputElement.h"
72 #include "HTMLNames.h"
73 #include "HTMLObjectElement.h"
74 #include "HTMLParserIdioms.h"
75 #include "HTTPHeaderNames.h"
76 #include "HTTPParsers.h"
77 #include "HistoryController.h"
78 #include "HistoryItem.h"
79 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
80 #include "InspectorController.h"
81 #include "InspectorInstrumentation.h"
82 #include "LinkLoader.h"
83 #include "LoadTiming.h"
84 #include "LoaderStrategy.h"
85 #include "Logging.h"
86 #include "MainFrame.h"
87 #include "MemoryCache.h"
88 #include "MemoryRelease.h"
89 #include "NavigationDisabler.h"
90 #include "NavigationScheduler.h"
91 #include "Page.h"
92 #include "PageCache.h"
93 #include "PageTransitionEvent.h"
94 #include "PerformanceLogging.h"
95 #include "PlatformStrategies.h"
96 #include "PluginData.h"
97 #include "PluginDocument.h"
98 #include "PolicyChecker.h"
99 #include "ProgressTracker.h"
100 #include "ResourceHandle.h"
101 #include "ResourceLoadInfo.h"
102 #include "ResourceLoadObserver.h"
103 #include "ResourceRequest.h"
104 #include "SVGDocument.h"
105 #include "SVGLocatable.h"
106 #include "SVGNames.h"
107 #include "SVGViewElement.h"
108 #include "SVGViewSpec.h"
109 #include "ScriptController.h"
110 #include "ScriptSourceCode.h"
111 #include "ScrollAnimator.h"
112 #include "SecurityOrigin.h"
113 #include "SecurityPolicy.h"
114 #include "SegmentedString.h"
115 #include "SerializedScriptValue.h"
116 #include "Settings.h"
117 #include "SubframeLoader.h"
118 #include "TextResourceDecoder.h"
119 #include "UserContentController.h"
120 #include "WindowFeatures.h"
121 #include "XMLDocumentParser.h"
122 #include <wtf/CurrentTime.h>
123 #include <wtf/Ref.h>
124 #include <wtf/StdLibExtras.h>
125 #include <wtf/SystemTracing.h>
126 #include <wtf/text/CString.h>
127 #include <wtf/text/WTFString.h>
128
129 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
130 #include "Archive.h"
131 #endif
132
133 #if ENABLE(DATA_DETECTION)
134 #include "DataDetection.h"
135 #endif
136
137 #if PLATFORM(IOS)
138 #include "DocumentType.h"
139 #include "ResourceLoader.h"
140 #include "RuntimeApplicationChecks.h"
141 #include "WKContentObservation.h"
142 #endif
143
144 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
145
146 namespace WebCore {
147
148 using namespace HTMLNames;
149 using namespace SVGNames;
150
151 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
152
153 bool isBackForwardLoadType(FrameLoadType type)
154 {
155     switch (type) {
156     case FrameLoadType::Standard:
157     case FrameLoadType::Reload:
158     case FrameLoadType::ReloadFromOrigin:
159     case FrameLoadType::ReloadExpiredOnly:
160     case FrameLoadType::Same:
161     case FrameLoadType::RedirectWithLockedBackForwardList:
162     case FrameLoadType::Replace:
163         return false;
164     case FrameLoadType::Back:
165     case FrameLoadType::Forward:
166     case FrameLoadType::IndexedBackForward:
167         return true;
168     }
169     ASSERT_NOT_REACHED();
170     return false;
171 }
172
173 bool isReload(FrameLoadType type)
174 {
175     switch (type) {
176     case FrameLoadType::Reload:
177     case FrameLoadType::ReloadFromOrigin:
178     case FrameLoadType::ReloadExpiredOnly:
179         return true;
180     case FrameLoadType::Standard:
181     case FrameLoadType::Same:
182     case FrameLoadType::RedirectWithLockedBackForwardList:
183     case FrameLoadType::Replace:
184     case FrameLoadType::Back:
185     case FrameLoadType::Forward:
186     case FrameLoadType::IndexedBackForward:
187         return false;
188     }
189     ASSERT_NOT_REACHED();
190     return false;
191 }
192
193 // This is not in the FrameLoader class to emphasize that it does not depend on
194 // private FrameLoader data, and to avoid increasing the number of public functions
195 // with access to private data.  Since only this .cpp file needs it, making it
196 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
197 // API simpler.
198 //
199 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
200 {
201     return frame.document() && frame.document()->isSandboxed(mask);
202 }
203
204 struct ForbidPromptsScope {
205     ForbidPromptsScope(Page* page) : m_page(page)
206     {
207         if (!m_page)
208             return;
209         m_page->forbidPrompts();
210     }
211
212     ~ForbidPromptsScope()
213     {
214         if (!m_page)
215             return;
216         m_page->allowPrompts();
217     }
218
219     Page* m_page;
220 };
221
222 class FrameLoader::FrameProgressTracker {
223     WTF_MAKE_FAST_ALLOCATED;
224 public:
225     explicit FrameProgressTracker(Frame& frame)
226         : m_frame(frame)
227         , m_inProgress(false)
228     {
229     }
230
231     ~FrameProgressTracker()
232     {
233         if (m_inProgress && m_frame.page())
234             m_frame.page()->progress().progressCompleted(m_frame);
235     }
236
237     void progressStarted()
238     {
239         ASSERT(m_frame.page());
240         if (!m_inProgress)
241             m_frame.page()->progress().progressStarted(m_frame);
242         m_inProgress = true;
243     }
244
245     void progressCompleted()
246     {
247         ASSERT(m_inProgress);
248         ASSERT(m_frame.page());
249         m_inProgress = false;
250         m_frame.page()->progress().progressCompleted(m_frame);
251     }
252
253 private:
254     Frame& m_frame;
255     bool m_inProgress;
256 };
257
258 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
259     : m_frame(frame)
260     , m_client(client)
261     , m_policyChecker(std::make_unique<PolicyChecker>(frame))
262     , m_history(std::make_unique<HistoryController>(frame))
263     , m_notifier(frame)
264     , m_subframeLoader(std::make_unique<SubframeLoader>(frame))
265     , m_mixedContentChecker(frame)
266     , m_state(FrameStateProvisional)
267     , m_loadType(FrameLoadType::Standard)
268     , m_quickRedirectComing(false)
269     , m_sentRedirectNotification(false)
270     , m_inStopAllLoaders(false)
271     , m_isExecutingJavaScriptFormAction(false)
272     , m_didCallImplicitClose(true)
273     , m_wasUnloadEventEmitted(false)
274     , m_isComplete(false)
275     , m_needsClear(false)
276     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
277     , m_shouldCallCheckCompleted(false)
278     , m_shouldCallCheckLoadComplete(false)
279     , m_opener(nullptr)
280     , m_loadingFromCachedPage(false)
281     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
282     , m_loadsSynchronously(false)
283     , m_forcedSandboxFlags(SandboxNone)
284 {
285 }
286
287 FrameLoader::~FrameLoader()
288 {
289     setOpener(nullptr);
290
291     for (auto& frame : m_openedFrames)
292         frame->loader().m_opener = nullptr;
293
294     m_client.frameLoaderDestroyed();
295
296     if (m_networkingContext)
297         m_networkingContext->invalidate();
298 }
299
300 void FrameLoader::init()
301 {
302     // This somewhat odd set of steps gives the frame an initial empty document.
303     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL(ParsedURLString, emptyString())), SubstituteData()).ptr());
304     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
305     m_provisionalDocumentLoader->startLoadingMainResource();
306
307     Ref<Frame> protect(m_frame);
308     m_frame.document()->cancelParsing();
309     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
310
311     m_networkingContext = m_client.createNetworkingContext();
312     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
313 }
314
315 #if PLATFORM(IOS)
316 void FrameLoader::initForSynthesizedDocument(const URL&)
317 {
318     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
319     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
320
321     RefPtr<DocumentLoader> loader = m_client.createDocumentLoader(ResourceRequest(URL(ParsedURLString, emptyString())), SubstituteData());
322     loader->attachToFrame(m_frame);
323     loader->setResponse(ResourceResponse(URL(), ASCIILiteral("text/html"), 0, String()));
324     loader->setCommitted(true);
325     setDocumentLoader(loader.get());
326
327     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
328     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
329     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
330     m_client.transitionToCommittedForNewPage();
331
332     m_didCallImplicitClose = true;
333     m_isComplete = true;
334     m_state = FrameStateComplete;
335     m_needsClear = true;
336
337     m_networkingContext = m_client.createNetworkingContext();
338     m_progressTracker = std::make_unique<FrameProgressTracker>(m_frame);
339 }
340 #endif
341
342 void FrameLoader::setDefersLoading(bool defers)
343 {
344     if (m_documentLoader)
345         m_documentLoader->setDefersLoading(defers);
346     if (m_provisionalDocumentLoader)
347         m_provisionalDocumentLoader->setDefersLoading(defers);
348     if (m_policyDocumentLoader)
349         m_policyDocumentLoader->setDefersLoading(defers);
350     history().setDefersLoading(defers);
351
352     if (!defers) {
353         m_frame.navigationScheduler().startTimer();
354         startCheckCompleteTimer();
355     }
356 }
357
358 void FrameLoader::changeLocation(FrameLoadRequest&& request)
359 {
360     urlSelected(WTFMove(request), nullptr);
361 }
362
363 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, std::optional<NewFrameOpenerPolicy> openerPolicy, const AtomicString& downloadAttribute)
364 {
365     auto* frame = lexicalFrameFromCommonVM();
366     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
367
368     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.value_or(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
369     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute), triggeringEvent);
370 }
371
372 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent)
373 {
374     Ref<Frame> protect(m_frame);
375
376     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL()))
377         return;
378
379     if (frameRequest.frameName().isEmpty())
380         frameRequest.setFrameName(m_frame.document()->baseTarget());
381
382     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
383     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
384
385     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, nullptr);
386 }
387
388 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
389 {
390     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
391
392     // FIXME: Find a good spot for these.
393     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
394
395     if (!m_frame.page())
396         return;
397
398     if (submission->action().isEmpty())
399         return;
400
401     if (isDocumentSandboxed(m_frame, SandboxForms)) {
402         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
403         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
404         return;
405     }
406
407     if (protocolIsJavaScript(submission->action())) {
408         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
409             return;
410         m_isExecutingJavaScriptFormAction = true;
411         Ref<Frame> protect(m_frame);
412         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
413         m_isExecutingJavaScriptFormAction = false;
414         return;
415     }
416
417     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
418     if (!targetFrame) {
419         if (!DOMWindow::allowPopUp(m_frame) && !ScriptController::processingUserGesture())
420             return;
421
422         // FIXME: targetFrame can be null for two distinct reasons:
423         // 1. The frame was not found by name, so we should try opening a new window.
424         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
425         // Continuing form submission makes no sense in the latter case.
426         // There is a repeat check after timer fires, so this is not a correctness issue.
427
428         targetFrame = &m_frame;
429     } else
430         submission->clearTarget();
431
432     if (!targetFrame->page())
433         return;
434
435     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
436
437     // We do not want to submit more than one form from the same page, nor do we want to submit a single
438     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
439     // The flag is reset in each time we start dispatching a new mouse or key down event, and
440     // also in setView since this part may get reused for a page from the back/forward cache.
441     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
442
443     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
444     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
445     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
446
447     if (m_frame.tree().isDescendantOf(targetFrame)) {
448         if (m_submittedFormURL == submission->requestURL())
449             return;
450         m_submittedFormURL = submission->requestURL();
451     }
452
453     submission->data().generateFiles(m_frame.document());
454     submission->setReferrer(outgoingReferrer());
455     submission->setOrigin(outgoingOrigin());
456
457     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
458 }
459
460 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
461 {
462     if (m_frame.document() && m_frame.document()->parser())
463         m_frame.document()->parser()->stopParsing();
464
465     if (unloadEventPolicy != UnloadEventPolicyNone)
466         dispatchUnloadEvents(unloadEventPolicy);
467
468     m_isComplete = true; // to avoid calling completed() in finishedParsing()
469     m_didCallImplicitClose = true; // don't want that one either
470
471     if (m_frame.document() && m_frame.document()->parsing()) {
472         finishedParsing();
473         m_frame.document()->setParsing(false);
474     }
475
476     if (auto* document = m_frame.document()) {
477         // FIXME: HTML5 doesn't tell us to set the state to complete when aborting, but we do anyway to match legacy behavior.
478         // http://www.w3.org/Bugs/Public/show_bug.cgi?id=10537
479         document->setReadyState(Document::Complete);
480
481         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
482         DatabaseManager::singleton().stopDatabases(*document, nullptr);
483     }
484
485     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
486     m_frame.navigationScheduler().cancel();
487 }
488
489 void FrameLoader::stop()
490 {
491     // http://bugs.webkit.org/show_bug.cgi?id=10854
492     // The frame's last ref may be removed and it will be deleted by checkCompleted().
493     Ref<Frame> protect(m_frame);
494
495     if (DocumentParser* parser = m_frame.document()->parser()) {
496         parser->stopParsing();
497         parser->finish();
498     }
499 }
500
501 void FrameLoader::willTransitionToCommitted()
502 {
503     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
504
505     if (m_frame.editor().hasComposition()) {
506         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
507         m_frame.editor().confirmComposition();
508         if (EditorClient* editorClient = m_frame.editor().client()) {
509             editorClient->respondToChangedSelection(&m_frame);
510             editorClient->discardedComposition(&m_frame);
511         }
512     }
513 }
514
515 bool FrameLoader::closeURL()
516 {
517     history().saveDocumentState();
518
519     Document* currentDocument = m_frame.document();
520     UnloadEventPolicy unloadEventPolicy;
521     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
522         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
523         unloadEventPolicy = UnloadEventPolicyNone;
524     } else {
525         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
526         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
527     }
528
529     stopLoading(unloadEventPolicy);
530     
531     m_frame.editor().clearUndoRedoOperations();
532     return true;
533 }
534
535 bool FrameLoader::didOpenURL()
536 {
537     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
538         // A redirect was scheduled before the document was created.
539         // This can happen when one frame changes another frame's location.
540         return false;
541     }
542
543     m_frame.navigationScheduler().cancel();
544     m_frame.editor().clearLastEditCommand();
545
546     m_isComplete = false;
547     m_didCallImplicitClose = false;
548
549     // If we are still in the process of initializing an empty document then
550     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
551     // since it may cause clients to attempt to render the frame.
552     if (!m_stateMachine.creatingInitialEmptyDocument()) {
553         DOMWindow* window = m_frame.document()->domWindow();
554         window->setStatus(String());
555         window->setDefaultStatus(String());
556     }
557
558     started();
559
560     return true;
561 }
562
563 void FrameLoader::didExplicitOpen()
564 {
565     m_isComplete = false;
566     m_didCallImplicitClose = false;
567
568     // Calling document.open counts as committing the first real document load.
569     if (!m_stateMachine.committedFirstRealDocumentLoad())
570         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
571     
572     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
573     // from a subsequent window.document.open / window.document.write call. 
574     // Canceling redirection here works for all cases because document.open 
575     // implicitly precedes document.write.
576     m_frame.navigationScheduler().cancel();
577 }
578
579
580 void FrameLoader::cancelAndClear()
581 {
582     m_frame.navigationScheduler().cancel();
583
584     if (!m_isComplete)
585         closeURL();
586
587     clear(m_frame.document(), false);
588     m_frame.script().updatePlatformScriptObjects();
589 }
590
591 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
592 {
593     if (!frame.isMainFrame())
594         return false;
595
596     if (frame.loader().opener())
597         return false;
598
599     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
600 }
601
602 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView)
603 {
604     m_frame.editor().clear();
605
606     if (!m_needsClear)
607         return;
608     m_needsClear = false;
609     
610     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
611         m_frame.document()->cancelParsing();
612         m_frame.document()->stopActiveDOMObjects();
613         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
614         m_frame.document()->prepareForDestruction();
615         if (hadLivingRenderTree)
616             m_frame.document()->removeFocusedNodeOfSubtree(*m_frame.document());
617     }
618
619     // Do this after detaching the document so that the unload event works.
620     if (clearWindowProperties) {
621         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
622         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
623         m_frame.script().clearWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
624
625         if (shouldClearWindowName(m_frame, *newDocument))
626             m_frame.tree().setName(nullAtom());
627     }
628
629     m_frame.selection().prepareForDestruction();
630     m_frame.eventHandler().clear();
631
632     if (clearFrameView && m_frame.view())
633         m_frame.view()->clear();
634
635     // Do not drop the document before the ScriptController and view are cleared
636     // as some destructors might still try to access the document.
637     m_frame.setDocument(nullptr);
638
639     subframeLoader().clear();
640
641     if (clearWindowProperties)
642         m_frame.script().setDOMWindowForWindowProxy(newDocument->domWindow());
643
644     if (clearScriptObjects)
645         m_frame.script().clearScriptObjects();
646
647     m_frame.script().enableEval();
648
649     m_frame.navigationScheduler().clear();
650
651     m_checkTimer.stop();
652     m_shouldCallCheckCompleted = false;
653     m_shouldCallCheckLoadComplete = false;
654
655     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
656         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
657 }
658
659 void FrameLoader::receivedFirstData()
660 {
661     dispatchDidCommitLoad(std::nullopt);
662     dispatchDidClearWindowObjectsInAllWorlds();
663     dispatchGlobalObjectAvailableInAllWorlds();
664
665     if (m_documentLoader) {
666         auto& title = m_documentLoader->title();
667         if (!title.string.isNull())
668             m_client.dispatchDidReceiveTitle(title);
669     }
670
671     if (!m_documentLoader)
672         return;
673
674     ASSERT(m_frame.document());
675     auto& document = *m_frame.document();
676
677     ASSERT(m_frame.document());
678     LinkLoader::loadLinksFromHeader(m_documentLoader->response().httpHeaderField(HTTPHeaderName::Link), m_frame.document()->url(), *m_frame.document(), LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
679
680     double delay;
681     String urlString;
682     if (!parseHTTPRefresh(m_documentLoader->response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
683         return;
684     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
685     if (!protocolIsJavaScript(completedURL))
686         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
687     else {
688         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
689         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
690     }
691 }
692
693 void FrameLoader::setOutgoingReferrer(const URL& url)
694 {
695     m_outgoingReferrer = url.strippedForUseAsReferrer();
696 }
697
698 void FrameLoader::didBeginDocument(bool dispatch)
699 {
700     m_needsClear = true;
701     m_isComplete = false;
702     m_didCallImplicitClose = false;
703     m_frame.document()->setReadyState(Document::Loading);
704
705     if (m_pendingStateObject) {
706         m_frame.document()->statePopped(*m_pendingStateObject);
707         m_pendingStateObject = nullptr;
708     }
709
710     if (dispatch)
711         dispatchDidClearWindowObjectsInAllWorlds();
712
713     updateFirstPartyForCookies();
714     m_frame.document()->initContentSecurityPolicy();
715
716     const Settings& settings = m_frame.settings();
717     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
718     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
719
720     if (m_documentLoader) {
721         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
722         if (!dnsPrefetchControl.isEmpty())
723             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
724
725         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), ContentSecurityPolicy::ReportParsingErrors::No);
726
727         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
728         if (!headerContentLanguage.isEmpty()) {
729             size_t commaIndex = headerContentLanguage.find(',');
730             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
731             headerContentLanguage = headerContentLanguage.stripWhiteSpace(isHTMLSpace);
732             if (!headerContentLanguage.isEmpty())
733                 m_frame.document()->setContentLanguage(headerContentLanguage);
734         }
735     }
736
737     history().restoreDocumentState();
738 }
739
740 void FrameLoader::finishedParsing()
741 {
742     m_frame.injectUserScripts(InjectAtDocumentEnd);
743
744     if (m_stateMachine.creatingInitialEmptyDocument())
745         return;
746
747     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
748     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
749     // Null-checking the FrameView indicates whether or not we're in the destructor.
750     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
751
752     m_client.dispatchDidFinishDocumentLoad();
753
754     scrollToFragmentWithParentBoundary(m_frame.document()->url());
755
756     checkCompleted();
757
758     if (!m_frame.view())
759         return; // We are being destroyed by something checkCompleted called.
760
761     // Check if the scrollbars are really needed for the content.
762     // If not, remove them, relayout, and repaint.
763     m_frame.view()->restoreScrollbar();
764 }
765
766 void FrameLoader::loadDone()
767 {
768     checkCompleted();
769 }
770
771 bool FrameLoader::allChildrenAreComplete() const
772 {
773     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
774         if (!child->loader().m_isComplete)
775             return false;
776     }
777     return true;
778 }
779
780 bool FrameLoader::allAncestorsAreComplete() const
781 {
782     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
783         if (!ancestor->loader().m_isComplete)
784             return false;
785     }
786     return true;
787 }
788
789 void FrameLoader::checkCompleted()
790 {
791     m_shouldCallCheckCompleted = false;
792
793     // Have we completed before?
794     if (m_isComplete)
795         return;
796
797     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
798     //        https://bugs.webkit.org/show_bug.cgi?id=171729
799     if (m_frame.document()->inRenderTreeUpdate()) {
800         scheduleCheckCompleted();
801         return;
802     }
803
804     // Are we still parsing?
805     if (m_frame.document()->parsing())
806         return;
807
808     // Still waiting for images/scripts?
809     if (m_frame.document()->cachedResourceLoader().requestCount())
810         return;
811
812     // Still waiting for elements that don't go through a FrameLoader?
813     if (m_frame.document()->isDelayingLoadEvent())
814         return;
815
816     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
817     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
818         return;
819
820     // Any frame that hasn't completed yet?
821     if (!allChildrenAreComplete())
822         return;
823
824     // Important not to protect earlier in this function, because earlier parts
825     // of this function can be called in the frame's destructor, and it's not legal
826     // to ref an object while it's being destroyed.
827     Ref<Frame> protect(m_frame);
828
829     // OK, completed.
830     m_isComplete = true;
831     m_requestedHistoryItem = nullptr;
832     m_frame.document()->setReadyState(Document::Complete);
833
834 #if PLATFORM(IOS)
835     if (m_frame.document()->url().isEmpty()) {
836         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
837         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
838         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
839         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
840         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
841         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
842         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
843     }
844 #endif
845
846     checkCallImplicitClose(); // if we didn't do it before
847
848     m_frame.navigationScheduler().startTimer();
849
850     completed();
851     if (m_frame.page())
852         checkLoadComplete();
853 }
854
855 void FrameLoader::checkTimerFired()
856 {
857     Ref<Frame> protect(m_frame);
858
859     if (Page* page = m_frame.page()) {
860         if (page->defersLoading())
861             return;
862     }
863     if (m_shouldCallCheckCompleted)
864         checkCompleted();
865     if (m_shouldCallCheckLoadComplete)
866         checkLoadComplete();
867 }
868
869 void FrameLoader::startCheckCompleteTimer()
870 {
871     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
872         return;
873     if (m_checkTimer.isActive())
874         return;
875     m_checkTimer.startOneShot(0_s);
876 }
877
878 void FrameLoader::scheduleCheckCompleted()
879 {
880     m_shouldCallCheckCompleted = true;
881     startCheckCompleteTimer();
882 }
883
884 void FrameLoader::scheduleCheckLoadComplete()
885 {
886     m_shouldCallCheckLoadComplete = true;
887     startCheckCompleteTimer();
888 }
889
890 void FrameLoader::checkCallImplicitClose()
891 {
892     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
893         return;
894
895     if (!allChildrenAreComplete())
896         return; // still got a frame running -> too early
897
898     m_didCallImplicitClose = true;
899     m_wasUnloadEventEmitted = false;
900     m_frame.document()->implicitClose();
901 }
902
903 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
904 {
905     ASSERT(childFrame);
906
907 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
908     if (auto activeLoader = activeDocumentLoader()) {
909         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
910             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
911             return;
912         }
913     }
914 #endif
915
916     // If we're moving in the back/forward list, we might want to replace the content
917     // of this child frame with whatever was there at that point.
918     auto* parentItem = history().currentItem();
919     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
920         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
921             childFrame->loader().m_requestedHistoryItem = childItem;
922             childFrame->loader().loadDifferentDocumentItem(*childItem, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem);
923             return;
924         }
925     }
926
927     auto* lexicalFrame = lexicalFrameFromCommonVM();
928     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
929
930     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, ASCIILiteral("_self"), LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
931     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, nullptr);
932 }
933
934 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
935
936 void FrameLoader::loadArchive(Ref<Archive>&& archive)
937 {
938     ArchiveResource* mainResource = archive->mainResource();
939     ASSERT(mainResource);
940     if (!mainResource)
941         return;
942
943     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
944     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
945     
946     ResourceRequest request(mainResource->url());
947
948     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
949     documentLoader->setArchive(WTFMove(archive));
950     load(documentLoader.ptr());
951 }
952
953 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
954
955 String FrameLoader::outgoingReferrer() const
956 {
957     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
958     // for why we walk the parent chain for srcdoc documents.
959     Frame* frame = &m_frame;
960     while (frame && frame->document()->isSrcdocDocument()) {
961         frame = frame->tree().parent();
962         // Srcdoc documents cannot be top-level documents, by definition,
963         // because they need to be contained in iframes with the srcdoc.
964         ASSERT(frame);
965     }
966     if (!frame)
967         return emptyString();
968     return frame->loader().m_outgoingReferrer;
969 }
970
971 String FrameLoader::outgoingOrigin() const
972 {
973     return m_frame.document()->securityOrigin().toString();
974 }
975
976 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
977 {
978     if (m_submittedFormURL.isEmpty())
979         return true;
980
981     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
982     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
983 }
984
985 Frame* FrameLoader::opener()
986 {
987     return m_opener;
988 }
989
990 void FrameLoader::setOpener(Frame* opener)
991 {
992     if (m_opener && !opener)
993         m_client.didDisownOpener();
994
995     if (m_opener) {
996         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
997         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
998         openerFrameLoader.m_openedFrames.remove(&m_frame);
999     }
1000     if (opener)
1001         opener->loader().m_openedFrames.add(&m_frame);
1002     m_opener = opener;
1003
1004     if (m_frame.document())
1005         m_frame.document()->initSecurityContext();
1006 }
1007
1008 // FIXME: This does not belong in FrameLoader!
1009 void FrameLoader::handleFallbackContent()
1010 {
1011     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1012     if (!is<HTMLObjectElement>(owner))
1013         return;
1014     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1015 }
1016
1017 void FrameLoader::provisionalLoadStarted()
1018 {
1019     if (m_stateMachine.firstLayoutDone())
1020         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1021     m_frame.navigationScheduler().cancel(true);
1022     m_client.provisionalLoadStarted();
1023
1024     if (m_frame.isMainFrame()) {
1025         TracePoint(MainResourceLoadDidStartProvisional);
1026
1027         if (auto* page = m_frame.page())
1028             page->didStartProvisionalLoad();
1029     }
1030 }
1031
1032 void FrameLoader::resetMultipleFormSubmissionProtection()
1033 {
1034     m_submittedFormURL = URL();
1035 }
1036
1037 void FrameLoader::updateFirstPartyForCookies()
1038 {
1039     if (m_frame.tree().parent())
1040         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1041     else
1042         setFirstPartyForCookies(m_frame.document()->url());
1043 }
1044
1045 void FrameLoader::setFirstPartyForCookies(const URL& url)
1046 {
1047     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1048         frame->document()->setFirstPartyForCookies(url);
1049 }
1050
1051 // This does the same kind of work that didOpenURL does, except it relies on the fact
1052 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1053 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1054 {
1055     // If we have a state object, we cannot also be a new navigation.
1056     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1057
1058     // Update the data source's request with the new URL to fake the URL change
1059     URL oldURL = m_frame.document()->url();
1060     m_frame.document()->setURL(url);
1061     setOutgoingReferrer(url);
1062     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1063     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1064         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1065         // based on the current request. Must also happen before we openURL and displace the 
1066         // scroll position, since adding the BF item will save away scroll state.
1067         
1068         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1069         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1070         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1071         // though its load is not yet done.  I think this all works out OK, for one because
1072         // we have already saved away the scroll and doc state for the long slow load,
1073         // but it's not an obvious case.
1074
1075         history().updateBackForwardListForFragmentScroll();
1076     }
1077     
1078     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1079     
1080     history().updateForSameDocumentNavigation();
1081
1082     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1083     if (hashChange)
1084         m_frame.eventHandler().stopAutoscrollTimer();
1085     
1086     // It's important to model this as a load that starts and immediately finishes.
1087     // Otherwise, the parent frame may think we never finished loading.
1088     started();
1089
1090     // We need to scroll to the fragment whether or not a hash change occurred, since
1091     // the user might have scrolled since the previous navigation.
1092     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1093     
1094     m_isComplete = false;
1095     checkCompleted();
1096
1097     if (isNewNavigation) {
1098         // This will clear previousItem from the rest of the frame tree that didn't
1099         // doing any loading. We need to make a pass on this now, since for fragment
1100         // navigation we'll not go through a real load and reach Completed state.
1101         checkLoadComplete();
1102     }
1103
1104     m_client.dispatchDidNavigateWithinPage();
1105
1106     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1107     m_client.dispatchDidPopStateWithinPage();
1108     
1109     if (hashChange) {
1110         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1111         m_client.dispatchDidChangeLocationWithinPage();
1112     }
1113     
1114     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1115     m_client.didFinishLoad();
1116 }
1117
1118 bool FrameLoader::isComplete() const
1119 {
1120     return m_isComplete;
1121 }
1122
1123 void FrameLoader::completed()
1124 {
1125     Ref<Frame> protect(m_frame);
1126
1127     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1128         descendant->navigationScheduler().startTimer();
1129
1130     if (Frame* parent = m_frame.tree().parent())
1131         parent->loader().checkCompleted();
1132
1133     if (m_frame.view())
1134         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1135 }
1136
1137 void FrameLoader::started()
1138 {
1139     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1140         frame->loader().m_isComplete = false;
1141 }
1142
1143 void FrameLoader::prepareForLoadStart()
1144 {
1145     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1146
1147     m_progressTracker->progressStarted();
1148     m_client.dispatchDidStartProvisionalLoad();
1149
1150     if (AXObjectCache::accessibilityEnabled()) {
1151         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1152             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1153             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1154         }
1155     }
1156 }
1157
1158 void FrameLoader::setupForReplace()
1159 {
1160     m_client.revertToProvisionalState(m_documentLoader.get());
1161     setState(FrameStateProvisional);
1162     m_provisionalDocumentLoader = m_documentLoader;
1163     m_documentLoader = nullptr;
1164     detachChildren();
1165 }
1166
1167 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, FormState* formState)
1168 {
1169     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1170     auto protectFrame = makeRef(m_frame);
1171
1172     URL url = request.resourceRequest().url();
1173
1174     ASSERT(m_frame.document());
1175     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1176         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1177         return;
1178     }
1179
1180     String argsReferrer = request.resourceRequest().httpReferrer();
1181     if (argsReferrer.isEmpty())
1182         argsReferrer = outgoingReferrer();
1183
1184     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1185     if (request.shouldSendReferrer() == NeverSendReferrer)
1186         referrer = String();
1187
1188     FrameLoadType loadType;
1189     if (request.resourceRequest().cachePolicy() == ReloadIgnoringCacheData)
1190         loadType = FrameLoadType::Reload;
1191     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1192         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1193     else
1194         loadType = FrameLoadType::Standard;
1195
1196     String frameName = request.frameName();
1197     if (request.resourceRequest().httpMethod() == "POST")
1198         loadPostRequest(WTFMove(request), referrer, loadType, event, formState);
1199     else
1200         loadURL(WTFMove(request), referrer, loadType, event, formState);
1201
1202     // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1203     // load if frame names have changed.
1204     Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1205     if (!sourceFrame)
1206         sourceFrame = &m_frame;
1207     Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1208     if (targetFrame && targetFrame != sourceFrame) {
1209         if (Page* page = targetFrame->page())
1210             page->chrome().focus();
1211     }
1212 }
1213
1214 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1215 {
1216     if (ScriptController::processingUserGesture())
1217         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1218
1219     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1220         return propagatedPolicy;
1221
1222     if (!currentFrame.isMainFrame())
1223         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1224
1225     return propagatedPolicy;
1226 }
1227
1228 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1229 {
1230     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1231 }
1232
1233 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1234 {
1235     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1236 }
1237
1238 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1239 {
1240     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1241 }
1242
1243 bool FrameLoader::isNavigationAllowed() const
1244 {
1245     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && NavigationDisabler::isNavigationAllowed(m_frame);
1246 }
1247
1248 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, FormState* formState)
1249 {
1250     if (m_inStopAllLoaders)
1251         return;
1252
1253     Ref<Frame> protect(m_frame);
1254
1255     String frameName = frameLoadRequest.frameName();
1256     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1257     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1258     LockHistory lockHistory = frameLoadRequest.lockHistory();
1259     bool isFormSubmission = formState;
1260
1261     const URL& newURL = frameLoadRequest.resourceRequest().url();
1262     ResourceRequest request(newURL);
1263     if (!referrer.isEmpty()) {
1264         request.setHTTPReferrer(referrer);
1265         RefPtr<SecurityOrigin> referrerOrigin = SecurityOrigin::createFromString(referrer);
1266         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1267     }
1268     if (&m_frame.tree().top() != &m_frame)
1269         request.setDomainForCachePartition(m_frame.tree().top().document()->securityOrigin().domainForCachePartition());
1270
1271     addExtraFieldsToRequest(request, newLoadType, true);
1272     if (isReload(newLoadType))
1273         request.setCachePolicy(ReloadIgnoringCacheData);
1274
1275     ASSERT(newLoadType != FrameLoadType::Same);
1276
1277     // The search for a target frame is done earlier in the case of form submission.
1278     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(frameName);
1279     if (targetFrame && targetFrame != &m_frame) {
1280         frameLoadRequest.setFrameName("_self");
1281         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, formState);
1282         return;
1283     }
1284
1285     if (!isNavigationAllowed())
1286         return;
1287
1288     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1289
1290     if (!targetFrame && !frameName.isEmpty()) {
1291         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1292         policyChecker().checkNewWindowPolicy(action, request, formState, frameName, [this, allowNavigationToInvalidURL, openerPolicy] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue) {
1293             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1294         });
1295         return;
1296     }
1297
1298     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1299
1300     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1301     const String& httpMethod = request.httpMethod();
1302     
1303     // Make sure to do scroll to fragment processing even if the URL is
1304     // exactly the same so pages with '#' links and DHTML side effects
1305     // work properly.
1306     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1307         oldDocumentLoader->setTriggeringAction(action);
1308         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1309         policyChecker().stopCheck();
1310         policyChecker().setLoadType(newLoadType);
1311         policyChecker().checkNavigationPolicy(request, false /* didReceiveRedirectResponse */, oldDocumentLoader.get(), formState, [this] (const ResourceRequest& request, FormState*, bool shouldContinue) {
1312             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue);
1313         });
1314         return;
1315     }
1316
1317     // must grab this now, since this load may stop the previous load and clear this flag
1318     bool isRedirect = m_quickRedirectComing;
1319     loadWithNavigationAction(request, action, lockHistory, newLoadType, formState, allowNavigationToInvalidURL);
1320     if (isRedirect) {
1321         m_quickRedirectComing = false;
1322         if (m_provisionalDocumentLoader)
1323             m_provisionalDocumentLoader->setIsClientRedirect(true);
1324     } else if (sameURL && !isReload(newLoadType)) {
1325         // Example of this case are sites that reload the same URL with a different cookie
1326         // driving the generated content, or a master frame with links that drive a target
1327         // frame, where the user has clicked on the same link repeatedly.
1328         m_loadType = FrameLoadType::Same;
1329     }
1330 }
1331
1332 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1333 {
1334     if (!shouldTreatURLAsSrcdocDocument(url))
1335         return SubstituteData();
1336     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1337     ASSERT(!srcdoc.isNull());
1338     CString encodedSrcdoc = srcdoc.string().utf8();
1339
1340     ResourceResponse response(URL(), ASCIILiteral("text/html"), encodedSrcdoc.length(), ASCIILiteral("UTF-8"));
1341     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1342 }
1343
1344 void FrameLoader::load(FrameLoadRequest&& request)
1345 {
1346     if (m_inStopAllLoaders)
1347         return;
1348
1349     if (!request.frameName().isEmpty()) {
1350         Frame* frame = findFrameForNavigation(request.frameName());
1351         if (frame) {
1352             request.setShouldCheckNewWindowPolicy(false);
1353             if (&frame->loader() != this) {
1354                 frame->loader().load(WTFMove(request));
1355                 return;
1356             }
1357         }
1358     }
1359
1360     if (request.shouldCheckNewWindowPolicy()) {
1361         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1362         policyChecker().checkNewWindowPolicy(action, request.resourceRequest(), nullptr, request.frameName(), [this] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue) {
1363             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1364         });
1365
1366         return;
1367     }
1368
1369     if (!request.hasSubstituteData())
1370         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1371
1372     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1373     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1374
1375     load(loader.ptr());
1376 }
1377
1378 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, const NavigationAction& action, LockHistory lockHistory, FrameLoadType type, FormState* formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
1379 {
1380     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1381     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1382
1383     if (lockHistory == LockHistory::Yes && m_documentLoader)
1384         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1385
1386     loader->setTriggeringAction(action);
1387     if (m_documentLoader)
1388         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1389
1390     loadWithDocumentLoader(loader.ptr(), type, formState, allowNavigationToInvalidURL);
1391 }
1392
1393 void FrameLoader::load(DocumentLoader* newDocumentLoader)
1394 {
1395     ResourceRequest& r = newDocumentLoader->request();
1396     addExtraFieldsToMainResourceRequest(r);
1397     FrameLoadType type;
1398
1399     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader->originalRequest().url())) {
1400         r.setCachePolicy(ReloadIgnoringCacheData);
1401         type = FrameLoadType::Same;
1402     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader->unreachableURL()) && m_loadType == FrameLoadType::Reload)
1403         type = FrameLoadType::Reload;
1404     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && !newDocumentLoader->unreachableURL().isEmpty() && newDocumentLoader->substituteData().isValid())
1405         type = FrameLoadType::RedirectWithLockedBackForwardList;
1406     else
1407         type = FrameLoadType::Standard;
1408
1409     if (m_documentLoader)
1410         newDocumentLoader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1411     
1412     // When we loading alternate content for an unreachable URL that we're
1413     // visiting in the history list, we treat it as a reload so the history list 
1414     // is appropriately maintained.
1415     //
1416     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1417     // shouldn't a more explicit type of reload be defined, that means roughly 
1418     // "load without affecting history" ? 
1419     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1420         // shouldReloadToHandleUnreachableURL() returns true only when the original load type is back-forward.
1421         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1422         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1423         history().saveDocumentAndScrollState();
1424
1425         ASSERT(type == FrameLoadType::Standard);
1426         type = FrameLoadType::Reload;
1427     }
1428
1429     loadWithDocumentLoader(newDocumentLoader, type, 0, AllowNavigationToInvalidURL::Yes);
1430 }
1431
1432 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, FormState* formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
1433 {
1434     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1435     Ref<Frame> protect(m_frame);
1436
1437     ASSERT(m_client.hasWebView());
1438
1439     // Unfortunately the view must be non-nil, this is ultimately due
1440     // to parser requiring a FrameView.  We should fix this dependency.
1441
1442     ASSERT(m_frame.view());
1443
1444     if (!isNavigationAllowed())
1445         return;
1446
1447     if (m_frame.document())
1448         m_previousURL = m_frame.document()->url();
1449
1450     const URL& newURL = loader->request().url();
1451
1452     // Log main frame navigation types.
1453     if (m_frame.isMainFrame()) {
1454         if (auto* page = m_frame.page())
1455             page->mainFrameLoadStarted(newURL, type);
1456         static_cast<MainFrame&>(m_frame).performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1457     }
1458
1459     policyChecker().setLoadType(type);
1460     bool isFormSubmission = formState;
1461
1462     const String& httpMethod = loader->request().httpMethod();
1463
1464     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1465         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1466         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1467
1468         oldDocumentLoader->setTriggeringAction(action);
1469         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1470         policyChecker().stopCheck();
1471         policyChecker().checkNavigationPolicy(loader->request(), false /* didReceiveRedirectResponse */, oldDocumentLoader.get(), formState, [this] (const ResourceRequest& request, FormState*, bool shouldContinue) {
1472             continueFragmentScrollAfterNavigationPolicy(request, shouldContinue);
1473         });
1474         return;
1475     }
1476
1477     if (Frame* parent = m_frame.tree().parent())
1478         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1479
1480     policyChecker().stopCheck();
1481     setPolicyDocumentLoader(loader);
1482     if (loader->triggeringAction().isEmpty())
1483         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1484
1485     if (Element* ownerElement = m_frame.ownerElement()) {
1486         // We skip dispatching the beforeload event if we've already
1487         // committed a real document load because the event would leak
1488         // subsequent activity by the frame which the parent frame isn't
1489         // supposed to learn. For example, if the child frame navigated to
1490         // a new URL, the parent frame shouldn't learn the URL.
1491         if (!m_stateMachine.committedFirstRealDocumentLoad()
1492             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1493             continueLoadAfterNavigationPolicy(loader->request(), formState, false, allowNavigationToInvalidURL);
1494             return;
1495         }
1496     }
1497
1498     policyChecker().checkNavigationPolicy(loader->request(), false /* didReceiveRedirectResponse */, loader, formState, [this, allowNavigationToInvalidURL] (const ResourceRequest& request, FormState* formState, bool shouldContinue) {
1499         continueLoadAfterNavigationPolicy(request, formState, shouldContinue, allowNavigationToInvalidURL);
1500     });
1501 }
1502
1503 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1504 {
1505     ASSERT(!url.isEmpty());
1506     if (!frame)
1507         return;
1508
1509     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1510 }
1511
1512 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1513 {
1514     ASSERT(!url.isEmpty());
1515     if (!frame)
1516         return;
1517     
1518     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1519 }
1520
1521 const ResourceRequest& FrameLoader::initialRequest() const
1522 {
1523     return activeDocumentLoader()->originalRequest();
1524 }
1525
1526 bool FrameLoader::willLoadMediaElementURL(URL& url)
1527 {
1528 #if PLATFORM(IOS)
1529     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1530     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1531     if (IOSApplication::isMobileStore())
1532         return m_client.shouldLoadMediaElementURL(url);
1533 #endif
1534
1535     ResourceRequest request(url);
1536
1537     unsigned long identifier;
1538     ResourceError error;
1539     requestFromDelegate(request, identifier, error);
1540     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1541
1542     url = request.url();
1543
1544     return error.isNull();
1545 }
1546
1547 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader* docLoader)
1548 {
1549     URL unreachableURL = docLoader->unreachableURL();
1550
1551     if (unreachableURL.isEmpty())
1552         return false;
1553
1554     if (!isBackForwardLoadType(policyChecker().loadType()))
1555         return false;
1556
1557     // We only treat unreachableURLs specially during the delegate callbacks
1558     // for provisional load errors and navigation policy decisions. The former
1559     // case handles well-formed URLs that can't be loaded, and the latter
1560     // case handles malformed URLs and unknown schemes. Loading alternate content
1561     // at other times behaves like a standard load.
1562     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1563         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1564
1565     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1566 }
1567
1568 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1569 {
1570     if (!m_documentLoader)
1571         return;
1572
1573     ResourceRequest request = m_documentLoader->request();
1574     URL unreachableURL = m_documentLoader->unreachableURL();
1575     if (!unreachableURL.isEmpty())
1576         request.setURL(unreachableURL);
1577
1578     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1579     // We should ask the user for confirmation in this case.
1580     request.setCachePolicy(ReturnCacheDataElseLoad);
1581
1582     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1583     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1584
1585     setPolicyDocumentLoader(loader.ptr());
1586
1587     loader->setOverrideEncoding(encoding);
1588
1589     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, 0, AllowNavigationToInvalidURL::Yes);
1590 }
1591
1592 void FrameLoader::reload(OptionSet<ReloadOption> options)
1593 {
1594     if (!m_documentLoader)
1595         return;
1596
1597     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1598     // Reloading in this case will lose the current contents (see 4151001).
1599     if (m_documentLoader->request().url().isEmpty())
1600         return;
1601
1602     // Replace error-page URL with the URL we were trying to reach.
1603     ResourceRequest initialRequest = m_documentLoader->request();
1604     URL unreachableURL = m_documentLoader->unreachableURL();
1605     if (!unreachableURL.isEmpty())
1606         initialRequest.setURL(unreachableURL);
1607
1608     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1609     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1610     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1611     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1612
1613     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1614     
1615     ResourceRequest& request = loader->request();
1616
1617     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1618     request.setCachePolicy(ReloadIgnoringCacheData);
1619
1620     // If we're about to re-post, set up action so the application can warn the user.
1621     if (request.httpMethod() == "POST")
1622         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1623
1624     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1625
1626     auto frameLoadTypeForReloadOptions = [] (auto options) {
1627         if (options.contains(ReloadOption::FromOrigin))
1628             return FrameLoadType::ReloadFromOrigin;
1629         if (options.contains(ReloadOption::ExpiredOnly))
1630             return FrameLoadType::ReloadExpiredOnly;
1631         return FrameLoadType::Reload;
1632     };
1633     
1634     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), 0, AllowNavigationToInvalidURL::Yes);
1635 }
1636
1637 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy)
1638 {
1639     ASSERT(!m_frame.document() || m_frame.document()->pageCacheState() != Document::InPageCache);
1640     if (!isNavigationAllowed())
1641         return;
1642
1643     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1644     if (m_inStopAllLoaders)
1645         return;
1646     
1647     // Calling stopLoading() on the provisional document loader can blow away
1648     // the frame from underneath.
1649     Ref<Frame> protect(m_frame);
1650
1651     m_inStopAllLoaders = true;
1652
1653     policyChecker().stopCheck();
1654
1655     // If no new load is in progress, we should clear the provisional item from history
1656     // before we call stopLoading.
1657     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1658         history().setProvisionalItem(nullptr);
1659
1660     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1661         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1662     if (m_provisionalDocumentLoader)
1663         m_provisionalDocumentLoader->stopLoading();
1664     if (m_documentLoader)
1665         m_documentLoader->stopLoading();
1666
1667     setProvisionalDocumentLoader(nullptr);
1668
1669     m_checkTimer.stop();
1670
1671     m_inStopAllLoaders = false;    
1672 }
1673
1674 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1675 {
1676     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1677     Ref<Frame> protectedFrame(m_frame);
1678
1679     stopAllLoaders();
1680
1681 #if PLATFORM(IOS)
1682     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1683     // but haven't laid out/painted yet.
1684     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1685     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1686         m_frame.view()->layout();
1687 #endif
1688
1689     if (deferCheckLoadComplete)
1690         scheduleCheckLoadComplete();
1691     else if (m_frame.page())
1692         checkLoadComplete();
1693 }
1694
1695 DocumentLoader* FrameLoader::activeDocumentLoader() const
1696 {
1697     if (m_state == FrameStateProvisional)
1698         return m_provisionalDocumentLoader.get();
1699     return m_documentLoader.get();
1700 }
1701
1702 bool FrameLoader::isLoading() const
1703 {
1704     DocumentLoader* docLoader = activeDocumentLoader();
1705     if (!docLoader)
1706         return false;
1707     return docLoader->isLoading();
1708 }
1709
1710 bool FrameLoader::frameHasLoaded() const
1711 {
1712     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1713 }
1714
1715 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1716 {
1717     if (!loader && !m_documentLoader)
1718         return;
1719     
1720     ASSERT(loader != m_documentLoader);
1721     ASSERT(!loader || loader->frameLoader() == this);
1722
1723     m_client.prepareForDataSourceReplacement();
1724     detachChildren();
1725
1726     // detachChildren() can trigger this frame's unload event, and therefore
1727     // script can run and do just about anything. For example, an unload event that calls
1728     // document.write("") on its parent frame can lead to a recursive detachChildren()
1729     // invocation for this frame. In that case, we can end up at this point with a
1730     // loader that hasn't been deleted but has been detached from its frame. Such a
1731     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1732     // state if we try to use it.
1733     if (loader && !loader->frame())
1734         return;
1735
1736     if (m_documentLoader)
1737         m_documentLoader->detachFromFrame();
1738
1739     m_documentLoader = loader;
1740 }
1741
1742 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1743 {
1744     if (m_policyDocumentLoader == loader)
1745         return;
1746
1747     if (loader)
1748         loader->attachToFrame(m_frame);
1749     if (m_policyDocumentLoader
1750             && m_policyDocumentLoader != m_provisionalDocumentLoader
1751             && m_policyDocumentLoader != m_documentLoader)
1752         m_policyDocumentLoader->detachFromFrame();
1753
1754     m_policyDocumentLoader = loader;
1755 }
1756
1757 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1758 {
1759     ASSERT(!loader || !m_provisionalDocumentLoader);
1760     ASSERT(!loader || loader->frameLoader() == this);
1761
1762     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1763         m_provisionalDocumentLoader->detachFromFrame();
1764
1765     m_provisionalDocumentLoader = loader;
1766 }
1767
1768 void FrameLoader::setState(FrameState newState)
1769 {
1770     FrameState oldState = m_state;
1771     m_state = newState;
1772     
1773     if (newState == FrameStateProvisional)
1774         provisionalLoadStarted();
1775     else if (newState == FrameStateComplete) {
1776         frameLoadCompleted();
1777         if (m_documentLoader)
1778             m_documentLoader->stopRecordingResponses();
1779         if (m_frame.isMainFrame() && oldState != newState)
1780             static_cast<MainFrame&>(m_frame).didCompleteLoad();
1781     }
1782 }
1783
1784 void FrameLoader::clearProvisionalLoad()
1785 {
1786     setProvisionalDocumentLoader(nullptr);
1787     m_progressTracker->progressCompleted();
1788     setState(FrameStateComplete);
1789 }
1790
1791 void FrameLoader::commitProvisionalLoad()
1792 {
1793     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
1794     Ref<Frame> protect(m_frame);
1795
1796     std::unique_ptr<CachedPage> cachedPage;
1797     if (m_loadingFromCachedPage && history().provisionalItem())
1798         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
1799
1800     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s'", m_frame.tree().uniqueName().string().utf8().data(),
1801         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
1802         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>");
1803
1804     willTransitionToCommitted();
1805
1806     if (!m_frame.tree().parent() && history().currentItem()) {
1807         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
1808         // We are doing this here because we know for sure that a new page is about to be loaded.
1809         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
1810         
1811         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
1812     }
1813
1814     if (m_loadType != FrameLoadType::Replace)
1815         closeOldDataSources();
1816
1817     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
1818         m_client.makeRepresentation(pdl.get());
1819
1820     transitionToCommitted(cachedPage.get());
1821
1822     if (pdl && m_documentLoader) {
1823         // Check if the destination page is allowed to access the previous page's timing information.
1824         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
1825         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
1826     }
1827
1828     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
1829     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
1830     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
1831     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
1832     if (m_sentRedirectNotification)
1833         clientRedirectCancelledOrFinished(false);
1834     
1835     if (cachedPage && cachedPage->document()) {
1836 #if PLATFORM(IOS)
1837         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
1838         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
1839         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
1840 #endif
1841         willRestoreFromCachedPage();
1842
1843         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
1844         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
1845         ResourceError mainResouceError;
1846         unsigned long mainResourceIdentifier;
1847         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
1848         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
1849         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
1850
1851         std::optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
1852
1853         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
1854         cachedPage->restore(*m_frame.page());
1855
1856         dispatchDidCommitLoad(hasInsecureContent);
1857
1858 #if PLATFORM(IOS)
1859         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
1860         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
1861 #endif
1862
1863         auto& title = m_documentLoader->title();
1864         if (!title.string.isNull())
1865             m_client.dispatchDidReceiveTitle(title);
1866
1867         // Send remaining notifications for the main resource.
1868         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
1869             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
1870
1871         checkCompleted();
1872     } else
1873         didOpenURL();
1874
1875     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
1876         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
1877
1878     if (m_loadType == FrameLoadType::Standard && m_documentLoader->isClientRedirect())
1879         history().updateForClientRedirect();
1880
1881     if (m_loadingFromCachedPage) {
1882         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
1883         if (auto* page = m_frame.page())
1884             page->chrome().didReceiveDocType(m_frame);
1885         m_frame.document()->resume(ActiveDOMObject::PageCache);
1886
1887         // Force a layout to update view size and thereby update scrollbars.
1888 #if PLATFORM(IOS)
1889         if (!m_client.forceLayoutOnRestoreFromPageCache())
1890             m_frame.view()->forceLayout();
1891 #else
1892         m_frame.view()->forceLayout();
1893 #endif
1894
1895         // Main resource delegates were already sent, so we skip the first response here.
1896         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
1897             const auto& response = m_documentLoader->responses()[i];
1898             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
1899             ResourceError error;
1900             unsigned long identifier;
1901             ResourceRequest request(response.url());
1902             requestFromDelegate(request, identifier, error);
1903             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
1904             // However, with today's computers and networking speeds, this won't happen in practice.
1905             // Could be an issue with a giant local file.
1906             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
1907         }
1908
1909         // FIXME: Why only this frame and not parent frames?
1910         checkLoadCompleteForThisFrame();
1911     }
1912 }
1913
1914 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
1915 {
1916     ASSERT(m_client.hasWebView());
1917     ASSERT(m_state == FrameStateProvisional);
1918
1919     if (m_state != FrameStateProvisional)
1920         return;
1921
1922     if (FrameView* view = m_frame.view()) {
1923         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
1924             scrollAnimator->cancelAnimations();
1925     }
1926
1927     m_client.setCopiesOnScroll();
1928     history().updateForCommit();
1929
1930     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
1931     // JavaScript. If the script initiates a new load, we need to abandon the current load,
1932     // or the two will stomp each other.
1933     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
1934     if (m_documentLoader)
1935         closeURL();
1936     if (pdl != m_provisionalDocumentLoader)
1937         return;
1938
1939     if (m_documentLoader)
1940         m_documentLoader->stopLoadingSubresources();
1941     if (m_documentLoader)
1942         m_documentLoader->stopLoadingPlugIns();
1943
1944     // Setting our document loader invokes the unload event handler of our child frames.
1945     // Script can do anything. If the script initiates a new load, we need to abandon the
1946     // current load or the two will stomp each other.
1947     setDocumentLoader(m_provisionalDocumentLoader.get());
1948     if (pdl != m_provisionalDocumentLoader)
1949         return;
1950     setProvisionalDocumentLoader(nullptr);
1951
1952     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
1953     setState(FrameStateCommittedPage);
1954
1955     // Handle adding the URL to the back/forward list.
1956     DocumentLoader* dl = m_documentLoader.get();
1957
1958     switch (m_loadType) {
1959     case FrameLoadType::Forward:
1960     case FrameLoadType::Back:
1961     case FrameLoadType::IndexedBackForward:
1962         if (m_frame.page()) {
1963             // If the first load within a frame is a navigation within a back/forward list that was attached
1964             // without any of the items being loaded then we need to update the history in a similar manner as
1965             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
1966             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
1967                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
1968
1969             history().updateForBackForwardNavigation();
1970
1971             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
1972             if (history().currentItem() && !cachedPage)
1973                 m_pendingStateObject = history().currentItem()->stateObject();
1974
1975             // Create a document view for this document, or used the cached view.
1976             if (cachedPage) {
1977                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
1978                 ASSERT(cachedDocumentLoader);
1979                 cachedDocumentLoader->attachToFrame(m_frame);
1980                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
1981             } else
1982                 m_client.transitionToCommittedForNewPage();
1983         }
1984         break;
1985
1986     case FrameLoadType::Reload:
1987     case FrameLoadType::ReloadFromOrigin:
1988     case FrameLoadType::ReloadExpiredOnly:
1989     case FrameLoadType::Same:
1990     case FrameLoadType::Replace:
1991         history().updateForReload();
1992         m_client.transitionToCommittedForNewPage();
1993         break;
1994
1995     case FrameLoadType::Standard:
1996         history().updateForStandardLoad();
1997         if (m_frame.view())
1998             m_frame.view()->setScrollbarsSuppressed(true);
1999         m_client.transitionToCommittedForNewPage();
2000         break;
2001
2002     case FrameLoadType::RedirectWithLockedBackForwardList:
2003         history().updateForRedirectWithLockedBackForwardList();
2004         m_client.transitionToCommittedForNewPage();
2005         break;
2006     }
2007
2008     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2009
2010     // Tell the client we've committed this URL.
2011     ASSERT(m_frame.view());
2012
2013     if (m_stateMachine.creatingInitialEmptyDocument())
2014         return;
2015
2016     if (!m_stateMachine.committedFirstRealDocumentLoad())
2017         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2018 }
2019
2020 void FrameLoader::clientRedirectCancelledOrFinished(bool cancelWithLoadInProgress)
2021 {
2022     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2023     // the redirect succeeded.  We should either rename this API, or add a new method, like
2024     // -webView:didFinishClientRedirectForFrame:
2025     m_client.dispatchDidCancelClientRedirect();
2026
2027     if (!cancelWithLoadInProgress)
2028         m_quickRedirectComing = false;
2029
2030     m_sentRedirectNotification = false;
2031 }
2032
2033 void FrameLoader::clientRedirected(const URL& url, double seconds, double fireDate, LockBackForwardList lockBackForwardList)
2034 {
2035     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate);
2036     
2037     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2038     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2039     m_sentRedirectNotification = true;
2040     
2041     // If a "quick" redirect comes in, we set a special mode so we treat the next
2042     // load as part of the original navigation. If we don't have a document loader, we have
2043     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2044     // Loads triggered by JavaScript form submissions never count as quick redirects.
2045     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2046 }
2047
2048 void FrameLoader::performClientRedirect(FrameLoadRequest&& frameLoadRequest)
2049 {
2050     changeLocation(WTFMove(frameLoadRequest));
2051     m_client.dispatchDidPerformClientRedirect();
2052 }
2053
2054 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2055 {
2056     // This function implements the rule: "Don't reload if navigating by fragment within
2057     // the same URL, but do reload if going to a new URL or to the same URL with no
2058     // fragment identifier at all."
2059     if (!destinationURL.hasFragmentIdentifier())
2060         return true;
2061     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2062 }
2063
2064 void FrameLoader::closeOldDataSources()
2065 {
2066     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2067     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2068     // use a recursive algorithm here.
2069     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2070         child->loader().closeOldDataSources();
2071     
2072     if (m_documentLoader)
2073         m_client.dispatchWillClose();
2074
2075     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2076 }
2077
2078 void FrameLoader::willRestoreFromCachedPage()
2079 {
2080     ASSERT(!m_frame.tree().parent());
2081     ASSERT(m_frame.page());
2082     ASSERT(m_frame.isMainFrame());
2083
2084     m_frame.navigationScheduler().cancel();
2085
2086     // We still have to close the previous part page.
2087     closeURL();
2088     
2089     // Delete old status bar messages (if it _was_ activated on last URL).
2090     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2091         DOMWindow* window = m_frame.document()->domWindow();
2092         window->setStatus(String());
2093         window->setDefaultStatus(String());
2094     }
2095 }
2096
2097 void FrameLoader::open(CachedFrameBase& cachedFrame)
2098 {
2099     m_isComplete = false;
2100     
2101     // Don't re-emit the load event.
2102     m_didCallImplicitClose = true;
2103
2104     URL url = cachedFrame.url();
2105
2106     // FIXME: I suspect this block of code doesn't do anything.
2107     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2108         url.setPath("/");
2109
2110     started();
2111     Document* document = cachedFrame.document();
2112     ASSERT(document);
2113     ASSERT(document->domWindow());
2114
2115     clear(document, true, true, cachedFrame.isMainFrame());
2116
2117     document->setPageCacheState(Document::NotInPageCache);
2118
2119     m_needsClear = true;
2120     m_isComplete = false;
2121     m_didCallImplicitClose = false;
2122     m_outgoingReferrer = url.string();
2123
2124     FrameView* view = cachedFrame.view();
2125     
2126     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2127     ASSERT(view);
2128     view->setWasScrolledByUser(false);
2129
2130     std::optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : std::optional<IntRect>(std::nullopt);
2131     m_frame.setView(view);
2132
2133     // Use the previous ScrollView's frame rect.
2134     if (previousViewFrameRect)
2135         view->setFrameRect(previousViewFrameRect.value());
2136     
2137     m_frame.setDocument(document);
2138     document->domWindow()->resumeFromDocumentSuspension();
2139
2140     updateFirstPartyForCookies();
2141
2142     cachedFrame.restore();
2143 }
2144
2145 bool FrameLoader::isHostedByObjectElement() const
2146 {
2147     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2148     return owner && owner->hasTagName(objectTag);
2149 }
2150
2151 bool FrameLoader::isReplacing() const
2152 {
2153     return m_loadType == FrameLoadType::Replace;
2154 }
2155
2156 void FrameLoader::setReplacing()
2157 {
2158     m_loadType = FrameLoadType::Replace;
2159 }
2160
2161 bool FrameLoader::subframeIsLoading() const
2162 {
2163     // It's most likely that the last added frame is the last to load so we walk backwards.
2164     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2165         FrameLoader& childLoader = child->loader();
2166         DocumentLoader* documentLoader = childLoader.documentLoader();
2167         if (documentLoader && documentLoader->isLoadingInAPISense())
2168             return true;
2169         documentLoader = childLoader.provisionalDocumentLoader();
2170         if (documentLoader && documentLoader->isLoadingInAPISense())
2171             return true;
2172         documentLoader = childLoader.policyDocumentLoader();
2173         if (documentLoader)
2174             return true;
2175     }
2176     return false;
2177 }
2178
2179 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2180 {
2181     m_client.willChangeTitle(loader);
2182 }
2183
2184 FrameLoadType FrameLoader::loadType() const
2185 {
2186     return m_loadType;
2187 }
2188     
2189 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2190 {
2191     if (Page* page = m_frame.page()) {
2192         if (page->isResourceCachingDisabled())
2193             return CachePolicyReload;
2194     }
2195
2196     if (m_isComplete)
2197         return CachePolicyVerify;
2198
2199     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2200         return CachePolicyReload;
2201
2202     if (Frame* parentFrame = m_frame.tree().parent()) {
2203         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2204         if (parentCachePolicy != CachePolicyVerify)
2205             return parentCachePolicy;
2206     }
2207     
2208     switch (m_loadType) {
2209     case FrameLoadType::Reload:
2210         return CachePolicyRevalidate;
2211     case FrameLoadType::Back:
2212     case FrameLoadType::Forward:
2213     case FrameLoadType::IndexedBackForward:
2214         return CachePolicyHistoryBuffer;
2215     case FrameLoadType::ReloadFromOrigin:
2216         ASSERT_NOT_REACHED(); // Already handled above.
2217         return CachePolicyReload;
2218     case FrameLoadType::RedirectWithLockedBackForwardList:
2219     case FrameLoadType::Replace:
2220     case FrameLoadType::Same:
2221     case FrameLoadType::Standard:
2222         return CachePolicyVerify;
2223     case FrameLoadType::ReloadExpiredOnly:
2224         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2225         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2226             return CachePolicyReload;
2227         return CachePolicyVerify;
2228     }
2229
2230     RELEASE_ASSERT_NOT_REACHED();
2231     return CachePolicyVerify;
2232 }
2233
2234 void FrameLoader::checkLoadCompleteForThisFrame()
2235 {
2236     ASSERT(m_client.hasWebView());
2237
2238     switch (m_state) {
2239         case FrameStateProvisional: {
2240             // FIXME: Prohibiting any provisional load failures from being sent to clients
2241             // while handling provisional load failures is too heavy. For example, the current
2242             // load will fail to cancel another ongoing load. That might prevent clients' page
2243             // load state being handled properly.
2244             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2245                 return;
2246
2247             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2248             if (!pdl)
2249                 return;
2250                 
2251             // If we've received any errors we may be stuck in the provisional state and actually complete.
2252             const ResourceError& error = pdl->mainDocumentError();
2253             if (error.isNull())
2254                 return;
2255
2256             // Check all children first.
2257             RefPtr<HistoryItem> item;
2258             if (Page* page = m_frame.page())
2259                 if (isBackForwardLoadType(loadType()))
2260                     // Reset the back forward list to the last committed history item at the top level.
2261                     item = page->mainFrame().loader().history().currentItem();
2262                 
2263             // Only reset if we aren't already going to a new provisional item.
2264             bool shouldReset = !history().provisionalItem();
2265             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2266                 m_provisionalLoadErrorBeingHandledURL = m_provisionalDocumentLoader->url();
2267                 m_client.dispatchDidFailProvisionalLoad(error);
2268 #if ENABLE(CONTENT_FILTERING)
2269                 if (auto contentFilter = pdl->contentFilter())
2270                     contentFilter->handleProvisionalLoadFailure(error);
2271 #endif
2272                 m_provisionalLoadErrorBeingHandledURL = { };
2273
2274                 ASSERT(!pdl->isLoading());
2275
2276                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2277                 if (isReplacing() && !m_documentLoader.get())
2278                     setDocumentLoader(m_provisionalDocumentLoader.get());
2279
2280                 // Finish resetting the load state, but only if another load hasn't been started by the
2281                 // delegate callback.
2282                 if (pdl == m_provisionalDocumentLoader)
2283                     clearProvisionalLoad();
2284                 else if (activeDocumentLoader()) {
2285                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2286                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2287                         shouldReset = false;
2288                 }
2289             }
2290             if (shouldReset && item)
2291                 if (Page* page = m_frame.page()) {
2292                     page->backForward().setCurrentItem(item.get());
2293                     m_frame.loader().client().updateGlobalHistoryItemForPage();
2294                 }
2295             return;
2296         }
2297         
2298         case FrameStateCommittedPage: {
2299             DocumentLoader* dl = m_documentLoader.get();            
2300             if (!dl || (dl->isLoadingInAPISense() && !dl->isStopping()))
2301                 return;
2302
2303             setState(FrameStateComplete);
2304
2305             // FIXME: Is this subsequent work important if we already navigated away?
2306             // Maybe there are bugs because of that, or extra work we can skip because
2307             // the new page is ready.
2308
2309             m_client.forceLayoutForNonHTML();
2310              
2311             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2312             if (m_frame.page()) {
2313                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2314                     history().restoreScrollPositionAndViewState();
2315             }
2316
2317             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2318                 return;
2319
2320             m_progressTracker->progressCompleted();
2321             Page* page = m_frame.page();
2322             if (page) {
2323                 if (m_frame.isMainFrame()) {
2324                     TracePoint(MainResourceLoadDidEnd);
2325                     page->didFinishLoad();
2326                 }
2327             }
2328
2329             const ResourceError& error = dl->mainDocumentError();
2330
2331             AXObjectCache::AXLoadingEvent loadingEvent;
2332             if (!error.isNull()) {
2333                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2334                 m_client.dispatchDidFailLoad(error);
2335                 loadingEvent = AXObjectCache::AXLoadingFailed;
2336             } else {
2337                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2338 #if ENABLE(DATA_DETECTION)
2339                 auto* document = m_frame.document();
2340                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2341                     if (auto* documentElement = document->documentElement()) {
2342                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2343                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2344                         if (m_frame.isMainFrame())
2345                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2346                     }
2347                 }
2348 #endif
2349                 m_client.dispatchDidFinishLoad();
2350                 loadingEvent = AXObjectCache::AXLoadingFinished;
2351             }
2352
2353             // Notify accessibility.
2354             if (auto* document = m_frame.document()) {
2355                 if (AXObjectCache* cache = document->existingAXObjectCache())
2356                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2357             }
2358
2359             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2360             // from its Page and also might have caused Page to be deleted.
2361             // Don't assume 'page' is still available to use.
2362             if (m_frame.isMainFrame() && m_frame.page()) {
2363                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2364                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2365             }
2366
2367             return;
2368         }
2369         
2370         case FrameStateComplete:
2371             m_loadType = FrameLoadType::Standard;
2372             frameLoadCompleted();
2373             return;
2374     }
2375
2376     ASSERT_NOT_REACHED();
2377 }
2378
2379 void FrameLoader::continueLoadAfterWillSubmitForm()
2380 {
2381     if (!m_provisionalDocumentLoader)
2382         return;
2383
2384     prepareForLoadStart();
2385     
2386     // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader, 
2387     // so we need to null check it again.
2388     if (!m_provisionalDocumentLoader) {
2389         RELEASE_LOG_IF_ALLOWED("continueLoadAfterWillSubmitForm: Frame load canceled (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2390         return;
2391     }
2392
2393     DocumentLoader* activeDocLoader = activeDocumentLoader();
2394     if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
2395         RELEASE_LOG_IF_ALLOWED("continueLoadAfterWillSubmitForm: Main frame already being loaded (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2396         return;
2397     }
2398
2399     m_loadingFromCachedPage = false;
2400     m_provisionalDocumentLoader->startLoadingMainResource();
2401 }
2402
2403 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2404 {
2405     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2406     // The originalURL is defined as the URL of the page where the download was initiated.
2407     URL originalURL;
2408     if (m_frame.document()) {
2409         originalURL = m_frame.document()->firstPartyForCookies();
2410         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2411         // In this case, we need to set the originalURL to this document's opener's main document URL.
2412         if (originalURL.isEmpty() && opener() && opener()->document())
2413             originalURL = opener()->document()->firstPartyForCookies();
2414     }
2415     // If the originalURL is the same as the requested URL, we are processing a download
2416     // initiated directly without a page and do not need to specify the originalURL.
2417     if (originalURL == request.url())
2418         request.setFirstPartyForCookies(URL());
2419     else
2420         request.setFirstPartyForCookies(originalURL);
2421 }
2422
2423 void FrameLoader::didReachLayoutMilestone(LayoutMilestones milestones)
2424 {
2425     ASSERT(m_frame.isMainFrame());
2426
2427     m_client.dispatchDidReachLayoutMilestone(milestones);
2428 }
2429
2430 void FrameLoader::didFirstLayout()
2431 {
2432 #if PLATFORM(IOS)
2433     // Only send layout-related delegate callbacks synchronously for the main frame to
2434     // avoid reentering layout for the main frame while delivering a layout-related delegate
2435     // callback for a subframe.
2436     if (&m_frame != &m_frame.page()->mainFrame())
2437         return;
2438 #endif
2439     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2440         history().restoreScrollPositionAndViewState();
2441
2442     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2443         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2444 }
2445
2446 void FrameLoader::frameLoadCompleted()
2447 {
2448     // Note: Can be called multiple times.
2449
2450     m_client.frameLoadCompleted();
2451
2452     history().updateForFrameLoadCompleted();
2453
2454     // After a canceled provisional load, firstLayoutDone is false.
2455     // Reset it to true if we're displaying a page.
2456     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2457         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2458 }
2459
2460 void FrameLoader::detachChildren()
2461 {
2462     // detachChildren() will fire the unload event in each subframe and the
2463     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2464     // this event is being fired in its subframes:
2465     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2466     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2467
2468     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2469     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2470     // allow loading of subframes at this point.
2471     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2472
2473     Vector<Ref<Frame>, 16> childrenToDetach;
2474     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2475     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2476         childrenToDetach.uncheckedAppend(*child);
2477     for (auto& child : childrenToDetach)
2478         child->loader().detachFromParent();
2479 }
2480
2481 void FrameLoader::closeAndRemoveChild(Frame& child)
2482 {
2483     child.tree().detachFromParent();
2484
2485     child.setView(nullptr);
2486     if (child.ownerElement() && child.page())
2487         child.page()->decrementSubframeCount();
2488     child.willDetachPage();
2489     child.detachFromPage();
2490
2491     m_frame.tree().removeChild(child);
2492 }
2493
2494 // Called every time a resource is completely loaded or an error is received.
2495 void FrameLoader::checkLoadComplete()
2496 {
2497     ASSERT(m_client.hasWebView());
2498     
2499     m_shouldCallCheckLoadComplete = false;
2500
2501     if (!m_frame.page())
2502         return;
2503
2504     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2505     // is currently needed in order to null out the previous history item for all frames.
2506     Vector<Ref<Frame>, 16> frames;
2507     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2508         frames.append(*frame);
2509
2510     // To process children before their parents, iterate the vector backwards.
2511     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2512         if ((*frame)->page())
2513             (*frame)->loader().checkLoadCompleteForThisFrame();
2514     }
2515 }
2516
2517 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2518 {
2519     if (!recurse)
2520         return m_frame.document()->cachedResourceLoader().requestCount();
2521
2522     int count = 0;
2523     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2524         count += frame->document()->cachedResourceLoader().requestCount();
2525     return count;
2526 }
2527
2528 String FrameLoader::userAgent(const URL& url) const
2529 {
2530     return m_client.userAgent(url);
2531 }
2532
2533 void FrameLoader::dispatchOnloadEvents()
2534 {
2535     m_client.dispatchDidDispatchOnloadEvents();
2536
2537     if (documentLoader())
2538         documentLoader()->dispatchOnloadEvents();
2539 }
2540
2541 void FrameLoader::frameDetached()
2542 {
2543     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2544     Ref<Frame> protectedFrame(m_frame);
2545
2546     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2547         stopAllLoaders();
2548         m_frame.document()->stopActiveDOMObjects();
2549     }
2550
2551     detachFromParent();
2552 }
2553
2554 void FrameLoader::detachFromParent()
2555 {
2556     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2557     Ref<Frame> protect(m_frame);
2558
2559     closeURL();
2560     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2561     detachChildren();
2562     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2563         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2564         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2565         // handlers might start a new subresource load in this frame.
2566         stopAllLoaders();
2567     }
2568
2569     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2570
2571     detachViewsAndDocumentLoader();
2572
2573     m_progressTracker = nullptr;
2574
2575     if (Frame* parent = m_frame.tree().parent()) {
2576         parent->loader().closeAndRemoveChild(m_frame);
2577         parent->loader().scheduleCheckCompleted();
2578     } else {
2579         m_frame.setView(nullptr);
2580         m_frame.willDetachPage();
2581         m_frame.detachFromPage();
2582     }
2583 }
2584
2585 void FrameLoader::detachViewsAndDocumentLoader()
2586 {
2587     m_client.detachedFromParent2();
2588     setDocumentLoader(nullptr);
2589     m_client.detachedFromParent3();
2590 }
2591     
2592 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2593 {
2594     addExtraFieldsToRequest(request, m_loadType, false);
2595 }
2596
2597 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2598 {
2599     // FIXME: Using m_loadType seems wrong for some callers.
2600     // If we are only preparing to load the main resource, that is previous load's load type!
2601     addExtraFieldsToRequest(request, m_loadType, true);
2602
2603     // Upgrade-Insecure-Requests should only be added to main resource requests
2604     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2605 }
2606
2607 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2608 {
2609     if (m_overrideCachePolicyForTesting)
2610         return m_overrideCachePolicyForTesting.value();
2611
2612     if (isMainResource) {
2613         if (isReload(loadType) || request.isConditional())
2614             return ReloadIgnoringCacheData;
2615
2616         return UseProtocolCachePolicy;
2617     }
2618
2619     if (request.isConditional())
2620         return ReloadIgnoringCacheData;
2621
2622     if (documentLoader()->isLoadingInAPISense()) {
2623         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2624         // original request cache policy for two reasons:
2625         // 1. For POST requests, we mutate the cache policy for the main resource,
2626         //    but we do not want this to apply to subresources
2627         // 2. Delegates that modify the cache policy using willSendRequest: should
2628         //    not affect any other resources. Such changes need to be done
2629         //    per request.
2630         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2631         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2632         // This policy is set on initial request too, but should not be inherited.
2633         return (mainDocumentOriginalCachePolicy == ReturnCacheDataDontLoad) ? ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2634     }
2635
2636     return UseProtocolCachePolicy;
2637 }
2638
2639 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2640 {
2641     // Don't set the cookie policy URL if it's already been set.
2642     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2643     if (request.firstPartyForCookies().isEmpty()) {
2644         if (isMainResource && m_frame.isMainFrame())
2645             request.setFirstPartyForCookies(request.url());
2646         else if (Document* document = m_frame.document())
2647             request.setFirstPartyForCookies(document->firstPartyForCookies());
2648     }
2649
2650     Page* page = frame().page();
2651     bool hasSpecificCachePolicy = request.cachePolicy() != UseProtocolCachePolicy;
2652
2653     if (page && page->isResourceCachingDisabled()) {
2654         request.setCachePolicy(ReloadIgnoringCacheData);
2655         loadType = FrameLoadType::ReloadFromOrigin;
2656     } else if (!hasSpecificCachePolicy)
2657         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2658
2659     // The remaining modifications are only necessary for HTTP and HTTPS.
2660     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2661         return;
2662
2663     if (!hasSpecificCachePolicy && request.cachePolicy() == ReloadIgnoringCacheData) {
2664         if (loadType == FrameLoadType::Reload)
2665             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2666         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2667             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2668             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2669         }
2670     }
2671
2672     if (m_overrideResourceLoadPriorityForTesting)
2673         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2674
2675     applyUserAgent(request);
2676
2677     if (isMainResource)
2678         request.setHTTPAccept(defaultAcceptHeader);
2679
2680     // Make sure we send the Origin header.
2681     addHTTPOriginIfNeeded(request, String());
2682
2683     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2684     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2685         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2686         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2687     }
2688 }
2689
2690 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2691 {
2692     if (!request.httpOrigin().isEmpty())
2693         return;  // Request already has an Origin header.
2694
2695     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2696     // For example, if an intranet page has a hyperlink to an external web
2697     // site, we don't want to include the Origin of the request because it
2698     // will leak the internal host name. Similar privacy concerns have lead
2699     // to the widespread suppression of the Referer header at the network
2700     // layer.
2701     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
2702         return;
2703
2704     // For non-GET and non-HEAD methods, always send an Origin header so the
2705     // server knows we support this feature.
2706
2707     if (origin.isEmpty()) {
2708         // If we don't know what origin header to attach, we attach the value
2709         // for an empty origin.
2710         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
2711         return;
2712     }
2713
2714     request.setHTTPOrigin(origin);
2715 }
2716
2717 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
2718 {
2719     if (request.url().protocolIs("https")) {
2720         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
2721         return;
2722     }
2723
2724     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, ASCIILiteral("1"));
2725 }
2726
2727 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, FormState* formState)
2728 {
2729     String frameName = request.frameName();
2730     LockHistory lockHistory = request.lockHistory();
2731     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
2732     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
2733
2734     const ResourceRequest& inRequest = request.resourceRequest();
2735     const URL& url = inRequest.url();
2736     const String& contentType = inRequest.httpContentType();
2737     String origin = inRequest.httpOrigin();
2738
2739     ResourceRequest workingResourceRequest(url);    
2740
2741     if (!referrer.isEmpty())
2742         workingResourceRequest.setHTTPReferrer(referrer);
2743     workingResourceRequest.setHTTPOrigin(origin);
2744     workingResourceRequest.setHTTPMethod("POST");
2745     workingResourceRequest.setHTTPBody(inRequest.httpBody());
2746     workingResourceRequest.setHTTPContentType(contentType);
2747     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
2748
2749     if (Document* document = m_frame.document())
2750         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2751
2752     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
2753
2754     if (!frameName.isEmpty()) {
2755         // The search for a target frame is done earlier in the case of form submission.
2756         if (Frame* targetFrame = formState ? 0 : findFrameForNavigation(frameName)) {
2757             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, action, lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL);
2758             return;
2759         }
2760
2761         policyChecker().checkNewWindowPolicy(action, workingResourceRequest, WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy] (const ResourceRequest& request, FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue) {
2762             continueLoadAfterNewWindowPolicy(request, formState, frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
2763         });
2764         return;
2765     }
2766
2767     // must grab this now, since this load may stop the previous load and clear this flag
2768     bool isRedirect = m_quickRedirectComing;
2769     loadWithNavigationAction(workingResourceRequest, action, lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL);
2770     if (isRedirect) {
2771         m_quickRedirectComing = false;
2772         if (m_provisionalDocumentLoader)
2773             m_provisionalDocumentLoader->setIsClientRedirect(true);
2774     }
2775 }
2776
2777 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, StoredCredentials storedCredentials, ClientCredentialPolicy clientCredentialPolicy, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
2778 {
2779     ASSERT(m_frame.document());
2780     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
2781     
2782     ResourceRequest initialRequest = request;
2783     initialRequest.setTimeoutInterval(10);
2784     
2785     if (!referrer.isEmpty())
2786         initialRequest.setHTTPReferrer(referrer);
2787     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
2788
2789     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
2790     
2791     addExtraFieldsToSubresourceRequest(initialRequest);
2792
2793     unsigned long identifier = 0;    
2794     ResourceRequest newRequest(initialRequest);
2795     requestFromDelegate(newRequest, identifier, error);
2796
2797 #if ENABLE(CONTENT_EXTENSIONS)
2798     if (error.isNull()) {
2799         if (auto* page = m_frame.page()) {
2800             if (m_documentLoader) {
2801                 auto blockedStatus = page->userContentProvider().processContentExtensionRulesForLoad(newRequest.url(), ResourceType::Raw, *m_documentLoader);
2802                 applyBlockedStatusToRequest(blockedStatus, newRequest);
2803                 if (blockedStatus.blockedLoad) {
2804                     newRequest = { };
2805                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
2806                     response = { };
2807                     data = nullptr;
2808                 }
2809             }
2810         }
2811     }
2812 #endif
2813
2814     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
2815     
2816     if (error.isNull()) {
2817         ASSERT(!newRequest.isNull());
2818
2819         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
2820             Vector<char> buffer;
2821             platformStrategies()->loaderStrategy()->loadResourceSynchronously(networkingContext(), identifier, newRequest, storedCredentials, clientCredentialPolicy, error, response, buffer);
2822             data = SharedBuffer::create(WTFMove(buffer));
2823             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
2824             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
2825         }
2826     }
2827     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
2828     return identifier;
2829 }
2830
2831 const ResourceRequest& FrameLoader::originalRequest() const
2832 {
2833     return activeDocumentLoader()->originalRequestCopy();
2834 }
2835
2836 void FrameLoader::receivedMainResourceError(const ResourceError& error)
2837 {
2838     // Retain because the stop may release the last reference to it.
2839     Ref<Frame> protect(m_frame);
2840
2841     RefPtr<DocumentLoader> loader = activeDocumentLoader();
2842     // FIXME: Don't want to do this if an entirely new load is going, so should check
2843     // that both data sources on the frame are either this or nil.
2844     stop();
2845     if (m_client.shouldFallBack(error))
2846         handleFallbackContent();
2847
2848     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
2849         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
2850             m_submittedFormURL = URL();
2851             
2852         // We might have made a page cache item, but now we're bailing out due to an error before we ever
2853         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
2854         // so that the existing view (that wenever got far enough to replace) can continue being used.
2855         history().invalidateCurrentItemCachedPage();
2856         
2857         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
2858         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
2859         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
2860         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
2861         // has ended.
2862         if (m_sentRedirectNotification)
2863             clientRedirectCancelledOrFinished(false);
2864     }
2865
2866     checkCompleted();
2867     if (m_frame.page())
2868         checkLoadComplete();
2869 }
2870
2871 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
2872 {
2873     m_quickRedirectComing = false;
2874
2875     if (!shouldContinue)
2876         return;
2877
2878     // Calling stopLoading() on the provisional document loader can cause the underlying
2879     // frame to be deallocated.
2880     Ref<Frame> protectedFrame(m_frame);
2881
2882     // If we have a provisional request for a different document, a fragment scroll should cancel it.
2883     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
2884         m_provisionalDocumentLoader->stopLoading();
2885         setProvisionalDocumentLoader(nullptr);
2886     }
2887
2888     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
2889     loadInSameDocument(request.url(), 0, !isRedirect);
2890 }
2891
2892 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
2893 {
2894     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
2895     // currently displaying a frameset, or if the URL does not have a fragment.
2896     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
2897
2898     // FIXME: What about load types other than Standard and Reload?
2899
2900     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
2901         && !isReload(loadType)
2902         && loadType != FrameLoadType::Same
2903         && !shouldReload(m_frame.document()->url(), url)
2904         // We don't want to just scroll if a link from within a
2905         // frameset is trying to reload the frameset into _top.
2906         && !m_frame.document()->isFrameSet();
2907 }
2908
2909 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
2910 {
2911     return historyItem && historyItem->shouldRestoreScrollPosition();
2912 }
2913
2914 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
2915 {
2916     return !isNewNavigation && !isBackForwardLoadType(loadType);
2917 }
2918
2919 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
2920 {
2921     FrameView* view = m_frame.view();
2922     if (!view)
2923         return;
2924
2925     // Leaking scroll position to a cross-origin ancestor would permit the so-called "framesniffing" attack.
2926     RefPtr<Frame> boundaryFrame(url.hasFragmentIdentifier() ? m_frame.document()->findUnsafeParentScrollPropagationBoundary() : 0);
2927
2928     if (boundaryFrame)
2929         boundaryFrame->view()->setSafeToPropagateScrollToParent(false);
2930
2931     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
2932         view->scrollToFragment(url);
2933
2934     if (boundaryFrame)
2935         boundaryFrame->view()->setSafeToPropagateScrollToParent(true);
2936 }
2937
2938 bool FrameLoader::shouldClose()
2939 {
2940     Page* page = m_frame.page();
2941     if (!page)
2942         return true;
2943     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
2944         return true;
2945
2946     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
2947     Vector<Ref<Frame>, 16> targetFrames;
2948     targetFrames.append(m_frame);
2949     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
2950         targetFrames.append(*child);
2951
2952     bool shouldClose = false;
2953     {
2954         NavigationDisabler navigationDisabler(&m_frame);
2955         size_t i;
2956
2957         for (i = 0; i < targetFrames.size(); i++) {
2958             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
2959                 continue;
2960             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
2961                 break;
2962         }
2963
2964         if (i == targetFrames.size())
2965             shouldClose = true;
2966     }
2967
2968     if (!shouldClose)
2969         m_submittedFormURL = URL();
2970
2971     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
2972     return shouldClose;
2973 }
2974
2975 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
2976 {
2977     if (!m_frame.document())
2978         return;
2979
2980     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
2981     ForbidPromptsScope forbidPrompts(m_frame.page());
2982     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2983
2984     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
2985         auto* currentFocusedElement = m_frame.document()->focusedElement();
2986         if (is<HTMLInputElement>(currentFocusedElement))
2987             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
2988         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
2989             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
2990                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
2991                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
2992             }
2993
2994             // FIXME: update Page Visibility state here.
2995             // https://bugs.webkit.org/show_bug.cgi?id=116770
2996
2997             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
2998                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, false, false));
2999                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3000                 // while dispatching the event, so protect it to prevent writing the end
3001                 // time into freed memory.
3002                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3003                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3004                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3005                     auto& timing = documentLoader->timing();
3006                     timing.markUnloadEventStart();
3007                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3008                     timing.markUnloadEventEnd();
3009                 } else
3010                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3011             }
3012         }
3013         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3014         m_wasUnloadEventEmitted = true;
3015     }
3016
3017     // Dispatching the unload event could have made m_frame.document() null.
3018     if (!m_frame.document())
3019         return;
3020
3021     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3022         return;
3023
3024     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3025     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3026         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3027
3028     if (!keepEventListeners)
3029         m_frame.document()->removeAllEventListeners();
3030 }
3031
3032 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3033 {
3034     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3035     // Web pages can request we ask for confirmation before navigating by:
3036     // - Cancelling the BeforeUnloadEvent (modern way)
3037     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3038     // - Returning a non-empty string from the event handler, which is then set as returnValue
3039     //   attribute on the BeforeUnloadEvent.
3040     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3041 }
3042
3043 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3044 {
3045     DOMWindow* domWindow = m_frame.document()->domWindow();
3046     if (!domWindow)
3047         return true;
3048
3049     RefPtr<Document> document = m_frame.document();
3050     if (!document->bodyOrFrameset())
3051         return true;
3052     
3053     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3054     m_pageDismissalEventBeingDispatched = PageDismissalType::BeforeUnload;
3055
3056     {
3057         ForbidPromptsScope forbidPrompts(m_frame.page());
3058         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3059         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3060     }
3061
3062     m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3063
3064     if (!beforeUnloadEvent->defaultPrevented())
3065         document->defaultEventHandler(beforeUnloadEvent.get());
3066
3067     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3068         return true;
3069
3070     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3071     // this frame is not allowed to cause another one to be shown.
3072     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3073         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, ASCIILiteral("Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."));
3074         return true;
3075     }
3076
3077     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3078     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3079     if (frameLoaderBeingNavigated != this) {
3080         Frame* parentFrame = m_frame.tree().parent();
3081         while (parentFrame) {
3082             Document* parentDocument = parentFrame->document();
3083             if (!parentDocument)
3084                 return true;
3085             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3086                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, ASCIILiteral("Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."));
3087                 return true;
3088             }
3089             
3090             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3091                 break;
3092             
3093             parentFrame = parentFrame->tree().parent();
3094         }
3095         
3096         // The navigatingFrameLoader should always be in our ancestory.
3097         ASSERT(parentFrame);
3098         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3099     }
3100
3101     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3102
3103     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3104     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3105 }
3106
3107 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, bool shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3108 {
3109     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3110     // nil policyDataSource because loading the alternate page will have passed
3111     // through this method already, nested; otherwise, policyDataSource should still be set.
3112     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3113
3114     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3115
3116     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3117
3118     // Three reasons we can't continue:
3119     //    1) Navigation policy delegate said we can't so request is nil. A primary case of this 
3120     //       is the user responding Cancel to the form repost nag sheet.
3121     //    2) User responded Cancel to an alert popped up by the before unload event handler.
3122     //    3) The request's URL is invalid and navigation to invalid URLs is disallowed.
3123     bool canContinue = shouldContinue && shouldClose() && !urlIsDisallowed;
3124
3125     if (!canContinue) {
3126         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3127         // need to report that the client redirect was cancelled.
3128         // FIXME: The client should be told about ignored non-quick redirects, too.
3129         if (m_quickRedirectComing)
3130             clientRedirectCancelledOrFinished(false);
3131
3132         setPolicyDocumentLoader(nullptr);
3133
3134         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3135         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3136         // we only do this when punting a navigation for the target frame or top-level frame.  
3137         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3138             if (Page* page = m_frame.page()) {
3139                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem()) {
3140                     page->backForward().setCurrentItem(resetItem);
3141                     m_frame.loader().client().updateGlobalHistoryItemForPage();
3142                 }
3143             }
3144         }
3145         return;
3146     }
3147
3148     FrameLoadType type = policyChecker().loadType();
3149     // A new navigation is in progress, so don't clear the history's provisional item.
3150     stopAllLoaders(ShouldNotClearProvisionalItem);
3151     
3152     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3153     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3154     if (!m_frame.page())
3155         return;
3156
3157     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3158     m_loadType = type;
3159     setState(FrameStateProvisional);
3160
3161     setPolicyDocumentLoader(nullptr);
3162
3163     if (isBackForwardLoadType(type)) {
3164         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3165         if (history().provisionalItem()->isInPageCache()) {
3166             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3167             loadProvisionalItemFromCachedPage();
3168             return;
3169         }
3170         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3171     }
3172
3173     if (!formState) {
3174         continueLoadAfterWillSubmitForm();
3175         return;
3176     }
3177
3178     m_client.dispatchWillSubmitForm(*formState, [this] (PolicyAction action) {
3179         policyChecker().continueLoadAfterWillSubmitForm(action);
3180     });
3181 }
3182
3183 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3184     FormState* formState, const String& frameName, const NavigationAction& action, bool shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3185 {
3186     if (!shouldContinue)
3187         return;
3188
3189     Ref<Frame> frame(m_frame);
3190     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3191     if (!mainFrame)
3192         return;
3193
3194     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3195     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3196         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3197
3198     if (!equalIgnoringASCIICase(frameName, "_blank"))
3199         mainFrame->tree().setName(frameName);
3200
3201     mainFrame->page()->setOpenedByDOM();
3202     mainFrame->loader().m_client.dispatchShow();
3203     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3204         mainFrame->loader().setOpener(frame.ptr());
3205         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3206     }
3207
3208     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy() };
3209     mainFrame->loader().loadWithNavigationAction(request, newAction, LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3210 }
3211
3212 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3213 {
3214     ASSERT(!request.isNull());
3215
3216     identifier = 0;
3217     if (Page* page = m_frame.page()) {
3218         identifier = page->progress().createUniqueIdentifier();
3219         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3220     }
3221
3222     ResourceRequest newRequest(request);
3223     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3224
3225     if (newRequest.isNull())
3226         error = cancelledError(request);
3227     else
3228         error = ResourceError();
3229
3230     request = newRequest;
3231 }
3232
3233 void FrameLoader::loadedResourceFromMemoryCache(CachedResource* resource, ResourceRequest& newRequest)
3234 {
3235     Page* page = m_frame.page();
3236     if (!page)
3237         return;
3238
3239     if (!resource->shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource->url()))
3240         return;
3241
3242     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3243     if (resource->type() == CachedResource::MainResource)
3244         return;
3245
3246     if (!page->areMemoryCacheClientCallsEnabled()) {
3247         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), resource);
3248         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource->resourceRequest());
3249         m_documentLoader->didTellClientAboutLoad(resource->url());
3250         return;
3251     }
3252
3253     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource->response(), resource->encodedSize())) {
3254         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), resource);
3255         m_documentLoader->didTellClientAboutLoad(resource->url());
3256         return;
3257     }
3258
3259     unsigned long identifier;
3260     ResourceError error;
3261     requestFromDelegate(newRequest, identifier, error);
3262
3263     ResourceResponse response = resource->response();
3264     response.setSource(ResourceResponse::Source::MemoryCache);
3265     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource->encodedSize(), 0, error);
3266 }
3267
3268 void FrameLoader::applyUserAgent(ResourceRequest& request)
3269 {
3270     String userAgent = this->userAgent(request.url());
3271     ASSERT(!userAgent.isNull());
3272     request.setHTTPUserAgent(userAgent);
3273 }
3274
3275 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3276 {
3277     Frame& topFrame = m_frame.tree().top();
3278     if (&m_frame == &topFrame)
3279         return false;
3280
3281     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3282
3283     switch (disposition) {
3284     case XFrameOptionsSameOrigin: {
3285         RefPtr<SecurityOrigin> origin = SecurityOrigin::create(url);
3286         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3287             return true;
3288         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3289             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3290                 break;
3291         }
3292         return false;
3293     }
3294     case XFrameOptionsDeny:
3295         return true;
3296     case XFrameOptionsAllowAll:
3297         return false;
3298     case XFrameOptionsConflict:
3299         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3300         return true;
3301     case XFrameOptionsInvalid:
3302         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3303         return false;
3304     case XFrameOptionsNone:
3305         return false;
3306     }
3307     ASSERT_NOT_REACHED();
3308     return false;
3309 }
3310
3311 void FrameLoader::loadProvisionalItemFromCachedPage()
3312 {
3313     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3314     LOG(PageCache, "WebCorePageCache: Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3315
3316     prepareForLoadStart();
3317
3318     m_loadingFromCachedPage = true;
3319
3320     // Should have timing data from previous time(s) the page was shown.
3321     ASSERT(provisionalLoader->timing().startTime());
3322     provisionalLoader->resetTiming();
3323     provisionalLoader->timing().markStartTime();
3324
3325     provisionalLoader->setCommitted(true);
3326     commitProvisionalLoad();
3327 }
3328
3329 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3330 {
3331     if (!history().currentItem())
3332         return false;
3333     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3334 }
3335
3336 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3337 {
3338     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3339         return false;
3340     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3341     if (!ownerElement)
3342         return false;
3343     if (!ownerElement->hasTagName(iframeTag))
3344         return false;
3345     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3346 }
3347
3348 Frame* FrameLoader::findFrameForNavigation(const AtomicString& name, Document* activeDocument)
3349 {
3350     Frame* frame = m_frame.tree().find(name);
3351
3352     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3353     if (!activeDocument)
3354         activeDocument = m_frame.document();
3355
3356     if (!activeDocument->canNavigate(frame))
3357         return nullptr;
3358
3359     return frame;
3360 }
3361
3362 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3363 {
3364     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3365
3366     Ref<Frame> protect(m_frame);
3367
3368     // Save user view state to the current history item here since we don't do a normal load.
3369     // FIXME: Does form state need to be saved here too?
3370     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3371     if (FrameView* view = m_frame.view())
3372         view->setWasScrolledByUser(false);
3373
3374     history().setCurrentItem(&item);
3375         
3376     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3377     loadInSameDocument(item.url(), item.stateObject(), false);
3378
3379     // Restore user view state from the current history item here since we don't do a normal load.
3380     history().restoreScrollPositionAndViewState();
3381 }
3382
3383 // FIXME: This function should really be split into a couple pieces, some of
3384 // which should be methods of HistoryController and some of which should be
3385 // methods of FrameLoader.
3386 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy)
3387 {
3388     // Remember this item so we can traverse any child items as child frames load
3389     history().setProvisionalItem(&item);
3390
3391     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3392
3393     if (CachedPage* cachedPage = PageCache::singleton().get(item, m_frame.page())) {
3394         auto documentLoader = cachedPage->documentLoader();
3395         m_client.updateCachedDocumentLoader(*documentLoader);
3396         documentLoader->setTriggeringAction({ *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false });
3397         documentLoader->setLastCheckedRequest(ResourceRequest());
3398         loadWithDocumentLoader(documentLoader, loadType, 0, AllowNavigationToInvalidURL::Yes);
3399         return;
3400     }
3401
3402     URL itemURL = item.url();
3403     URL itemOriginalURL = item.originalURL();
3404     URL currentURL;
3405     if (documentLoader())
3406         currentURL = documentLoader()->url();
3407     RefPtr<FormData> formData = item.formData();
3408
3409     ResourceRequest request(itemURL);
3410
3411     if (!item.referrer().isNull())
3412         request.setHTTPReferrer(item.referrer());
3413
3414     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3415     bool isFormSubmission = false;
3416     Event* event = nullptr;
3417
3418     // If this was a repost that failed the page cache, we might try to repost the form.
3419     NavigationAction action;
3420     if (formData) {
3421         formData->generateFiles(m_frame.document());
3422
3423         request.setHTTPMethod("POST");
3424         request.setHTTPBody(WTFMove(formData));
3425         request.setHTTPContentType(item.formContentType());
3426         RefPtr<SecurityOrigin> securityOrigin = SecurityOrigin::createFromString(item.referrer());
3427         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3428         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3429
3430