0f4a5283f5a3ef22d7e4203e660acf41f2545f19
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardCache.h"
41 #include "BackForwardController.h"
42 #include "BeforeUnloadEvent.h"
43 #include "CachedPage.h"
44 #include "CachedResourceLoader.h"
45 #include "Chrome.h"
46 #include "ChromeClient.h"
47 #include "CommonVM.h"
48 #include "ContentFilter.h"
49 #include "ContentRuleListResults.h"
50 #include "ContentSecurityPolicy.h"
51 #include "CustomHeaderFields.h"
52 #include "DOMWindow.h"
53 #include "DatabaseManager.h"
54 #include "DiagnosticLoggingClient.h"
55 #include "DiagnosticLoggingKeys.h"
56 #include "Document.h"
57 #include "DocumentLoader.h"
58 #include "Editor.h"
59 #include "EditorClient.h"
60 #include "Element.h"
61 #include "Event.h"
62 #include "EventHandler.h"
63 #include "EventNames.h"
64 #include "FloatRect.h"
65 #include "FormState.h"
66 #include "FormSubmission.h"
67 #include "Frame.h"
68 #include "FrameLoadRequest.h"
69 #include "FrameLoaderClient.h"
70 #include "FrameNetworkingContext.h"
71 #include "FrameTree.h"
72 #include "FrameView.h"
73 #include "GCController.h"
74 #include "HTMLFormElement.h"
75 #include "HTMLInputElement.h"
76 #include "HTMLNames.h"
77 #include "HTMLObjectElement.h"
78 #include "HTMLParserIdioms.h"
79 #include "HTTPHeaderNames.h"
80 #include "HTTPHeaderValues.h"
81 #include "HTTPParsers.h"
82 #include "HistoryController.h"
83 #include "HistoryItem.h"
84 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
85 #include "InspectorController.h"
86 #include "InspectorInstrumentation.h"
87 #include "LinkLoader.h"
88 #include "LoadTiming.h"
89 #include "LoaderStrategy.h"
90 #include "Logging.h"
91 #include "MemoryCache.h"
92 #include "MemoryRelease.h"
93 #include "NavigationDisabler.h"
94 #include "NavigationScheduler.h"
95 #include "Node.h"
96 #include "Page.h"
97 #include "PageTransitionEvent.h"
98 #include "PerformanceLogging.h"
99 #include "PlatformStrategies.h"
100 #include "PluginData.h"
101 #include "PluginDocument.h"
102 #include "PolicyChecker.h"
103 #include "ProgressTracker.h"
104 #include "ResourceHandle.h"
105 #include "ResourceLoadInfo.h"
106 #include "ResourceLoadObserver.h"
107 #include "ResourceRequest.h"
108 #include "SVGDocument.h"
109 #include "SVGLocatable.h"
110 #include "SVGNames.h"
111 #include "SVGViewElement.h"
112 #include "SVGViewSpec.h"
113 #include "ScriptController.h"
114 #include "ScriptSourceCode.h"
115 #include "ScrollAnimator.h"
116 #include "SecurityOrigin.h"
117 #include "SecurityPolicy.h"
118 #include "SegmentedString.h"
119 #include "SerializedScriptValue.h"
120 #include "Settings.h"
121 #include "ShouldTreatAsContinuingLoad.h"
122 #include "StyleTreeResolver.h"
123 #include "SubframeLoader.h"
124 #include "SubresourceLoader.h"
125 #include "TextResourceDecoder.h"
126 #include "UserContentController.h"
127 #include "UserGestureIndicator.h"
128 #include "WindowFeatures.h"
129 #include "XMLDocumentParser.h"
130 #include <dom/ScriptDisallowedScope.h>
131 #include <wtf/CompletionHandler.h>
132 #include <wtf/URL.h>
133 #include <wtf/Ref.h>
134 #include <wtf/SetForScope.h>
135 #include <wtf/StdLibExtras.h>
136 #include <wtf/SystemTracing.h>
137 #include <wtf/text/CString.h>
138 #include <wtf/text/WTFString.h>
139
140 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
141 #include "Archive.h"
142 #endif
143
144 #if ENABLE(DATA_DETECTION)
145 #include "DataDetection.h"
146 #endif
147
148 #if PLATFORM(IOS_FAMILY)
149 #include "DocumentType.h"
150 #include "ResourceLoader.h"
151 #include "RuntimeApplicationChecks.h"
152 #endif
153
154 #define PAGE_ID ((pageID().valueOr(PageIdentifier())).toUInt64())
155 #define FRAME_ID ((frameID().valueOr(FrameIdentifier())).toUInt64())
156 #define FRAMELOADER_RELEASE_LOG_IF_ALLOWED(channel, fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), channel, "%p - [pageID=%" PRIu64 ", frameID=%" PRIu64 ", main=%d] FrameLoader::" fmt, this, PAGE_ID, FRAME_ID, m_frame.isMainFrame(), ##__VA_ARGS__)
157 #define FRAMELOADER_RELEASE_LOG_ERROR_IF_ALLOWED(channel, fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), channel, "%p - [pageID=%" PRIu64 ", frameID=%" PRIu64 ", main=%d] FrameLoader::" fmt, this, PAGE_ID, FRAME_ID, m_frame.isMainFrame(), ##__VA_ARGS__)
158
159 namespace WebCore {
160
161 using namespace HTMLNames;
162 using namespace SVGNames;
163
164 bool isBackForwardLoadType(FrameLoadType type)
165 {
166     switch (type) {
167     case FrameLoadType::Standard:
168     case FrameLoadType::Reload:
169     case FrameLoadType::ReloadFromOrigin:
170     case FrameLoadType::ReloadExpiredOnly:
171     case FrameLoadType::Same:
172     case FrameLoadType::RedirectWithLockedBackForwardList:
173     case FrameLoadType::Replace:
174         return false;
175     case FrameLoadType::Back:
176     case FrameLoadType::Forward:
177     case FrameLoadType::IndexedBackForward:
178         return true;
179     }
180     ASSERT_NOT_REACHED();
181     return false;
182 }
183
184 bool isReload(FrameLoadType type)
185 {
186     switch (type) {
187     case FrameLoadType::Reload:
188     case FrameLoadType::ReloadFromOrigin:
189     case FrameLoadType::ReloadExpiredOnly:
190         return true;
191     case FrameLoadType::Standard:
192     case FrameLoadType::Same:
193     case FrameLoadType::RedirectWithLockedBackForwardList:
194     case FrameLoadType::Replace:
195     case FrameLoadType::Back:
196     case FrameLoadType::Forward:
197     case FrameLoadType::IndexedBackForward:
198         return false;
199     }
200     ASSERT_NOT_REACHED();
201     return false;
202 }
203
204 // This is not in the FrameLoader class to emphasize that it does not depend on
205 // private FrameLoader data, and to avoid increasing the number of public functions
206 // with access to private data.  Since only this .cpp file needs it, making it
207 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
208 // API simpler.
209 //
210 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
211 {
212     return frame.document() && frame.document()->isSandboxed(mask);
213 }
214
215 class PageLevelForbidScope {
216 protected:
217     explicit PageLevelForbidScope(Page* page)
218         : m_page(makeWeakPtr(page))
219     {
220     }
221
222     ~PageLevelForbidScope() = default;
223
224     WeakPtr<Page> m_page;
225 };
226
227 struct ForbidPromptsScope : public PageLevelForbidScope {
228     explicit ForbidPromptsScope(Page* page)
229         : PageLevelForbidScope(page)
230     {
231         if (m_page)
232             m_page->forbidPrompts();
233     }
234
235     ~ForbidPromptsScope()
236     {
237         if (m_page)
238             m_page->allowPrompts();
239     }
240 };
241
242 struct ForbidSynchronousLoadsScope : public PageLevelForbidScope {
243     explicit ForbidSynchronousLoadsScope(Page* page)
244         : PageLevelForbidScope(page)
245     {
246         if (m_page)
247             m_page->forbidSynchronousLoads();
248     }
249
250     ~ForbidSynchronousLoadsScope()
251     {
252         if (m_page)
253             m_page->allowSynchronousLoads();
254     }
255 };
256
257 class FrameLoader::FrameProgressTracker {
258     WTF_MAKE_FAST_ALLOCATED;
259 public:
260     explicit FrameProgressTracker(Frame& frame)
261         : m_frame(frame)
262         , m_inProgress(false)
263     {
264     }
265
266     ~FrameProgressTracker()
267     {
268         if (m_inProgress && m_frame.page())
269             m_frame.page()->progress().progressCompleted(m_frame);
270     }
271
272     void progressStarted()
273     {
274         ASSERT(m_frame.page());
275         if (!m_inProgress)
276             m_frame.page()->progress().progressStarted(m_frame);
277         m_inProgress = true;
278     }
279
280     void progressCompleted()
281     {
282         ASSERT(m_inProgress);
283         ASSERT(m_frame.page());
284         m_inProgress = false;
285         m_frame.page()->progress().progressCompleted(m_frame);
286         platformStrategies()->loaderStrategy()->pageLoadCompleted(*m_frame.page());
287     }
288
289 private:
290     Frame& m_frame;
291     bool m_inProgress;
292 };
293
294 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
295     : m_frame(frame)
296     , m_client(client)
297     , m_policyChecker(makeUnique<PolicyChecker>(frame))
298     , m_history(makeUnique<HistoryController>(frame))
299     , m_notifier(frame)
300     , m_subframeLoader(makeUnique<SubframeLoader>(frame))
301     , m_mixedContentChecker(frame)
302     , m_state(FrameStateProvisional)
303     , m_loadType(FrameLoadType::Standard)
304     , m_quickRedirectComing(false)
305     , m_sentRedirectNotification(false)
306     , m_inStopAllLoaders(false)
307     , m_isExecutingJavaScriptFormAction(false)
308     , m_didCallImplicitClose(true)
309     , m_wasUnloadEventEmitted(false)
310     , m_isComplete(false)
311     , m_needsClear(false)
312     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
313     , m_shouldCallCheckCompleted(false)
314     , m_shouldCallCheckLoadComplete(false)
315     , m_opener(nullptr)
316     , m_loadingFromCachedPage(false)
317     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
318     , m_loadsSynchronously(false)
319     , m_forcedSandboxFlags(SandboxNone)
320 {
321 }
322
323 FrameLoader::~FrameLoader()
324 {
325     setOpener(nullptr);
326     detachFromAllOpenedFrames();
327
328     m_client.frameLoaderDestroyed();
329
330     if (m_networkingContext)
331         m_networkingContext->invalidate();
332 }
333
334 void FrameLoader::detachFromAllOpenedFrames()
335 {
336     for (auto& frame : m_openedFrames)
337         frame->loader().m_opener = nullptr;
338     m_openedFrames.clear();
339 }
340
341 void FrameLoader::init()
342 {
343     // This somewhat odd set of steps gives the frame an initial empty document.
344     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
345     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
346     m_provisionalDocumentLoader->startLoadingMainResource();
347
348     Ref<Frame> protect(m_frame);
349     m_frame.document()->cancelParsing();
350     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
351
352     m_networkingContext = m_client.createNetworkingContext();
353     m_progressTracker = makeUnique<FrameProgressTracker>(m_frame);
354 }
355
356 void FrameLoader::initForSynthesizedDocument(const URL&)
357 {
358     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
359     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
360
361     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
362     loader->attachToFrame(m_frame);
363     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
364     loader->setCommitted(true);
365     setDocumentLoader(loader.ptr());
366
367     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
368     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
369     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
370     m_client.transitionToCommittedForNewPage();
371
372     m_didCallImplicitClose = true;
373     m_isComplete = true;
374     m_state = FrameStateComplete;
375     m_needsClear = true;
376
377     m_networkingContext = m_client.createNetworkingContext();
378     m_progressTracker = makeUnique<FrameProgressTracker>(m_frame);
379 }
380
381 Optional<PageIdentifier> FrameLoader::pageID() const
382 {
383     return client().pageID();
384 }
385
386 Optional<FrameIdentifier> FrameLoader::frameID() const
387 {
388     return client().frameID();
389 }
390
391 void FrameLoader::setDefersLoading(bool defers)
392 {
393     if (m_documentLoader)
394         m_documentLoader->setDefersLoading(defers);
395     if (m_provisionalDocumentLoader)
396         m_provisionalDocumentLoader->setDefersLoading(defers);
397     if (m_policyDocumentLoader)
398         m_policyDocumentLoader->setDefersLoading(defers);
399     history().setDefersLoading(defers);
400
401     if (!defers) {
402         m_frame.navigationScheduler().startTimer();
403         startCheckCompleteTimer();
404     }
405 }
406
407 void FrameLoader::checkContentPolicy(const ResourceResponse& response, PolicyCheckIdentifier identifier, ContentPolicyDecisionFunction&& function)
408 {
409     if (!activeDocumentLoader()) {
410         // Load was cancelled
411         function(PolicyAction::Ignore, identifier);
412         return;
413     }
414
415     // FIXME: Validate the policy check identifier.
416     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), identifier, activeDocumentLoader()->downloadAttribute(), WTFMove(function));
417 }
418
419 void FrameLoader::changeLocation(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, const ReferrerPolicy& referrerPolicy, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo, Optional<AdClickAttribution>&& adClickAttribution)
420 {
421     auto* frame = lexicalFrameFromCommonVM();
422     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
423
424     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(referrerPolicy == ReferrerPolicy::NoReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
425     changeLocation(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, referrerPolicy, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent, WTFMove(adClickAttribution));
426 }
427
428 void FrameLoader::changeLocation(FrameLoadRequest&& frameRequest, Event* triggeringEvent, Optional<AdClickAttribution>&& adClickAttribution)
429 {
430     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "changeLocation: frame load started");
431
432     Ref<Frame> protect(m_frame);
433
434     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), &frameRequest.requester().securityOrigin(), frameRequest.shouldReplaceDocumentIfJavaScriptURL())) {
435         m_quickRedirectComing = false;
436         return;
437     }
438
439     if (frameRequest.frameName().isEmpty())
440         frameRequest.setFrameName(m_frame.document()->baseTarget());
441
442     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
443     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
444
445     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { }, WTFMove(adClickAttribution));
446 }
447
448 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
449 {
450     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
451
452     // FIXME: Find a good spot for these.
453     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
454
455     if (!m_frame.page())
456         return;
457
458     if (submission->action().isEmpty())
459         return;
460
461     if (isDocumentSandboxed(m_frame, SandboxForms)) {
462         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
463         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
464         return;
465     }
466
467     if (WTF::protocolIsJavaScript(submission->action())) {
468         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
469             return;
470         m_isExecutingJavaScriptFormAction = true;
471         Ref<Frame> protect(m_frame);
472         m_frame.script().executeIfJavaScriptURL(submission->action(), nullptr, DoNotReplaceDocumentIfJavaScriptURL);
473         m_isExecutingJavaScriptFormAction = false;
474         return;
475     }
476
477     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
478     if (!targetFrame) {
479         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
480             return;
481
482         // FIXME: targetFrame can be null for two distinct reasons:
483         // 1. The frame was not found by name, so we should try opening a new window.
484         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
485         // Continuing form submission makes no sense in the latter case.
486         // There is a repeat check after timer fires, so this is not a correctness issue.
487
488         targetFrame = &m_frame;
489     } else
490         submission->clearTarget();
491
492     if (!targetFrame->page())
493         return;
494
495     if (m_frame.tree().isDescendantOf(targetFrame))
496         m_submittedFormURL = submission->requestURL();
497
498     submission->setReferrer(outgoingReferrer());
499     submission->setOrigin(SecurityPolicy::generateOriginHeader(m_frame.document()->referrerPolicy(), submission->requestURL(), m_frame.document()->securityOrigin()));
500
501     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
502 }
503
504 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
505 {
506     if (m_frame.document() && m_frame.document()->parser())
507         m_frame.document()->parser()->stopParsing();
508
509     if (unloadEventPolicy != UnloadEventPolicyNone)
510         dispatchUnloadEvents(unloadEventPolicy);
511
512     m_isComplete = true; // to avoid calling completed() in finishedParsing()
513     m_didCallImplicitClose = true; // don't want that one either
514
515     if (m_frame.document() && m_frame.document()->parsing()) {
516         finishedParsing();
517         m_frame.document()->setParsing(false);
518     }
519
520     if (auto* document = m_frame.document()) {
521         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
522         DatabaseManager::singleton().stopDatabases(*document, nullptr);
523     }
524
525     policyChecker().stopCheck();
526
527     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
528     m_frame.navigationScheduler().cancel();
529 }
530
531 void FrameLoader::stop()
532 {
533     // http://bugs.webkit.org/show_bug.cgi?id=10854
534     // The frame's last ref may be removed and it will be deleted by checkCompleted().
535     Ref<Frame> protect(m_frame);
536
537     if (DocumentParser* parser = m_frame.document()->parser()) {
538         parser->stopParsing();
539         parser->finish();
540     }
541 }
542
543 void FrameLoader::willTransitionToCommitted()
544 {
545     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
546
547     if (m_frame.editor().hasComposition()) {
548         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
549         m_frame.editor().confirmComposition();
550         if (EditorClient* editorClient = m_frame.editor().client()) {
551             editorClient->respondToChangedSelection(&m_frame);
552             editorClient->discardedComposition(&m_frame);
553         }
554     }
555 }
556
557 bool FrameLoader::closeURL()
558 {
559     history().saveDocumentState();
560
561     Document* currentDocument = m_frame.document();
562     UnloadEventPolicy unloadEventPolicy;
563     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
564         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
565         unloadEventPolicy = UnloadEventPolicyNone;
566     } else {
567         // Should only send the pagehide event here if the current document exists and has not been placed in the back/forward cache.
568         unloadEventPolicy = currentDocument && currentDocument->backForwardCacheState() == Document::NotInBackForwardCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
569     }
570
571     stopLoading(unloadEventPolicy);
572     
573     m_frame.editor().clearUndoRedoOperations();
574     return true;
575 }
576
577 bool FrameLoader::didOpenURL()
578 {
579     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
580         // A redirect was scheduled before the document was created.
581         // This can happen when one frame changes another frame's location.
582         return false;
583     }
584
585     m_frame.navigationScheduler().cancel();
586     m_frame.editor().clearLastEditCommand();
587
588     m_isComplete = false;
589     m_didCallImplicitClose = false;
590
591     // If we are still in the process of initializing an empty document then
592     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
593     // since it may cause clients to attempt to render the frame.
594     if (!m_stateMachine.creatingInitialEmptyDocument()) {
595         DOMWindow* window = m_frame.document()->domWindow();
596         window->setStatus(String());
597         window->setDefaultStatus(String());
598     }
599
600     started();
601
602     return true;
603 }
604
605 void FrameLoader::didExplicitOpen()
606 {
607     m_isComplete = false;
608     m_didCallImplicitClose = false;
609
610     // Calling document.open counts as committing the first real document load.
611     if (!m_stateMachine.committedFirstRealDocumentLoad())
612         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
613
614     if (auto* document = m_frame.document())
615         m_client.dispatchDidExplicitOpen(document->url(), document->contentType());
616     
617     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
618     // from a subsequent window.document.open / window.document.write call. 
619     // Canceling redirection here works for all cases because document.open 
620     // implicitly precedes document.write.
621     m_frame.navigationScheduler().cancel();
622 }
623
624
625 void FrameLoader::cancelAndClear()
626 {
627     m_frame.navigationScheduler().cancel();
628
629     if (!m_isComplete)
630         closeURL();
631
632     clear(m_frame.document(), false);
633     m_frame.script().updatePlatformScriptObjects();
634 }
635
636 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
637 {
638     if (!frame.isMainFrame())
639         return false;
640
641     if (frame.loader().opener())
642         return false;
643
644     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
645 }
646
647 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView, WTF::Function<void()>&& handleDOMWindowCreation)
648 {
649     m_frame.editor().clear();
650
651     bool neededClear = m_needsClear;
652     m_needsClear = false;
653
654     if (neededClear && m_frame.document()->backForwardCacheState() != Document::InBackForwardCache) {
655         m_frame.document()->cancelParsing();
656         m_frame.document()->stopActiveDOMObjects();
657         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
658         m_frame.document()->prepareForDestruction();
659         if (hadLivingRenderTree)
660             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
661     }
662
663     if (handleDOMWindowCreation)
664         handleDOMWindowCreation();
665
666     if (!neededClear)
667         return;
668     
669     // Do this after detaching the document so that the unload event works.
670     if (clearWindowProperties) {
671         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
672         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
673         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->backForwardCacheState() == Document::AboutToEnterBackForwardCache);
674
675         if (shouldClearWindowName(m_frame, *newDocument))
676             m_frame.tree().setName(nullAtom());
677     }
678
679     m_frame.selection().prepareForDestruction();
680     m_frame.eventHandler().clear();
681
682     if (clearFrameView && m_frame.view())
683         m_frame.view()->clear();
684
685     // Do not drop the document before the ScriptController and view are cleared
686     // as some destructors might still try to access the document.
687     m_frame.setDocument(nullptr);
688
689     subframeLoader().clear();
690
691     if (clearWindowProperties)
692         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
693
694     if (clearScriptObjects)
695         m_frame.script().clearScriptObjects();
696
697     m_frame.script().enableEval();
698
699     m_frame.navigationScheduler().clear();
700
701     m_checkTimer.stop();
702     m_shouldCallCheckCompleted = false;
703     m_shouldCallCheckLoadComplete = false;
704
705     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
706         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
707 }
708
709 void FrameLoader::receivedFirstData()
710 {
711     dispatchDidCommitLoad(WTF::nullopt, WTF::nullopt);
712     dispatchDidClearWindowObjectsInAllWorlds();
713     dispatchGlobalObjectAvailableInAllWorlds();
714
715     if (!m_documentLoader)
716         return;
717
718     auto& documentLoader = *m_documentLoader;
719     auto& title = documentLoader.title();
720     if (!title.string.isNull())
721         m_client.dispatchDidReceiveTitle(title);
722
723     ASSERT(m_frame.document());
724     auto& document = *m_frame.document();
725
726     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
727
728     double delay;
729     String urlString;
730     if (!parseMetaHTTPEquivRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
731         return;
732     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
733     if (!WTF::protocolIsJavaScript(completedURL))
734         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
735     else {
736         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
737         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
738     }
739 }
740
741 void FrameLoader::setOutgoingReferrer(const URL& url)
742 {
743     m_outgoingReferrer = url.strippedForUseAsReferrer();
744 }
745
746 void FrameLoader::didBeginDocument(bool dispatch)
747 {
748     m_needsClear = true;
749     m_isComplete = false;
750     m_didCallImplicitClose = false;
751     m_frame.document()->setReadyState(Document::Loading);
752
753     if (m_pendingStateObject) {
754         m_frame.document()->statePopped(*m_pendingStateObject);
755         m_pendingStateObject = nullptr;
756     }
757
758     if (dispatch)
759         dispatchDidClearWindowObjectsInAllWorlds();
760
761     updateFirstPartyForCookies();
762     m_frame.document()->initContentSecurityPolicy();
763
764     const Settings& settings = m_frame.settings();
765     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
766     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
767
768     if (m_documentLoader) {
769         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
770         if (!dnsPrefetchControl.isEmpty())
771             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
772
773         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
774
775         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
776         if (!referrerPolicy.isNull())
777             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
778
779         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
780         if (!headerContentLanguage.isEmpty()) {
781             size_t commaIndex = headerContentLanguage.find(',');
782             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
783             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
784             if (!headerContentLanguage.isEmpty())
785                 m_frame.document()->setContentLanguage(headerContentLanguage);
786         }
787     }
788
789     history().restoreDocumentState();
790 }
791
792 void FrameLoader::finishedParsing()
793 {
794     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
795
796     m_frame.injectUserScripts(InjectAtDocumentEnd);
797
798     if (m_stateMachine.creatingInitialEmptyDocument())
799         return;
800
801     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
802     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
803     // Null-checking the FrameView indicates whether or not we're in the destructor.
804     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
805
806     m_client.dispatchDidFinishDocumentLoad();
807
808     scrollToFragmentWithParentBoundary(m_frame.document()->url());
809
810     checkCompleted();
811
812     if (!m_frame.view())
813         return; // We are being destroyed by something checkCompleted called.
814
815     // Check if the scrollbars are really needed for the content.
816     // If not, remove them, relayout, and repaint.
817     m_frame.view()->restoreScrollbar();
818 }
819
820 void FrameLoader::loadDone(LoadCompletionType type)
821 {
822     if (type == LoadCompletionType::Finish)
823         checkCompleted();
824     else
825         scheduleCheckCompleted();
826 }
827
828 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
829 {
830     if (type == LoadCompletionType::Finish)
831         checkLoadComplete();
832     else
833         scheduleCheckLoadComplete();
834 }
835
836 bool FrameLoader::allChildrenAreComplete() const
837 {
838     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
839         if (!child->loader().m_isComplete)
840             return false;
841     }
842     return true;
843 }
844
845 bool FrameLoader::allAncestorsAreComplete() const
846 {
847     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
848         if (!ancestor->loader().m_isComplete)
849             return false;
850     }
851     return true;
852 }
853
854 void FrameLoader::checkCompleted()
855 {
856     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
857     m_shouldCallCheckCompleted = false;
858
859     // Have we completed before?
860     if (m_isComplete)
861         return;
862
863     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
864     //        https://bugs.webkit.org/show_bug.cgi?id=171729
865     if (m_frame.document()->inRenderTreeUpdate()) {
866         scheduleCheckCompleted();
867         return;
868     }
869
870     // Are we still parsing?
871     if (m_frame.document()->parsing())
872         return;
873
874     // Still waiting for images/scripts?
875     if (m_frame.document()->cachedResourceLoader().requestCount())
876         return;
877
878     // Still waiting for elements that don't go through a FrameLoader?
879     if (m_frame.document()->isDelayingLoadEvent())
880         return;
881
882     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
883     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
884         return;
885
886     // Any frame that hasn't completed yet?
887     if (!allChildrenAreComplete())
888         return;
889
890     // Important not to protect earlier in this function, because earlier parts
891     // of this function can be called in the frame's destructor, and it's not legal
892     // to ref an object while it's being destroyed.
893     Ref<Frame> protect(m_frame);
894
895     // OK, completed.
896     m_isComplete = true;
897     m_requestedHistoryItem = nullptr;
898     m_frame.document()->setReadyState(Document::Complete);
899
900     checkCallImplicitClose(); // if we didn't do it before
901
902     m_frame.navigationScheduler().startTimer();
903
904     completed();
905     if (m_frame.page())
906         checkLoadComplete();
907 }
908
909 void FrameLoader::checkTimerFired()
910 {
911     checkCompletenessNow();
912 }
913
914 void FrameLoader::checkCompletenessNow()
915 {
916     Ref<Frame> protect(m_frame);
917
918     if (Page* page = m_frame.page()) {
919         if (page->defersLoading())
920             return;
921     }
922     if (m_shouldCallCheckCompleted)
923         checkCompleted();
924     if (m_shouldCallCheckLoadComplete)
925         checkLoadComplete();
926 }
927
928 void FrameLoader::startCheckCompleteTimer()
929 {
930     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
931         return;
932     if (m_checkTimer.isActive())
933         return;
934     m_checkTimer.startOneShot(0_s);
935 }
936
937 void FrameLoader::scheduleCheckCompleted()
938 {
939     m_shouldCallCheckCompleted = true;
940     startCheckCompleteTimer();
941 }
942
943 void FrameLoader::scheduleCheckLoadComplete()
944 {
945     m_shouldCallCheckLoadComplete = true;
946     startCheckCompleteTimer();
947 }
948
949 void FrameLoader::checkCallImplicitClose()
950 {
951     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
952         return;
953
954     if (!allChildrenAreComplete())
955         return; // still got a frame running -> too early
956
957     m_didCallImplicitClose = true;
958     m_wasUnloadEventEmitted = false;
959     m_frame.document()->implicitClose();
960 }
961
962 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
963 {
964     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadURLIntoChildFrame: frame load started");
965
966     ASSERT(childFrame);
967
968 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
969     if (auto activeLoader = activeDocumentLoader()) {
970         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
971             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
972             return;
973         }
974     }
975 #endif
976
977     // If we're moving in the back/forward list, we might want to replace the content
978     // of this child frame with whatever was there at that point.
979     auto* parentItem = history().currentItem();
980     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
981         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
982             childFrame->loader().m_requestedHistoryItem = childItem;
983             childFrame->loader().loadDifferentDocumentItem(*childItem, nullptr, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
984             return;
985         }
986     }
987
988     auto* lexicalFrame = lexicalFrameFromCommonVM();
989     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
990
991     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ReferrerPolicy::EmptyString, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
992     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, WTF::nullopt, [] { });
993 }
994
995 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
996
997 void FrameLoader::loadArchive(Ref<Archive>&& archive)
998 {
999     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadArchive: frame load started");
1000
1001     ArchiveResource* mainResource = archive->mainResource();
1002     ASSERT(mainResource);
1003     if (!mainResource)
1004         return;
1005
1006     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1007     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1008     
1009     ResourceRequest request(mainResource->url());
1010
1011     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1012     documentLoader->setArchive(WTFMove(archive));
1013     load(documentLoader.get());
1014 }
1015
1016 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1017
1018 String FrameLoader::outgoingReferrer() const
1019 {
1020     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1021     // for why we walk the parent chain for srcdoc documents.
1022     Frame* frame = &m_frame;
1023     while (frame && frame->document()->isSrcdocDocument()) {
1024         frame = frame->tree().parent();
1025         // Srcdoc documents cannot be top-level documents, by definition,
1026         // because they need to be contained in iframes with the srcdoc.
1027         ASSERT(frame);
1028     }
1029     if (!frame)
1030         return emptyString();
1031     return frame->loader().m_outgoingReferrer;
1032 }
1033
1034 String FrameLoader::outgoingOrigin() const
1035 {
1036     return m_frame.document()->securityOrigin().toString();
1037 }
1038
1039 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1040 {
1041     if (m_submittedFormURL.isEmpty())
1042         return true;
1043
1044     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1045     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1046 }
1047
1048 Frame* FrameLoader::opener()
1049 {
1050     return m_opener;
1051 }
1052
1053 void FrameLoader::setOpener(Frame* opener)
1054 {
1055     if (m_opener && !opener)
1056         m_client.didDisownOpener();
1057
1058     if (m_opener) {
1059         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1060         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1061         openerFrameLoader.m_openedFrames.remove(&m_frame);
1062     }
1063     if (opener) {
1064         opener->loader().m_openedFrames.add(&m_frame);
1065         if (auto* page = m_frame.page())
1066             page->setOpenedByDOMWithOpener();
1067     }
1068     m_opener = opener;
1069
1070     if (m_frame.document())
1071         m_frame.document()->initSecurityContext();
1072 }
1073
1074 // FIXME: This does not belong in FrameLoader!
1075 void FrameLoader::handleFallbackContent()
1076 {
1077     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1078     if (!is<HTMLObjectElement>(owner))
1079         return;
1080     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1081 }
1082
1083 void FrameLoader::provisionalLoadStarted()
1084 {
1085     if (m_stateMachine.firstLayoutDone())
1086         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1087     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1088     m_client.provisionalLoadStarted();
1089
1090     if (m_frame.isMainFrame()) {
1091         tracePoint(MainResourceLoadDidStartProvisional);
1092
1093         if (auto* page = m_frame.page())
1094             page->didStartProvisionalLoad();
1095     }
1096 }
1097
1098 void FrameLoader::resetMultipleFormSubmissionProtection()
1099 {
1100     m_submittedFormURL = URL();
1101 }
1102
1103 void FrameLoader::updateFirstPartyForCookies()
1104 {
1105     if (m_frame.tree().parent())
1106         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1107     else
1108         setFirstPartyForCookies(m_frame.document()->url());
1109 }
1110
1111 void FrameLoader::setFirstPartyForCookies(const URL& url)
1112 {
1113     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1114         frame->document()->setFirstPartyForCookies(url);
1115
1116     RegistrableDomain registrableDomain(url);
1117     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1118         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomain.matches(frame->document()->url()))
1119             frame->document()->setSiteForCookies(url);
1120     }
1121 }
1122
1123 // This does the same kind of work that didOpenURL does, except it relies on the fact
1124 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1125 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1126 {
1127     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadInSameDocument: frame load started");
1128
1129     // If we have a state object, we cannot also be a new navigation.
1130     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1131
1132     // Update the data source's request with the new URL to fake the URL change
1133     URL oldURL = m_frame.document()->url();
1134     m_frame.document()->setURL(url);
1135     setOutgoingReferrer(url);
1136     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1137     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1138         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1139         // based on the current request. Must also happen before we openURL and displace the 
1140         // scroll position, since adding the BF item will save away scroll state.
1141         
1142         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1143         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1144         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1145         // though its load is not yet done.  I think this all works out OK, for one because
1146         // we have already saved away the scroll and doc state for the long slow load,
1147         // but it's not an obvious case.
1148
1149         history().updateBackForwardListForFragmentScroll();
1150     }
1151     
1152     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1153     
1154     history().updateForSameDocumentNavigation();
1155
1156     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1157     if (hashChange)
1158         m_frame.eventHandler().stopAutoscrollTimer();
1159     
1160     // It's important to model this as a load that starts and immediately finishes.
1161     // Otherwise, the parent frame may think we never finished loading.
1162     started();
1163
1164     if (auto* ownerElement = m_frame.ownerElement()) {
1165         auto* ownerRenderer = ownerElement->renderer();
1166         auto* view = m_frame.view();
1167         if (is<RenderWidget>(ownerRenderer) && view)
1168             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1169     }
1170
1171     // We need to scroll to the fragment whether or not a hash change occurred, since
1172     // the user might have scrolled since the previous navigation.
1173     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1174     
1175     m_isComplete = false;
1176     checkCompleted();
1177
1178     if (isNewNavigation) {
1179         // This will clear previousItem from the rest of the frame tree that didn't
1180         // doing any loading. We need to make a pass on this now, since for fragment
1181         // navigation we'll not go through a real load and reach Completed state.
1182         checkLoadComplete();
1183     }
1184
1185     m_client.dispatchDidNavigateWithinPage();
1186
1187     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1188     m_client.dispatchDidPopStateWithinPage();
1189     
1190     if (hashChange) {
1191         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1192         m_client.dispatchDidChangeLocationWithinPage();
1193     }
1194     
1195     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1196     m_client.didFinishLoad();
1197 }
1198
1199 bool FrameLoader::isComplete() const
1200 {
1201     return m_isComplete;
1202 }
1203
1204 void FrameLoader::completed()
1205 {
1206     Ref<Frame> protect(m_frame);
1207
1208     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1209         descendant->navigationScheduler().startTimer();
1210
1211     if (Frame* parent = m_frame.tree().parent())
1212         parent->loader().checkCompleted();
1213
1214     if (m_frame.view())
1215         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1216 }
1217
1218 void FrameLoader::started()
1219 {
1220     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1221         frame->loader().m_isComplete = false;
1222 }
1223
1224 void FrameLoader::prepareForLoadStart()
1225 {
1226     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "prepareForLoadStart: Starting frame load");
1227
1228     m_progressTracker->progressStarted();
1229     m_client.dispatchDidStartProvisionalLoad();
1230
1231     if (AXObjectCache::accessibilityEnabled()) {
1232         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1233             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1234             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1235         }
1236     }
1237 }
1238
1239 void FrameLoader::setupForReplace()
1240 {
1241     m_client.revertToProvisionalState(m_documentLoader.get());
1242     setState(FrameStateProvisional);
1243     m_provisionalDocumentLoader = m_documentLoader;
1244     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "setupForReplace: Setting provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
1245     m_documentLoader = nullptr;
1246     detachChildren();
1247 }
1248
1249 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution)
1250 {
1251     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadFrameRequest: frame load started");
1252
1253     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1254     auto protectFrame = makeRef(m_frame);
1255
1256     URL url = request.resourceRequest().url();
1257
1258     ASSERT(m_frame.document());
1259     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1260         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1261         return;
1262     }
1263
1264     String argsReferrer = request.resourceRequest().httpReferrer();
1265     if (argsReferrer.isEmpty())
1266         argsReferrer = outgoingReferrer();
1267
1268     ReferrerPolicy referrerPolicy = request.referrerPolicy();
1269     if (referrerPolicy == ReferrerPolicy::EmptyString)
1270         referrerPolicy = m_frame.document()->referrerPolicy();
1271     String referrer = SecurityPolicy::generateReferrerHeader(referrerPolicy, url, argsReferrer);
1272
1273     FrameLoadType loadType;
1274     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1275         loadType = FrameLoadType::Reload;
1276     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1277         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1278     else
1279         loadType = FrameLoadType::Standard;
1280
1281     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1282         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1283         // load if frame names have changed.
1284         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1285         if (!sourceFrame)
1286             sourceFrame = &m_frame;
1287         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1288         if (targetFrame && targetFrame != sourceFrame) {
1289             if (Page* page = targetFrame->page())
1290                 page->chrome().focus();
1291         }
1292     };
1293
1294     if (request.resourceRequest().httpMethod() == "POST")
1295         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1296     else
1297         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(adClickAttribution), WTFMove(completionHandler));
1298 }
1299
1300 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1301 {
1302     if (UserGestureIndicator::processingUserGesture())
1303         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1304
1305     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1306         return propagatedPolicy;
1307
1308     if (!currentFrame.isMainFrame())
1309         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1310
1311     return propagatedPolicy;
1312 }
1313
1314 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1315 {
1316     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1317 }
1318
1319 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1320 {
1321     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1322 }
1323
1324 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1325 {
1326     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1327 }
1328
1329 bool FrameLoader::isNavigationAllowed() const
1330 {
1331     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && !m_frame.script().willReplaceWithResultOfExecutingJavascriptURL() && NavigationDisabler::isNavigationAllowed(m_frame);
1332 }
1333
1334 bool FrameLoader::isStopLoadingAllowed() const
1335 {
1336     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1337 }
1338
1339 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution, CompletionHandler<void()>&& completionHandler)
1340 {
1341     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadURL: frame load started");
1342
1343     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1344     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1345         return;
1346
1347     Ref<Frame> protect(m_frame);
1348
1349     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1350     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1351     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1352     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1353     LockHistory lockHistory = frameLoadRequest.lockHistory();
1354     bool isFormSubmission = formState;
1355
1356     const URL& newURL = frameLoadRequest.resourceRequest().url();
1357     ResourceRequest request(newURL);
1358     if (!referrer.isEmpty()) {
1359         request.setHTTPReferrer(referrer);
1360         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1361         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1362     }
1363     if (&m_frame.tree().top() != &m_frame)
1364         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1365
1366     addExtraFieldsToRequest(request, newLoadType, true);
1367     if (isReload(newLoadType))
1368         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1369
1370     ASSERT(newLoadType != FrameLoadType::Same);
1371
1372     // The search for a target frame is done earlier in the case of form submission.
1373     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1374     if (targetFrame && targetFrame != &m_frame) {
1375         frameLoadRequest.setFrameName("_self");
1376         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), WTFMove(adClickAttribution), completionHandlerCaller.release());
1377         return;
1378     }
1379
1380     if (!isNavigationAllowed())
1381         return;
1382
1383     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1384     action.setLockHistory(lockHistory);
1385     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1386     if (adClickAttribution && m_frame.isMainFrame())
1387         action.setAdClickAttribution(WTFMove(*adClickAttribution));
1388
1389     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1390         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1391         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, PolicyChecker::ShouldContinue shouldContinue) mutable {
1392             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1393             completionHandler();
1394         });
1395         return;
1396     }
1397
1398     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1399
1400     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1401     const String& httpMethod = request.httpMethod();
1402     
1403     // Make sure to do scroll to fragment processing even if the URL is
1404     // exactly the same so pages with '#' links and DHTML side effects
1405     // work properly.
1406     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1407         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1408         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1409         policyChecker().stopCheck();
1410         policyChecker().setLoadType(newLoadType);
1411         RELEASE_ASSERT(!isBackForwardLoadType(newLoadType) || history().provisionalItem());
1412         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1413             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1414         }, PolicyDecisionMode::Synchronous);
1415         return;
1416     }
1417
1418     // Must grab this now, since this load may stop the previous load and clear this flag.
1419     bool isRedirect = m_quickRedirectComing;
1420 #if USE(SYSTEM_PREVIEW)
1421     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1422     if (isSystemPreview)
1423         request.setSystemPreviewInfo(frameLoadRequest.systemPreviewInfo());
1424 #endif
1425     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, frameLoadRequest.downloadAttribute(), [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1426         if (isRedirect) {
1427             m_quickRedirectComing = false;
1428             if (m_provisionalDocumentLoader)
1429                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1430             else if (m_policyDocumentLoader)
1431                 m_policyDocumentLoader->setIsClientRedirect(true);
1432         } else if (sameURL && !isReload(newLoadType)) {
1433             // Example of this case are sites that reload the same URL with a different cookie
1434             // driving the generated content, or a master frame with links that drive a target
1435             // frame, where the user has clicked on the same link repeatedly.
1436             m_loadType = FrameLoadType::Same;
1437         }
1438         completionHandler();
1439     });
1440 }
1441
1442 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1443 {
1444     if (!shouldTreatURLAsSrcdocDocument(url))
1445         return SubstituteData();
1446     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1447     ASSERT(!srcdoc.isNull());
1448     CString encodedSrcdoc = srcdoc.string().utf8();
1449
1450     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1451     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1452 }
1453
1454 void FrameLoader::load(FrameLoadRequest&& request)
1455 {
1456     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "load (FrameLoadRequest): frame load started");
1457
1458     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1459         return;
1460
1461     if (!request.frameName().isEmpty()) {
1462         Frame* frame = findFrameForNavigation(request.frameName());
1463         if (frame) {
1464             request.setShouldCheckNewWindowPolicy(false);
1465             if (&frame->loader() != this) {
1466                 frame->loader().load(WTFMove(request));
1467                 return;
1468             }
1469         }
1470     }
1471
1472     if (request.shouldCheckNewWindowPolicy()) {
1473         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1474         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, PolicyChecker::ShouldContinue shouldContinue) {
1475             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1476         });
1477
1478         return;
1479     }
1480
1481     if (!request.hasSubstituteData())
1482         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1483
1484     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1485     loader->setAllowsWebArchiveForMainFrame(request.isRequestFromClientOrUserInput());
1486     loader->setAllowsDataURLsForMainFrame(request.isRequestFromClientOrUserInput());
1487     addSameSiteInfoToRequestIfNeeded(loader->request());
1488     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1489
1490     if (request.shouldTreatAsContinuingLoad()) {
1491         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1492         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1493             loader->setIsClientRedirect(true);
1494             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1495         }
1496     }
1497
1498     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, request.shouldTreatAsContinuingLoad() ? LoadContinuingState::ContinuingWithRequest : LoadContinuingState::NotContinuing);
1499     load(loader.get());
1500 }
1501
1502 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, const String& downloadAttribute, CompletionHandler<void()>&& completionHandler)
1503 {
1504     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadWithNavigationAction: frame load started");
1505
1506     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1507     loader->setDownloadAttribute(downloadAttribute);
1508     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1509
1510     if (lockHistory == LockHistory::Yes && m_documentLoader)
1511         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1512
1513     loader->setTriggeringAction(WTFMove(action));
1514     if (m_documentLoader)
1515         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1516
1517     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1518 }
1519
1520 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1521 {
1522     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "load (DocumentLoader): frame load started");
1523
1524     ResourceRequest& r = newDocumentLoader.request();
1525     addExtraFieldsToMainResourceRequest(r);
1526     FrameLoadType type;
1527
1528     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1529         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1530         type = FrameLoadType::Same;
1531     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1532         type = m_loadType;
1533     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || shouldTreatCurrentLoadAsContinuingLoad()))
1534         type = FrameLoadType::RedirectWithLockedBackForwardList;
1535     else
1536         type = FrameLoadType::Standard;
1537
1538     if (m_documentLoader)
1539         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1540     
1541     // When we loading alternate content for an unreachable URL that we're
1542     // visiting in the history list, we treat it as a reload so the history list 
1543     // is appropriately maintained.
1544     //
1545     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1546     // shouldn't a more explicit type of reload be defined, that means roughly 
1547     // "load without affecting history" ? 
1548     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1549         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1550         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1551         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1552         history().saveDocumentAndScrollState();
1553
1554         ASSERT(type == FrameLoadType::Standard);
1555         type = FrameLoadType::Reload;
1556     }
1557
1558     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1559 }
1560
1561 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1562 {
1563     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadWithDocumentLoader: frame load started");
1564
1565     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1566     Ref<Frame> protect(m_frame);
1567
1568     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1569
1570     ASSERT(m_client.hasWebView());
1571
1572     // Unfortunately the view must be non-nil, this is ultimately due
1573     // to parser requiring a FrameView.  We should fix this dependency.
1574
1575     ASSERT(m_frame.view());
1576
1577     if (!isNavigationAllowed())
1578         return;
1579
1580     if (m_frame.document())
1581         m_previousURL = m_frame.document()->url();
1582
1583     const URL& newURL = loader->request().url();
1584
1585     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1586     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1587     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1588         m_shouldReportResourceTimingToParentFrame = false;
1589
1590     // Log main frame navigation types.
1591     if (m_frame.isMainFrame()) {
1592         if (auto* page = m_frame.page()) {
1593             FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadWithDocumentLoader: main frame load started");
1594             page->mainFrameLoadStarted(newURL, type);
1595             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1596         }
1597     }
1598
1599     policyChecker().setLoadType(type);
1600     RELEASE_ASSERT(!isBackForwardLoadType(type) || history().provisionalItem());
1601     bool isFormSubmission = formState;
1602
1603     const String& httpMethod = loader->request().httpMethod();
1604
1605     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1606         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1607         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1608
1609         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1610         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1611         policyChecker().stopCheck();
1612         RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1613         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1614             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1615         }, PolicyDecisionMode::Synchronous);
1616         return;
1617     }
1618
1619     if (Frame* parent = m_frame.tree().parent())
1620         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1621
1622     policyChecker().stopCheck();
1623     setPolicyDocumentLoader(loader);
1624     if (loader->triggeringAction().isEmpty())
1625         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1626
1627     if (Element* ownerElement = m_frame.ownerElement()) {
1628         // We skip dispatching the beforeload event if we've already
1629         // committed a real document load because the event would leak
1630         // subsequent activity by the frame which the parent frame isn't
1631         // supposed to learn. For example, if the child frame navigated to
1632         // a new URL, the parent frame shouldn't learn the URL.
1633         if (!m_stateMachine.committedFirstRealDocumentLoad()
1634             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1635             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::IgnoreLoad, allowNavigationToInvalidURL);
1636             return;
1637         }
1638     }
1639
1640     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1641
1642     if (shouldTreatCurrentLoadAsContinuingLoad()) {
1643         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::ContinueLoad, allowNavigationToInvalidURL);
1644         return;
1645     }
1646
1647     RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1648     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, NavigationPolicyDecision navigationPolicyDecision) mutable {
1649         continueLoadAfterNavigationPolicy(request, formState.get(), navigationPolicyDecision, allowNavigationToInvalidURL);
1650         completionHandler();
1651     }, PolicyDecisionMode::Asynchronous);
1652 }
1653
1654 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1655 {
1656     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1657         return;
1658
1659     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1660     m_provisionalDocumentLoader->stopLoading();
1661     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "clearProvisionalLoadForPolicyCheck: Clearing provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
1662     setProvisionalDocumentLoader(nullptr);
1663 }
1664
1665 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1666 {
1667     ASSERT(!url.isEmpty());
1668     if (!frame)
1669         return;
1670
1671     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1672 }
1673
1674 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1675 {
1676     ASSERT(!url.isEmpty());
1677     if (!frame)
1678         return;
1679     
1680     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1681 }
1682
1683 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1684 {
1685     if (!frame)
1686         return;
1687
1688     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1689 }
1690
1691 const ResourceRequest& FrameLoader::initialRequest() const
1692 {
1693     return activeDocumentLoader()->originalRequest();
1694 }
1695
1696 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1697 {
1698 #if PLATFORM(IOS_FAMILY)
1699     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1700     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1701     if (IOSApplication::isMobileStore())
1702         return m_client.shouldLoadMediaElementURL(url);
1703 #endif
1704
1705     ResourceRequest request(url);
1706     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1707
1708     unsigned long identifier;
1709     ResourceError error;
1710     requestFromDelegate(request, identifier, error);
1711     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1712
1713     url = request.url();
1714
1715     return error.isNull();
1716 }
1717
1718 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1719 {
1720     URL unreachableURL = docLoader.unreachableURL();
1721
1722     if (unreachableURL.isEmpty())
1723         return false;
1724
1725     if (!isBackForwardLoadType(policyChecker().loadType()))
1726         return false;
1727
1728     // We only treat unreachableURLs specially during the delegate callbacks
1729     // for provisional load errors and navigation policy decisions. The former
1730     // case handles well-formed URLs that can't be loaded, and the latter
1731     // case handles malformed URLs and unknown schemes. Loading alternate content
1732     // at other times behaves like a standard load.
1733     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1734         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1735
1736     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1737 }
1738
1739 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1740 {
1741     if (!m_documentLoader)
1742         return;
1743
1744     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "reloadWithOverrideEncoding: frame load started");
1745
1746     ResourceRequest request = m_documentLoader->request();
1747     URL unreachableURL = m_documentLoader->unreachableURL();
1748     if (!unreachableURL.isEmpty())
1749         request.setURL(unreachableURL);
1750
1751     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1752     // We should ask the user for confirmation in this case.
1753     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1754
1755     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1756     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1757
1758     setPolicyDocumentLoader(loader.ptr());
1759
1760     loader->setOverrideEncoding(encoding);
1761
1762     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1763 }
1764
1765 void FrameLoader::reload(OptionSet<ReloadOption> options)
1766 {
1767     if (!m_documentLoader)
1768         return;
1769
1770     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1771     // Reloading in this case will lose the current contents (see 4151001).
1772     if (m_documentLoader->request().url().isEmpty())
1773         return;
1774
1775     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "reload: frame load started");
1776
1777     // Replace error-page URL with the URL we were trying to reach.
1778     ResourceRequest initialRequest = m_documentLoader->request();
1779     URL unreachableURL = m_documentLoader->unreachableURL();
1780     if (!unreachableURL.isEmpty())
1781         initialRequest.setURL(unreachableURL);
1782
1783     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1784     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1785     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1786     loader->setAllowsWebArchiveForMainFrame(m_documentLoader->allowsWebArchiveForMainFrame());
1787     loader->setAllowsDataURLsForMainFrame(m_documentLoader->allowsDataURLsForMainFrame());
1788     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1789
1790     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1791     
1792     ResourceRequest& request = loader->request();
1793
1794     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1795     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1796
1797     addSameSiteInfoToRequestIfNeeded(request);
1798
1799     // If we're about to re-post, set up action so the application can warn the user.
1800     if (request.httpMethod() == "POST")
1801         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1802
1803     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1804
1805     auto frameLoadTypeForReloadOptions = [] (auto options) {
1806         if (options & ReloadOption::FromOrigin)
1807             return FrameLoadType::ReloadFromOrigin;
1808         if (options & ReloadOption::ExpiredOnly)
1809             return FrameLoadType::ReloadExpiredOnly;
1810         return FrameLoadType::Reload;
1811     };
1812     
1813     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1814 }
1815
1816 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy, StopLoadingPolicy stopLoadingPolicy)
1817 {
1818     if (m_frame.document() && m_frame.document()->backForwardCacheState() == Document::InBackForwardCache)
1819         return;
1820
1821     if (stopLoadingPolicy == StopLoadingPolicy::PreventDuringUnloadEvents && !isStopLoadingAllowed())
1822         return;
1823
1824     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1825     if (m_inStopAllLoaders)
1826         return;
1827
1828     // This method might dispatch events.
1829     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1830
1831     // Calling stopLoading() on the provisional document loader can blow away
1832     // the frame from underneath.
1833     Ref<Frame> protect(m_frame);
1834
1835     m_inStopAllLoaders = true;
1836
1837     policyChecker().stopCheck();
1838
1839     // If no new load is in progress, we should clear the provisional item from history
1840     // before we call stopLoading.
1841     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1842         history().setProvisionalItem(nullptr);
1843
1844     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1845         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1846     if (m_provisionalDocumentLoader)
1847         m_provisionalDocumentLoader->stopLoading();
1848     if (m_documentLoader)
1849         m_documentLoader->stopLoading();
1850     if (m_frame.page() && !m_frame.page()->chrome().client().isSVGImageChromeClient())
1851         platformStrategies()->loaderStrategy()->browsingContextRemoved(frame());
1852
1853     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "stopAllLoaders: Clearing provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
1854     setProvisionalDocumentLoader(nullptr);
1855
1856     m_inStopAllLoaders = false;    
1857 }
1858
1859 void FrameLoader::stopForBackForwardCache()
1860 {
1861     // Stop provisional loads in subframes (The one in the main frame is about to be committed).
1862     if (!m_frame.isMainFrame()) {
1863         if (m_provisionalDocumentLoader)
1864             m_provisionalDocumentLoader->stopLoading();
1865         FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "stopForBackForwardCache: Clearing provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
1866         setProvisionalDocumentLoader(nullptr);
1867     }
1868
1869     // Stop current loads.
1870     if (m_documentLoader)
1871         m_documentLoader->stopLoading();
1872
1873     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1874         child->loader().stopForBackForwardCache();
1875
1876     // We cancel pending navigations & policy checks *after* cancelling loads because cancelling loads might end up
1877     // running script, which could schedule new navigations.
1878     policyChecker().stopCheck();
1879     m_frame.navigationScheduler().cancel();
1880 }
1881
1882 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1883 {
1884     stopAllLoaders();
1885
1886     if (!m_checkTimer.isActive())
1887         return;
1888
1889     m_checkTimer.stop();
1890     m_checkingLoadCompleteForDetachment = true;
1891     checkCompletenessNow();
1892     m_checkingLoadCompleteForDetachment = false;
1893 }
1894
1895 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1896 {
1897     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1898     Ref<Frame> protectedFrame(m_frame);
1899
1900     stopAllLoaders();
1901
1902 #if PLATFORM(IOS_FAMILY)
1903     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1904     // but haven't laid out/painted yet.
1905     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1906     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1907         m_frame.view()->layoutContext().layout();
1908 #endif
1909
1910     if (deferCheckLoadComplete)
1911         scheduleCheckLoadComplete();
1912     else if (m_frame.page())
1913         checkLoadComplete();
1914 }
1915
1916 DocumentLoader* FrameLoader::activeDocumentLoader() const
1917 {
1918     if (m_state == FrameStateProvisional)
1919         return m_provisionalDocumentLoader.get();
1920     return m_documentLoader.get();
1921 }
1922
1923 bool FrameLoader::isLoading() const
1924 {
1925     DocumentLoader* docLoader = activeDocumentLoader();
1926     if (!docLoader)
1927         return false;
1928     return docLoader->isLoading();
1929 }
1930
1931 bool FrameLoader::frameHasLoaded() const
1932 {
1933     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1934 }
1935
1936 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1937 {
1938     if (!loader && !m_documentLoader)
1939         return;
1940
1941     if (loader == m_documentLoader)
1942         return;
1943     
1944     ASSERT(loader != m_documentLoader);
1945     ASSERT(!loader || loader->frameLoader() == this);
1946
1947     m_client.prepareForDataSourceReplacement();
1948     detachChildren();
1949
1950     // detachChildren() can trigger this frame's unload event, and therefore
1951     // script can run and do just about anything. For example, an unload event that calls
1952     // document.write("") on its parent frame can lead to a recursive detachChildren()
1953     // invocation for this frame. In that case, we can end up at this point with a
1954     // loader that hasn't been deleted but has been detached from its frame. Such a
1955     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1956     // state if we try to use it.
1957     if (loader && !loader->frame())
1958         return;
1959
1960     if (m_documentLoader)
1961         m_documentLoader->detachFromFrame();
1962
1963     m_documentLoader = loader;
1964 }
1965
1966 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1967 {
1968     if (m_policyDocumentLoader == loader)
1969         return;
1970
1971     if (loader)
1972         loader->attachToFrame(m_frame);
1973     if (m_policyDocumentLoader
1974             && m_policyDocumentLoader != m_provisionalDocumentLoader
1975             && m_policyDocumentLoader != m_documentLoader)
1976         m_policyDocumentLoader->detachFromFrame();
1977
1978     m_policyDocumentLoader = loader;
1979 }
1980
1981 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1982 {
1983     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "setProvisionalDocumentLoader: Setting provisional document loader (m_provisionalDocumentLoader=%p)", loader);
1984
1985     ASSERT(!loader || !m_provisionalDocumentLoader);
1986     ASSERT(!loader || loader->frameLoader() == this);
1987
1988     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1989         m_provisionalDocumentLoader->detachFromFrame();
1990
1991     m_provisionalDocumentLoader = loader;
1992 }
1993
1994 void FrameLoader::setState(FrameState newState)
1995 {
1996     FrameState oldState = m_state;
1997     m_state = newState;
1998     
1999     if (newState == FrameStateProvisional)
2000         provisionalLoadStarted();
2001     else if (newState == FrameStateComplete) {
2002         frameLoadCompleted();
2003         if (m_documentLoader)
2004             m_documentLoader->stopRecordingResponses();
2005         if (m_frame.isMainFrame() && oldState != newState) {
2006             FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "setState: main frame load completed");
2007             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
2008         }
2009     }
2010 }
2011
2012 void FrameLoader::clearProvisionalLoad()
2013 {
2014     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "clearProvisionalLoad: Clearing provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
2015     setProvisionalDocumentLoader(nullptr);
2016     m_progressTracker->progressCompleted();
2017     setState(FrameStateComplete);
2018 }
2019
2020 void FrameLoader::commitProvisionalLoad()
2021 {
2022     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2023     Ref<Frame> protect(m_frame);
2024
2025     std::unique_ptr<CachedPage> cachedPage;
2026     if (m_loadingFromCachedPage && history().provisionalItem())
2027         cachedPage = BackForwardCache::singleton().take(*history().provisionalItem(), m_frame.page());
2028
2029     LOG(BackForwardCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
2030         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
2031         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
2032
2033     willTransitionToCommitted();
2034
2035     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
2036         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
2037         // We are doing this here because we know for sure that a new page is about to be loaded.
2038         BackForwardCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
2039         
2040         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
2041     }
2042
2043     if (m_loadType != FrameLoadType::Replace)
2044         closeOldDataSources();
2045
2046     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2047         m_client.makeRepresentation(pdl.get());
2048
2049     transitionToCommitted(cachedPage.get());
2050
2051     if (pdl && m_documentLoader) {
2052         // Check if the destination page is allowed to access the previous page's timing information.
2053         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2054         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2055     }
2056
2057     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2058     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2059     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2060     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2061     if (m_sentRedirectNotification)
2062         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2063     
2064     if (cachedPage && cachedPage->document()) {
2065 #if PLATFORM(IOS_FAMILY)
2066         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2067         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2068         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2069 #endif
2070         willRestoreFromCachedPage();
2071
2072         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2073         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2074         ResourceError mainResouceError;
2075         unsigned long mainResourceIdentifier;
2076         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2077         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2078         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2079
2080         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2081         Optional<UsedLegacyTLS> usedLegacyTLS = cachedPage->cachedMainFrame()->usedLegacyTLS();
2082
2083         dispatchDidCommitLoad(hasInsecureContent, usedLegacyTLS);
2084
2085         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2086         cachedPage->restore(*m_frame.page());
2087
2088 #if PLATFORM(IOS_FAMILY)
2089         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2090         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2091 #endif
2092         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2093
2094         auto& title = m_documentLoader->title();
2095         if (!title.string.isNull())
2096             m_client.dispatchDidReceiveTitle(title);
2097
2098         // Send remaining notifications for the main resource.
2099         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2100             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2101
2102         checkCompleted();
2103     } else
2104         didOpenURL();
2105
2106     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2107         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2108
2109     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2110         history().updateForClientRedirect();
2111
2112     if (m_loadingFromCachedPage) {
2113         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2114         if (auto* page = m_frame.page())
2115             page->chrome().didReceiveDocType(m_frame);
2116         m_frame.document()->resume(ReasonForSuspension::BackForwardCache);
2117
2118         // Force a layout to update view size and thereby update scrollbars.
2119 #if PLATFORM(IOS_FAMILY)
2120         if (!m_client.forceLayoutOnRestoreFromBackForwardCache())
2121             m_frame.view()->forceLayout();
2122 #else
2123         m_frame.view()->forceLayout();
2124 #endif
2125
2126         // Main resource delegates were already sent, so we skip the first response here.
2127         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2128             const auto& response = m_documentLoader->responses()[i];
2129             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2130             ResourceError error;
2131             unsigned long identifier;
2132             ResourceRequest request(response.url());
2133             requestFromDelegate(request, identifier, error);
2134             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2135             // However, with today's computers and networking speeds, this won't happen in practice.
2136             // Could be an issue with a giant local file.
2137             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2138         }
2139
2140         // FIXME: Why only this frame and not parent frames?
2141         checkLoadCompleteForThisFrame();
2142     }
2143 }
2144
2145 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2146 {
2147     ASSERT(m_client.hasWebView());
2148     ASSERT(m_state == FrameStateProvisional);
2149
2150     if (m_state != FrameStateProvisional)
2151         return;
2152
2153     if (FrameView* view = m_frame.view()) {
2154         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2155             scrollAnimator->cancelAnimations();
2156     }
2157
2158     m_client.setCopiesOnScroll();
2159     history().updateForCommit();
2160
2161     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2162     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2163     // or the two will stomp each other.
2164     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2165     if (m_documentLoader)
2166         closeURL();
2167     if (pdl != m_provisionalDocumentLoader)
2168         return;
2169
2170     if (m_documentLoader)
2171         m_documentLoader->stopLoadingSubresources();
2172     if (m_documentLoader)
2173         m_documentLoader->stopLoadingPlugIns();
2174
2175     // Setting our document loader invokes the unload event handler of our child frames.
2176     // Script can do anything. If the script initiates a new load, we need to abandon the
2177     // current load or the two will stomp each other.
2178     setDocumentLoader(m_provisionalDocumentLoader.get());
2179     if (pdl != m_provisionalDocumentLoader)
2180         return;
2181     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "transitionToCommitted: Clearing provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
2182     setProvisionalDocumentLoader(nullptr);
2183
2184     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2185     setState(FrameStateCommittedPage);
2186
2187     // Handle adding the URL to the back/forward list.
2188     DocumentLoader* dl = m_documentLoader.get();
2189
2190     switch (m_loadType) {
2191     case FrameLoadType::Forward:
2192     case FrameLoadType::Back:
2193     case FrameLoadType::IndexedBackForward:
2194         if (m_frame.page()) {
2195             // If the first load within a frame is a navigation within a back/forward list that was attached
2196             // without any of the items being loaded then we need to update the history in a similar manner as
2197             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2198             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2199                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2200
2201             history().updateForBackForwardNavigation();
2202
2203             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2204             if (history().currentItem() && !cachedPage)
2205                 m_pendingStateObject = history().currentItem()->stateObject();
2206
2207             // Create a document view for this document, or used the cached view.
2208             if (cachedPage) {
2209                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2210                 ASSERT(cachedDocumentLoader);
2211                 cachedDocumentLoader->attachToFrame(m_frame);
2212                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2213             } else
2214                 m_client.transitionToCommittedForNewPage();
2215         }
2216         break;
2217
2218     case FrameLoadType::Reload:
2219     case FrameLoadType::ReloadFromOrigin:
2220     case FrameLoadType::ReloadExpiredOnly:
2221     case FrameLoadType::Same:
2222     case FrameLoadType::Replace:
2223         history().updateForReload();
2224         m_client.transitionToCommittedForNewPage();
2225         break;
2226
2227     case FrameLoadType::Standard:
2228         history().updateForStandardLoad();
2229         if (m_frame.view())
2230             m_frame.view()->setScrollbarsSuppressed(true);
2231         m_client.transitionToCommittedForNewPage();
2232         break;
2233
2234     case FrameLoadType::RedirectWithLockedBackForwardList:
2235         history().updateForRedirectWithLockedBackForwardList();
2236         m_client.transitionToCommittedForNewPage();
2237         break;
2238     }
2239
2240     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2241
2242     // Tell the client we've committed this URL.
2243     ASSERT(m_frame.view());
2244
2245     if (m_stateMachine.creatingInitialEmptyDocument())
2246         return;
2247
2248     if (!m_stateMachine.committedFirstRealDocumentLoad())
2249         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2250 }
2251
2252 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2253 {
2254     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2255     // the redirect succeeded.  We should either rename this API, or add a new method, like
2256     // -webView:didFinishClientRedirectForFrame:
2257     m_client.dispatchDidCancelClientRedirect();
2258
2259     if (newLoadInProgress == NewLoadInProgress::No)
2260         m_quickRedirectComing = false;
2261
2262     m_sentRedirectNotification = false;
2263 }
2264
2265 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2266 {
2267     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2268     
2269     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2270     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2271     m_sentRedirectNotification = true;
2272     
2273     // If a "quick" redirect comes in, we set a special mode so we treat the next
2274     // load as part of the original navigation. If we don't have a document loader, we have
2275     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2276     // Loads triggered by JavaScript form submissions never count as quick redirects.
2277     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2278 }
2279
2280 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2281 {
2282     // This function implements the rule: "Don't reload if navigating by fragment within
2283     // the same URL, but do reload if going to a new URL or to the same URL with no
2284     // fragment identifier at all."
2285     if (!destinationURL.hasFragmentIdentifier())
2286         return true;
2287     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2288 }
2289
2290 void FrameLoader::closeOldDataSources()
2291 {
2292     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2293     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2294     // use a recursive algorithm here.
2295     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2296         child->loader().closeOldDataSources();
2297     
2298     if (m_documentLoader)
2299         m_client.dispatchWillClose();
2300
2301     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2302 }
2303
2304 void FrameLoader::willRestoreFromCachedPage()
2305 {
2306     ASSERT(!m_frame.tree().parent());
2307     ASSERT(m_frame.page());
2308     ASSERT(m_frame.isMainFrame());
2309
2310     m_frame.navigationScheduler().cancel();
2311
2312     // We still have to close the previous part page.
2313     closeURL();
2314     
2315     // Delete old status bar messages (if it _was_ activated on last URL).
2316     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2317         DOMWindow* window = m_frame.document()->domWindow();
2318         window->setStatus(String());
2319         window->setDefaultStatus(String());
2320     }
2321 }
2322
2323 void FrameLoader::open(CachedFrameBase& cachedFrame)
2324 {
2325     m_isComplete = false;
2326     
2327     // Don't re-emit the load event.
2328     m_didCallImplicitClose = true;
2329
2330     URL url = cachedFrame.url();
2331
2332     // FIXME: I suspect this block of code doesn't do anything.
2333     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2334         url.setPath("/");
2335
2336     started();
2337     auto document = makeRef(*cachedFrame.document());
2338     ASSERT(document->domWindow());
2339
2340     clear(document.ptr(), true, true, cachedFrame.isMainFrame());
2341
2342     document->attachToCachedFrame(cachedFrame);
2343     document->setBackForwardCacheState(Document::NotInBackForwardCache);
2344
2345     m_needsClear = true;
2346     m_isComplete = false;
2347     m_didCallImplicitClose = false;
2348     setOutgoingReferrer(url);
2349
2350     FrameView* view = cachedFrame.view();
2351     
2352     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2353     ASSERT(view);
2354     view->setWasScrolledByUser(false);
2355
2356     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2357     m_frame.setView(view);
2358
2359     // Use the previous ScrollView's frame rect.
2360     if (previousViewFrameRect)
2361         view->setFrameRect(previousViewFrameRect.value());
2362
2363
2364     // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2365     // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2366     // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2367     Style::PostResolutionCallbackDisabler disabler(document.get());
2368     WidgetHierarchyUpdatesSuspensionScope suspendWidgetHierarchyUpdates;
2369     NavigationDisabler disableNavigation { &m_frame };
2370     
2371     m_frame.setDocument(document.copyRef());
2372
2373     document->domWindow()->resumeFromBackForwardCache();
2374
2375     updateFirstPartyForCookies();
2376
2377     cachedFrame.restore();
2378 }
2379
2380 bool FrameLoader::isHostedByObjectElement() const
2381 {
2382     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2383     return owner && owner->hasTagName(objectTag);
2384 }
2385
2386 bool FrameLoader::isReplacing() const
2387 {
2388     return m_loadType == FrameLoadType::Replace;
2389 }
2390
2391 void FrameLoader::setReplacing()
2392 {
2393     m_loadType = FrameLoadType::Replace;
2394 }
2395
2396 bool FrameLoader::subframeIsLoading() const
2397 {
2398     // It's most likely that the last added frame is the last to load so we walk backwards.
2399     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2400         FrameLoader& childLoader = child->loader();
2401         DocumentLoader* documentLoader = childLoader.documentLoader();
2402         if (documentLoader && documentLoader->isLoadingInAPISense())
2403             return true;
2404         documentLoader = childLoader.provisionalDocumentLoader();
2405         if (documentLoader && documentLoader->isLoadingInAPISense())
2406             return true;
2407         documentLoader = childLoader.policyDocumentLoader();
2408         if (documentLoader)
2409             return true;
2410     }
2411     return false;
2412 }
2413
2414 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2415 {
2416     m_client.willChangeTitle(loader);
2417 }
2418
2419 FrameLoadType FrameLoader::loadType() const
2420 {
2421     return m_loadType;
2422 }
2423     
2424 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2425 {
2426     if (Page* page = m_frame.page()) {
2427         if (page->isResourceCachingDisabledByWebInspector())
2428             return CachePolicyReload;
2429     }
2430
2431     if (m_isComplete)
2432         return CachePolicyVerify;
2433
2434     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2435         return CachePolicyReload;
2436
2437     if (Frame* parentFrame = m_frame.tree().parent()) {
2438         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2439         if (parentCachePolicy != CachePolicyVerify)
2440             return parentCachePolicy;
2441     }
2442     
2443     switch (m_loadType) {
2444     case FrameLoadType::Reload:
2445         return CachePolicyRevalidate;
2446     case FrameLoadType::Back:
2447     case FrameLoadType::Forward:
2448     case FrameLoadType::IndexedBackForward:
2449         return CachePolicyHistoryBuffer;
2450     case FrameLoadType::ReloadFromOrigin:
2451         ASSERT_NOT_REACHED(); // Already handled above.
2452         return CachePolicyReload;
2453     case FrameLoadType::RedirectWithLockedBackForwardList:
2454     case FrameLoadType::Replace:
2455     case FrameLoadType::Same:
2456     case FrameLoadType::Standard:
2457         return CachePolicyVerify;
2458     case FrameLoadType::ReloadExpiredOnly:
2459         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2460         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2461             return CachePolicyReload;
2462         return CachePolicyVerify;
2463     }
2464
2465     RELEASE_ASSERT_NOT_REACHED();
2466     return CachePolicyVerify;
2467 }
2468
2469 void FrameLoader::dispatchDidFailProvisionalLoad(DocumentLoader& provisionalDocumentLoader, const ResourceError& error)
2470 {
2471     m_provisionalLoadErrorBeingHandledURL = provisionalDocumentLoader.url();
2472
2473 #if ENABLE(CONTENT_FILTERING)
2474     auto contentFilter = provisionalDocumentLoader.contentFilter();
2475     auto contentFilterWillContinueLoading = false;
2476 #endif
2477
2478     auto willContinueLoading = WillContinueLoading::No;
2479     if (history().provisionalItem())
2480         willContinueLoading = WillContinueLoading::Yes;
2481 #if ENABLE(CONTENT_FILTERING)
2482     if (contentFilter && contentFilter->willHandleProvisionalLoadFailure(error)) {
2483         willContinueLoading = WillContinueLoading::Yes;
2484         contentFilterWillContinueLoading = true;
2485     }
2486 #endif
2487
2488     m_client.dispatchDidFailProvisionalLoad(error, willContinueLoading);
2489
2490 #if ENABLE(CONTENT_FILTERING)
2491     if (contentFilterWillContinueLoading)
2492         contentFilter->handleProvisionalLoadFailure(error);
2493 #endif
2494
2495     m_provisionalLoadErrorBeingHandledURL = { };
2496 }
2497
2498 void FrameLoader::checkLoadCompleteForThisFrame()
2499 {
2500     ASSERT(m_client.hasWebView());
2501
2502     // FIXME: Should this check be done in checkLoadComplete instead of here?
2503     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2504     if (m_frame.document()->isDelayingLoadEvent())
2505         return;
2506
2507     switch (m_state) {
2508         case FrameStateProvisional: {
2509             // FIXME: Prohibiting any provisional load failures from being sent to clients
2510             // while handling provisional load failures is too heavy. For example, the current
2511             // load will fail to cancel another ongoing load. That might prevent clients' page
2512             // load state being handled properly.
2513             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2514                 return;
2515
2516             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2517             if (!pdl)
2518                 return;
2519                 
2520             // If we've received any errors we may be stuck in the provisional state and actually complete.
2521             const ResourceError& error = pdl->mainDocumentError();
2522             if (error.isNull())
2523                 return;
2524
2525             // Check all children first.
2526             RefPtr<HistoryItem> item;
2527             if (Page* page = m_frame.page())
2528                 if (isBackForwardLoadType(loadType()))
2529                     // Reset the back forward list to the last committed history item at the top level.
2530                     item = page->mainFrame().loader().history().currentItem();
2531                 
2532             // Only reset if we aren't already going to a new provisional item.
2533             bool shouldReset = !history().provisionalItem();
2534             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2535                 FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "checkLoadCompleteForThisFrame: Failed provisional load (isTimeout = %d, isCancellation = %d, errorCode = %d)", error.isTimeout(), error.isCancellation(), error.errorCode());
2536
2537                 dispatchDidFailProvisionalLoad(*pdl, error);
2538                 ASSERT(!pdl->isLoading());
2539
2540                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2541                 if (isReplacing() && !m_documentLoader.get())
2542                     setDocumentLoader(m_provisionalDocumentLoader.get());
2543
2544                 // Finish resetting the load state, but only if another load hasn't been started by the
2545                 // delegate callback.
2546                 if (pdl == m_provisionalDocumentLoader)
2547                     clearProvisionalLoad();
2548                 else if (activeDocumentLoader()) {
2549                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2550                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2551                         shouldReset = false;
2552                 }
2553             }
2554             if (shouldReset && item)
2555                 if (Page* page = m_frame.page()) {
2556                     page->backForward().setCurrentItem(*item);
2557                 }
2558             return;
2559         }
2560         
2561         case FrameStateCommittedPage: {
2562             if (!m_documentLoader)
2563                 return;
2564             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2565                 return;
2566
2567             setState(FrameStateComplete);
2568
2569             // FIXME: Is this subsequent work important if we already navigated away?
2570             // Maybe there are bugs because of that, or extra work we can skip because
2571             // the new page is ready.
2572
2573             m_client.forceLayoutForNonHTML();
2574              
2575             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2576             if (m_frame.page()) {
2577                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2578                     history().restoreScrollPositionAndViewState();
2579             }
2580
2581             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2582                 return;
2583
2584             m_progressTracker->progressCompleted();
2585             Page* page = m_frame.page();
2586             if (page) {
2587                 if (m_frame.isMainFrame()) {
2588                     tracePoint(MainResourceLoadDidEnd);
2589                     page->didFinishLoad();
2590                 }
2591             }
2592
2593             const ResourceError& error = m_documentLoader->mainDocumentError();
2594
2595             AXObjectCache::AXLoadingEvent loadingEvent;
2596             if (!error.isNull()) {
2597                 FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "checkLoadCompleteForThisFrame: Finished frame load with error (isTimeout = %d, isCancellation = %d, errorCode = %d)", error.isTimeout(), error.isCancellation(), error.errorCode());
2598                 m_client.dispatchDidFailLoad(error);
2599                 loadingEvent = AXObjectCache::AXLoadingFailed;
2600             } else {
2601                 FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "checkLoadCompleteForThisFrame: Finished frame load");
2602 #if ENABLE(DATA_DETECTION)
2603                 auto* document = m_frame.document();
2604                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2605                     if (auto* documentElement = document->documentElement()) {
2606                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2607                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2608                         if (m_frame.isMainFrame())
2609                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2610                     }
2611                 }
2612 #endif
2613                 m_client.dispatchDidFinishLoad();
2614                 loadingEvent = AXObjectCache::AXLoadingFinished;
2615             }
2616
2617             // Notify accessibility.
2618             if (auto* document = m_frame.document()) {
2619                 if (AXObjectCache* cache = document->existingAXObjectCache())
2620                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2621             }
2622
2623             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2624             // from its Page and also might have caused Page to be deleted.
2625             // Don't assume 'page' is still available to use.
2626             if (m_frame.isMainFrame() && m_frame.page()) {
2627                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2628                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2629             }
2630
2631             return;
2632         }
2633         
2634         case FrameStateComplete:
2635             m_loadType = FrameLoadType::Standard;
2636             frameLoadCompleted();
2637             return;
2638     }
2639
2640     ASSERT_NOT_REACHED();
2641 }
2642
2643 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2644 {
2645     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2646     // The originalURL is defined as the URL of the page where the download was initiated.
2647     URL originalURL;
2648     auto* initiator = m_frame.document();
2649     if (initiator) {
2650         originalURL = initiator->firstPartyForCookies();
2651         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2652         // In this case, we need to set the originalURL to this document's opener's main document URL.
2653         if (originalURL.isEmpty() && opener() && opener()->document()) {
2654             originalURL = opener()->document()->firstPartyForCookies();
2655             initiator = opener()->document();
2656         }
2657     }
2658     // If the originalURL is the same as the requested URL, we are processing a download
2659     // initiated directly without a page and do not need to specify the originalURL.
2660     if (originalURL == request.url())
2661         request.setFirstPartyForCookies(URL());
2662     else
2663         request.setFirstPartyForCookies(originalURL);
2664     addSameSiteInfoToRequestIfNeeded(request, initiator);
2665 }
2666
2667 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2668 {
2669     ASSERT(m_frame.isMainFrame());
2670
2671     m_client.dispatchDidReachLayoutMilestone(milestones);
2672 }
2673
2674 void FrameLoader::didFirstLayout()
2675 {
2676 #if PLATFORM(IOS_FAMILY)
2677     // Only send layout-related delegate callbacks synchronously for the main frame to
2678     // avoid reentering layout for the main frame while delivering a layout-related delegate
2679     // callback for a subframe.
2680     if (&m_frame != &m_frame.page()->mainFrame())
2681         return;
2682 #endif
2683     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2684         history().restoreScrollPositionAndViewState();
2685
2686     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2687         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2688 }
2689
2690 void FrameLoader::didReachVisuallyNonEmptyState()
2691 {
2692     ASSERT(m_frame.isMainFrame());
2693     m_client.dispatchDidReachVisuallyNonEmptyState();
2694 }
2695
2696 void FrameLoader::frameLoadCompleted()
2697 {
2698     // Note: Can be called multiple times.
2699
2700     m_client.frameLoadCompleted();
2701
2702     history().updateForFrameLoadCompleted();
2703
2704     // After a canceled provisional load, firstLayoutDone is false.
2705     // Reset it to true if we're displaying a page.
2706     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2707         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2708 }
2709
2710 void FrameLoader::detachChildren()
2711 {
2712     // detachChildren() will fire the unload event in each subframe and the
2713     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2714     // this event is being fired in its subframes:
2715     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2716     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2717
2718     // detachChildren() will fire the unload event in each subframe and the
2719     // HTML specification states that navigations should be prevented during the prompt to unload algorithm:
2720     // https://html.spec.whatwg.org/multipage/browsing-the-web.html#navigate
2721     std::unique_ptr<NavigationDisabler> navigationDisabler;
2722     if (m_frame.isMainFrame())
2723         navigationDisabler = makeUnique<NavigationDisabler>(&m_frame);
2724
2725     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2726     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2727     // allow loading of subframes at this point.
2728     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2729
2730     Vector<Ref<Frame>, 16> childrenToDetach;
2731     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2732     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2733         childrenToDetach.uncheckedAppend(*child);
2734     for (auto& child : childrenToDetach)
2735         child->loader().detachFromParent();
2736 }
2737
2738 void FrameLoader::closeAndRemoveChild(Frame& child)
2739 {
2740     child.tree().detachFromParent();
2741
2742     child.setView(nullptr);
2743     if (child.ownerElement() && child.page())
2744         child.page()->decrementSubframeCount();
2745     child.willDetachPage();
2746     child.detachFromPage();
2747
2748     m_frame.tree().removeChild(child);
2749 }
2750
2751 // Called every time a resource is completely loaded or an error is received.
2752 void FrameLoader::checkLoadComplete()
2753 {
2754     m_shouldCallCheckLoadComplete = false;
2755
2756     if (!m_frame.page())
2757         return;
2758
2759     ASSERT(m_client.hasWebView());
2760     
2761     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2762     // is currently needed in order to null out the previous history item for all frames.
2763     Vector<Ref<Frame>, 16> frames;
2764     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2765         frames.append(*frame);
2766
2767     // To process children before their parents, iterate the vector backwards.
2768     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2769         if ((*frame)->page())
2770             (*frame)->loader().checkLoadCompleteForThisFrame();
2771     }
2772 }
2773
2774 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2775 {
2776     if (!recurse)
2777         return m_frame.document()->cachedResourceLoader().requestCount();
2778
2779     int count = 0;
2780     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2781         count += frame->document()->cachedResourceLoader().requestCount();
2782     return count;
2783 }
2784
2785 String FrameLoader::userAgent(const URL& url) const
2786 {
2787     String userAgent;
2788
2789     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2790         if (m_frame.settings().needsSiteSpecificQuirks())
2791             userAgent = documentLoader->customUserAgentAsSiteSpecificQuirks();
2792         if (userAgent.isEmpty())
2793             userAgent = documentLoader->customUserAgent();
2794     }
2795
2796     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2797
2798     if (!userAgent.isEmpty())
2799         return userAgent;
2800
2801     return m_client.userAgent(url);
2802 }
2803
2804 String FrameLoader::navigatorPlatform() const
2805 {
2806     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2807         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2808         if (!customNavigatorPlatform.isEmpty())
2809             return customNavigatorPlatform;
2810     }
2811     return String();
2812 }
2813
2814 void FrameLoader::dispatchOnloadEvents()
2815 {
2816     m_client.dispatchDidDispatchOnloadEvents();
2817
2818     if (documentLoader())
2819         documentLoader()->dispatchOnloadEvents();
2820 }
2821
2822 void FrameLoader::frameDetached()
2823 {
2824     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2825     Ref<Frame> protectedFrame(m_frame);
2826
2827     if (m_checkTimer.isActive()) {
2828         m_checkTimer.stop();
2829         checkCompletenessNow();
2830     }
2831
2832     if (m_frame.document()->backForwardCacheState() != Document::InBackForwardCache) {
2833         stopAllLoadersAndCheckCompleteness();
2834         m_frame.document()->stopActiveDOMObjects();
2835     }
2836
2837     detachFromParent();
2838 }
2839
2840 void FrameLoader::detachFromParent()
2841 {
2842     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2843     Ref<Frame> protect(m_frame);
2844
2845     closeURL();
2846     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2847     detachChildren();
2848     if (m_frame.document()->backForwardCacheState() != Document::InBackForwardCache) {
2849         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the back/forward cache,
2850         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2851         // handlers might start a new subresource load in this frame.
2852         stopAllLoaders(ShouldClearProvisionalItem, StopLoadingPolicy::AlwaysStopLoading);
2853     }
2854
2855     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2856
2857     detachViewsAndDocumentLoader();
2858
2859     m_progressTracker = nullptr;
2860
2861     if (Frame* parent = m_frame.tree().parent()) {
2862         parent->loader().closeAndRemoveChild(m_frame);
2863         parent->loader().scheduleCheckCompleted();
2864         parent->loader().scheduleCheckLoadComplete();
2865     } else {
2866         m_frame.setView(nullptr);
2867         m_frame.willDetachPage();
2868         m_frame.detachFromPage();
2869     }
2870 }
2871
2872 void FrameLoader::detachViewsAndDocumentLoader()
2873 {
2874     m_client.detachedFromParent2();
2875     setDocumentLoader(nullptr);
2876     m_client.detachedFromParent3();
2877 }
2878     
2879 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2880 {
2881     addExtraFieldsToRequest(request, m_loadType, false);
2882 }
2883
2884 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2885 {
2886     // FIXME: Using m_loadType seems wrong for some callers.
2887     // If we are only preparing to load the main resource, that is previous load's load type!
2888     addExtraFieldsToRequest(request, m_loadType, true);
2889
2890     // Upgrade-Insecure-Requests should only be added to main resource requests
2891     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2892 }
2893
2894 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2895 {
2896     if (m_overrideCachePolicyForTesting)
2897         return m_overrideCachePolicyForTesting.value();
2898
2899     if (isMainResource) {
2900         if (isReload(loadType) || request.isConditional())
2901             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2902
2903         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2904     }
2905
2906     if (request.isConditional())
2907         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2908
2909     if (documentLoader()->isLoadingInAPISense()) {
2910         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2911         // original request cache policy for two reasons:
2912         // 1. For POST requests, we mutate the cache policy for the main resource,
2913         //    but we do not want this to apply to subresources
2914         // 2. Delegates that modify the cache policy using willSendRequest: should
2915         //    not affect any other resources. Such changes need to be done
2916         //    per request.
2917         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2918         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2919         // This policy is set on initial request too, but should not be inherited.
2920         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2921     }
2922
2923     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2924 }
2925
2926 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2927 {
2928     // If the request came from a previous process due to process-swap-on-navigation then we should not modify the request.
2929     if (m_currentLoadContinuingState == LoadContinuingState::ContinuingWithRequest)
2930         return;
2931
2932     // Don't set the cookie policy URL if it's already been set.
2933     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2934     bool isMainFrameMainResource = isMainResource && m_frame.isMainFrame();
2935     if (request.firstPartyForCookies().isEmpty()) {
2936         if (isMainFrameMainResource)
2937             request.setFirstPartyForCookies(request.url());
2938         else if (Document* document = m_frame.document())
2939             request.setFirstPartyForCookies(document->firstPartyForCookies());
2940     }
2941
2942     if (request.isSameSiteUnspecified()) {
2943         auto* initiator = m_frame.document();
2944         if (isMainResource) {
2945             auto* ownerFrame = m_frame.tree().parent();
2946             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2947                 ownerFrame = m_opener;
2948             if (ownerFrame)
2949                 initiator = ownerFrame->document();
2950             ASSERT(ownerFrame || m_frame.isMainFrame());
2951         }
2952         addSameSiteInfoToRequestIfNeeded(request, initiator);
2953     }
2954     request.setIsTopSite(isMainFrameMainResource);
2955
2956     Page* page = frame().page();
2957     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2958
2959     if (page && page->isResourceCachingDisabledByWebInspector()) {
2960         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2961         loadType = FrameLoadType::ReloadFromOrigin;
2962     } else if (!hasSpecificCachePolicy)
2963         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2964
2965     // The remaining modifications are only necessary for HTTP and HTTPS.
2966     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2967         return;
2968
2969     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2970         if (loadType == FrameLoadType::Reload)
2971             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, HTTPHeaderValues::maxAge0());
2972         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2973             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, HTTPHeaderValues::noCache());
2974             request.setHTTPHeaderField(HTTPHeaderName::Pragma, HTTPHeaderValues::noCache());
2975         }
2976     }
2977
2978     if (m_overrideResourceLoadPriorityForTesting)
2979         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2980
2981     applyUserAgentIfNeeded(request);
2982
2983     // Make sure we send the Origin header.
2984     addHTTPOriginIfNeeded(request, String());
2985
2986     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2987     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2988         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2989         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2990     }
2991 }
2992
2993 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2994 {
2995     if (!request.httpOrigin().isEmpty())
2996         return;  // Request already has an Origin header.
2997
2998     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
2999     // For example, if an intranet page has a hyperlink to an external web
3000     // site, we don't want to include the Origin of the request because it
3001     // will leak the internal host name. Similar privacy concerns have lead
3002     // to the widespread suppression of the Referer header at the network
3003     // layer.
3004     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
3005         return;
3006
3007     // For non-GET and non-HEAD methods, always send an Origin header so the
3008     // server knows we support this feature.
3009
3010     if (origin.isEmpty()) {
3011         // If we don't know what origin header to attach, we attach the value
3012         // for an empty origin.
3013         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
3014         return;
3015     }
3016
3017     request.setHTTPOrigin(origin);
3018 }
3019
3020 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
3021 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
3022 // as same-site. This matches the behavior of Chrome and Firefox.
3023 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
3024 {
3025     if (!request.isSameSiteUnspecified())
3026         return;
3027     if (!initiator) {
3028         request.setIsSameSite(true);
3029         return;
3030     }
3031     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
3032         request.setIsSameSite(true);
3033         return;
3034     }
3035     request.setIsSameSite(areRegistrableDomainsEqual(initiator->siteForCookies(), request.url()));
3036 }
3037
3038 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
3039 {
3040     if (request.url().protocolIs("https")) {
3041         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
3042         return;
3043     }
3044
3045     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
3046 }
3047
3048 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
3049 {
3050     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadPostRequest: frame load started");
3051
3052     String frameName = request.frameName();
3053     LockHistory lockHistory = request.lockHistory();
3054     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
3055     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
3056
3057     const ResourceRequest& inRequest = request.resourceRequest();
3058     const URL& url = inRequest.url();
3059     const String& contentType = inRequest.httpContentType();
3060     String origin = inRequest.httpOrigin();
3061
3062     ResourceRequest workingResourceRequest(url);    
3063
3064     if (!referrer.isEmpty())
3065         workingResourceRequest.setHTTPReferrer(referrer);
3066     workingResourceRequest.setHTTPOrigin(origin);
3067     workingResourceRequest.setHTTPMethod("POST");
3068     workingResourceRequest.setHTTPBody(inRequest.httpBody());
3069     workingResourceRequest.setHTTPContentType(contentType);
3070     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
3071
3072     if (Document* document = m_frame.document())
3073         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3074
3075     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3076
3077     if (!frameName.isEmpty()) {
3078         // The search for a target frame is done earlier in the case of form submission.
3079         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3080             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, WTFMove(completionHandler));
3081             return;
3082         }
3083
3084         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, PolicyChecker::ShouldContinue shouldContinue) mutable {
3085             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3086             completionHandler();
3087         });
3088         return;
3089     }
3090
3091     // must grab this now, since this load may stop the previous load and clear this flag
3092     bool isRedirect = m_quickRedirectComing;
3093     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3094         if (isRedirect) {
3095             m_quickRedirectComing = false;
3096             if (m_provisionalDocumentLoader)
3097                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3098             else if (m_policyDocumentLoader)
3099                 m_policyDocumentLoader->setIsClientRedirect(true);
3100         }
3101         completionHandler();
3102     });
3103 }
3104
3105 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3106 {
3107     ASSERT(m_frame.document());
3108     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3109     
3110     ResourceRequest initialRequest = request;
3111     initialRequest.setTimeoutInterval(10);
3112     
3113     if (!referrer.isEmpty())
3114         initialRequest.setHTTPReferrer(referrer);
3115     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3116
3117     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3118     
3119     addExtraFieldsToSubresourceRequest(initialRequest);
3120
3121     unsigned long identifier = 0;    
3122     ResourceRequest newRequest(initialRequest);
3123     requestFromDelegate(newRequest, identifier, error);
3124
3125 #if ENABLE(CONTENT_EXTENSIONS)
3126     if (error.isNull()) {
3127         if (auto* page = m_frame.page()) {
3128             if (m_documentLoader) {
3129                 auto results = page->userContentProvider().processContentRuleListsForLoad(newRequest.url(), ContentExtensions::ResourceType::Raw, *m_documentLoader);
3130                 bool blockedLoad = results.summary.blockedLoad;
3131                 ContentExtensions::applyResultsToRequest(WTFMove(results), page, newRequest);
3132                 if (blockedLoad) {
3133                     newRequest = { };
3134                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3135                     response = { };
3136                     data = nullptr;
3137                 }
3138             }
3139         }
3140     }
3141 #endif
3142
3143     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3144     
3145     if (error.isNull()) {
3146         ASSERT(!newRequest.isNull());
3147
3148         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3149             Vector<char> buffer;
3150             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3151             data = SharedBuffer::create(WTFMove(buffer));
3152             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3153             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response,
3154                 (isScriptLikeDestination(options.destination) ? ResourceLoadObserver::FetchDestinationIsScriptLike::Yes : ResourceLoadObserver::FetchDestinationIsScriptLike::No));
3155         }
3156     }
3157     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3158     return identifier;
3159 }
3160
3161 const ResourceRequest& FrameLoader::originalRequest() const
3162 {
3163     return activeDocumentLoader()->originalRequestCopy();
3164 }
3165
3166 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3167 {
3168     // Retain because the stop may release the last reference to it.
3169     Ref<Frame> protect(m_frame);
3170
3171     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3172     // FIXME: Don't want to do this if an entirely new load is going, so should check
3173     // that both data sources on the frame are either this or nil.
3174     stop();
3175     if (m_client.shouldFallBack(error))
3176         handleFallbackContent();
3177
3178     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3179         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3180             m_submittedFormURL = URL();
3181             
3182         // We might have made a back/forward cache item, but now we're bailing out due to an error before we ever
3183         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3184         // so that the existing view (that wenever got far enough to replace) can continue being used.
3185         history().invalidateCurrentItemCachedPage();
3186         
3187         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3188         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3189         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3190         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3191         // has ended.
3192         if (m_sentRedirectNotification)
3193             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3194     }
3195
3196     checkCompleted();
3197     if (m_frame.page())
3198         checkLoadComplete();
3199 }
3200
3201 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3202 {
3203     m_quickRedirectComing = false;
3204
3205     if (!shouldContinue)
3206         return;
3207
3208     // Calling stopLoading() on the provisional document loader can cause the underlying
3209     // frame to be deallocated.
3210     Ref<Frame> protectedFrame(m_frame);
3211
3212     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3213     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3214         m_provisionalDocumentLoader->stopLoading();
3215         FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueFragmentScrollAfterNavigationPolicy: Clearing provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
3216         setProvisionalDocumentLoader(nullptr);
3217     }
3218
3219     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3220     loadInSameDocument(request.url(), 0, !isRedirect);
3221 }
3222
3223 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3224 {
3225     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3226     // currently displaying a frameset, or if the URL does not have a fragment.
3227     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3228
3229     // FIXME: What about load types other than Standard and Reload?
3230
3231     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3232         && !isReload(loadType)
3233         && loadType != FrameLoadType::Same
3234         && m_frame.document()->backForwardCacheState() != Document::InBackForwardCache
3235         && !shouldReload(m_frame.document()->url(), url)
3236         // We don't want to just scroll if a link from within a
3237         // frameset is trying to reload the frameset into _top.
3238         && !m_frame.document()->isFrameSet();
3239 }
3240
3241 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3242 {
3243     return !historyItem || historyItem->shouldRestoreScrollPosition();
3244 }
3245
3246 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3247 {
3248     return !isNewNavigation && !isBackForwardLoadType(loadType);
3249 }
3250
3251 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3252 {
3253     auto view = makeRefPtr(m_frame.view());
3254     auto document = makeRefPtr(m_frame.document());
3255     if (!view || !document)
3256         return;
3257
3258     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem())) {
3259         // https://html.spec.whatwg.org/multipage/browsing-the-web.html#try-to-scroll-to-the-fragment
3260         if (!document->haveStylesheetsLoaded())
3261             document->setGotoAnchorNeededAfterStylesheetsLoad(true);
3262         else
3263             view->scrollToFragment(url);
3264     }
3265
3266 }
3267
3268 bool FrameLoader::shouldClose()
3269 {
3270     Page* page = m_frame.page();
3271     if (!page)
3272         return true;
3273     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3274         return true;
3275
3276     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3277     Vector<Ref<Frame>, 16> targetFrames;
3278     targetFrames.append(m_frame);
3279     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3280         targetFrames.append(*child);
3281
3282     bool shouldClose = false;
3283     {
3284         NavigationDisabler navigationDisabler(&m_frame);
3285         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3286         size_t i;
3287
3288         for (i = 0; i < targetFrames.size(); i++) {
3289             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3290                 continue;
3291             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3292                 break;
3293         }
3294
3295         if (i == targetFrames.size())
3296             shouldClose = true;
3297     }
3298
3299     if (!shouldClose)
3300         m_submittedFormURL = URL();
3301
3302     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3303     return shouldClose;
3304 }
3305
3306 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3307 {
3308     if (!m_frame.document())
3309         return;
3310
3311     if (m_pageDismissalEventBeingDispatched != PageDismissalType::None)
3312         return;
3313
3314     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3315     ForbidPromptsScope forbidPrompts(m_frame.page());
3316     ForbidSynchronousLoadsScope forbidSynchronousLoads(m_frame.page());
3317     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3318
3319     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3320         auto* currentFocusedElement = m_frame.document()->focusedElement();
3321         if (is<HTMLInputElement>(currentFocusedElement))
3322             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3323         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3324             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3325                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3326                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->backForwardCacheState() == Document::AboutToEnterBackForwardCache), m_frame.document());
3327             }
3328
3329             // FIXME: update Page Visibility state here.
3330             // https://bugs.webkit.org/show_bug.cgi?id=116770
3331
3332             if (m_frame.document()->backForwardCacheState() == Document::NotInBackForwardCache) {
3333                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3334                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3335                 // while dispatching the event, so protect it to prevent writing the end
3336                 // time into freed memory.
3337                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3338                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3339                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3340                     auto& timing = documentLoader->timing();
3341                     timing.markUnloadEventStart();
3342                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3343                     timing.markUnloadEventEnd();
3344                 } else
3345                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3346             }
3347         }
3348         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3349         m_wasUnloadEventEmitted = true;
3350     }
3351
3352     // Dispatching the unload event could have made m_frame.document() null.
3353     if (!m_frame.document())
3354         return;
3355
3356     if (m_frame.document()->backForwardCacheState() != Document::NotInBackForwardCache)
3357         return;
3358
3359     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3360     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3361         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3362
3363     if (!keepEventListeners)
3364         m_frame.document()->removeAllEventListeners();
3365 }
3366
3367 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3368 {
3369     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3370     if (document.isSandboxed(SandboxModals))
3371         return false;
3372
3373     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3374     // Web pages can request we ask for confirmation before navigating by:
3375     // - Cancelling the BeforeUnloadEvent (modern way)
3376     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3377     // - Returning a non-empty string from the event handler, which is then set as returnValue
3378     //   attribute on the BeforeUnloadEvent.
3379     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3380 }
3381
3382 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3383 {
3384     DOMWindow* domWindow = m_frame.document()->domWindow();
3385     if (!domWindow)
3386         return true;
3387
3388     RefPtr<Document> document = m_frame.document();
3389     if (!document->bodyOrFrameset())
3390         return true;
3391     
3392     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3393
3394     {
3395         SetForScope<PageDismissalType> change(m_pageDismissalEventBeingDispatched, PageDismissalType::BeforeUnload);
3396         ForbidPromptsScope forbidPrompts(m_frame.page());
3397         ForbidSynchronousLoadsScope forbidSynchronousLoads(m_frame.page());
3398         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3399     }
3400
3401     if (!beforeUnloadEvent->defaultPrevented())
3402         document->defaultEventHandler(beforeUnloadEvent.get());
3403
3404     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3405         return true;
3406
3407     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3408     // this frame is not allowed to cause another one to be shown.
3409     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3410         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3411         return true;
3412     }
3413
3414     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3415     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3416     if (frameLoaderBeingNavigated != this) {
3417         Frame* parentFrame = m_frame.tree().parent();
3418         while (parentFrame) {
3419             Document* parentDocument = parentFrame->document();
3420             if (!parentDocument)
3421                 return true;
3422             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3423                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3424                 return true;
3425             }
3426             
3427             if (&parentFrame->loader() == frameLoaderBeingNavigated)
3428                 break;
3429             
3430             parentFrame = parentFrame->tree().parent();
3431         }
3432         
3433         // The navigatingFrameLoader should always be in our ancestory.
3434         ASSERT(parentFrame);
3435         ASSERT(&parentFrame->loader() == frameLoaderBeingNavigated);
3436     }
3437
3438     frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel = true;
3439
3440     String text = document->displayStringModifiedByEncoding(beforeUnloadEvent->returnValue());
3441     return chrome.runBeforeUnloadConfirmPanel(text, m_frame);
3442 }
3443
3444 void FrameLoader::continueLoadAfterNavigationPolicy(const ResourceRequest& request, FormState* formState, NavigationPolicyDecision navigationPolicyDecision, AllowNavigationToInvalidURL allowNavigationToInvalidURL)
3445 {
3446     // If we loaded an alternate page to replace an unreachableURL, we'll get in here with a
3447     // nil policyDataSource because loading the alternate page will have passed
3448     // through this method already, nested; otherwise, policyDataSource should still be set.
3449     ASSERT(m_policyDocumentLoader || !m_provisionalDocumentLoader->unreachableURL().isEmpty());
3450
3451     bool isTargetItem = history().provisionalItem() ? history().provisionalItem()->isTargetItem() : false;
3452
3453     bool urlIsDisallowed = allowNavigationToInvalidURL == AllowNavigationToInvalidURL::No && !request.url().isValid();
3454     bool canContinue = navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad && shouldClose() && !urlIsDisallowed;
3455
3456     if (!canContinue) {
3457         FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy: can't continue loading frame due to the following reasons ("
3458             "allowNavigationToInvalidURL = %d, "
3459             "requestURLIsValid = %d, "
3460             "navigationPolicyDecision = %d)",
3461             static_cast<int>(allowNavigationToInvalidURL),
3462             request.url().isValid(),
3463             static_cast<int>(navigationPolicyDecision));
3464
3465         // If we were waiting for a quick redirect, but the policy delegate decided to ignore it, then we 
3466         // need to report that the client redirect was cancelled.
3467         // FIXME: The client should be told about ignored non-quick redirects, too.
3468         if (m_quickRedirectComing)
3469             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3470
3471         if (navigationPolicyDecision == NavigationPolicyDecision::StopAllLoads) {
3472             stopAllLoaders();
3473             m_checkTimer.stop();
3474         }
3475
3476         setPolicyDocumentLoader(nullptr);
3477         checkCompleted();
3478
3479         if (navigationPolicyDecision != NavigationPolicyDecision::StopAllLoads)
3480             checkLoadComplete();
3481
3482         // If the navigation request came from the back/forward menu, and we punt on it, we have the 
3483         // problem that we have optimistically moved the b/f cursor already, so move it back. For sanity,
3484         // we only do this when punting a navigation for the target frame or top-level frame.  
3485         if ((isTargetItem || m_frame.isMainFrame()) && isBackForwardLoadType(policyChecker().loadType())) {
3486             if (Page* page = m_frame.page()) {
3487                 if (HistoryItem* resetItem = m_frame.mainFrame().loader().history().currentItem())
3488                     page->backForward().setCurrentItem(*resetItem);
3489             }
3490         }
3491         return;
3492     }
3493
3494     FrameLoadType type = policyChecker().loadType();
3495     // A new navigation is in progress, so don't clear the history's provisional item.
3496     stopAllLoaders(ShouldNotClearProvisionalItem);
3497     
3498     // <rdar://problem/6250856> - In certain circumstances on pages with multiple frames, stopAllLoaders()
3499     // might detach the current FrameLoader, in which case we should bail on this newly defunct load. 
3500     if (!m_frame.page()) {
3501         FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy: can't continue loading frame because it became defunct");
3502         return;
3503     }
3504
3505     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
3506     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy: Setting provisional document loader (m_provisionalDocumentLoader=%p)", m_provisionalDocumentLoader.get());
3507     m_loadType = type;
3508     setState(FrameStateProvisional);
3509
3510     setPolicyDocumentLoader(nullptr);
3511
3512     if (isBackForwardLoadType(type)) {
3513         auto& diagnosticLoggingClient = m_frame.page()->diagnosticLoggingClient();
3514         if (history().provisionalItem() && history().provisionalItem()->isInBackForwardCache()) {
3515             diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::backForwardCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultPass, ShouldSample::Yes);
3516             loadProvisionalItemFromCachedPage();
3517             FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy: can't continue loading frame because it will be loaded from cache");
3518             return;
3519         }
3520         diagnosticLoggingClient.logDiagnosticMessageWithResult(DiagnosticLoggingKeys::backForwardCacheKey(), DiagnosticLoggingKeys::retrievalKey(), DiagnosticLoggingResultFail, ShouldSample::Yes);
3521     }
3522
3523     CompletionHandler<void()> completionHandler = [this, protectedFrame = makeRef(m_frame)] () mutable {
3524         if (!m_provisionalDocumentLoader) {
3525             FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy (completionHandler): Frame load canceled - no provisional document loader before prepareForLoadStart");
3526             return;
3527         }
3528         
3529         prepareForLoadStart();
3530
3531         // The load might be cancelled inside of prepareForLoadStart(), nulling out the m_provisionalDocumentLoader,
3532         // so we need to null check it again.
3533         if (!m_provisionalDocumentLoader) {
3534             FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy (completionHandler): Frame load canceled - no provisional document loader after prepareForLoadStart");
3535             return;
3536         }
3537         
3538         DocumentLoader* activeDocLoader = activeDocumentLoader();
3539         if (activeDocLoader && activeDocLoader->isLoadingMainResource()) {
3540             FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "continueLoadAfterNavigationPolicy (completionHandler): Main frame already being loaded");
3541             return;
3542         }
3543         
3544         m_loadingFromCachedPage = false;
3545
3546         m_provisionalDocumentLoader->startLoadingMainResource();
3547     };
3548     
3549     if (!formState) {
3550         completionHandler();
3551         return;
3552     }
3553
3554     m_client.dispatchWillSubmitForm(*formState, WTFMove(completionHandler));
3555 }
3556
3557 void FrameLoader::continueLoadAfterNewWindowPolicy(const ResourceRequest& request,
3558     FormState* formState, const String& frameName, const NavigationAction& action, PolicyChecker::ShouldContinue shouldContinue, AllowNavigationToInvalidURL allowNavigationToInvalidURL, NewFrameOpenerPolicy openerPolicy)
3559 {
3560     if (shouldContinue != PolicyChecker::ShouldContinue::Yes)
3561         return;
3562
3563     Ref<Frame> frame(m_frame);
3564     RefPtr<Frame> mainFrame = m_client.dispatchCreatePage(action);
3565     if (!mainFrame)
3566         return;
3567
3568     SandboxFlags sandboxFlags = frame->loader().effectiveSandboxFlags();
3569     if (sandboxFlags & SandboxPropagatesToAuxiliaryBrowsingContexts)
3570         mainFrame->loader().forceSandboxFlags(sandboxFlags);
3571
3572     if (!equalIgnoringASCIICase(frameName, "_blank"))
3573         mainFrame->tree().setName(frameName);
3574
3575     mainFrame->page()->setOpenedByDOM();
3576     mainFrame->loader().m_client.dispatchShow();
3577     if (openerPolicy == NewFrameOpenerPolicy::Allow) {
3578         mainFrame->loader().setOpener(frame.ptr());
3579         mainFrame->document()->setReferrerPolicy(frame->document()->referrerPolicy());
3580     }
3581
3582     NavigationAction newAction { *frame->document(), request, InitiatedByMainFrame::Unknown, NavigationType::Other, action.shouldOpenExternalURLsPolicy(), nullptr, action.downloadAttribute() };
3583     mainFrame->loader().loadWithNavigationAction(request, WTFMove(newAction), LockHistory::No, FrameLoadType::Standard, formState, allowNavigationToInvalidURL);
3584 }
3585
3586 void FrameLoader::requestFromDelegate(ResourceRequest& request, unsigned long& identifier, ResourceError& error)
3587 {
3588     ASSERT(!request.isNull());
3589
3590     identifier = 0;
3591     if (Page* page = m_frame.page()) {
3592         identifier = page->progress().createUniqueIdentifier();
3593         notifier().assignIdentifierToInitialRequest(identifier, m_documentLoader.get(), request);
3594     }
3595
3596     ResourceRequest newRequest(request);
3597     notifier().dispatchWillSendRequest(m_documentLoader.get(), identifier, newRequest, ResourceResponse());
3598
3599     if (newRequest.isNull())
3600         error = cancelledError(request);
3601     else
3602         error = ResourceError();
3603
3604     request = newRequest;
3605 }
3606
3607 void FrameLoader::loadedResourceFromMemoryCache(CachedResource& resource, ResourceRequest& newRequest, ResourceError& error)
3608 {
3609     Page* page = m_frame.page();
3610     if (!page)
3611         return;
3612
3613     if (!resource.shouldSendResourceLoadCallbacks() || m_documentLoader->haveToldClientAboutLoad(resource.url()))
3614         return;
3615
3616     // Main resource delegate messages are synthesized in MainResourceLoader, so we must not send them here.
3617     if (resource.type() == CachedResource::Type::MainResource)
3618         return;
3619
3620     if (!page->areMemoryCacheClientCallsEnabled()) {
3621         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3622         m_documentLoader->recordMemoryCacheLoadForFutureClientNotification(resource.resourceRequest());
3623         m_documentLoader->didTellClientAboutLoad(resource.url());
3624         return;
3625     }
3626
3627     if (m_client.dispatchDidLoadResourceFromMemoryCache(m_documentLoader.get(), newRequest, resource.response(), resource.encodedSize())) {
3628         InspectorInstrumentation::didLoadResourceFromMemoryCache(*page, m_documentLoader.get(), &resource);
3629         m_documentLoader->didTellClientAboutLoad(resource.url());
3630         return;
3631     }
3632
3633     unsigned long identifier;
3634     requestFromDelegate(newRequest, identifier, error);
3635
3636     ResourceResponse response = resource.response();
3637     response.setSource(ResourceResponse::Source::MemoryCache);
3638     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, newRequest, response, 0, resource.encodedSize(), 0, error);
3639 }
3640
3641 void FrameLoader::applyUserAgentIfNeeded(ResourceRequest& request)
3642 {
3643     if (!request.hasHTTPHeaderField(HTTPHeaderName::UserAgent)) {
3644         String userAgent = this->userAgent(request.url());
3645         ASSERT(!userAgent.isNull());
3646         request.setHTTPUserAgent(userAgent);
3647     }
3648 }
3649
3650 bool FrameLoader::shouldInterruptLoadForXFrameOptions(const String& content, const URL& url, unsigned long requestIdentifier)
3651 {
3652     Frame& topFrame = m_frame.tree().top();
3653     if (&m_frame == &topFrame)
3654         return false;
3655
3656     XFrameOptionsDisposition disposition = parseXFrameOptionsHeader(content);
3657
3658     switch (disposition) {
3659     case XFrameOptionsSameOrigin: {
3660         auto origin = SecurityOrigin::create(url);
3661         if (!origin->isSameSchemeHostPort(topFrame.document()->securityOrigin()))
3662             return true;
3663         for (Frame* frame = m_frame.tree().parent(); frame; frame = frame->tree().parent()) {
3664             if (!origin->isSameSchemeHostPort(frame->document()->securityOrigin()))
3665                 return true;
3666         }
3667         return false;
3668     }
3669     case XFrameOptionsDeny:
3670         return true;
3671     case XFrameOptionsAllowAll:
3672         return false;
3673     case XFrameOptionsConflict:
3674         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Multiple 'X-Frame-Options' headers with conflicting values ('" + content + "') encountered when loading '" + url.stringCenterEllipsizedToLength() + "'. Falling back to 'DENY'.", requestIdentifier);
3675         return true;
3676     case XFrameOptionsInvalid:
3677         m_frame.document()->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Invalid 'X-Frame-Options' header encountered when loading '" + url.stringCenterEllipsizedToLength() + "': '" + content + "' is not a recognized directive. The header will be ignored.", requestIdentifier);
3678         return false;
3679     case XFrameOptionsNone:
3680         return false;
3681     }
3682     ASSERT_NOT_REACHED();
3683     return false;
3684 }
3685
3686 void FrameLoader::loadProvisionalItemFromCachedPage()
3687 {
3688     DocumentLoader* provisionalLoader = provisionalDocumentLoader();
3689     LOG(BackForwardCache, "FrameLoader::loadProvisionalItemFromCachedPage Loading provisional DocumentLoader %p with URL '%s' from CachedPage", provisionalDocumentLoader(), provisionalDocumentLoader()->url().stringCenterEllipsizedToLength().utf8().data());
3690
3691     prepareForLoadStart();
3692
3693     m_loadingFromCachedPage = true;
3694     
3695     // Should have timing data from previous time(s) the page was shown.
3696     ASSERT(provisionalLoader->timing().startTime());
3697     provisionalLoader->resetTiming();
3698     provisionalLoader->timing().markStartTime();
3699     
3700     provisionalLoader->setCommitted(true);
3701     commitProvisionalLoad();
3702 }
3703
3704 bool FrameLoader::shouldTreatURLAsSameAsCurrent(const URL& url) const
3705 {
3706     if (!history().currentItem())
3707         return false;
3708     return url == history().currentItem()->url() || url == history().currentItem()->originalURL();
3709 }
3710
3711 bool FrameLoader::shouldTreatURLAsSrcdocDocument(const URL& url) const
3712 {
3713     if (!equalLettersIgnoringASCIICase(url.string(), "about:srcdoc"))
3714         return false;
3715     HTMLFrameOwnerElement* ownerElement = m_frame.ownerElement();
3716     if (!ownerElement)
3717         return false;
3718     if (!ownerElement->hasTagName(iframeTag))
3719         return false;
3720     return ownerElement->hasAttributeWithoutSynchronization(srcdocAttr);
3721 }
3722
3723 Frame* FrameLoader::findFrameForNavigation(const AtomString& name, Document* activeDocument)
3724 {
3725     // FIXME: Eventually all callers should supply the actual activeDocument so we can call canNavigate with the right document.
3726     if (!activeDocument)
3727         activeDocument = m_frame.document();
3728
3729     auto* frame = m_frame.tree().find(name, activeDocument->frame() ? *activeDocument->frame() : m_frame);
3730
3731     if (!activeDocument->canNavigate(frame))
3732         return nullptr;
3733
3734     return frame;
3735 }
3736
3737 void FrameLoader::loadSameDocumentItem(HistoryItem& item)
3738 {
3739     ASSERT(item.documentSequenceNumber() == history().currentItem()->documentSequenceNumber());
3740
3741     Ref<Frame> protect(m_frame);
3742
3743     // Save user view state to the current history item here since we don't do a normal load.
3744     // FIXME: Does form state need to be saved here too?
3745     history().saveScrollPositionAndViewStateToItem(history().currentItem());
3746     if (FrameView* view = m_frame.view())
3747         view->setWasScrolledByUser(false);
3748
3749     history().setCurrentItem(item);
3750         
3751     // loadInSameDocument() actually changes the URL and notifies load delegates of a "fake" load
3752     loadInSameDocument(item.url(), item.stateObject(), false);
3753
3754     // Restore user view state from the current history item here since we don't do a normal load.
3755     history().restoreScrollPositionAndViewState();
3756 }
3757
3758 // FIXME: This function should really be split into a couple pieces, some of
3759 // which should be methods of HistoryController and some of which should be
3760 // methods of FrameLoader.
3761 void FrameLoader::loadDifferentDocumentItem(HistoryItem& item, HistoryItem* fromItem, FrameLoadType loadType, FormSubmissionCacheLoadPolicy cacheLoadPolicy, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3762 {
3763     FRAMELOADER_RELEASE_LOG_IF_ALLOWED(ResourceLoading, "loadDifferentDocumentItem: frame load started");
3764
3765     Ref<Frame> protectedFrame(m_frame);
3766
3767     // History items should not be reported to the parent.
3768     m_shouldReportResourceTimingToParentFrame = false;
3769
3770     // Remember this item so we can traverse any child items as child frames load
3771     history().setProvisionalItem(&item);
3772
3773     auto initiatedByMainFrame = InitiatedByMainFrame::Unknown;
3774
3775     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, shouldTreatAsContinuingLoad == ShouldTreatAsContinuingLoad::Yes ? LoadContinuingState::ContinuingWithHistoryItem : LoadContinuingState::NotContinuing);
3776
3777     if (CachedPage* cachedPage = BackForwardCache::singleton().get(item, m_frame.page())) {
3778         auto documentLoader = cachedPage->documentLoader();
3779         m_client.updateCachedDocumentLoader(*documentLoader);
3780
3781         auto action = NavigationAction { *m_frame.document(), documentLoader->request(), initiatedByMainFrame, loadType, false };
3782         action.setTargetBackForwardItem(item);
3783         action.setSourceBackForwardItem(fromItem);
3784         documentLoader->setTriggeringAction(WTFMove(action));
3785
3786         documentLoader->setLastCheckedRequest(ResourceRequest());
3787         loadWithDocumentLoader(documentLoader, loadType, { }, AllowNavigationToInvalidURL::Yes, shouldTreatAsContinuingLoad);
3788         return;
3789     }
3790
3791     URL itemURL = item.url();
3792     URL itemOriginalURL = item.originalURL();
3793     URL currentURL;
3794     if (documentLoader())
3795         currentURL = documentLoader()->url();
3796     RefPtr<FormData> formData = item.formData();
3797
3798     ResourceRequest request(itemURL);
3799
3800     if (!item.referrer().isNull())
3801         request.setHTTPReferrer(item.referrer());
3802
3803     ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy = shouldOpenExternalURLsPolicyToApply(m_frame, initiatedByMainFrame, item.shouldOpenExternalURLsPolicy());
3804     bool isFormSubmission = false;
3805     Event* event = nullptr;
3806
3807     // If this was a repost that failed the page cache, we might try to repost the form.
3808     NavigationAction action;
3809     if (formData) {
3810         request.setHTTPMethod("POST");
3811         request.setHTTPBody(WTFMove(formData));
3812         request.setHTTPContentType(item.formContentType());
3813         auto securityOrigin = SecurityOrigin::createFromString(item.referrer());
3814         addHTTPOriginIfNeeded(request, securityOrigin->toString());
3815         addHTTPUpgradeInsecureRequestsIfNeeded(request);
3816
3817         // Make sure to add extra fields to the request after the Origin header is added for the FormData case.
3818         // See https://bugs.webkit.org/show_bug.cgi?id=22194 for more discussion.
3819         addExtraFieldsToRequest(request, loadType, true);
3820         
3821         // FIXME: Slight hack to test if the NSURL cache contains the page we're going to.
3822         // We want to know this before talking to the policy delegate, since it affects whether 
3823         // we show the DoYouReallyWantToRepost nag.
3824         //
3825         // This trick has a small bug (3123893) where we might find a cache hit, but then
3826         // have the item vanish when we try to use it in the ensuing nav.  This should be
3827         // extremely rare, but in that case the user will get an error on the navigation.
3828         
3829         if (cacheLoadPolicy == MayAttemptCacheOnlyLoadForFormSubmissionItem) {
3830             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataDontLoad);
3831             action = { *m_frame.document(), request, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3832         } else {
3833             request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3834             action = { *m_frame.document(), request, initiatedByMainFrame, NavigationType::FormResubmitted, shouldOpenExternalURLsPolicy, event };
3835         }
3836     } else {
3837         switch (loadType) {
3838         case FrameLoadType::Reload:
3839         case FrameLoadType::ReloadFromOrigin:
3840         case FrameLoadType::ReloadExpiredOnly:
3841             request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
3842             break;
3843         case FrameLoadType::Back:
3844         case FrameLoadType::Forward:
3845         case FrameLoadType::IndexedBackForward: {
3846 #if PLATFORM(COCOA)
3847             bool allowStaleData = true;
3848 #else
3849             bool allowStaleData = !item.wasRestoredFromSession();
3850 #endif
3851             if (allowStaleData)
3852                 request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
3853             item.setWasRestoredFromSession(false);
3854             break;
3855         }
3856         case FrameLoadType::Standard:
3857         case FrameLoadType::RedirectWithLockedBackForwardList:
3858             break;
3859         case FrameLoadType::Same:
3860         case FrameLoadType::Replace:
3861             ASSERT_NOT_REACHED();
3862         }
3863
3864         addExtraFieldsToRequest(request, loadType, true);
3865
3866         ResourceRequest requestForOriginalURL(request);
3867         requestForOriginalURL.setURL(itemOriginalURL);
3868         action = { *m_frame.document(), requestForOriginalURL, initiatedByMainFrame, loadType, isFormSubmission, event, shouldOpenExternalURLsPolicy };
3869     }
3870
3871     action.setTargetBackForwardItem(item);
3872     action.setSourceBackForwardItem(fromItem);
3873
3874     loadWithNavigationAction(request, WTFMove(action), LockHistory::No, loadType, { }, AllowNavigationToInvalidURL::Yes);
3875 }
3876
3877 // Loads content into this frame, as specified by history item
3878 void FrameLoader::loadItem(HistoryItem& item, HistoryItem* fromItem, FrameLoadType loadType, ShouldTreatAsContinuingLoad shouldTreatAsContinuingLoad)
3879 {
3880     m_requestedHistoryItem = &item;
3881     HistoryItem* currentItem = history().currentItem();
3882     bool sameDocumentNavigation = currentItem && item.shouldDoSameDocumentNavigationTo(*currentItem);
3883
3884     if (sameDocumentNavigation)
3885         loadSameDocumentItem(item);
3886     else
3887         loadDifferentDocumentItem(item, fromItem, loadType, MayAttemptCacheOnlyLoadForFormSubmissionItem, shouldTreatAsContinuingLoad);
3888 }
3889
3890 void FrameLoader::retryAfterFailedCacheOnlyMainResourceLoad()
3891 {
3892     ASSERT(m_state == FrameStateProvisional);
3893     ASSERT(!m_loadingFromCachedPage);
3894     ASSERT(history().provisionalItem());
3895     ASSERT(history().provisionalItem()->formData());
3896     ASSERT(history().provisionalItem() == m_requestedHistoryItem.get());
3897
3898     FrameLoadType loadType = m_loadType;
3899     HistoryItem* item = history().provisionalItem();
3900
3901     stopAllLoaders(ShouldNotClearProvisionalItem);
3902     if (item)
3903         loadDifferentDocumentItem(*item, history().currentItem(), loadType, MayNotAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
3904     else {
3905         ASSERT_NOT_REACHED();
3906         FRAMELOADER_RELEASE_LOG_ERROR_IF_ALLOWED(ResourceLoading, "retryAfterFailedCacheOnlyMainResourceLoad: Retrying load after failed cache-only main resource load failed because there is no provisional history item.");
3907     }
3908 }
3909
3910 ResourceError FrameLoader::cancelledError(const ResourceRequest& request) const
3911 {
3912     ResourceError error = m_client.cancelledError(request);
3913     error.setType(ResourceError::Type::Cancellation);
3914     return error;
3915 }
3916
3917 ResourceError FrameLoader::blockedByContentBlockerError(const ResourceRequest& request) const
3918 {
3919     return m_client.blockedByContentBlockerError(request);
3920 }
3921
3922 ResourceError FrameLoader::blockedError(const ResourceRequest& request) const
3923 {
3924     ResourceError error = m_client.blockedError(request);
3925     error.setType(ResourceError::Type::Cancellation);
3926     return error;
3927 }
3928
3929 #if ENABLE(CONTENT_FILTERING)
3930 ResourceError FrameLoader::blockedByContentFilterError(const ResourceRequest& request) const
3931 {
3932     ResourceError error = m_client.blockedByContentFilterError(request);
3933     error.setType(ResourceError::Type::General);
3934     return error;
3935 }
3936 #endif
3937
3938 #if PLATFORM(IOS_FAMILY)
3939 RetainPtr<CFDictionaryRef> FrameLoader::connectionProperties(ResourceLoader* loader)
3940 {
3941     return m_client.connectionProperties(loader->documentLoader(), loader->identifier());
3942 }
3943 #endif
3944
3945 ReferrerPolicy FrameLoader::effectiveReferrerPolicy() const
3946 {
3947     if (auto* parentFrame = m_frame.tree().parent())
3948         return parentFrame->document()->referrerPolicy();
3949     if (m_opener)
3950         return m_opener->document()->referrerPolicy();
3951     return ReferrerPolicy::NoReferrerWhenDowngrade;
3952 }
3953
3954 String FrameLoader::referrer() const
3955 {
3956     return m_documentLoader ? m_documentLoader->request().httpReferrer() : emptyString();
3957 }
3958
3959 void FrameLoader::dispatchDidClearWindowObjectsInAllWorlds()
3960 {
3961     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript))
3962         return;
3963
3964     Vector<Ref<DOMWrapperWorld>> worlds;
3965     ScriptController::getAllWorlds(worlds);
3966     for (auto& world : worlds)
3967         dispatchDidClearWindowObjectInWorld(world);
3968 }
3969
3970 void FrameLoader::dispatchDidClearWindowObjectInWorld(DOMWrapperWorld& world)
3971 {
3972     if (!m_frame.script().canExecuteScripts(NotAboutToExecuteScript) || !m_frame.windowProxy().existingJSWindowProxy(world))
3973         return;
3974
3975     m_client.dispatchDidClearWindowObjectInWorld(world);
3976
3977     if (Page* page = m_frame.page())
3978         page->inspectorController().didClearWindowObjectInWorld(m_frame, world);
3979
3980     InspectorInstrumentation::didClearWindowObjectInWorld(m_frame, world);
3981 }
3982
3983 void FrameLoader::dispatchGlobalObjectAvailableInAllWorlds()
3984 {
3985     Vector<Ref<DOMWrapperWorld>> worlds;
3986     ScriptController::getAllWorlds(worlds);
3987     for (auto& world : worlds)
3988         m_client.dispatchGlobalObjectAvailable(world);
3989 }
3990
3991 SandboxFlags FrameLoader::effectiveSandboxFlags() const