Back/Forward cache does not work after doing a favorite navigation
[WebKit-https.git] / Source / WebCore / loader / FrameLoader.cpp
1 /*
2  * Copyright (C) 2006-2018 Apple Inc. All rights reserved.
3  * Copyright (C) 2008 Nokia Corporation and/or its subsidiary(-ies)
4  * Copyright (C) 2008, 2009 Torch Mobile Inc. All rights reserved. (http://www.torchmobile.com/)
5  * Copyright (C) 2008 Alp Toker <alp@atoker.com>
6  * Copyright (C) Research In Motion Limited 2009. All rights reserved.
7  * Copyright (C) 2011 Kris Jordan <krisjordan@gmail.com>
8  * Copyright (C) 2011 Google Inc. All rights reserved.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  *
14  * 1.  Redistributions of source code must retain the above copyright
15  *     notice, this list of conditions and the following disclaimer.
16  * 2.  Redistributions in binary form must reproduce the above copyright
17  *     notice, this list of conditions and the following disclaimer in the
18  *     documentation and/or other materials provided with the distribution.
19  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
20  *     its contributors may be used to endorse or promote products derived
21  *     from this software without specific prior written permission.
22  *
23  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include "config.h"
36 #include "FrameLoader.h"
37
38 #include "AXObjectCache.h"
39 #include "ApplicationCacheHost.h"
40 #include "BackForwardController.h"
41 #include "BeforeUnloadEvent.h"
42 #include "CachedPage.h"
43 #include "CachedResourceLoader.h"
44 #include "Chrome.h"
45 #include "ChromeClient.h"
46 #include "CommonVM.h"
47 #include "ContentFilter.h"
48 #include "ContentRuleListResults.h"
49 #include "ContentSecurityPolicy.h"
50 #include "CustomHeaderFields.h"
51 #include "DOMWindow.h"
52 #include "DatabaseManager.h"
53 #include "DiagnosticLoggingClient.h"
54 #include "DiagnosticLoggingKeys.h"
55 #include "Document.h"
56 #include "DocumentLoader.h"
57 #include "Editor.h"
58 #include "EditorClient.h"
59 #include "Element.h"
60 #include "Event.h"
61 #include "EventHandler.h"
62 #include "EventNames.h"
63 #include "FloatRect.h"
64 #include "FormState.h"
65 #include "FormSubmission.h"
66 #include "Frame.h"
67 #include "FrameLoadRequest.h"
68 #include "FrameLoaderClient.h"
69 #include "FrameNetworkingContext.h"
70 #include "FrameTree.h"
71 #include "FrameView.h"
72 #include "GCController.h"
73 #include "HTMLFormElement.h"
74 #include "HTMLInputElement.h"
75 #include "HTMLNames.h"
76 #include "HTMLObjectElement.h"
77 #include "HTMLParserIdioms.h"
78 #include "HTTPHeaderNames.h"
79 #include "HTTPParsers.h"
80 #include "HistoryController.h"
81 #include "HistoryItem.h"
82 #include "IgnoreOpensDuringUnloadCountIncrementer.h"
83 #include "InspectorController.h"
84 #include "InspectorInstrumentation.h"
85 #include "LinkLoader.h"
86 #include "LoadTiming.h"
87 #include "LoaderStrategy.h"
88 #include "Logging.h"
89 #include "MemoryCache.h"
90 #include "MemoryRelease.h"
91 #include "NavigationDisabler.h"
92 #include "NavigationScheduler.h"
93 #include "Node.h"
94 #include "Page.h"
95 #include "PageCache.h"
96 #include "PageTransitionEvent.h"
97 #include "PerformanceLogging.h"
98 #include "PlatformStrategies.h"
99 #include "PluginData.h"
100 #include "PluginDocument.h"
101 #include "PolicyChecker.h"
102 #include "ProgressTracker.h"
103 #include "ResourceHandle.h"
104 #include "ResourceLoadInfo.h"
105 #include "ResourceLoadObserver.h"
106 #include "ResourceRequest.h"
107 #include "SVGDocument.h"
108 #include "SVGLocatable.h"
109 #include "SVGNames.h"
110 #include "SVGViewElement.h"
111 #include "SVGViewSpec.h"
112 #include "ScriptController.h"
113 #include "ScriptSourceCode.h"
114 #include "ScrollAnimator.h"
115 #include "SecurityOrigin.h"
116 #include "SecurityPolicy.h"
117 #include "SegmentedString.h"
118 #include "SerializedScriptValue.h"
119 #include "Settings.h"
120 #include "ShouldTreatAsContinuingLoad.h"
121 #include "StyleTreeResolver.h"
122 #include "SubframeLoader.h"
123 #include "SubresourceLoader.h"
124 #include "TextResourceDecoder.h"
125 #include "UserContentController.h"
126 #include "UserGestureIndicator.h"
127 #include "WindowFeatures.h"
128 #include "XMLDocumentParser.h"
129 #include <dom/ScriptDisallowedScope.h>
130 #include <wtf/CompletionHandler.h>
131 #include <wtf/URL.h>
132 #include <wtf/Ref.h>
133 #include <wtf/SetForScope.h>
134 #include <wtf/StdLibExtras.h>
135 #include <wtf/SystemTracing.h>
136 #include <wtf/text/CString.h>
137 #include <wtf/text/WTFString.h>
138
139 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
140 #include "Archive.h"
141 #endif
142
143 #if ENABLE(DATA_DETECTION)
144 #include "DataDetection.h"
145 #endif
146
147 #if PLATFORM(IOS_FAMILY)
148 #include "DocumentType.h"
149 #include "ResourceLoader.h"
150 #include "RuntimeApplicationChecks.h"
151 #endif
152
153 #define RELEASE_LOG_IF_ALLOWED(fmt, ...) RELEASE_LOG_IF(isAlwaysOnLoggingAllowed(), Network, "%p - FrameLoader::" fmt, this, ##__VA_ARGS__)
154
155 namespace WebCore {
156
157 using namespace HTMLNames;
158 using namespace SVGNames;
159
160 static const char defaultAcceptHeader[] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
161
162 bool isBackForwardLoadType(FrameLoadType type)
163 {
164     switch (type) {
165     case FrameLoadType::Standard:
166     case FrameLoadType::Reload:
167     case FrameLoadType::ReloadFromOrigin:
168     case FrameLoadType::ReloadExpiredOnly:
169     case FrameLoadType::Same:
170     case FrameLoadType::RedirectWithLockedBackForwardList:
171     case FrameLoadType::Replace:
172         return false;
173     case FrameLoadType::Back:
174     case FrameLoadType::Forward:
175     case FrameLoadType::IndexedBackForward:
176         return true;
177     }
178     ASSERT_NOT_REACHED();
179     return false;
180 }
181
182 bool isReload(FrameLoadType type)
183 {
184     switch (type) {
185     case FrameLoadType::Reload:
186     case FrameLoadType::ReloadFromOrigin:
187     case FrameLoadType::ReloadExpiredOnly:
188         return true;
189     case FrameLoadType::Standard:
190     case FrameLoadType::Same:
191     case FrameLoadType::RedirectWithLockedBackForwardList:
192     case FrameLoadType::Replace:
193     case FrameLoadType::Back:
194     case FrameLoadType::Forward:
195     case FrameLoadType::IndexedBackForward:
196         return false;
197     }
198     ASSERT_NOT_REACHED();
199     return false;
200 }
201
202 // This is not in the FrameLoader class to emphasize that it does not depend on
203 // private FrameLoader data, and to avoid increasing the number of public functions
204 // with access to private data.  Since only this .cpp file needs it, making it
205 // non-member lets us exclude it from the header file, thus keeping FrameLoader.h's
206 // API simpler.
207 //
208 static bool isDocumentSandboxed(Frame& frame, SandboxFlags mask)
209 {
210     return frame.document() && frame.document()->isSandboxed(mask);
211 }
212
213 struct ForbidPromptsScope {
214     ForbidPromptsScope(Page* page) : m_page(page)
215     {
216         if (!m_page)
217             return;
218         m_page->forbidPrompts();
219     }
220
221     ~ForbidPromptsScope()
222     {
223         if (!m_page)
224             return;
225         m_page->allowPrompts();
226     }
227
228     Page* m_page;
229 };
230
231 class FrameLoader::FrameProgressTracker {
232     WTF_MAKE_FAST_ALLOCATED;
233 public:
234     explicit FrameProgressTracker(Frame& frame)
235         : m_frame(frame)
236         , m_inProgress(false)
237     {
238     }
239
240     ~FrameProgressTracker()
241     {
242         if (m_inProgress && m_frame.page())
243             m_frame.page()->progress().progressCompleted(m_frame);
244     }
245
246     void progressStarted()
247     {
248         ASSERT(m_frame.page());
249         if (!m_inProgress)
250             m_frame.page()->progress().progressStarted(m_frame);
251         m_inProgress = true;
252     }
253
254     void progressCompleted()
255     {
256         ASSERT(m_inProgress);
257         ASSERT(m_frame.page());
258         m_inProgress = false;
259         m_frame.page()->progress().progressCompleted(m_frame);
260         platformStrategies()->loaderStrategy()->pageLoadCompleted(*m_frame.page());
261     }
262
263 private:
264     Frame& m_frame;
265     bool m_inProgress;
266 };
267
268 FrameLoader::FrameLoader(Frame& frame, FrameLoaderClient& client)
269     : m_frame(frame)
270     , m_client(client)
271     , m_policyChecker(makeUnique<PolicyChecker>(frame))
272     , m_history(makeUnique<HistoryController>(frame))
273     , m_notifier(frame)
274     , m_subframeLoader(makeUnique<SubframeLoader>(frame))
275     , m_mixedContentChecker(frame)
276     , m_state(FrameStateProvisional)
277     , m_loadType(FrameLoadType::Standard)
278     , m_quickRedirectComing(false)
279     , m_sentRedirectNotification(false)
280     , m_inStopAllLoaders(false)
281     , m_isExecutingJavaScriptFormAction(false)
282     , m_didCallImplicitClose(true)
283     , m_wasUnloadEventEmitted(false)
284     , m_isComplete(false)
285     , m_needsClear(false)
286     , m_checkTimer(*this, &FrameLoader::checkTimerFired)
287     , m_shouldCallCheckCompleted(false)
288     , m_shouldCallCheckLoadComplete(false)
289     , m_opener(nullptr)
290     , m_loadingFromCachedPage(false)
291     , m_currentNavigationHasShownBeforeUnloadConfirmPanel(false)
292     , m_loadsSynchronously(false)
293     , m_forcedSandboxFlags(SandboxNone)
294 {
295 }
296
297 FrameLoader::~FrameLoader()
298 {
299     setOpener(nullptr);
300     detachFromAllOpenedFrames();
301
302     m_client.frameLoaderDestroyed();
303
304     if (m_networkingContext)
305         m_networkingContext->invalidate();
306 }
307
308 void FrameLoader::detachFromAllOpenedFrames()
309 {
310     for (auto& frame : m_openedFrames)
311         frame->loader().m_opener = nullptr;
312     m_openedFrames.clear();
313 }
314
315 void FrameLoader::init()
316 {
317     // This somewhat odd set of steps gives the frame an initial empty document.
318     setPolicyDocumentLoader(m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData()).ptr());
319     setProvisionalDocumentLoader(m_policyDocumentLoader.get());
320     m_provisionalDocumentLoader->startLoadingMainResource();
321
322     Ref<Frame> protect(m_frame);
323     m_frame.document()->cancelParsing();
324     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
325
326     m_networkingContext = m_client.createNetworkingContext();
327     m_progressTracker = makeUnique<FrameProgressTracker>(m_frame);
328 }
329
330 void FrameLoader::initForSynthesizedDocument(const URL&)
331 {
332     // FIXME: We need to initialize the document URL to the specified URL. Currently the URL is empty and hence
333     // FrameLoader::checkCompleted() will overwrite the URL of the document to be activeDocumentLoader()->documentURL().
334
335     auto loader = m_client.createDocumentLoader(ResourceRequest(URL({ }, emptyString())), SubstituteData());
336     loader->attachToFrame(m_frame);
337     loader->setResponse(ResourceResponse(URL(), "text/html"_s, 0, String()));
338     loader->setCommitted(true);
339     setDocumentLoader(loader.ptr());
340
341     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocument);
342     m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
343     m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
344     m_client.transitionToCommittedForNewPage();
345
346     m_didCallImplicitClose = true;
347     m_isComplete = true;
348     m_state = FrameStateComplete;
349     m_needsClear = true;
350
351     m_networkingContext = m_client.createNetworkingContext();
352     m_progressTracker = makeUnique<FrameProgressTracker>(m_frame);
353 }
354
355 void FrameLoader::setDefersLoading(bool defers)
356 {
357     if (m_documentLoader)
358         m_documentLoader->setDefersLoading(defers);
359     if (m_provisionalDocumentLoader)
360         m_provisionalDocumentLoader->setDefersLoading(defers);
361     if (m_policyDocumentLoader)
362         m_policyDocumentLoader->setDefersLoading(defers);
363     history().setDefersLoading(defers);
364
365     if (!defers) {
366         m_frame.navigationScheduler().startTimer();
367         startCheckCompleteTimer();
368     }
369 }
370
371 void FrameLoader::checkContentPolicy(const ResourceResponse& response, PolicyCheckIdentifier identifier, ContentPolicyDecisionFunction&& function)
372 {
373     if (!activeDocumentLoader()) {
374         // Load was cancelled
375         function(PolicyAction::Ignore, identifier);
376         return;
377     }
378
379     // FIXME: Validate the policy check identifier.
380     client().dispatchDecidePolicyForResponse(response, activeDocumentLoader()->request(), identifier, activeDocumentLoader()->downloadAttribute(), WTFMove(function));
381 }
382
383 void FrameLoader::changeLocation(FrameLoadRequest&& request)
384 {
385     urlSelected(WTFMove(request), nullptr);
386 }
387
388 void FrameLoader::urlSelected(const URL& url, const String& passedTarget, Event* triggeringEvent, LockHistory lockHistory, LockBackForwardList lockBackForwardList, ShouldSendReferrer shouldSendReferrer, ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicy, Optional<NewFrameOpenerPolicy> openerPolicy, const AtomString& downloadAttribute, const SystemPreviewInfo& systemPreviewInfo, Optional<AdClickAttribution>&& adClickAttribution)
389 {
390     auto* frame = lexicalFrameFromCommonVM();
391     auto initiatedByMainFrame = frame && frame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
392
393     NewFrameOpenerPolicy newFrameOpenerPolicy = openerPolicy.valueOr(shouldSendReferrer == NeverSendReferrer ? NewFrameOpenerPolicy::Suppress : NewFrameOpenerPolicy::Allow);
394     urlSelected(FrameLoadRequest(*m_frame.document(), m_frame.document()->securityOrigin(), { url }, passedTarget, lockHistory, lockBackForwardList, shouldSendReferrer, AllowNavigationToInvalidURL::Yes, newFrameOpenerPolicy, shouldOpenExternalURLsPolicy, initiatedByMainFrame, DoNotReplaceDocumentIfJavaScriptURL, downloadAttribute, systemPreviewInfo), triggeringEvent, WTFMove(adClickAttribution));
395 }
396
397 void FrameLoader::urlSelected(FrameLoadRequest&& frameRequest, Event* triggeringEvent, Optional<AdClickAttribution>&& adClickAttribution)
398 {
399     RELEASE_LOG_IF_ALLOWED("urlSelected: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
400
401     Ref<Frame> protect(m_frame);
402
403     if (m_frame.script().executeIfJavaScriptURL(frameRequest.resourceRequest().url(), frameRequest.shouldReplaceDocumentIfJavaScriptURL())) {
404         m_quickRedirectComing = false;
405         return;
406     }
407
408     if (frameRequest.frameName().isEmpty())
409         frameRequest.setFrameName(m_frame.document()->baseTarget());
410
411     addHTTPOriginIfNeeded(frameRequest.resourceRequest(), outgoingOrigin());
412     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(frameRequest.resourceRequest(), ContentSecurityPolicy::InsecureRequestType::Navigation);
413
414     loadFrameRequest(WTFMove(frameRequest), triggeringEvent, { }, WTFMove(adClickAttribution));
415 }
416
417 void FrameLoader::submitForm(Ref<FormSubmission>&& submission)
418 {
419     ASSERT(submission->method() == FormSubmission::Method::Post || submission->method() == FormSubmission::Method::Get);
420
421     // FIXME: Find a good spot for these.
422     ASSERT(!submission->state().sourceDocument().frame() || submission->state().sourceDocument().frame() == &m_frame);
423
424     if (!m_frame.page())
425         return;
426
427     if (submission->action().isEmpty())
428         return;
429
430     if (isDocumentSandboxed(m_frame, SandboxForms)) {
431         // FIXME: This message should be moved off the console once a solution to https://bugs.webkit.org/show_bug.cgi?id=103274 exists.
432         m_frame.document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Blocked form submission to '" + submission->action().stringCenterEllipsizedToLength() + "' because the form's frame is sandboxed and the 'allow-forms' permission is not set.");
433         return;
434     }
435
436     if (WTF::protocolIsJavaScript(submission->action())) {
437         if (!m_frame.document()->contentSecurityPolicy()->allowFormAction(URL(submission->action())))
438             return;
439         m_isExecutingJavaScriptFormAction = true;
440         Ref<Frame> protect(m_frame);
441         m_frame.script().executeIfJavaScriptURL(submission->action(), DoNotReplaceDocumentIfJavaScriptURL);
442         m_isExecutingJavaScriptFormAction = false;
443         return;
444     }
445
446     Frame* targetFrame = findFrameForNavigation(submission->target(), &submission->state().sourceDocument());
447     if (!targetFrame) {
448         if (!DOMWindow::allowPopUp(m_frame) && !UserGestureIndicator::processingUserGesture())
449             return;
450
451         // FIXME: targetFrame can be null for two distinct reasons:
452         // 1. The frame was not found by name, so we should try opening a new window.
453         // 2. The frame was found, but navigating it was not allowed, e.g. by HTML5 sandbox or by origin checks.
454         // Continuing form submission makes no sense in the latter case.
455         // There is a repeat check after timer fires, so this is not a correctness issue.
456
457         targetFrame = &m_frame;
458     } else
459         submission->clearTarget();
460
461     if (!targetFrame->page())
462         return;
463
464     // FIXME: We'd like to remove this altogether and fix the multiple form submission issue another way.
465
466     // We do not want to submit more than one form from the same page, nor do we want to submit a single
467     // form more than once. This flag prevents these from happening; not sure how other browsers prevent this.
468     // The flag is reset in each time we start dispatching a new mouse or key down event, and
469     // also in setView since this part may get reused for a page from the back/forward cache.
470     // The form multi-submit logic here is only needed when we are submitting a form that affects this frame.
471
472     // FIXME: Frame targeting is only one of the ways the submission could end up doing something other
473     // than replacing this frame's content, so this check is flawed. On the other hand, the check is hardly
474     // needed any more now that we reset m_submittedFormURL on each mouse or key down event.
475
476     if (m_frame.tree().isDescendantOf(targetFrame)) {
477         if (m_submittedFormURL == submission->requestURL())
478             return;
479         m_submittedFormURL = submission->requestURL();
480     }
481
482     submission->setReferrer(outgoingReferrer());
483     submission->setOrigin(outgoingOrigin());
484
485     targetFrame->navigationScheduler().scheduleFormSubmission(WTFMove(submission));
486 }
487
488 void FrameLoader::stopLoading(UnloadEventPolicy unloadEventPolicy)
489 {
490     if (m_frame.document() && m_frame.document()->parser())
491         m_frame.document()->parser()->stopParsing();
492
493     if (unloadEventPolicy != UnloadEventPolicyNone)
494         dispatchUnloadEvents(unloadEventPolicy);
495
496     m_isComplete = true; // to avoid calling completed() in finishedParsing()
497     m_didCallImplicitClose = true; // don't want that one either
498
499     if (m_frame.document() && m_frame.document()->parsing()) {
500         finishedParsing();
501         m_frame.document()->setParsing(false);
502     }
503
504     if (auto* document = m_frame.document()) {
505         // FIXME: Should the DatabaseManager watch for something like ActiveDOMObject::stop() rather than being special-cased here?
506         DatabaseManager::singleton().stopDatabases(*document, nullptr);
507     }
508
509     policyChecker().stopCheck();
510
511     // FIXME: This will cancel redirection timer, which really needs to be restarted when restoring the frame from b/f cache.
512     m_frame.navigationScheduler().cancel();
513 }
514
515 void FrameLoader::stop()
516 {
517     // http://bugs.webkit.org/show_bug.cgi?id=10854
518     // The frame's last ref may be removed and it will be deleted by checkCompleted().
519     Ref<Frame> protect(m_frame);
520
521     if (DocumentParser* parser = m_frame.document()->parser()) {
522         parser->stopParsing();
523         parser->finish();
524     }
525 }
526
527 void FrameLoader::willTransitionToCommitted()
528 {
529     // This function is called when a frame is still fully in place (not cached, not detached), but will be replaced.
530
531     if (m_frame.editor().hasComposition()) {
532         // The text was already present in DOM, so it's better to confirm than to cancel the composition.
533         m_frame.editor().confirmComposition();
534         if (EditorClient* editorClient = m_frame.editor().client()) {
535             editorClient->respondToChangedSelection(&m_frame);
536             editorClient->discardedComposition(&m_frame);
537         }
538     }
539 }
540
541 bool FrameLoader::closeURL()
542 {
543     history().saveDocumentState();
544
545     Document* currentDocument = m_frame.document();
546     UnloadEventPolicy unloadEventPolicy;
547     if (m_frame.page() && m_frame.page()->chrome().client().isSVGImageChromeClient()) {
548         // If this is the SVGDocument of an SVGImage, no need to dispatch events or recalcStyle.
549         unloadEventPolicy = UnloadEventPolicyNone;
550     } else {
551         // Should only send the pagehide event here if the current document exists and has not been placed in the page cache.
552         unloadEventPolicy = currentDocument && currentDocument->pageCacheState() == Document::NotInPageCache ? UnloadEventPolicyUnloadAndPageHide : UnloadEventPolicyUnloadOnly;
553     }
554
555     stopLoading(unloadEventPolicy);
556     
557     m_frame.editor().clearUndoRedoOperations();
558     return true;
559 }
560
561 bool FrameLoader::didOpenURL()
562 {
563     if (m_frame.navigationScheduler().redirectScheduledDuringLoad()) {
564         // A redirect was scheduled before the document was created.
565         // This can happen when one frame changes another frame's location.
566         return false;
567     }
568
569     m_frame.navigationScheduler().cancel();
570     m_frame.editor().clearLastEditCommand();
571
572     m_isComplete = false;
573     m_didCallImplicitClose = false;
574
575     // If we are still in the process of initializing an empty document then
576     // its frame is not in a consistent state for rendering, so avoid setJSStatusBarText
577     // since it may cause clients to attempt to render the frame.
578     if (!m_stateMachine.creatingInitialEmptyDocument()) {
579         DOMWindow* window = m_frame.document()->domWindow();
580         window->setStatus(String());
581         window->setDefaultStatus(String());
582     }
583
584     started();
585
586     return true;
587 }
588
589 void FrameLoader::didExplicitOpen()
590 {
591     m_isComplete = false;
592     m_didCallImplicitClose = false;
593
594     // Calling document.open counts as committing the first real document load.
595     if (!m_stateMachine.committedFirstRealDocumentLoad())
596         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
597
598     m_client.dispatchDidExplicitOpen(m_frame.document() ? m_frame.document()->url() : URL());
599     
600     // Prevent window.open(url) -- eg window.open("about:blank") -- from blowing away results
601     // from a subsequent window.document.open / window.document.write call. 
602     // Canceling redirection here works for all cases because document.open 
603     // implicitly precedes document.write.
604     m_frame.navigationScheduler().cancel();
605 }
606
607
608 void FrameLoader::cancelAndClear()
609 {
610     m_frame.navigationScheduler().cancel();
611
612     if (!m_isComplete)
613         closeURL();
614
615     clear(m_frame.document(), false);
616     m_frame.script().updatePlatformScriptObjects();
617 }
618
619 static inline bool shouldClearWindowName(const Frame& frame, const Document& newDocument)
620 {
621     if (!frame.isMainFrame())
622         return false;
623
624     if (frame.loader().opener())
625         return false;
626
627     return !newDocument.securityOrigin().isSameOriginAs(frame.document()->securityOrigin());
628 }
629
630 void FrameLoader::clear(Document* newDocument, bool clearWindowProperties, bool clearScriptObjects, bool clearFrameView, WTF::Function<void()>&& handleDOMWindowCreation)
631 {
632     m_frame.editor().clear();
633
634     bool neededClear = m_needsClear;
635     m_needsClear = false;
636
637     if (neededClear && m_frame.document()->pageCacheState() != Document::InPageCache) {
638         m_frame.document()->cancelParsing();
639         m_frame.document()->stopActiveDOMObjects();
640         bool hadLivingRenderTree = m_frame.document()->hasLivingRenderTree();
641         m_frame.document()->prepareForDestruction();
642         if (hadLivingRenderTree)
643             m_frame.document()->adjustFocusedNodeOnNodeRemoval(*m_frame.document());
644     }
645
646     if (handleDOMWindowCreation)
647         handleDOMWindowCreation();
648
649     if (!neededClear)
650         return;
651     
652     // Do this after detaching the document so that the unload event works.
653     if (clearWindowProperties) {
654         InspectorInstrumentation::frameWindowDiscarded(m_frame, m_frame.document()->domWindow());
655         m_frame.document()->domWindow()->resetUnlessSuspendedForDocumentSuspension();
656         m_frame.windowProxy().clearJSWindowProxiesNotMatchingDOMWindow(newDocument->domWindow(), m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache);
657
658         if (shouldClearWindowName(m_frame, *newDocument))
659             m_frame.tree().setName(nullAtom());
660     }
661
662     m_frame.selection().prepareForDestruction();
663     m_frame.eventHandler().clear();
664
665     if (clearFrameView && m_frame.view())
666         m_frame.view()->clear();
667
668     // Do not drop the document before the ScriptController and view are cleared
669     // as some destructors might still try to access the document.
670     m_frame.setDocument(nullptr);
671
672     subframeLoader().clear();
673
674     if (clearWindowProperties)
675         m_frame.windowProxy().setDOMWindow(newDocument->domWindow());
676
677     if (clearScriptObjects)
678         m_frame.script().clearScriptObjects();
679
680     m_frame.script().enableEval();
681
682     m_frame.navigationScheduler().clear();
683
684     m_checkTimer.stop();
685     m_shouldCallCheckCompleted = false;
686     m_shouldCallCheckLoadComplete = false;
687
688     if (m_stateMachine.isDisplayingInitialEmptyDocument() && m_stateMachine.committedFirstRealDocumentLoad())
689         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
690 }
691
692 void FrameLoader::receivedFirstData()
693 {
694     dispatchDidCommitLoad(WTF::nullopt);
695     dispatchDidClearWindowObjectsInAllWorlds();
696     dispatchGlobalObjectAvailableInAllWorlds();
697
698     if (!m_documentLoader)
699         return;
700
701     auto& documentLoader = *m_documentLoader;
702     auto& title = documentLoader.title();
703     if (!title.string.isNull())
704         m_client.dispatchDidReceiveTitle(title);
705
706     ASSERT(m_frame.document());
707     auto& document = *m_frame.document();
708
709     LinkLoader::loadLinksFromHeader(documentLoader.response().httpHeaderField(HTTPHeaderName::Link), document.url(), document, LinkLoader::MediaAttributeCheck::MediaAttributeEmpty);
710
711     double delay;
712     String urlString;
713     if (!parseMetaHTTPEquivRefresh(documentLoader.response().httpHeaderField(HTTPHeaderName::Refresh), delay, urlString))
714         return;
715     auto completedURL = urlString.isEmpty() ? document.url() : document.completeURL(urlString);
716     if (!WTF::protocolIsJavaScript(completedURL))
717         m_frame.navigationScheduler().scheduleRedirect(document, delay, completedURL);
718     else {
719         auto message = "Refused to refresh " + document.url().stringCenterEllipsizedToLength() + " to a javascript: URL";
720         document.addConsoleMessage(MessageSource::Security, MessageLevel::Error, message);
721     }
722 }
723
724 void FrameLoader::setOutgoingReferrer(const URL& url)
725 {
726     m_outgoingReferrer = url.strippedForUseAsReferrer();
727 }
728
729 void FrameLoader::didBeginDocument(bool dispatch)
730 {
731     m_needsClear = true;
732     m_isComplete = false;
733     m_didCallImplicitClose = false;
734     m_frame.document()->setReadyState(Document::Loading);
735
736     if (m_pendingStateObject) {
737         m_frame.document()->statePopped(*m_pendingStateObject);
738         m_pendingStateObject = nullptr;
739     }
740
741     if (dispatch)
742         dispatchDidClearWindowObjectsInAllWorlds();
743
744     updateFirstPartyForCookies();
745     m_frame.document()->initContentSecurityPolicy();
746
747     const Settings& settings = m_frame.settings();
748     m_frame.document()->cachedResourceLoader().setImagesEnabled(settings.areImagesEnabled());
749     m_frame.document()->cachedResourceLoader().setAutoLoadImages(settings.loadsImagesAutomatically());
750
751     if (m_documentLoader) {
752         String dnsPrefetchControl = m_documentLoader->response().httpHeaderField(HTTPHeaderName::XDNSPrefetchControl);
753         if (!dnsPrefetchControl.isEmpty())
754             m_frame.document()->parseDNSPrefetchControlHeader(dnsPrefetchControl);
755
756         m_frame.document()->contentSecurityPolicy()->didReceiveHeaders(ContentSecurityPolicyResponseHeaders(m_documentLoader->response()), referrer(), ContentSecurityPolicy::ReportParsingErrors::No);
757
758         String referrerPolicy = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ReferrerPolicy);
759         if (!referrerPolicy.isNull())
760             m_frame.document()->processReferrerPolicy(referrerPolicy, ReferrerPolicySource::HTTPHeader);
761
762         String headerContentLanguage = m_documentLoader->response().httpHeaderField(HTTPHeaderName::ContentLanguage);
763         if (!headerContentLanguage.isEmpty()) {
764             size_t commaIndex = headerContentLanguage.find(',');
765             headerContentLanguage.truncate(commaIndex); // notFound == -1 == don't truncate
766             headerContentLanguage = stripLeadingAndTrailingHTMLSpaces(headerContentLanguage);
767             if (!headerContentLanguage.isEmpty())
768                 m_frame.document()->setContentLanguage(headerContentLanguage);
769         }
770     }
771
772     history().restoreDocumentState();
773 }
774
775 void FrameLoader::finishedParsing()
776 {
777     LOG(Loading, "WebCoreLoading %s: Finished parsing", m_frame.tree().uniqueName().string().utf8().data());
778
779     m_frame.injectUserScripts(InjectAtDocumentEnd);
780
781     if (m_stateMachine.creatingInitialEmptyDocument())
782         return;
783
784     // This can be called from the Frame's destructor, in which case we shouldn't protect ourselves
785     // because doing so will cause us to re-enter the destructor when protector goes out of scope.
786     // Null-checking the FrameView indicates whether or not we're in the destructor.
787     RefPtr<Frame> protector = m_frame.view() ? &m_frame : 0;
788
789     m_client.dispatchDidFinishDocumentLoad();
790
791     scrollToFragmentWithParentBoundary(m_frame.document()->url());
792
793     checkCompleted();
794
795     if (!m_frame.view())
796         return; // We are being destroyed by something checkCompleted called.
797
798     // Check if the scrollbars are really needed for the content.
799     // If not, remove them, relayout, and repaint.
800     m_frame.view()->restoreScrollbar();
801 }
802
803 void FrameLoader::loadDone(LoadCompletionType type)
804 {
805     if (type == LoadCompletionType::Finish)
806         checkCompleted();
807     else
808         scheduleCheckCompleted();
809 }
810
811 void FrameLoader::subresourceLoadDone(LoadCompletionType type)
812 {
813     if (type == LoadCompletionType::Finish)
814         checkLoadComplete();
815     else
816         scheduleCheckLoadComplete();
817 }
818
819 bool FrameLoader::allChildrenAreComplete() const
820 {
821     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling()) {
822         if (!child->loader().m_isComplete)
823             return false;
824     }
825     return true;
826 }
827
828 bool FrameLoader::allAncestorsAreComplete() const
829 {
830     for (Frame* ancestor = &m_frame; ancestor; ancestor = ancestor->tree().parent()) {
831         if (!ancestor->loader().m_isComplete)
832             return false;
833     }
834     return true;
835 }
836
837 void FrameLoader::checkCompleted()
838 {
839     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
840     m_shouldCallCheckCompleted = false;
841
842     // Have we completed before?
843     if (m_isComplete)
844         return;
845     
846 #if ENABLE(VIDEO)
847     // FIXME: Remove this code once https://webkit.org/b/185284 is fixed.
848     if (HTMLMediaElement::isRunningDestructor()) {
849         ASSERT_NOT_REACHED();
850         scheduleCheckCompleted();
851         return;
852     }
853 #endif
854
855     // FIXME: It would be better if resource loads were kicked off after render tree update (or didn't complete synchronously).
856     //        https://bugs.webkit.org/show_bug.cgi?id=171729
857     if (m_frame.document()->inRenderTreeUpdate()) {
858         scheduleCheckCompleted();
859         return;
860     }
861
862     // Are we still parsing?
863     if (m_frame.document()->parsing())
864         return;
865
866     // Still waiting for images/scripts?
867     if (m_frame.document()->cachedResourceLoader().requestCount())
868         return;
869
870     // Still waiting for elements that don't go through a FrameLoader?
871     if (m_frame.document()->isDelayingLoadEvent())
872         return;
873
874     auto* scriptableParser = m_frame.document()->scriptableDocumentParser();
875     if (scriptableParser && scriptableParser->hasScriptsWaitingForStylesheets())
876         return;
877
878     // Any frame that hasn't completed yet?
879     if (!allChildrenAreComplete())
880         return;
881
882     // Important not to protect earlier in this function, because earlier parts
883     // of this function can be called in the frame's destructor, and it's not legal
884     // to ref an object while it's being destroyed.
885     Ref<Frame> protect(m_frame);
886
887     // OK, completed.
888     m_isComplete = true;
889     m_requestedHistoryItem = nullptr;
890     m_frame.document()->setReadyState(Document::Complete);
891
892 #if PLATFORM(IOS_FAMILY)
893     if (m_frame.document()->url().isEmpty()) {
894         // We need to update the document URL of a PDF document to be non-empty so that both back/forward history navigation
895         // between PDF pages and fragment navigation works. See <rdar://problem/9544769> for more details.
896         // FIXME: Is there a better place for this code, say DocumentLoader? Also, we should explicitly only update the URL
897         // of the document when it's a PDFDocument object instead of assuming that a Document object with an empty URL is a PDFDocument.
898         // FIXME: This code is incorrect for a synthesized document (which also has an empty URL). The URL for a synthesized
899         // document should be the URL specified to FrameLoader::initForSynthesizedDocument().
900         m_frame.document()->setURL(activeDocumentLoader()->documentURL());
901     }
902 #endif
903
904     checkCallImplicitClose(); // if we didn't do it before
905
906     m_frame.navigationScheduler().startTimer();
907
908     completed();
909     if (m_frame.page())
910         checkLoadComplete();
911 }
912
913 void FrameLoader::checkTimerFired()
914 {
915     checkCompletenessNow();
916 }
917
918 void FrameLoader::checkCompletenessNow()
919 {
920     Ref<Frame> protect(m_frame);
921
922     if (Page* page = m_frame.page()) {
923         if (page->defersLoading())
924             return;
925     }
926     if (m_shouldCallCheckCompleted)
927         checkCompleted();
928     if (m_shouldCallCheckLoadComplete)
929         checkLoadComplete();
930 }
931
932 void FrameLoader::startCheckCompleteTimer()
933 {
934     if (!(m_shouldCallCheckCompleted || m_shouldCallCheckLoadComplete))
935         return;
936     if (m_checkTimer.isActive())
937         return;
938     m_checkTimer.startOneShot(0_s);
939 }
940
941 void FrameLoader::scheduleCheckCompleted()
942 {
943     m_shouldCallCheckCompleted = true;
944     startCheckCompleteTimer();
945 }
946
947 void FrameLoader::scheduleCheckLoadComplete()
948 {
949     m_shouldCallCheckLoadComplete = true;
950     startCheckCompleteTimer();
951 }
952
953 void FrameLoader::checkCallImplicitClose()
954 {
955     if (m_didCallImplicitClose || m_frame.document()->parsing() || m_frame.document()->isDelayingLoadEvent())
956         return;
957
958     if (!allChildrenAreComplete())
959         return; // still got a frame running -> too early
960
961     m_didCallImplicitClose = true;
962     m_wasUnloadEventEmitted = false;
963     m_frame.document()->implicitClose();
964 }
965
966 void FrameLoader::loadURLIntoChildFrame(const URL& url, const String& referer, Frame* childFrame)
967 {
968     RELEASE_LOG_IF_ALLOWED("loadURLIntoChildFrame: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
969
970     ASSERT(childFrame);
971
972 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
973     if (auto activeLoader = activeDocumentLoader()) {
974         if (auto subframeArchive = activeLoader->popArchiveForSubframe(childFrame->tree().uniqueName(), url)) {
975             childFrame->loader().loadArchive(RefPtr<Archive> { subframeArchive }.releaseNonNull());
976             return;
977         }
978     }
979 #endif
980
981     // If we're moving in the back/forward list, we might want to replace the content
982     // of this child frame with whatever was there at that point.
983     auto* parentItem = history().currentItem();
984     if (parentItem && parentItem->children().size() && isBackForwardLoadType(loadType()) && !m_frame.document()->loadEventFinished()) {
985         if (auto* childItem = parentItem->childItemWithTarget(childFrame->tree().uniqueName())) {
986             childFrame->loader().m_requestedHistoryItem = childItem;
987             childFrame->loader().loadDifferentDocumentItem(*childItem, nullptr, loadType(), MayAttemptCacheOnlyLoadForFormSubmissionItem, ShouldTreatAsContinuingLoad::No);
988             return;
989         }
990     }
991
992     auto* lexicalFrame = lexicalFrameFromCommonVM();
993     auto initiatedByMainFrame = lexicalFrame && lexicalFrame->isMainFrame() ? InitiatedByMainFrame::Yes : InitiatedByMainFrame::Unknown;
994
995     FrameLoadRequest frameLoadRequest { *m_frame.document(), m_frame.document()->securityOrigin(), { url }, "_self"_s, LockHistory::No, LockBackForwardList::Yes, ShouldSendReferrer::MaybeSendReferrer, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress, ShouldOpenExternalURLsPolicy::ShouldNotAllow, initiatedByMainFrame };
996     childFrame->loader().loadURL(WTFMove(frameLoadRequest), referer, FrameLoadType::RedirectWithLockedBackForwardList, nullptr, { }, WTF::nullopt, [] { });
997 }
998
999 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1000
1001 void FrameLoader::loadArchive(Ref<Archive>&& archive)
1002 {
1003     RELEASE_LOG_IF_ALLOWED("loadArchive: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1004
1005     ArchiveResource* mainResource = archive->mainResource();
1006     ASSERT(mainResource);
1007     if (!mainResource)
1008         return;
1009
1010     ResourceResponse response(URL(), mainResource->mimeType(), mainResource->data().size(), mainResource->textEncoding());
1011     SubstituteData substituteData(&mainResource->data(), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1012     
1013     ResourceRequest request(mainResource->url());
1014
1015     auto documentLoader = m_client.createDocumentLoader(request, substituteData);
1016     documentLoader->setArchive(WTFMove(archive));
1017     load(documentLoader.get());
1018 }
1019
1020 #endif // ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
1021
1022 String FrameLoader::outgoingReferrer() const
1023 {
1024     // See http://www.whatwg.org/specs/web-apps/current-work/#fetching-resources
1025     // for why we walk the parent chain for srcdoc documents.
1026     Frame* frame = &m_frame;
1027     while (frame && frame->document()->isSrcdocDocument()) {
1028         frame = frame->tree().parent();
1029         // Srcdoc documents cannot be top-level documents, by definition,
1030         // because they need to be contained in iframes with the srcdoc.
1031         ASSERT(frame);
1032     }
1033     if (!frame)
1034         return emptyString();
1035     return frame->loader().m_outgoingReferrer;
1036 }
1037
1038 String FrameLoader::outgoingOrigin() const
1039 {
1040     return m_frame.document()->securityOrigin().toString();
1041 }
1042
1043 bool FrameLoader::checkIfFormActionAllowedByCSP(const URL& url, bool didReceiveRedirectResponse) const
1044 {
1045     if (m_submittedFormURL.isEmpty())
1046         return true;
1047
1048     auto redirectResponseReceived = didReceiveRedirectResponse ? ContentSecurityPolicy::RedirectResponseReceived::Yes : ContentSecurityPolicy::RedirectResponseReceived::No;
1049     return m_frame.document()->contentSecurityPolicy()->allowFormAction(url, redirectResponseReceived);
1050 }
1051
1052 Frame* FrameLoader::opener()
1053 {
1054     return m_opener;
1055 }
1056
1057 void FrameLoader::setOpener(Frame* opener)
1058 {
1059     if (m_opener && !opener)
1060         m_client.didDisownOpener();
1061
1062     if (m_opener) {
1063         // When setOpener is called in ~FrameLoader, opener's m_frameLoader is already cleared.
1064         auto& openerFrameLoader = m_opener == &m_frame ? *this : m_opener->loader();
1065         openerFrameLoader.m_openedFrames.remove(&m_frame);
1066     }
1067     if (opener) {
1068         opener->loader().m_openedFrames.add(&m_frame);
1069         if (auto* page = m_frame.page())
1070             page->setOpenedByDOMWithOpener();
1071     }
1072     m_opener = opener;
1073
1074     if (m_frame.document())
1075         m_frame.document()->initSecurityContext();
1076 }
1077
1078 // FIXME: This does not belong in FrameLoader!
1079 void FrameLoader::handleFallbackContent()
1080 {
1081     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
1082     if (!is<HTMLObjectElement>(owner))
1083         return;
1084     downcast<HTMLObjectElement>(*owner).renderFallbackContent();
1085 }
1086
1087 void FrameLoader::provisionalLoadStarted()
1088 {
1089     if (m_stateMachine.firstLayoutDone())
1090         m_stateMachine.advanceTo(FrameLoaderStateMachine::CommittedFirstRealLoad);
1091     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1092     m_client.provisionalLoadStarted();
1093
1094     if (m_frame.isMainFrame()) {
1095         tracePoint(MainResourceLoadDidStartProvisional);
1096
1097         if (auto* page = m_frame.page())
1098             page->didStartProvisionalLoad();
1099     }
1100 }
1101
1102 void FrameLoader::resetMultipleFormSubmissionProtection()
1103 {
1104     m_submittedFormURL = URL();
1105 }
1106
1107 void FrameLoader::updateFirstPartyForCookies()
1108 {
1109     if (m_frame.tree().parent())
1110         setFirstPartyForCookies(m_frame.tree().parent()->document()->firstPartyForCookies());
1111     else
1112         setFirstPartyForCookies(m_frame.document()->url());
1113 }
1114
1115 void FrameLoader::setFirstPartyForCookies(const URL& url)
1116 {
1117     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
1118         frame->document()->setFirstPartyForCookies(url);
1119
1120     RegistrableDomain registrableDomain(url);
1121     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame)) {
1122         if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(frame->document()->url()) || registrableDomain.matches(frame->document()->url()))
1123             frame->document()->setSiteForCookies(url);
1124     }
1125 }
1126
1127 // This does the same kind of work that didOpenURL does, except it relies on the fact
1128 // that a higher level already checked that the URLs match and the scrolling is the right thing to do.
1129 void FrameLoader::loadInSameDocument(const URL& url, SerializedScriptValue* stateObject, bool isNewNavigation)
1130 {
1131     RELEASE_LOG_IF_ALLOWED("loadInSameDocument: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1132
1133     // If we have a state object, we cannot also be a new navigation.
1134     ASSERT(!stateObject || (stateObject && !isNewNavigation));
1135
1136     // Update the data source's request with the new URL to fake the URL change
1137     URL oldURL = m_frame.document()->url();
1138     m_frame.document()->setURL(url);
1139     setOutgoingReferrer(url);
1140     documentLoader()->replaceRequestURLForSameDocumentNavigation(url);
1141     if (isNewNavigation && !shouldTreatURLAsSameAsCurrent(url) && !stateObject) {
1142         // NB: must happen after replaceRequestURLForSameDocumentNavigation(), since we add 
1143         // based on the current request. Must also happen before we openURL and displace the 
1144         // scroll position, since adding the BF item will save away scroll state.
1145         
1146         // NB2: If we were loading a long, slow doc, and the user fragment navigated before
1147         // it was done, currItem is now set the that slow doc, and prevItem is whatever was
1148         // before it.  Adding the b/f item will bump the slow doc down to prevItem, even
1149         // though its load is not yet done.  I think this all works out OK, for one because
1150         // we have already saved away the scroll and doc state for the long slow load,
1151         // but it's not an obvious case.
1152
1153         history().updateBackForwardListForFragmentScroll();
1154     }
1155     
1156     bool hashChange = equalIgnoringFragmentIdentifier(url, oldURL) && url.fragmentIdentifier() != oldURL.fragmentIdentifier();
1157     
1158     history().updateForSameDocumentNavigation();
1159
1160     // If we were in the autoscroll/panScroll mode we want to stop it before following the link to the anchor
1161     if (hashChange)
1162         m_frame.eventHandler().stopAutoscrollTimer();
1163     
1164     // It's important to model this as a load that starts and immediately finishes.
1165     // Otherwise, the parent frame may think we never finished loading.
1166     started();
1167
1168     if (auto* ownerElement = m_frame.ownerElement()) {
1169         auto* ownerRenderer = ownerElement->renderer();
1170         auto* view = m_frame.view();
1171         if (is<RenderWidget>(ownerRenderer) && view)
1172             downcast<RenderWidget>(*ownerRenderer).setWidget(view);
1173     }
1174
1175     // We need to scroll to the fragment whether or not a hash change occurred, since
1176     // the user might have scrolled since the previous navigation.
1177     scrollToFragmentWithParentBoundary(url, isNewNavigation);
1178     
1179     m_isComplete = false;
1180     checkCompleted();
1181
1182     if (isNewNavigation) {
1183         // This will clear previousItem from the rest of the frame tree that didn't
1184         // doing any loading. We need to make a pass on this now, since for fragment
1185         // navigation we'll not go through a real load and reach Completed state.
1186         checkLoadComplete();
1187     }
1188
1189     m_client.dispatchDidNavigateWithinPage();
1190
1191     m_frame.document()->statePopped(stateObject ? Ref<SerializedScriptValue> { *stateObject } : SerializedScriptValue::nullValue());
1192     m_client.dispatchDidPopStateWithinPage();
1193     
1194     if (hashChange) {
1195         m_frame.document()->enqueueHashchangeEvent(oldURL, url);
1196         m_client.dispatchDidChangeLocationWithinPage();
1197     }
1198     
1199     // FrameLoaderClient::didFinishLoad() tells the internal load delegate the load finished with no error
1200     m_client.didFinishLoad();
1201 }
1202
1203 bool FrameLoader::isComplete() const
1204 {
1205     return m_isComplete;
1206 }
1207
1208 void FrameLoader::completed()
1209 {
1210     Ref<Frame> protect(m_frame);
1211
1212     for (Frame* descendant = m_frame.tree().traverseNext(&m_frame); descendant; descendant = descendant->tree().traverseNext(&m_frame))
1213         descendant->navigationScheduler().startTimer();
1214
1215     if (Frame* parent = m_frame.tree().parent())
1216         parent->loader().checkCompleted();
1217
1218     if (m_frame.view())
1219         m_frame.view()->maintainScrollPositionAtAnchor(nullptr);
1220 }
1221
1222 void FrameLoader::started()
1223 {
1224     for (Frame* frame = &m_frame; frame; frame = frame->tree().parent())
1225         frame->loader().m_isComplete = false;
1226 }
1227
1228 void FrameLoader::prepareForLoadStart()
1229 {
1230     RELEASE_LOG_IF_ALLOWED("prepareForLoadStart: Starting frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1231
1232     m_progressTracker->progressStarted();
1233     m_client.dispatchDidStartProvisionalLoad();
1234
1235     if (AXObjectCache::accessibilityEnabled()) {
1236         if (AXObjectCache* cache = m_frame.document()->existingAXObjectCache()) {
1237             AXObjectCache::AXLoadingEvent loadingEvent = loadType() == FrameLoadType::Reload ? AXObjectCache::AXLoadingReloaded : AXObjectCache::AXLoadingStarted;
1238             cache->frameLoadingEventNotification(&m_frame, loadingEvent);
1239         }
1240     }
1241 }
1242
1243 void FrameLoader::setupForReplace()
1244 {
1245     m_client.revertToProvisionalState(m_documentLoader.get());
1246     setState(FrameStateProvisional);
1247     m_provisionalDocumentLoader = m_documentLoader;
1248     m_documentLoader = nullptr;
1249     detachChildren();
1250 }
1251
1252 void FrameLoader::loadFrameRequest(FrameLoadRequest&& request, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution)
1253 {
1254     RELEASE_LOG_IF_ALLOWED("loadFrameRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1255
1256     // Protect frame from getting blown away inside dispatchBeforeLoadEvent in loadWithDocumentLoader.
1257     auto protectFrame = makeRef(m_frame);
1258
1259     URL url = request.resourceRequest().url();
1260
1261     ASSERT(m_frame.document());
1262     if (!request.requesterSecurityOrigin().canDisplay(url)) {
1263         reportLocalLoadFailed(&m_frame, url.stringCenterEllipsizedToLength());
1264         return;
1265     }
1266
1267     String argsReferrer = request.resourceRequest().httpReferrer();
1268     if (argsReferrer.isEmpty())
1269         argsReferrer = outgoingReferrer();
1270
1271     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), url, argsReferrer);
1272     if (request.shouldSendReferrer() == NeverSendReferrer)
1273         referrer = String();
1274
1275     FrameLoadType loadType;
1276     if (request.resourceRequest().cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData)
1277         loadType = FrameLoadType::Reload;
1278     else if (request.lockBackForwardList() == LockBackForwardList::Yes)
1279         loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1280     else
1281         loadType = FrameLoadType::Standard;
1282
1283     auto completionHandler = [this, protectedFrame = makeRef(m_frame), formState = makeWeakPtr(formState.get()), frameName = request.frameName()] {
1284         // FIXME: It's possible this targetFrame will not be the same frame that was targeted by the actual
1285         // load if frame names have changed.
1286         Frame* sourceFrame = formState ? formState->sourceDocument().frame() : &m_frame;
1287         if (!sourceFrame)
1288             sourceFrame = &m_frame;
1289         Frame* targetFrame = sourceFrame->loader().findFrameForNavigation(frameName);
1290         if (targetFrame && targetFrame != sourceFrame) {
1291             if (Page* page = targetFrame->page())
1292                 page->chrome().focus();
1293         }
1294     };
1295
1296     if (request.resourceRequest().httpMethod() == "POST")
1297         loadPostRequest(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(completionHandler));
1298     else
1299         loadURL(WTFMove(request), referrer, loadType, event, WTFMove(formState), WTFMove(adClickAttribution), WTFMove(completionHandler));
1300 }
1301
1302 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1303 {
1304     if (UserGestureIndicator::processingUserGesture())
1305         return ShouldOpenExternalURLsPolicy::ShouldAllow;
1306
1307     if (initiatedByMainFrame == InitiatedByMainFrame::Yes)
1308         return propagatedPolicy;
1309
1310     if (!currentFrame.isMainFrame())
1311         return ShouldOpenExternalURLsPolicy::ShouldNotAllow;
1312
1313     return propagatedPolicy;
1314 }
1315
1316 static ShouldOpenExternalURLsPolicy shouldOpenExternalURLsPolicyToApply(Frame& currentFrame, const FrameLoadRequest& frameLoadRequest)
1317 {
1318     return shouldOpenExternalURLsPolicyToApply(currentFrame, frameLoadRequest.initiatedByMainFrame(), frameLoadRequest.shouldOpenExternalURLsPolicy());
1319 }
1320
1321 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, InitiatedByMainFrame initiatedByMainFrame, ShouldOpenExternalURLsPolicy propagatedPolicy)
1322 {
1323     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, initiatedByMainFrame, propagatedPolicy));
1324 }
1325
1326 static void applyShouldOpenExternalURLsPolicyToNewDocumentLoader(Frame& frame, DocumentLoader& documentLoader, const FrameLoadRequest& frameLoadRequest)
1327 {
1328     documentLoader.setShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(frame, frameLoadRequest));
1329 }
1330
1331 bool FrameLoader::isNavigationAllowed() const
1332 {
1333     return m_pageDismissalEventBeingDispatched == PageDismissalType::None && !m_frame.script().willReplaceWithResultOfExecutingJavascriptURL() && NavigationDisabler::isNavigationAllowed(m_frame);
1334 }
1335
1336 bool FrameLoader::isStopLoadingAllowed() const
1337 {
1338     return m_pageDismissalEventBeingDispatched == PageDismissalType::None;
1339 }
1340
1341 void FrameLoader::loadURL(FrameLoadRequest&& frameLoadRequest, const String& referrer, FrameLoadType newLoadType, Event* event, RefPtr<FormState>&& formState, Optional<AdClickAttribution>&& adClickAttribution, CompletionHandler<void()>&& completionHandler)
1342 {
1343     RELEASE_LOG_IF_ALLOWED("loadURL: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1344
1345     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1346     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1347         return;
1348
1349     Ref<Frame> protect(m_frame);
1350
1351     // Anchor target is ignored when the download attribute is set since it will download the hyperlink rather than follow it.
1352     String effectiveFrameName = frameLoadRequest.downloadAttribute().isNull() ? frameLoadRequest.frameName() : String();
1353     AllowNavigationToInvalidURL allowNavigationToInvalidURL = frameLoadRequest.allowNavigationToInvalidURL();
1354     NewFrameOpenerPolicy openerPolicy = frameLoadRequest.newFrameOpenerPolicy();
1355     LockHistory lockHistory = frameLoadRequest.lockHistory();
1356     bool isFormSubmission = formState;
1357
1358     const URL& newURL = frameLoadRequest.resourceRequest().url();
1359     ResourceRequest request(newURL);
1360     if (!referrer.isEmpty()) {
1361         request.setHTTPReferrer(referrer);
1362         auto referrerOrigin = SecurityOrigin::createFromString(referrer);
1363         addHTTPOriginIfNeeded(request, referrerOrigin->toString());
1364     }
1365     if (&m_frame.tree().top() != &m_frame)
1366         request.setDomainForCachePartition(m_frame.tree().top().document()->domainForCachePartition());
1367
1368     addExtraFieldsToRequest(request, newLoadType, true);
1369     if (isReload(newLoadType))
1370         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1371
1372     ASSERT(newLoadType != FrameLoadType::Same);
1373
1374     // The search for a target frame is done earlier in the case of form submission.
1375     Frame* targetFrame = isFormSubmission ? nullptr : findFrameForNavigation(effectiveFrameName);
1376     if (targetFrame && targetFrame != &m_frame) {
1377         frameLoadRequest.setFrameName("_self");
1378         targetFrame->loader().loadURL(WTFMove(frameLoadRequest), referrer, newLoadType, event, WTFMove(formState), WTFMove(adClickAttribution), completionHandlerCaller.release());
1379         return;
1380     }
1381
1382     if (!isNavigationAllowed())
1383         return;
1384
1385     NavigationAction action { frameLoadRequest.requester(), request, frameLoadRequest.initiatedByMainFrame(), newLoadType, isFormSubmission, event, frameLoadRequest.shouldOpenExternalURLsPolicy(), frameLoadRequest.downloadAttribute() };
1386     action.setLockHistory(lockHistory);
1387     action.setLockBackForwardList(frameLoadRequest.lockBackForwardList());
1388     if (adClickAttribution && m_frame.isMainFrame())
1389         action.setAdClickAttribution(WTFMove(*adClickAttribution));
1390
1391     if (!targetFrame && !effectiveFrameName.isEmpty()) {
1392         action = action.copyWithShouldOpenExternalURLsPolicy(shouldOpenExternalURLsPolicyToApply(m_frame, frameLoadRequest));
1393         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request), WTFMove(formState), effectiveFrameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
1394             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
1395             completionHandler();
1396         });
1397         return;
1398     }
1399
1400     RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1401
1402     bool sameURL = shouldTreatURLAsSameAsCurrent(newURL);
1403     const String& httpMethod = request.httpMethod();
1404     
1405     // Make sure to do scroll to fragment processing even if the URL is
1406     // exactly the same so pages with '#' links and DHTML side effects
1407     // work properly.
1408     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, newLoadType, newURL)) {
1409         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1410         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1411         policyChecker().stopCheck();
1412         policyChecker().setLoadType(newLoadType);
1413         RELEASE_ASSERT(!isBackForwardLoadType(newLoadType) || history().provisionalItem());
1414         policyChecker().checkNavigationPolicy(WTFMove(request), ResourceResponse { } /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1415             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1416         }, PolicyDecisionMode::Synchronous);
1417         return;
1418     }
1419
1420     // Must grab this now, since this load may stop the previous load and clear this flag.
1421     bool isRedirect = m_quickRedirectComing;
1422 #if USE(SYSTEM_PREVIEW)
1423     bool isSystemPreview = frameLoadRequest.isSystemPreview();
1424     if (isSystemPreview)
1425         request.setSystemPreviewInfo(frameLoadRequest.systemPreviewInfo());
1426 #endif
1427     loadWithNavigationAction(request, WTFMove(action), lockHistory, newLoadType, WTFMove(formState), allowNavigationToInvalidURL, frameLoadRequest.downloadAttribute(), [this, isRedirect, sameURL, newLoadType, protectedFrame = makeRef(m_frame), completionHandler = completionHandlerCaller.release()] () mutable {
1428         if (isRedirect) {
1429             m_quickRedirectComing = false;
1430             if (m_provisionalDocumentLoader)
1431                 m_provisionalDocumentLoader->setIsClientRedirect(true);
1432             else if (m_policyDocumentLoader)
1433                 m_policyDocumentLoader->setIsClientRedirect(true);
1434         } else if (sameURL && !isReload(newLoadType)) {
1435             // Example of this case are sites that reload the same URL with a different cookie
1436             // driving the generated content, or a master frame with links that drive a target
1437             // frame, where the user has clicked on the same link repeatedly.
1438             m_loadType = FrameLoadType::Same;
1439         }
1440         completionHandler();
1441     });
1442 }
1443
1444 SubstituteData FrameLoader::defaultSubstituteDataForURL(const URL& url)
1445 {
1446     if (!shouldTreatURLAsSrcdocDocument(url))
1447         return SubstituteData();
1448     auto& srcdoc = m_frame.ownerElement()->attributeWithoutSynchronization(srcdocAttr);
1449     ASSERT(!srcdoc.isNull());
1450     CString encodedSrcdoc = srcdoc.string().utf8();
1451
1452     ResourceResponse response(URL(), "text/html"_s, encodedSrcdoc.length(), "UTF-8"_s);
1453     return SubstituteData(SharedBuffer::create(encodedSrcdoc.data(), encodedSrcdoc.length()), URL(), response, SubstituteData::SessionHistoryVisibility::Hidden);
1454 }
1455
1456 void FrameLoader::load(FrameLoadRequest&& request)
1457 {
1458     RELEASE_LOG_IF_ALLOWED("load (FrameLoadRequest): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1459
1460     if (m_inStopAllLoaders || m_inClearProvisionalLoadForPolicyCheck)
1461         return;
1462
1463     if (!request.frameName().isEmpty()) {
1464         Frame* frame = findFrameForNavigation(request.frameName());
1465         if (frame) {
1466             request.setShouldCheckNewWindowPolicy(false);
1467             if (&frame->loader() != this) {
1468                 frame->loader().load(WTFMove(request));
1469                 return;
1470             }
1471         }
1472     }
1473
1474     if (request.shouldCheckNewWindowPolicy()) {
1475         NavigationAction action { request.requester(), request.resourceRequest(), InitiatedByMainFrame::Unknown, NavigationType::Other, request.shouldOpenExternalURLsPolicy() };
1476         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(request.resourceRequest()), { }, request.frameName(), [this] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) {
1477             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, AllowNavigationToInvalidURL::Yes, NewFrameOpenerPolicy::Suppress);
1478         });
1479
1480         return;
1481     }
1482
1483     if (!request.hasSubstituteData())
1484         request.setSubstituteData(defaultSubstituteDataForURL(request.resourceRequest().url()));
1485
1486     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request.resourceRequest(), request.substituteData());
1487     loader->setAllowsWebArchiveForMainFrame(request.isRequestFromClientOrUserInput());
1488     addSameSiteInfoToRequestIfNeeded(loader->request());
1489     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, request);
1490
1491     if (request.shouldTreatAsContinuingLoad()) {
1492         loader->setClientRedirectSourceForHistory(request.clientRedirectSourceForHistory());
1493         if (request.lockBackForwardList() == LockBackForwardList::Yes) {
1494             loader->setIsClientRedirect(true);
1495             m_loadType = FrameLoadType::RedirectWithLockedBackForwardList;
1496         }
1497     }
1498
1499     SetForScope<LoadContinuingState> continuingLoadGuard(m_currentLoadContinuingState, request.shouldTreatAsContinuingLoad() ? LoadContinuingState::ContinuingWithRequest : LoadContinuingState::NotContinuing);
1500     load(loader.get());
1501 }
1502
1503 void FrameLoader::loadWithNavigationAction(const ResourceRequest& request, NavigationAction&& action, LockHistory lockHistory, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, const String& downloadAttribute, CompletionHandler<void()>&& completionHandler)
1504 {
1505     RELEASE_LOG_IF_ALLOWED("loadWithNavigationAction: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1506
1507     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1508     loader->setDownloadAttribute(downloadAttribute);
1509     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, action.initiatedByMainFrame(), action.shouldOpenExternalURLsPolicy());
1510
1511     if (lockHistory == LockHistory::Yes && m_documentLoader)
1512         loader->setClientRedirectSourceForHistory(m_documentLoader->didCreateGlobalHistoryEntry() ? m_documentLoader->urlForHistory().string() : m_documentLoader->clientRedirectSourceForHistory());
1513
1514     loader->setTriggeringAction(WTFMove(action));
1515     if (m_documentLoader)
1516         loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1517
1518     loadWithDocumentLoader(loader.ptr(), type, WTFMove(formState), allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad::No, WTFMove(completionHandler));
1519 }
1520
1521 void FrameLoader::load(DocumentLoader& newDocumentLoader)
1522 {
1523     RELEASE_LOG_IF_ALLOWED("load (DocumentLoader): frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1524
1525     ResourceRequest& r = newDocumentLoader.request();
1526     addExtraFieldsToMainResourceRequest(r);
1527     FrameLoadType type;
1528
1529     if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.originalRequest().url())) {
1530         r.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1531         type = FrameLoadType::Same;
1532     } else if (shouldTreatURLAsSameAsCurrent(newDocumentLoader.unreachableURL()) && isReload(m_loadType))
1533         type = m_loadType;
1534     else if (m_loadType == FrameLoadType::RedirectWithLockedBackForwardList && ((!newDocumentLoader.unreachableURL().isEmpty() && newDocumentLoader.substituteData().isValid()) || shouldTreatCurrentLoadAsContinuingLoad()))
1535         type = FrameLoadType::RedirectWithLockedBackForwardList;
1536     else
1537         type = FrameLoadType::Standard;
1538
1539     if (m_documentLoader)
1540         newDocumentLoader.setOverrideEncoding(m_documentLoader->overrideEncoding());
1541     
1542     // When we loading alternate content for an unreachable URL that we're
1543     // visiting in the history list, we treat it as a reload so the history list 
1544     // is appropriately maintained.
1545     //
1546     // FIXME: This seems like a dangerous overloading of the meaning of "FrameLoadType::Reload" ...
1547     // shouldn't a more explicit type of reload be defined, that means roughly 
1548     // "load without affecting history" ? 
1549     if (shouldReloadToHandleUnreachableURL(newDocumentLoader)) {
1550         // shouldReloadToHandleUnreachableURL returns true only when the original load type is back-forward.
1551         // In this case we should save the document state now. Otherwise the state can be lost because load type is
1552         // changed and updateForBackForwardNavigation() will not be called when loading is committed.
1553         history().saveDocumentAndScrollState();
1554
1555         ASSERT(type == FrameLoadType::Standard);
1556         type = FrameLoadType::Reload;
1557     }
1558
1559     loadWithDocumentLoader(&newDocumentLoader, type, nullptr, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1560 }
1561
1562 void FrameLoader::loadWithDocumentLoader(DocumentLoader* loader, FrameLoadType type, RefPtr<FormState>&& formState, AllowNavigationToInvalidURL allowNavigationToInvalidURL, ShouldTreatAsContinuingLoad, CompletionHandler<void()>&& completionHandler)
1563 {
1564     RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1565
1566     // Retain because dispatchBeforeLoadEvent may release the last reference to it.
1567     Ref<Frame> protect(m_frame);
1568
1569     CompletionHandlerCallingScope completionHandlerCaller(WTFMove(completionHandler));
1570
1571     ASSERT(m_client.hasWebView());
1572
1573     // Unfortunately the view must be non-nil, this is ultimately due
1574     // to parser requiring a FrameView.  We should fix this dependency.
1575
1576     ASSERT(m_frame.view());
1577
1578     if (!isNavigationAllowed())
1579         return;
1580
1581     if (m_frame.document())
1582         m_previousURL = m_frame.document()->url();
1583
1584     const URL& newURL = loader->request().url();
1585
1586     // Only the first iframe navigation or the first iframe navigation after about:blank should be reported.
1587     // https://www.w3.org/TR/resource-timing-2/#resources-included-in-the-performanceresourcetiming-interface
1588     if (m_shouldReportResourceTimingToParentFrame && !m_previousURL.isNull() && m_previousURL != WTF::blankURL())
1589         m_shouldReportResourceTimingToParentFrame = false;
1590
1591     // Log main frame navigation types.
1592     if (m_frame.isMainFrame()) {
1593         if (auto* page = m_frame.page()) {
1594             RELEASE_LOG_IF_ALLOWED("loadWithDocumentLoader: main frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1595             page->mainFrameLoadStarted(newURL, type);
1596             page->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadStarted);
1597         }
1598     }
1599
1600     policyChecker().setLoadType(type);
1601     RELEASE_ASSERT(!isBackForwardLoadType(type) || history().provisionalItem());
1602     bool isFormSubmission = formState;
1603
1604     const String& httpMethod = loader->request().httpMethod();
1605
1606     if (shouldPerformFragmentNavigation(isFormSubmission, httpMethod, policyChecker().loadType(), newURL)) {
1607         RefPtr<DocumentLoader> oldDocumentLoader = m_documentLoader;
1608         NavigationAction action { *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission };
1609
1610         oldDocumentLoader->setTriggeringAction(WTFMove(action));
1611         oldDocumentLoader->setLastCheckedRequest(ResourceRequest());
1612         policyChecker().stopCheck();
1613         RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1614         policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { }  /* redirectResponse */, oldDocumentLoader.get(), WTFMove(formState), [this, protectedFrame = makeRef(m_frame)] (const ResourceRequest& request, WeakPtr<FormState>&&, NavigationPolicyDecision navigationPolicyDecision) {
1615             continueFragmentScrollAfterNavigationPolicy(request, navigationPolicyDecision == NavigationPolicyDecision::ContinueLoad);
1616         }, PolicyDecisionMode::Synchronous);
1617         return;
1618     }
1619
1620     if (Frame* parent = m_frame.tree().parent())
1621         loader->setOverrideEncoding(parent->loader().documentLoader()->overrideEncoding());
1622
1623     policyChecker().stopCheck();
1624     setPolicyDocumentLoader(loader);
1625     if (loader->triggeringAction().isEmpty())
1626         loader->setTriggeringAction({ *m_frame.document(), loader->request(), InitiatedByMainFrame::Unknown, policyChecker().loadType(), isFormSubmission });
1627
1628     if (Element* ownerElement = m_frame.ownerElement()) {
1629         // We skip dispatching the beforeload event if we've already
1630         // committed a real document load because the event would leak
1631         // subsequent activity by the frame which the parent frame isn't
1632         // supposed to learn. For example, if the child frame navigated to
1633         // a new URL, the parent frame shouldn't learn the URL.
1634         if (!m_stateMachine.committedFirstRealDocumentLoad()
1635             && !ownerElement->dispatchBeforeLoadEvent(loader->request().url().string())) {
1636             continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::IgnoreLoad, allowNavigationToInvalidURL);
1637             return;
1638         }
1639     }
1640
1641     m_frame.navigationScheduler().cancel(NewLoadInProgress::Yes);
1642
1643     if (shouldTreatCurrentLoadAsContinuingLoad()) {
1644         continueLoadAfterNavigationPolicy(loader->request(), formState.get(), NavigationPolicyDecision::ContinueLoad, allowNavigationToInvalidURL);
1645         return;
1646     }
1647
1648     RELEASE_ASSERT(!isBackForwardLoadType(policyChecker().loadType()) || history().provisionalItem());
1649     policyChecker().checkNavigationPolicy(ResourceRequest(loader->request()), ResourceResponse { } /* redirectResponse */, loader, WTFMove(formState), [this, protectedFrame = makeRef(m_frame), allowNavigationToInvalidURL, completionHandler = completionHandlerCaller.release()] (const ResourceRequest& request, WeakPtr<FormState>&& formState, NavigationPolicyDecision navigationPolicyDecision) mutable {
1650         continueLoadAfterNavigationPolicy(request, formState.get(), navigationPolicyDecision, allowNavigationToInvalidURL);
1651         completionHandler();
1652     }, PolicyDecisionMode::Asynchronous);
1653 }
1654
1655 void FrameLoader::clearProvisionalLoadForPolicyCheck()
1656 {
1657     if (!m_policyDocumentLoader || !m_provisionalDocumentLoader || m_inClearProvisionalLoadForPolicyCheck)
1658         return;
1659
1660     SetForScope<bool> change(m_inClearProvisionalLoadForPolicyCheck, true);
1661     m_provisionalDocumentLoader->stopLoading();
1662     setProvisionalDocumentLoader(nullptr);
1663 }
1664
1665 void FrameLoader::reportLocalLoadFailed(Frame* frame, const String& url)
1666 {
1667     ASSERT(!url.isEmpty());
1668     if (!frame)
1669         return;
1670
1671     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to load local resource: " + url);
1672 }
1673
1674 void FrameLoader::reportBlockedPortFailed(Frame* frame, const String& url)
1675 {
1676     ASSERT(!url.isEmpty());
1677     if (!frame)
1678         return;
1679     
1680     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, "Not allowed to use restricted network port: " + url);
1681 }
1682
1683 void FrameLoader::reportAuthenticationChallengeBlocked(Frame* frame, const URL& url, const String& reason)
1684 {
1685     if (!frame)
1686         return;
1687
1688     frame->document()->addConsoleMessage(MessageSource::Security, MessageLevel::Error, makeString("Blocked ", url.stringCenterEllipsizedToLength(), " from asking for credentials because ", reason, '.'));
1689 }
1690
1691 const ResourceRequest& FrameLoader::initialRequest() const
1692 {
1693     return activeDocumentLoader()->originalRequest();
1694 }
1695
1696 bool FrameLoader::willLoadMediaElementURL(URL& url, Node& initiatorNode)
1697 {
1698 #if PLATFORM(IOS_FAMILY)
1699     // MobileStore depends on the iOS 4.0 era client delegate method because webView:resource:willSendRequest:redirectResponse:fromDataSource
1700     // doesn't let them tell when a load request is coming from a media element. See <rdar://problem/8266916> for more details.
1701     if (IOSApplication::isMobileStore())
1702         return m_client.shouldLoadMediaElementURL(url);
1703 #endif
1704
1705     ResourceRequest request(url);
1706     request.setInspectorInitiatorNodeIdentifier(InspectorInstrumentation::identifierForNode(initiatorNode));
1707
1708     unsigned long identifier;
1709     ResourceError error;
1710     requestFromDelegate(request, identifier, error);
1711     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, ResourceResponse(url, String(), -1, String()), 0, -1, -1, error);
1712
1713     url = request.url();
1714
1715     return error.isNull();
1716 }
1717
1718 bool FrameLoader::shouldReloadToHandleUnreachableURL(DocumentLoader& docLoader)
1719 {
1720     URL unreachableURL = docLoader.unreachableURL();
1721
1722     if (unreachableURL.isEmpty())
1723         return false;
1724
1725     if (!isBackForwardLoadType(policyChecker().loadType()))
1726         return false;
1727
1728     // We only treat unreachableURLs specially during the delegate callbacks
1729     // for provisional load errors and navigation policy decisions. The former
1730     // case handles well-formed URLs that can't be loaded, and the latter
1731     // case handles malformed URLs and unknown schemes. Loading alternate content
1732     // at other times behaves like a standard load.
1733     if (policyChecker().delegateIsDecidingNavigationPolicy() || policyChecker().delegateIsHandlingUnimplementablePolicy())
1734         return m_policyDocumentLoader && unreachableURL == m_policyDocumentLoader->request().url();
1735
1736     return unreachableURL == m_provisionalLoadErrorBeingHandledURL;
1737 }
1738
1739 void FrameLoader::reloadWithOverrideEncoding(const String& encoding)
1740 {
1741     if (!m_documentLoader)
1742         return;
1743
1744     RELEASE_LOG_IF_ALLOWED("reloadWithOverrideEncoding: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1745
1746     ResourceRequest request = m_documentLoader->request();
1747     URL unreachableURL = m_documentLoader->unreachableURL();
1748     if (!unreachableURL.isEmpty())
1749         request.setURL(unreachableURL);
1750
1751     // FIXME: If the resource is a result of form submission and is not cached, the form will be silently resubmitted.
1752     // We should ask the user for confirmation in this case.
1753     request.setCachePolicy(ResourceRequestCachePolicy::ReturnCacheDataElseLoad);
1754
1755     Ref<DocumentLoader> loader = m_client.createDocumentLoader(request, defaultSubstituteDataForURL(request.url()));
1756     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1757
1758     setPolicyDocumentLoader(loader.ptr());
1759
1760     loader->setOverrideEncoding(encoding);
1761
1762     loadWithDocumentLoader(loader.ptr(), FrameLoadType::Reload, { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1763 }
1764
1765 void FrameLoader::reload(OptionSet<ReloadOption> options)
1766 {
1767     if (!m_documentLoader)
1768         return;
1769
1770     // If a window is created by javascript, its main frame can have an empty but non-nil URL.
1771     // Reloading in this case will lose the current contents (see 4151001).
1772     if (m_documentLoader->request().url().isEmpty())
1773         return;
1774
1775     RELEASE_LOG_IF_ALLOWED("reload: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
1776
1777     // Replace error-page URL with the URL we were trying to reach.
1778     ResourceRequest initialRequest = m_documentLoader->request();
1779     URL unreachableURL = m_documentLoader->unreachableURL();
1780     if (!unreachableURL.isEmpty())
1781         initialRequest.setURL(unreachableURL);
1782
1783     // Create a new document loader for the reload, this will become m_documentLoader eventually,
1784     // but first it has to be the "policy" document loader, and then the "provisional" document loader.
1785     Ref<DocumentLoader> loader = m_client.createDocumentLoader(initialRequest, defaultSubstituteDataForURL(initialRequest.url()));
1786     loader->setAllowsWebArchiveForMainFrame(m_documentLoader->allowsWebArchiveForMainFrame());
1787     applyShouldOpenExternalURLsPolicyToNewDocumentLoader(m_frame, loader, InitiatedByMainFrame::Unknown, m_documentLoader->shouldOpenExternalURLsPolicyToPropagate());
1788
1789     loader->setUserContentExtensionsEnabled(!options.contains(ReloadOption::DisableContentBlockers));
1790     
1791     ResourceRequest& request = loader->request();
1792
1793     // FIXME: We don't have a mechanism to revalidate the main resource without reloading at the moment.
1794     request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
1795
1796     addSameSiteInfoToRequestIfNeeded(request);
1797
1798     // If we're about to re-post, set up action so the application can warn the user.
1799     if (request.httpMethod() == "POST")
1800         loader->setTriggeringAction({ *m_frame.document(), request, InitiatedByMainFrame::Unknown, NavigationType::FormResubmitted });
1801
1802     loader->setOverrideEncoding(m_documentLoader->overrideEncoding());
1803
1804     auto frameLoadTypeForReloadOptions = [] (auto options) {
1805         if (options & ReloadOption::FromOrigin)
1806             return FrameLoadType::ReloadFromOrigin;
1807         if (options & ReloadOption::ExpiredOnly)
1808             return FrameLoadType::ReloadExpiredOnly;
1809         return FrameLoadType::Reload;
1810     };
1811     
1812     loadWithDocumentLoader(loader.ptr(), frameLoadTypeForReloadOptions(options), { }, AllowNavigationToInvalidURL::Yes, ShouldTreatAsContinuingLoad::No);
1813 }
1814
1815 void FrameLoader::stopAllLoaders(ClearProvisionalItemPolicy clearProvisionalItemPolicy, StopLoadingPolicy stopLoadingPolicy)
1816 {
1817     if (m_frame.document() && m_frame.document()->pageCacheState() == Document::InPageCache)
1818         return;
1819
1820     if (stopLoadingPolicy == StopLoadingPolicy::PreventDuringUnloadEvents && !isStopLoadingAllowed())
1821         return;
1822
1823     // If this method is called from within this method, infinite recursion can occur (3442218). Avoid this.
1824     if (m_inStopAllLoaders)
1825         return;
1826
1827     // This method might dispatch events.
1828     RELEASE_ASSERT_WITH_SECURITY_IMPLICATION(ScriptDisallowedScope::InMainThread::isScriptAllowed());
1829
1830     // Calling stopLoading() on the provisional document loader can blow away
1831     // the frame from underneath.
1832     Ref<Frame> protect(m_frame);
1833
1834     m_inStopAllLoaders = true;
1835
1836     policyChecker().stopCheck();
1837
1838     // If no new load is in progress, we should clear the provisional item from history
1839     // before we call stopLoading.
1840     if (clearProvisionalItemPolicy == ShouldClearProvisionalItem)
1841         history().setProvisionalItem(nullptr);
1842
1843     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1844         child->loader().stopAllLoaders(clearProvisionalItemPolicy);
1845     if (m_provisionalDocumentLoader)
1846         m_provisionalDocumentLoader->stopLoading();
1847     if (m_documentLoader)
1848         m_documentLoader->stopLoading();
1849
1850     setProvisionalDocumentLoader(nullptr);
1851
1852     m_inStopAllLoaders = false;    
1853 }
1854
1855 void FrameLoader::stopForPageCache()
1856 {
1857     // Stop provisional loads in subframes (The one in the main frame is about to be committed).
1858     if (!m_frame.isMainFrame()) {
1859         if (m_provisionalDocumentLoader)
1860             m_provisionalDocumentLoader->stopLoading();
1861         setProvisionalDocumentLoader(nullptr);
1862     }
1863
1864     // Stop current loads.
1865     if (m_documentLoader)
1866         m_documentLoader->stopLoading();
1867
1868     for (RefPtr<Frame> child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
1869         child->loader().stopForPageCache();
1870
1871     // We cancel pending navigations & policy checks *after* cancelling loads because cancelling loads might end up
1872     // running script, which could schedule new navigations.
1873     policyChecker().stopCheck();
1874     m_frame.navigationScheduler().cancel();
1875 }
1876
1877 void FrameLoader::stopAllLoadersAndCheckCompleteness()
1878 {
1879     stopAllLoaders();
1880
1881     if (!m_checkTimer.isActive())
1882         return;
1883
1884     m_checkTimer.stop();
1885     m_checkingLoadCompleteForDetachment = true;
1886     checkCompletenessNow();
1887     m_checkingLoadCompleteForDetachment = false;
1888 }
1889
1890 void FrameLoader::stopForUserCancel(bool deferCheckLoadComplete)
1891 {
1892     // Calling stopAllLoaders can cause the frame to be deallocated, including the frame loader.
1893     Ref<Frame> protectedFrame(m_frame);
1894
1895     stopAllLoaders();
1896
1897 #if PLATFORM(IOS_FAMILY)
1898     // Lay out immediately when stopping to immediately clear the old page if we just committed this one
1899     // but haven't laid out/painted yet.
1900     // FIXME: Is this behavior specific to iOS? Or should we expose a setting to toggle this behavior?
1901     if (m_frame.view() && !m_frame.view()->didFirstLayout())
1902         m_frame.view()->layoutContext().layout();
1903 #endif
1904
1905     if (deferCheckLoadComplete)
1906         scheduleCheckLoadComplete();
1907     else if (m_frame.page())
1908         checkLoadComplete();
1909 }
1910
1911 DocumentLoader* FrameLoader::activeDocumentLoader() const
1912 {
1913     if (m_state == FrameStateProvisional)
1914         return m_provisionalDocumentLoader.get();
1915     return m_documentLoader.get();
1916 }
1917
1918 bool FrameLoader::isLoading() const
1919 {
1920     DocumentLoader* docLoader = activeDocumentLoader();
1921     if (!docLoader)
1922         return false;
1923     return docLoader->isLoading();
1924 }
1925
1926 bool FrameLoader::frameHasLoaded() const
1927 {
1928     return m_stateMachine.committedFirstRealDocumentLoad() || (m_provisionalDocumentLoader && !m_stateMachine.creatingInitialEmptyDocument()); 
1929 }
1930
1931 void FrameLoader::setDocumentLoader(DocumentLoader* loader)
1932 {
1933     if (!loader && !m_documentLoader)
1934         return;
1935
1936     if (loader == m_documentLoader)
1937         return;
1938     
1939     ASSERT(loader != m_documentLoader);
1940     ASSERT(!loader || loader->frameLoader() == this);
1941
1942     m_client.prepareForDataSourceReplacement();
1943     detachChildren();
1944
1945     // detachChildren() can trigger this frame's unload event, and therefore
1946     // script can run and do just about anything. For example, an unload event that calls
1947     // document.write("") on its parent frame can lead to a recursive detachChildren()
1948     // invocation for this frame. In that case, we can end up at this point with a
1949     // loader that hasn't been deleted but has been detached from its frame. Such a
1950     // DocumentLoader has been sufficiently detached that we'll end up in an inconsistent
1951     // state if we try to use it.
1952     if (loader && !loader->frame())
1953         return;
1954
1955     if (m_documentLoader)
1956         m_documentLoader->detachFromFrame();
1957
1958     m_documentLoader = loader;
1959 }
1960
1961 void FrameLoader::setPolicyDocumentLoader(DocumentLoader* loader)
1962 {
1963     if (m_policyDocumentLoader == loader)
1964         return;
1965
1966     if (loader)
1967         loader->attachToFrame(m_frame);
1968     if (m_policyDocumentLoader
1969             && m_policyDocumentLoader != m_provisionalDocumentLoader
1970             && m_policyDocumentLoader != m_documentLoader)
1971         m_policyDocumentLoader->detachFromFrame();
1972
1973     m_policyDocumentLoader = loader;
1974 }
1975
1976 void FrameLoader::setProvisionalDocumentLoader(DocumentLoader* loader)
1977 {
1978     ASSERT(!loader || !m_provisionalDocumentLoader);
1979     ASSERT(!loader || loader->frameLoader() == this);
1980
1981     if (m_provisionalDocumentLoader && m_provisionalDocumentLoader != m_documentLoader)
1982         m_provisionalDocumentLoader->detachFromFrame();
1983
1984     m_provisionalDocumentLoader = loader;
1985 }
1986
1987 void FrameLoader::setState(FrameState newState)
1988 {
1989     FrameState oldState = m_state;
1990     m_state = newState;
1991     
1992     if (newState == FrameStateProvisional)
1993         provisionalLoadStarted();
1994     else if (newState == FrameStateComplete) {
1995         frameLoadCompleted();
1996         if (m_documentLoader)
1997             m_documentLoader->stopRecordingResponses();
1998         if (m_frame.isMainFrame() && oldState != newState) {
1999             RELEASE_LOG_IF_ALLOWED("setState: main frame load completed (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2000             m_frame.page()->performanceLogging().didReachPointOfInterest(PerformanceLogging::MainFrameLoadCompleted);
2001         }
2002     }
2003 }
2004
2005 void FrameLoader::clearProvisionalLoad()
2006 {
2007     setProvisionalDocumentLoader(nullptr);
2008     m_progressTracker->progressCompleted();
2009     setState(FrameStateComplete);
2010 }
2011
2012 void FrameLoader::commitProvisionalLoad()
2013 {
2014     RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2015     Ref<Frame> protect(m_frame);
2016
2017     std::unique_ptr<CachedPage> cachedPage;
2018     if (m_loadingFromCachedPage && history().provisionalItem())
2019         cachedPage = PageCache::singleton().take(*history().provisionalItem(), m_frame.page());
2020
2021     LOG(PageCache, "WebCoreLoading %s: About to commit provisional load from previous URL '%s' to new URL '%s' with cached page %p", m_frame.tree().uniqueName().string().utf8().data(),
2022         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "",
2023         pdl ? pdl->url().stringCenterEllipsizedToLength().utf8().data() : "<no provisional DocumentLoader>", cachedPage.get());
2024
2025     willTransitionToCommitted();
2026
2027     if (!m_frame.tree().parent() && history().currentItem() && history().currentItem() != history().provisionalItem()) {
2028         // Check to see if we need to cache the page we are navigating away from into the back/forward cache.
2029         // We are doing this here because we know for sure that a new page is about to be loaded.
2030         PageCache::singleton().addIfCacheable(*history().currentItem(), m_frame.page());
2031         
2032         WebCore::jettisonExpensiveObjectsOnTopLevelNavigation();
2033     }
2034
2035     if (m_loadType != FrameLoadType::Replace)
2036         closeOldDataSources();
2037
2038     if (!cachedPage && !m_stateMachine.creatingInitialEmptyDocument())
2039         m_client.makeRepresentation(pdl.get());
2040
2041     transitionToCommitted(cachedPage.get());
2042
2043     if (pdl && m_documentLoader) {
2044         // Check if the destination page is allowed to access the previous page's timing information.
2045         Ref<SecurityOrigin> securityOrigin(SecurityOrigin::create(pdl->request().url()));
2046         m_documentLoader->timing().setHasSameOriginAsPreviousDocument(securityOrigin.get().canRequest(m_previousURL));
2047     }
2048
2049     // Call clientRedirectCancelledOrFinished() here so that the frame load delegate is notified that the redirect's
2050     // status has changed, if there was a redirect.  The frame load delegate may have saved some state about
2051     // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:.  Since we are
2052     // just about to commit a new page, there cannot possibly be a pending redirect at this point.
2053     if (m_sentRedirectNotification)
2054         clientRedirectCancelledOrFinished(NewLoadInProgress::No);
2055     
2056     if (cachedPage && cachedPage->document()) {
2057 #if PLATFORM(IOS_FAMILY)
2058         // FIXME: CachedPage::restore() would dispatch viewport change notification. However UIKit expects load
2059         // commit to happen before any changes to viewport arguments and dealing with this there is difficult.
2060         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(true);
2061 #endif
2062         willRestoreFromCachedPage();
2063
2064         // Start request for the main resource and dispatch didReceiveResponse before the load is committed for
2065         // consistency with all other loads. See https://bugs.webkit.org/show_bug.cgi?id=150927.
2066         ResourceError mainResouceError;
2067         unsigned long mainResourceIdentifier;
2068         ResourceRequest mainResourceRequest(cachedPage->documentLoader()->request());
2069         requestFromDelegate(mainResourceRequest, mainResourceIdentifier, mainResouceError);
2070         notifier().dispatchDidReceiveResponse(cachedPage->documentLoader(), mainResourceIdentifier, cachedPage->documentLoader()->response());
2071
2072         Optional<HasInsecureContent> hasInsecureContent = cachedPage->cachedMainFrame()->hasInsecureContent();
2073
2074         dispatchDidCommitLoad(hasInsecureContent);
2075
2076         // FIXME: This API should be turned around so that we ground CachedPage into the Page.
2077         cachedPage->restore(*m_frame.page());
2078
2079 #if PLATFORM(IOS_FAMILY)
2080         m_frame.page()->chrome().setDispatchViewportDataDidChangeSuppressed(false);
2081         m_frame.page()->chrome().dispatchViewportPropertiesDidChange(m_frame.page()->viewportArguments());
2082 #endif
2083         m_frame.page()->chrome().dispatchDisabledAdaptationsDidChange(m_frame.page()->disabledAdaptations());
2084
2085         auto& title = m_documentLoader->title();
2086         if (!title.string.isNull())
2087             m_client.dispatchDidReceiveTitle(title);
2088
2089         // Send remaining notifications for the main resource.
2090         notifier().sendRemainingDelegateMessages(m_documentLoader.get(), mainResourceIdentifier, mainResourceRequest, ResourceResponse(),
2091             nullptr, static_cast<int>(m_documentLoader->response().expectedContentLength()), 0, mainResouceError);
2092
2093         checkCompleted();
2094     } else
2095         didOpenURL();
2096
2097     LOG(Loading, "WebCoreLoading %s: Finished committing provisional load to URL %s", m_frame.tree().uniqueName().string().utf8().data(),
2098         m_frame.document() ? m_frame.document()->url().stringCenterEllipsizedToLength().utf8().data() : "");
2099
2100     if (m_loadType == FrameLoadType::Standard && m_documentLoader && m_documentLoader->isClientRedirect())
2101         history().updateForClientRedirect();
2102
2103     if (m_loadingFromCachedPage) {
2104         // Note, didReceiveDocType is expected to be called for cached pages. See <rdar://problem/5906758> for more details.
2105         if (auto* page = m_frame.page())
2106             page->chrome().didReceiveDocType(m_frame);
2107         m_frame.document()->resume(ReasonForSuspension::PageCache);
2108
2109         // Force a layout to update view size and thereby update scrollbars.
2110 #if PLATFORM(IOS_FAMILY)
2111         if (!m_client.forceLayoutOnRestoreFromPageCache())
2112             m_frame.view()->forceLayout();
2113 #else
2114         m_frame.view()->forceLayout();
2115 #endif
2116
2117         // Main resource delegates were already sent, so we skip the first response here.
2118         for (unsigned i = 1; i < m_documentLoader->responses().size(); ++i) {
2119             const auto& response = m_documentLoader->responses()[i];
2120             // FIXME: If the WebKit client changes or cancels the request, this is not respected.
2121             ResourceError error;
2122             unsigned long identifier;
2123             ResourceRequest request(response.url());
2124             requestFromDelegate(request, identifier, error);
2125             // FIXME: If we get a resource with more than 2B bytes, this code won't do the right thing.
2126             // However, with today's computers and networking speeds, this won't happen in practice.
2127             // Could be an issue with a giant local file.
2128             notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, 0, static_cast<int>(response.expectedContentLength()), 0, error);
2129         }
2130
2131         // FIXME: Why only this frame and not parent frames?
2132         checkLoadCompleteForThisFrame();
2133     }
2134 }
2135
2136 void FrameLoader::transitionToCommitted(CachedPage* cachedPage)
2137 {
2138     ASSERT(m_client.hasWebView());
2139     ASSERT(m_state == FrameStateProvisional);
2140
2141     if (m_state != FrameStateProvisional)
2142         return;
2143
2144     if (FrameView* view = m_frame.view()) {
2145         if (ScrollAnimator* scrollAnimator = view->existingScrollAnimator())
2146             scrollAnimator->cancelAnimations();
2147     }
2148
2149     m_client.setCopiesOnScroll();
2150     history().updateForCommit();
2151
2152     // The call to closeURL() invokes the unload event handler, which can execute arbitrary
2153     // JavaScript. If the script initiates a new load, we need to abandon the current load,
2154     // or the two will stomp each other.
2155     DocumentLoader* pdl = m_provisionalDocumentLoader.get();
2156     if (m_documentLoader)
2157         closeURL();
2158     if (pdl != m_provisionalDocumentLoader)
2159         return;
2160
2161     if (m_documentLoader)
2162         m_documentLoader->stopLoadingSubresources();
2163     if (m_documentLoader)
2164         m_documentLoader->stopLoadingPlugIns();
2165
2166     // Setting our document loader invokes the unload event handler of our child frames.
2167     // Script can do anything. If the script initiates a new load, we need to abandon the
2168     // current load or the two will stomp each other.
2169     setDocumentLoader(m_provisionalDocumentLoader.get());
2170     if (pdl != m_provisionalDocumentLoader)
2171         return;
2172     setProvisionalDocumentLoader(nullptr);
2173
2174     // Nothing else can interrupt this commit - set the Provisional->Committed transition in stone
2175     setState(FrameStateCommittedPage);
2176
2177     // Handle adding the URL to the back/forward list.
2178     DocumentLoader* dl = m_documentLoader.get();
2179
2180     switch (m_loadType) {
2181     case FrameLoadType::Forward:
2182     case FrameLoadType::Back:
2183     case FrameLoadType::IndexedBackForward:
2184         if (m_frame.page()) {
2185             // If the first load within a frame is a navigation within a back/forward list that was attached
2186             // without any of the items being loaded then we need to update the history in a similar manner as
2187             // for a standard load with the exception of updating the back/forward list (<rdar://problem/8091103>).
2188             if (!m_stateMachine.committedFirstRealDocumentLoad() && m_frame.isMainFrame())
2189                 history().updateForStandardLoad(HistoryController::UpdateAllExceptBackForwardList);
2190
2191             history().updateForBackForwardNavigation();
2192
2193             // For cached pages, CachedFrame::restore will take care of firing the popstate event with the history item's state object
2194             if (history().currentItem() && !cachedPage)
2195                 m_pendingStateObject = history().currentItem()->stateObject();
2196
2197             // Create a document view for this document, or used the cached view.
2198             if (cachedPage) {
2199                 DocumentLoader* cachedDocumentLoader = cachedPage->documentLoader();
2200                 ASSERT(cachedDocumentLoader);
2201                 cachedDocumentLoader->attachToFrame(m_frame);
2202                 m_client.transitionToCommittedFromCachedFrame(cachedPage->cachedMainFrame());
2203             } else
2204                 m_client.transitionToCommittedForNewPage();
2205         }
2206         break;
2207
2208     case FrameLoadType::Reload:
2209     case FrameLoadType::ReloadFromOrigin:
2210     case FrameLoadType::ReloadExpiredOnly:
2211     case FrameLoadType::Same:
2212     case FrameLoadType::Replace:
2213         history().updateForReload();
2214         m_client.transitionToCommittedForNewPage();
2215         break;
2216
2217     case FrameLoadType::Standard:
2218         history().updateForStandardLoad();
2219         if (m_frame.view())
2220             m_frame.view()->setScrollbarsSuppressed(true);
2221         m_client.transitionToCommittedForNewPage();
2222         break;
2223
2224     case FrameLoadType::RedirectWithLockedBackForwardList:
2225         history().updateForRedirectWithLockedBackForwardList();
2226         m_client.transitionToCommittedForNewPage();
2227         break;
2228     }
2229
2230     m_documentLoader->writer().setMIMEType(dl->responseMIMEType());
2231
2232     // Tell the client we've committed this URL.
2233     ASSERT(m_frame.view());
2234
2235     if (m_stateMachine.creatingInitialEmptyDocument())
2236         return;
2237
2238     if (!m_stateMachine.committedFirstRealDocumentLoad())
2239         m_stateMachine.advanceTo(FrameLoaderStateMachine::DisplayingInitialEmptyDocumentPostCommit);
2240 }
2241
2242 void FrameLoader::clientRedirectCancelledOrFinished(NewLoadInProgress newLoadInProgress)
2243 {
2244     // Note that -webView:didCancelClientRedirectForFrame: is called on the frame load delegate even if
2245     // the redirect succeeded.  We should either rename this API, or add a new method, like
2246     // -webView:didFinishClientRedirectForFrame:
2247     m_client.dispatchDidCancelClientRedirect();
2248
2249     if (newLoadInProgress == NewLoadInProgress::No)
2250         m_quickRedirectComing = false;
2251
2252     m_sentRedirectNotification = false;
2253 }
2254
2255 void FrameLoader::clientRedirected(const URL& url, double seconds, WallTime fireDate, LockBackForwardList lockBackForwardList)
2256 {
2257     m_client.dispatchWillPerformClientRedirect(url, seconds, fireDate, lockBackForwardList);
2258     
2259     // Remember that we sent a redirect notification to the frame load delegate so that when we commit
2260     // the next provisional load, we can send a corresponding -webView:didCancelClientRedirectForFrame:
2261     m_sentRedirectNotification = true;
2262     
2263     // If a "quick" redirect comes in, we set a special mode so we treat the next
2264     // load as part of the original navigation. If we don't have a document loader, we have
2265     // no "original" load on which to base a redirect, so we treat the redirect as a normal load.
2266     // Loads triggered by JavaScript form submissions never count as quick redirects.
2267     m_quickRedirectComing = (lockBackForwardList == LockBackForwardList::Yes || history().currentItemShouldBeReplaced()) && m_documentLoader && !m_isExecutingJavaScriptFormAction;
2268 }
2269
2270 bool FrameLoader::shouldReload(const URL& currentURL, const URL& destinationURL)
2271 {
2272     // This function implements the rule: "Don't reload if navigating by fragment within
2273     // the same URL, but do reload if going to a new URL or to the same URL with no
2274     // fragment identifier at all."
2275     if (!destinationURL.hasFragmentIdentifier())
2276         return true;
2277     return !equalIgnoringFragmentIdentifier(currentURL, destinationURL);
2278 }
2279
2280 void FrameLoader::closeOldDataSources()
2281 {
2282     // FIXME: Is it important for this traversal to be postorder instead of preorder?
2283     // If so, add helpers for postorder traversal, and use them. If not, then lets not
2284     // use a recursive algorithm here.
2285     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().nextSibling())
2286         child->loader().closeOldDataSources();
2287     
2288     if (m_documentLoader)
2289         m_client.dispatchWillClose();
2290
2291     m_client.setMainFrameDocumentReady(false); // stop giving out the actual DOMDocument to observers
2292 }
2293
2294 void FrameLoader::willRestoreFromCachedPage()
2295 {
2296     ASSERT(!m_frame.tree().parent());
2297     ASSERT(m_frame.page());
2298     ASSERT(m_frame.isMainFrame());
2299
2300     m_frame.navigationScheduler().cancel();
2301
2302     // We still have to close the previous part page.
2303     closeURL();
2304     
2305     // Delete old status bar messages (if it _was_ activated on last URL).
2306     if (m_frame.script().canExecuteScripts(NotAboutToExecuteScript)) {
2307         DOMWindow* window = m_frame.document()->domWindow();
2308         window->setStatus(String());
2309         window->setDefaultStatus(String());
2310     }
2311 }
2312
2313 void FrameLoader::open(CachedFrameBase& cachedFrame)
2314 {
2315     m_isComplete = false;
2316     
2317     // Don't re-emit the load event.
2318     m_didCallImplicitClose = true;
2319
2320     URL url = cachedFrame.url();
2321
2322     // FIXME: I suspect this block of code doesn't do anything.
2323     if (url.protocolIsInHTTPFamily() && !url.host().isEmpty() && url.path().isEmpty())
2324         url.setPath("/");
2325
2326     started();
2327     auto document = makeRef(*cachedFrame.document());
2328     ASSERT(document->domWindow());
2329
2330     clear(document.ptr(), true, true, cachedFrame.isMainFrame());
2331
2332     document->attachToCachedFrame(cachedFrame);
2333     document->setPageCacheState(Document::NotInPageCache);
2334
2335     m_needsClear = true;
2336     m_isComplete = false;
2337     m_didCallImplicitClose = false;
2338     setOutgoingReferrer(url);
2339
2340     FrameView* view = cachedFrame.view();
2341     
2342     // When navigating to a CachedFrame its FrameView should never be null.  If it is we'll crash in creative ways downstream.
2343     ASSERT(view);
2344     view->setWasScrolledByUser(false);
2345
2346     Optional<IntRect> previousViewFrameRect = m_frame.view() ?  m_frame.view()->frameRect() : Optional<IntRect>(WTF::nullopt);
2347     m_frame.setView(view);
2348
2349     // Use the previous ScrollView's frame rect.
2350     if (previousViewFrameRect)
2351         view->setFrameRect(previousViewFrameRect.value());
2352
2353
2354     // Setting the document builds the render tree and runs post style resolution callbacks that can do anything,
2355     // including loading a child frame before its been re-attached to the frame tree as part of this restore.
2356     // For example, the HTML object element may load its content into a frame in a post style resolution callback.
2357     Style::PostResolutionCallbackDisabler disabler(document.get());
2358     WidgetHierarchyUpdatesSuspensionScope suspendWidgetHierarchyUpdates;
2359     NavigationDisabler disableNavigation { &m_frame };
2360     
2361     m_frame.setDocument(document.copyRef());
2362
2363     document->domWindow()->resumeFromPageCache();
2364
2365     updateFirstPartyForCookies();
2366
2367     cachedFrame.restore();
2368 }
2369
2370 bool FrameLoader::isHostedByObjectElement() const
2371 {
2372     HTMLFrameOwnerElement* owner = m_frame.ownerElement();
2373     return owner && owner->hasTagName(objectTag);
2374 }
2375
2376 bool FrameLoader::isReplacing() const
2377 {
2378     return m_loadType == FrameLoadType::Replace;
2379 }
2380
2381 void FrameLoader::setReplacing()
2382 {
2383     m_loadType = FrameLoadType::Replace;
2384 }
2385
2386 bool FrameLoader::subframeIsLoading() const
2387 {
2388     // It's most likely that the last added frame is the last to load so we walk backwards.
2389     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling()) {
2390         FrameLoader& childLoader = child->loader();
2391         DocumentLoader* documentLoader = childLoader.documentLoader();
2392         if (documentLoader && documentLoader->isLoadingInAPISense())
2393             return true;
2394         documentLoader = childLoader.provisionalDocumentLoader();
2395         if (documentLoader && documentLoader->isLoadingInAPISense())
2396             return true;
2397         documentLoader = childLoader.policyDocumentLoader();
2398         if (documentLoader)
2399             return true;
2400     }
2401     return false;
2402 }
2403
2404 void FrameLoader::willChangeTitle(DocumentLoader* loader)
2405 {
2406     m_client.willChangeTitle(loader);
2407 }
2408
2409 FrameLoadType FrameLoader::loadType() const
2410 {
2411     return m_loadType;
2412 }
2413     
2414 CachePolicy FrameLoader::subresourceCachePolicy(const URL& url) const
2415 {
2416     if (Page* page = m_frame.page()) {
2417         if (page->isResourceCachingDisabled())
2418             return CachePolicyReload;
2419     }
2420
2421     if (m_isComplete)
2422         return CachePolicyVerify;
2423
2424     if (m_loadType == FrameLoadType::ReloadFromOrigin)
2425         return CachePolicyReload;
2426
2427     if (Frame* parentFrame = m_frame.tree().parent()) {
2428         CachePolicy parentCachePolicy = parentFrame->loader().subresourceCachePolicy(url);
2429         if (parentCachePolicy != CachePolicyVerify)
2430             return parentCachePolicy;
2431     }
2432     
2433     switch (m_loadType) {
2434     case FrameLoadType::Reload:
2435         return CachePolicyRevalidate;
2436     case FrameLoadType::Back:
2437     case FrameLoadType::Forward:
2438     case FrameLoadType::IndexedBackForward:
2439         return CachePolicyHistoryBuffer;
2440     case FrameLoadType::ReloadFromOrigin:
2441         ASSERT_NOT_REACHED(); // Already handled above.
2442         return CachePolicyReload;
2443     case FrameLoadType::RedirectWithLockedBackForwardList:
2444     case FrameLoadType::Replace:
2445     case FrameLoadType::Same:
2446     case FrameLoadType::Standard:
2447         return CachePolicyVerify;
2448     case FrameLoadType::ReloadExpiredOnly:
2449         // We know about expiration for HTTP and data. Do a normal reload otherwise.
2450         if (!url.protocolIsInHTTPFamily() && !url.protocolIsData())
2451             return CachePolicyReload;
2452         return CachePolicyVerify;
2453     }
2454
2455     RELEASE_ASSERT_NOT_REACHED();
2456     return CachePolicyVerify;
2457 }
2458
2459 void FrameLoader::dispatchDidFailProvisionalLoad(DocumentLoader& provisionalDocumentLoader, const ResourceError& error)
2460 {
2461     m_provisionalLoadErrorBeingHandledURL = provisionalDocumentLoader.url();
2462
2463 #if ENABLE(CONTENT_FILTERING)
2464     auto contentFilter = provisionalDocumentLoader.contentFilter();
2465     auto contentFilterWillContinueLoading = false;
2466 #endif
2467
2468     auto willContinueLoading = WillContinueLoading::No;
2469     if (history().provisionalItem())
2470         willContinueLoading = WillContinueLoading::Yes;
2471 #if ENABLE(CONTENT_FILTERING)
2472     if (contentFilter && contentFilter->willHandleProvisionalLoadFailure(error)) {
2473         willContinueLoading = WillContinueLoading::Yes;
2474         contentFilterWillContinueLoading = true;
2475     }
2476 #endif
2477
2478     m_client.dispatchDidFailProvisionalLoad(error, willContinueLoading);
2479
2480 #if ENABLE(CONTENT_FILTERING)
2481     if (contentFilterWillContinueLoading)
2482         contentFilter->handleProvisionalLoadFailure(error);
2483 #endif
2484
2485     m_provisionalLoadErrorBeingHandledURL = { };
2486 }
2487
2488 void FrameLoader::checkLoadCompleteForThisFrame()
2489 {
2490     ASSERT(m_client.hasWebView());
2491
2492     // FIXME: Should this check be done in checkLoadComplete instead of here?
2493     // FIXME: Why does this one check need to be repeated here, and not the many others from checkCompleted?
2494     if (m_frame.document()->isDelayingLoadEvent())
2495         return;
2496
2497     switch (m_state) {
2498         case FrameStateProvisional: {
2499             // FIXME: Prohibiting any provisional load failures from being sent to clients
2500             // while handling provisional load failures is too heavy. For example, the current
2501             // load will fail to cancel another ongoing load. That might prevent clients' page
2502             // load state being handled properly.
2503             if (!m_provisionalLoadErrorBeingHandledURL.isEmpty())
2504                 return;
2505
2506             RefPtr<DocumentLoader> pdl = m_provisionalDocumentLoader;
2507             if (!pdl)
2508                 return;
2509                 
2510             // If we've received any errors we may be stuck in the provisional state and actually complete.
2511             const ResourceError& error = pdl->mainDocumentError();
2512             if (error.isNull())
2513                 return;
2514
2515             // Check all children first.
2516             RefPtr<HistoryItem> item;
2517             if (Page* page = m_frame.page())
2518                 if (isBackForwardLoadType(loadType()))
2519                     // Reset the back forward list to the last committed history item at the top level.
2520                     item = page->mainFrame().loader().history().currentItem();
2521                 
2522             // Only reset if we aren't already going to a new provisional item.
2523             bool shouldReset = !history().provisionalItem();
2524             if (!pdl->isLoadingInAPISense() || pdl->isStopping()) {
2525                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Failed provisional load (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2526
2527                 dispatchDidFailProvisionalLoad(*pdl, error);
2528                 ASSERT(!pdl->isLoading());
2529
2530                 // If we're in the middle of loading multipart data, we need to restore the document loader.
2531                 if (isReplacing() && !m_documentLoader.get())
2532                     setDocumentLoader(m_provisionalDocumentLoader.get());
2533
2534                 // Finish resetting the load state, but only if another load hasn't been started by the
2535                 // delegate callback.
2536                 if (pdl == m_provisionalDocumentLoader)
2537                     clearProvisionalLoad();
2538                 else if (activeDocumentLoader()) {
2539                     URL unreachableURL = activeDocumentLoader()->unreachableURL();
2540                     if (!unreachableURL.isEmpty() && unreachableURL == pdl->request().url())
2541                         shouldReset = false;
2542                 }
2543             }
2544             if (shouldReset && item)
2545                 if (Page* page = m_frame.page()) {
2546                     page->backForward().setCurrentItem(*item);
2547                 }
2548             return;
2549         }
2550         
2551         case FrameStateCommittedPage: {
2552             if (!m_documentLoader)
2553                 return;
2554             if (m_documentLoader->isLoadingInAPISense() && !m_documentLoader->isStopping() && !m_checkingLoadCompleteForDetachment)
2555                 return;
2556
2557             setState(FrameStateComplete);
2558
2559             // FIXME: Is this subsequent work important if we already navigated away?
2560             // Maybe there are bugs because of that, or extra work we can skip because
2561             // the new page is ready.
2562
2563             m_client.forceLayoutForNonHTML();
2564              
2565             // If the user had a scroll point, scroll to it, overriding the anchor point if any.
2566             if (m_frame.page()) {
2567                 if (isBackForwardLoadType(m_loadType) || isReload(m_loadType))
2568                     history().restoreScrollPositionAndViewState();
2569             }
2570
2571             if (m_stateMachine.creatingInitialEmptyDocument() || !m_stateMachine.committedFirstRealDocumentLoad())
2572                 return;
2573
2574             m_progressTracker->progressCompleted();
2575             Page* page = m_frame.page();
2576             if (page) {
2577                 if (m_frame.isMainFrame()) {
2578                     tracePoint(MainResourceLoadDidEnd);
2579                     page->didFinishLoad();
2580                 }
2581             }
2582
2583             const ResourceError& error = m_documentLoader->mainDocumentError();
2584
2585             AXObjectCache::AXLoadingEvent loadingEvent;
2586             if (!error.isNull()) {
2587                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load with error (frame = %p, main = %d, isTimeout = %d, isCancellation = %d, errorCode = %d)", &m_frame, m_frame.isMainFrame(), error.isTimeout(), error.isCancellation(), error.errorCode());
2588                 m_client.dispatchDidFailLoad(error);
2589                 loadingEvent = AXObjectCache::AXLoadingFailed;
2590             } else {
2591                 RELEASE_LOG_IF_ALLOWED("checkLoadCompleteForThisFrame: Finished frame load (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
2592 #if ENABLE(DATA_DETECTION)
2593                 auto* document = m_frame.document();
2594                 if (m_frame.settings().dataDetectorTypes() != DataDetectorTypeNone && document) {
2595                     if (auto* documentElement = document->documentElement()) {
2596                         RefPtr<Range> documentRange = makeRange(firstPositionInNode(documentElement), lastPositionInNode(documentElement));
2597                         m_frame.setDataDetectionResults(DataDetection::detectContentInRange(documentRange, m_frame.settings().dataDetectorTypes(), m_client.dataDetectionContext()));
2598                         if (m_frame.isMainFrame())
2599                             m_client.dispatchDidFinishDataDetection(m_frame.dataDetectionResults());
2600                     }
2601                 }
2602 #endif
2603                 m_client.dispatchDidFinishLoad();
2604                 loadingEvent = AXObjectCache::AXLoadingFinished;
2605             }
2606
2607             // Notify accessibility.
2608             if (auto* document = m_frame.document()) {
2609                 if (AXObjectCache* cache = document->existingAXObjectCache())
2610                     cache->frameLoadingEventNotification(&m_frame, loadingEvent);
2611             }
2612
2613             // The above calls to dispatchDidFinishLoad() might have detached the Frame
2614             // from its Page and also might have caused Page to be deleted.
2615             // Don't assume 'page' is still available to use.
2616             if (m_frame.isMainFrame() && m_frame.page()) {
2617                 ASSERT(&m_frame.page()->mainFrame() == &m_frame);
2618                 m_frame.page()->diagnosticLoggingClient().logDiagnosticMessageWithResult(DiagnosticLoggingKeys::pageLoadedKey(), emptyString(), error.isNull() ? DiagnosticLoggingResultPass : DiagnosticLoggingResultFail, ShouldSample::Yes);
2619             }
2620
2621             return;
2622         }
2623         
2624         case FrameStateComplete:
2625             m_loadType = FrameLoadType::Standard;
2626             frameLoadCompleted();
2627             return;
2628     }
2629
2630     ASSERT_NOT_REACHED();
2631 }
2632
2633 void FrameLoader::setOriginalURLForDownloadRequest(ResourceRequest& request)
2634 {
2635     // FIXME: Rename firstPartyForCookies back to mainDocumentURL. It was a mistake to think that it was only used for cookies.
2636     // The originalURL is defined as the URL of the page where the download was initiated.
2637     URL originalURL;
2638     auto* initiator = m_frame.document();
2639     if (initiator) {
2640         originalURL = initiator->firstPartyForCookies();
2641         // If there is no main document URL, it means that this document is newly opened and just for download purpose.
2642         // In this case, we need to set the originalURL to this document's opener's main document URL.
2643         if (originalURL.isEmpty() && opener() && opener()->document()) {
2644             originalURL = opener()->document()->firstPartyForCookies();
2645             initiator = opener()->document();
2646         }
2647     }
2648     // If the originalURL is the same as the requested URL, we are processing a download
2649     // initiated directly without a page and do not need to specify the originalURL.
2650     if (originalURL == request.url())
2651         request.setFirstPartyForCookies(URL());
2652     else
2653         request.setFirstPartyForCookies(originalURL);
2654     addSameSiteInfoToRequestIfNeeded(request, initiator);
2655 }
2656
2657 void FrameLoader::didReachLayoutMilestone(OptionSet<LayoutMilestone> milestones)
2658 {
2659     ASSERT(m_frame.isMainFrame());
2660
2661     m_client.dispatchDidReachLayoutMilestone(milestones);
2662 }
2663
2664 void FrameLoader::didFirstLayout()
2665 {
2666 #if PLATFORM(IOS_FAMILY)
2667     // Only send layout-related delegate callbacks synchronously for the main frame to
2668     // avoid reentering layout for the main frame while delivering a layout-related delegate
2669     // callback for a subframe.
2670     if (&m_frame != &m_frame.page()->mainFrame())
2671         return;
2672 #endif
2673     if (m_frame.page() && isBackForwardLoadType(m_loadType))
2674         history().restoreScrollPositionAndViewState();
2675
2676     if (m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2677         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2678 }
2679
2680 void FrameLoader::frameLoadCompleted()
2681 {
2682     // Note: Can be called multiple times.
2683
2684     m_client.frameLoadCompleted();
2685
2686     history().updateForFrameLoadCompleted();
2687
2688     // After a canceled provisional load, firstLayoutDone is false.
2689     // Reset it to true if we're displaying a page.
2690     if (m_documentLoader && m_stateMachine.committedFirstRealDocumentLoad() && !m_stateMachine.isDisplayingInitialEmptyDocument() && !m_stateMachine.firstLayoutDone())
2691         m_stateMachine.advanceTo(FrameLoaderStateMachine::FirstLayoutDone);
2692 }
2693
2694 void FrameLoader::detachChildren()
2695 {
2696     // detachChildren() will fire the unload event in each subframe and the
2697     // HTML specification states that the parent document's ignore-opens-during-unload counter while
2698     // this event is being fired in its subframes:
2699     // https://html.spec.whatwg.org/multipage/browsers.html#unload-a-document
2700     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
2701
2702     // detachChildren() will fire the unload event in each subframe and the
2703     // HTML specification states that navigations should be prevented during the prompt to unload algorithm:
2704     // https://html.spec.whatwg.org/multipage/browsing-the-web.html#navigate
2705     std::unique_ptr<NavigationDisabler> navigationDisabler;
2706     if (m_frame.isMainFrame())
2707         navigationDisabler = makeUnique<NavigationDisabler>(&m_frame);
2708
2709     // Any subframe inserted by unload event handlers executed in the loop below will not get unloaded
2710     // because we create a copy of the subframes list before looping. Therefore, it would be unsafe to
2711     // allow loading of subframes at this point.
2712     SubframeLoadingDisabler subframeLoadingDisabler(m_frame.document());
2713
2714     Vector<Ref<Frame>, 16> childrenToDetach;
2715     childrenToDetach.reserveInitialCapacity(m_frame.tree().childCount());
2716     for (Frame* child = m_frame.tree().lastChild(); child; child = child->tree().previousSibling())
2717         childrenToDetach.uncheckedAppend(*child);
2718     for (auto& child : childrenToDetach)
2719         child->loader().detachFromParent();
2720 }
2721
2722 void FrameLoader::closeAndRemoveChild(Frame& child)
2723 {
2724     child.tree().detachFromParent();
2725
2726     child.setView(nullptr);
2727     if (child.ownerElement() && child.page())
2728         child.page()->decrementSubframeCount();
2729     child.willDetachPage();
2730     child.detachFromPage();
2731
2732     m_frame.tree().removeChild(child);
2733 }
2734
2735 // Called every time a resource is completely loaded or an error is received.
2736 void FrameLoader::checkLoadComplete()
2737 {
2738     m_shouldCallCheckLoadComplete = false;
2739
2740     if (!m_frame.page())
2741         return;
2742
2743     ASSERT(m_client.hasWebView());
2744     
2745     // FIXME: Always traversing the entire frame tree is a bit inefficient, but 
2746     // is currently needed in order to null out the previous history item for all frames.
2747     Vector<Ref<Frame>, 16> frames;
2748     for (Frame* frame = &m_frame.mainFrame(); frame; frame = frame->tree().traverseNext())
2749         frames.append(*frame);
2750
2751     // To process children before their parents, iterate the vector backwards.
2752     for (auto frame = frames.rbegin(); frame != frames.rend(); ++frame) {
2753         if ((*frame)->page())
2754             (*frame)->loader().checkLoadCompleteForThisFrame();
2755     }
2756 }
2757
2758 int FrameLoader::numPendingOrLoadingRequests(bool recurse) const
2759 {
2760     if (!recurse)
2761         return m_frame.document()->cachedResourceLoader().requestCount();
2762
2763     int count = 0;
2764     for (Frame* frame = &m_frame; frame; frame = frame->tree().traverseNext(&m_frame))
2765         count += frame->document()->cachedResourceLoader().requestCount();
2766     return count;
2767 }
2768
2769 String FrameLoader::userAgent(const URL& url) const
2770 {
2771     String userAgent;
2772
2773     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader())
2774         userAgent = documentLoader->customUserAgent();
2775
2776     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2777
2778     if (!userAgent.isEmpty())
2779         return userAgent;
2780
2781     return m_client.userAgent(url);
2782 }
2783
2784 String FrameLoader::userAgentForJavaScript(const URL& url) const
2785 {
2786     String userAgent;
2787
2788     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2789         if (m_frame.settings().needsSiteSpecificQuirks())
2790             userAgent = documentLoader->customJavaScriptUserAgentAsSiteSpecificQuirks();
2791         if (userAgent.isEmpty())
2792             userAgent = documentLoader->customUserAgent();
2793     }
2794
2795     InspectorInstrumentation::applyUserAgentOverride(m_frame, userAgent);
2796
2797     if (!userAgent.isEmpty())
2798         return userAgent;
2799
2800     return m_client.userAgent(url);
2801 }
2802     
2803 String FrameLoader::navigatorPlatform() const
2804 {
2805     if (auto* documentLoader = m_frame.mainFrame().loader().activeDocumentLoader()) {
2806         auto& customNavigatorPlatform = documentLoader->customNavigatorPlatform();
2807         if (!customNavigatorPlatform.isEmpty())
2808             return customNavigatorPlatform;
2809     }
2810     return String();
2811 }
2812
2813 void FrameLoader::dispatchOnloadEvents()
2814 {
2815     m_client.dispatchDidDispatchOnloadEvents();
2816
2817     if (documentLoader())
2818         documentLoader()->dispatchOnloadEvents();
2819 }
2820
2821 void FrameLoader::frameDetached()
2822 {
2823     // Calling stopAllLoadersAndCheckCompleteness() can cause the frame to be deallocated, including the frame loader.
2824     Ref<Frame> protectedFrame(m_frame);
2825
2826     if (m_checkTimer.isActive()) {
2827         m_checkTimer.stop();
2828         checkCompletenessNow();
2829     }
2830
2831     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2832         stopAllLoadersAndCheckCompleteness();
2833         m_frame.document()->stopActiveDOMObjects();
2834     }
2835
2836     detachFromParent();
2837 }
2838
2839 void FrameLoader::detachFromParent()
2840 {
2841     // Calling stopAllLoaders() can cause the frame to be deallocated, including the frame loader.
2842     Ref<Frame> protect(m_frame);
2843
2844     closeURL();
2845     history().saveScrollPositionAndViewStateToItem(history().currentItem());
2846     detachChildren();
2847     if (m_frame.document()->pageCacheState() != Document::InPageCache) {
2848         // stopAllLoaders() needs to be called after detachChildren() if the document is not in the page cache,
2849         // because detachedChildren() will trigger the unload event handlers of any child frames, and those event
2850         // handlers might start a new subresource load in this frame.
2851         stopAllLoaders(ShouldClearProvisionalItem, StopLoadingPolicy::AlwaysStopLoading);
2852     }
2853
2854     InspectorInstrumentation::frameDetachedFromParent(m_frame);
2855
2856     detachViewsAndDocumentLoader();
2857
2858     m_progressTracker = nullptr;
2859
2860     if (Frame* parent = m_frame.tree().parent()) {
2861         parent->loader().closeAndRemoveChild(m_frame);
2862         parent->loader().scheduleCheckCompleted();
2863         parent->loader().scheduleCheckLoadComplete();
2864     } else {
2865         m_frame.setView(nullptr);
2866         m_frame.willDetachPage();
2867         m_frame.detachFromPage();
2868     }
2869 }
2870
2871 void FrameLoader::detachViewsAndDocumentLoader()
2872 {
2873     m_client.detachedFromParent2();
2874     setDocumentLoader(nullptr);
2875     m_client.detachedFromParent3();
2876 }
2877     
2878 void FrameLoader::addExtraFieldsToSubresourceRequest(ResourceRequest& request)
2879 {
2880     addExtraFieldsToRequest(request, m_loadType, false);
2881 }
2882
2883 void FrameLoader::addExtraFieldsToMainResourceRequest(ResourceRequest& request)
2884 {
2885     // FIXME: Using m_loadType seems wrong for some callers.
2886     // If we are only preparing to load the main resource, that is previous load's load type!
2887     addExtraFieldsToRequest(request, m_loadType, true);
2888
2889     // Upgrade-Insecure-Requests should only be added to main resource requests
2890     addHTTPUpgradeInsecureRequestsIfNeeded(request);
2891 }
2892
2893 ResourceRequestCachePolicy FrameLoader::defaultRequestCachingPolicy(const ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2894 {
2895     if (m_overrideCachePolicyForTesting)
2896         return m_overrideCachePolicyForTesting.value();
2897
2898     if (isMainResource) {
2899         if (isReload(loadType) || request.isConditional())
2900             return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2901
2902         return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2903     }
2904
2905     if (request.isConditional())
2906         return ResourceRequestCachePolicy::ReloadIgnoringCacheData;
2907
2908     if (documentLoader()->isLoadingInAPISense()) {
2909         // If we inherit cache policy from a main resource, we use the DocumentLoader's
2910         // original request cache policy for two reasons:
2911         // 1. For POST requests, we mutate the cache policy for the main resource,
2912         //    but we do not want this to apply to subresources
2913         // 2. Delegates that modify the cache policy using willSendRequest: should
2914         //    not affect any other resources. Such changes need to be done
2915         //    per request.
2916         ResourceRequestCachePolicy mainDocumentOriginalCachePolicy = documentLoader()->originalRequest().cachePolicy();
2917         // Back-forward navigations try to load main resource from cache only to avoid re-submitting form data, and start over (with a warning dialog) if that fails.
2918         // This policy is set on initial request too, but should not be inherited.
2919         return (mainDocumentOriginalCachePolicy == ResourceRequestCachePolicy::ReturnCacheDataDontLoad) ? ResourceRequestCachePolicy::ReturnCacheDataElseLoad : mainDocumentOriginalCachePolicy;
2920     }
2921
2922     return ResourceRequestCachePolicy::UseProtocolCachePolicy;
2923 }
2924
2925 void FrameLoader::addExtraFieldsToRequest(ResourceRequest& request, FrameLoadType loadType, bool isMainResource)
2926 {
2927     // If the request came from a previous process due to process-swap-on-navigation then we should not modify the request.
2928     if (m_currentLoadContinuingState == LoadContinuingState::ContinuingWithRequest)
2929         return;
2930
2931     // Don't set the cookie policy URL if it's already been set.
2932     // But make sure to set it on all requests regardless of protocol, as it has significance beyond the cookie policy (<rdar://problem/6616664>).
2933     bool isMainFrameMainResource = isMainResource && m_frame.isMainFrame();
2934     if (request.firstPartyForCookies().isEmpty()) {
2935         if (isMainFrameMainResource)
2936             request.setFirstPartyForCookies(request.url());
2937         else if (Document* document = m_frame.document())
2938             request.setFirstPartyForCookies(document->firstPartyForCookies());
2939     }
2940
2941     if (request.isSameSiteUnspecified()) {
2942         auto* initiator = m_frame.document();
2943         if (isMainResource) {
2944             auto* ownerFrame = m_frame.tree().parent();
2945             if (!ownerFrame && m_stateMachine.isDisplayingInitialEmptyDocument())
2946                 ownerFrame = m_opener;
2947             if (ownerFrame)
2948                 initiator = ownerFrame->document();
2949             ASSERT(ownerFrame || m_frame.isMainFrame());
2950         }
2951         addSameSiteInfoToRequestIfNeeded(request, initiator);
2952     }
2953     request.setIsTopSite(isMainFrameMainResource);
2954
2955     Page* page = frame().page();
2956     bool hasSpecificCachePolicy = request.cachePolicy() != ResourceRequestCachePolicy::UseProtocolCachePolicy;
2957
2958     if (page && page->isResourceCachingDisabled()) {
2959         request.setCachePolicy(ResourceRequestCachePolicy::ReloadIgnoringCacheData);
2960         loadType = FrameLoadType::ReloadFromOrigin;
2961     } else if (!hasSpecificCachePolicy)
2962         request.setCachePolicy(defaultRequestCachingPolicy(request, loadType, isMainResource));
2963
2964     // The remaining modifications are only necessary for HTTP and HTTPS.
2965     if (!request.url().isEmpty() && !request.url().protocolIsInHTTPFamily())
2966         return;
2967
2968     if (!hasSpecificCachePolicy && request.cachePolicy() == ResourceRequestCachePolicy::ReloadIgnoringCacheData) {
2969         if (loadType == FrameLoadType::Reload)
2970             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "max-age=0");
2971         else if (loadType == FrameLoadType::ReloadFromOrigin) {
2972             request.setHTTPHeaderField(HTTPHeaderName::CacheControl, "no-cache");
2973             request.setHTTPHeaderField(HTTPHeaderName::Pragma, "no-cache");
2974         }
2975     }
2976
2977     if (m_overrideResourceLoadPriorityForTesting)
2978         request.setPriority(m_overrideResourceLoadPriorityForTesting.value());
2979
2980     applyUserAgentIfNeeded(request);
2981
2982     if (isMainResource)
2983         request.setHTTPAccept(defaultAcceptHeader);
2984
2985     // Make sure we send the Origin header.
2986     addHTTPOriginIfNeeded(request, String());
2987
2988     // Only set fallback array if it's still empty (later attempts may be incorrect, see bug 117818).
2989     if (request.responseContentDispositionEncodingFallbackArray().isEmpty()) {
2990         // Always try UTF-8. If that fails, try frame encoding (if any) and then the default.
2991         request.setResponseContentDispositionEncodingFallbackArray("UTF-8", m_frame.document()->encoding(), m_frame.settings().defaultTextEncodingName());
2992     }
2993 }
2994
2995 void FrameLoader::addHTTPOriginIfNeeded(ResourceRequest& request, const String& origin)
2996 {
2997     if (!request.httpOrigin().isEmpty())
2998         return;  // Request already has an Origin header.
2999
3000     // Don't send an Origin header for GET or HEAD to avoid privacy issues.
3001     // For example, if an intranet page has a hyperlink to an external web
3002     // site, we don't want to include the Origin of the request because it
3003     // will leak the internal host name. Similar privacy concerns have lead
3004     // to the widespread suppression of the Referer header at the network
3005     // layer.
3006     if (request.httpMethod() == "GET" || request.httpMethod() == "HEAD")
3007         return;
3008
3009     // For non-GET and non-HEAD methods, always send an Origin header so the
3010     // server knows we support this feature.
3011
3012     if (origin.isEmpty()) {
3013         // If we don't know what origin header to attach, we attach the value
3014         // for an empty origin.
3015         request.setHTTPOrigin(SecurityOrigin::createUnique()->toString());
3016         return;
3017     }
3018
3019     request.setHTTPOrigin(origin);
3020 }
3021
3022 // Implements the "'Same-site' and 'cross-site' Requests" algorithm from <https://tools.ietf.org/html/draft-ietf-httpbis-cookie-same-site-00#section-2.1>.
3023 // The algorithm is ammended to treat URLs that inherit their security origin from their owner (e.g. about:blank)
3024 // as same-site. This matches the behavior of Chrome and Firefox.
3025 void FrameLoader::addSameSiteInfoToRequestIfNeeded(ResourceRequest& request, const Document* initiator)
3026 {
3027     if (!request.isSameSiteUnspecified())
3028         return;
3029     if (!initiator) {
3030         request.setIsSameSite(true);
3031         return;
3032     }
3033     if (SecurityPolicy::shouldInheritSecurityOriginFromOwner(request.url())) {
3034         request.setIsSameSite(true);
3035         return;
3036     }
3037     request.setIsSameSite(areRegistrableDomainsEqual(initiator->siteForCookies(), request.url()));
3038 }
3039
3040 void FrameLoader::addHTTPUpgradeInsecureRequestsIfNeeded(ResourceRequest& request)
3041 {
3042     if (request.url().protocolIs("https")) {
3043         // FIXME: Identify HSTS cases and avoid adding the header. <https://bugs.webkit.org/show_bug.cgi?id=157885>
3044         return;
3045     }
3046
3047     request.setHTTPHeaderField(HTTPHeaderName::UpgradeInsecureRequests, "1"_s);
3048 }
3049
3050 void FrameLoader::loadPostRequest(FrameLoadRequest&& request, const String& referrer, FrameLoadType loadType, Event* event, RefPtr<FormState>&& formState, CompletionHandler<void()>&& completionHandler)
3051 {
3052     RELEASE_LOG_IF_ALLOWED("loadPostRequest: frame load started (frame = %p, main = %d)", &m_frame, m_frame.isMainFrame());
3053
3054     String frameName = request.frameName();
3055     LockHistory lockHistory = request.lockHistory();
3056     AllowNavigationToInvalidURL allowNavigationToInvalidURL = request.allowNavigationToInvalidURL();
3057     NewFrameOpenerPolicy openerPolicy = request.newFrameOpenerPolicy();
3058
3059     const ResourceRequest& inRequest = request.resourceRequest();
3060     const URL& url = inRequest.url();
3061     const String& contentType = inRequest.httpContentType();
3062     String origin = inRequest.httpOrigin();
3063
3064     ResourceRequest workingResourceRequest(url);    
3065
3066     if (!referrer.isEmpty())
3067         workingResourceRequest.setHTTPReferrer(referrer);
3068     workingResourceRequest.setHTTPOrigin(origin);
3069     workingResourceRequest.setHTTPMethod("POST");
3070     workingResourceRequest.setHTTPBody(inRequest.httpBody());
3071     workingResourceRequest.setHTTPContentType(contentType);
3072     addExtraFieldsToRequest(workingResourceRequest, loadType, true);
3073
3074     if (Document* document = m_frame.document())
3075         document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(workingResourceRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3076
3077     NavigationAction action { request.requester(), workingResourceRequest, request.initiatedByMainFrame(), loadType, true, event, request.shouldOpenExternalURLsPolicy(), request.downloadAttribute() };
3078
3079     if (!frameName.isEmpty()) {
3080         // The search for a target frame is done earlier in the case of form submission.
3081         if (auto* targetFrame = formState ? nullptr : findFrameForNavigation(frameName)) {
3082             targetFrame->loader().loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, WTFMove(completionHandler));
3083             return;
3084         }
3085
3086         policyChecker().checkNewWindowPolicy(WTFMove(action), WTFMove(workingResourceRequest), WTFMove(formState), frameName, [this, allowNavigationToInvalidURL, openerPolicy, completionHandler = WTFMove(completionHandler)] (const ResourceRequest& request, WeakPtr<FormState>&& formState, const String& frameName, const NavigationAction& action, ShouldContinue shouldContinue) mutable {
3087             continueLoadAfterNewWindowPolicy(request, formState.get(), frameName, action, shouldContinue, allowNavigationToInvalidURL, openerPolicy);
3088             completionHandler();
3089         });
3090         return;
3091     }
3092
3093     // must grab this now, since this load may stop the previous load and clear this flag
3094     bool isRedirect = m_quickRedirectComing;
3095     loadWithNavigationAction(workingResourceRequest, WTFMove(action), lockHistory, loadType, WTFMove(formState), allowNavigationToInvalidURL, { }, [this, isRedirect, protectedFrame = makeRef(m_frame), completionHandler = WTFMove(completionHandler)] () mutable {
3096         if (isRedirect) {
3097             m_quickRedirectComing = false;
3098             if (m_provisionalDocumentLoader)
3099                 m_provisionalDocumentLoader->setIsClientRedirect(true);
3100             else if (m_policyDocumentLoader)
3101                 m_policyDocumentLoader->setIsClientRedirect(true);
3102         }
3103         completionHandler();
3104     });
3105 }
3106
3107 unsigned long FrameLoader::loadResourceSynchronously(const ResourceRequest& request, ClientCredentialPolicy clientCredentialPolicy, const FetchOptions& options, const HTTPHeaderMap& originalRequestHeaders, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
3108 {
3109     ASSERT(m_frame.document());
3110     String referrer = SecurityPolicy::generateReferrerHeader(m_frame.document()->referrerPolicy(), request.url(), outgoingReferrer());
3111     
3112     ResourceRequest initialRequest = request;
3113     initialRequest.setTimeoutInterval(10);
3114     
3115     if (!referrer.isEmpty())
3116         initialRequest.setHTTPReferrer(referrer);
3117     addHTTPOriginIfNeeded(initialRequest, outgoingOrigin());
3118
3119     initialRequest.setFirstPartyForCookies(m_frame.mainFrame().loader().documentLoader()->request().url());
3120     
3121     addExtraFieldsToSubresourceRequest(initialRequest);
3122
3123     unsigned long identifier = 0;    
3124     ResourceRequest newRequest(initialRequest);
3125     requestFromDelegate(newRequest, identifier, error);
3126
3127 #if ENABLE(CONTENT_EXTENSIONS)
3128     if (error.isNull()) {
3129         if (auto* page = m_frame.page()) {
3130             if (m_documentLoader) {
3131                 auto results = page->userContentProvider().processContentRuleListsForLoad(newRequest.url(), ContentExtensions::ResourceType::Raw, *m_documentLoader);
3132                 bool blockedLoad = results.summary.blockedLoad;
3133                 ContentExtensions::applyResultsToRequest(WTFMove(results), page, newRequest);
3134                 if (blockedLoad) {
3135                     newRequest = { };
3136                     error = ResourceError(errorDomainWebKitInternal, 0, initialRequest.url(), emptyString());
3137                     response = { };
3138                     data = nullptr;
3139                 }
3140             }
3141         }
3142     }
3143 #endif
3144
3145     m_frame.document()->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(newRequest, ContentSecurityPolicy::InsecureRequestType::Load);
3146     
3147     if (error.isNull()) {
3148         ASSERT(!newRequest.isNull());
3149
3150         if (!documentLoader()->applicationCacheHost().maybeLoadSynchronously(newRequest, error, response, data)) {
3151             Vector<char> buffer;
3152             platformStrategies()->loaderStrategy()->loadResourceSynchronously(*this, identifier, newRequest, clientCredentialPolicy, options, originalRequestHeaders, error, response, buffer);
3153             data = SharedBuffer::create(WTFMove(buffer));
3154             documentLoader()->applicationCacheHost().maybeLoadFallbackSynchronously(newRequest, error, response, data);
3155             ResourceLoadObserver::shared().logSubresourceLoading(&m_frame, newRequest, response);
3156         }
3157     }
3158     notifier().sendRemainingDelegateMessages(m_documentLoader.get(), identifier, request, response, data ? data->data() : nullptr, data ? data->size() : 0, -1, error);
3159     return identifier;
3160 }
3161
3162 const ResourceRequest& FrameLoader::originalRequest() const
3163 {
3164     return activeDocumentLoader()->originalRequestCopy();
3165 }
3166
3167 void FrameLoader::receivedMainResourceError(const ResourceError& error)
3168 {
3169     // Retain because the stop may release the last reference to it.
3170     Ref<Frame> protect(m_frame);
3171
3172     RefPtr<DocumentLoader> loader = activeDocumentLoader();
3173     // FIXME: Don't want to do this if an entirely new load is going, so should check
3174     // that both data sources on the frame are either this or nil.
3175     stop();
3176     if (m_client.shouldFallBack(error))
3177         handleFallbackContent();
3178
3179     if (m_state == FrameStateProvisional && m_provisionalDocumentLoader) {
3180         if (m_submittedFormURL == m_provisionalDocumentLoader->originalRequestCopy().url())
3181             m_submittedFormURL = URL();
3182             
3183         // We might have made a page cache item, but now we're bailing out due to an error before we ever
3184         // transitioned to the new page (before WebFrameState == commit).  The goal here is to restore any state
3185         // so that the existing view (that wenever got far enough to replace) can continue being used.
3186         history().invalidateCurrentItemCachedPage();
3187         
3188         // Call clientRedirectCancelledOrFinished here so that the frame load delegate is notified that the redirect's
3189         // status has changed, if there was a redirect. The frame load delegate may have saved some state about
3190         // the redirect in its -webView:willPerformClientRedirectToURL:delay:fireDate:forFrame:. Since we are definitely
3191         // not going to use this provisional resource, as it was cancelled, notify the frame load delegate that the redirect
3192         // has ended.
3193         if (m_sentRedirectNotification)
3194             clientRedirectCancelledOrFinished(NewLoadInProgress::No);
3195     }
3196
3197     checkCompleted();
3198     if (m_frame.page())
3199         checkLoadComplete();
3200 }
3201
3202 void FrameLoader::continueFragmentScrollAfterNavigationPolicy(const ResourceRequest& request, bool shouldContinue)
3203 {
3204     m_quickRedirectComing = false;
3205
3206     if (!shouldContinue)
3207         return;
3208
3209     // Calling stopLoading() on the provisional document loader can cause the underlying
3210     // frame to be deallocated.
3211     Ref<Frame> protectedFrame(m_frame);
3212
3213     // If we have a provisional request for a different document, a fragment scroll should cancel it.
3214     if (m_provisionalDocumentLoader && !equalIgnoringFragmentIdentifier(m_provisionalDocumentLoader->request().url(), request.url())) {
3215         m_provisionalDocumentLoader->stopLoading();
3216         setProvisionalDocumentLoader(nullptr);
3217     }
3218
3219     bool isRedirect = m_quickRedirectComing || policyChecker().loadType() == FrameLoadType::RedirectWithLockedBackForwardList;
3220     loadInSameDocument(request.url(), 0, !isRedirect);
3221 }
3222
3223 bool FrameLoader::shouldPerformFragmentNavigation(bool isFormSubmission, const String& httpMethod, FrameLoadType loadType, const URL& url)
3224 {
3225     // We don't do this if we are submitting a form with method other than "GET", explicitly reloading,
3226     // currently displaying a frameset, or if the URL does not have a fragment.
3227     // These rules were originally based on what KHTML was doing in KHTMLPart::openURL.
3228
3229     // FIXME: What about load types other than Standard and Reload?
3230
3231     return (!isFormSubmission || equalLettersIgnoringASCIICase(httpMethod, "get"))
3232         && !isReload(loadType)
3233         && loadType != FrameLoadType::Same
3234         && m_frame.document()->pageCacheState() != Document::InPageCache
3235         && !shouldReload(m_frame.document()->url(), url)
3236         // We don't want to just scroll if a link from within a
3237         // frameset is trying to reload the frameset into _top.
3238         && !m_frame.document()->isFrameSet();
3239 }
3240
3241 static bool itemAllowsScrollRestoration(HistoryItem* historyItem)
3242 {
3243     return !historyItem || historyItem->shouldRestoreScrollPosition();
3244 }
3245
3246 static bool isSameDocumentReload(bool isNewNavigation, FrameLoadType loadType)
3247 {
3248     return !isNewNavigation && !isBackForwardLoadType(loadType);
3249 }
3250
3251 void FrameLoader::scrollToFragmentWithParentBoundary(const URL& url, bool isNewNavigation)
3252 {
3253     FrameView* view = m_frame.view();
3254     if (!view)
3255         return;
3256
3257     if (isSameDocumentReload(isNewNavigation, m_loadType) || itemAllowsScrollRestoration(history().currentItem()))
3258         view->scrollToFragment(url);
3259 }
3260
3261 bool FrameLoader::shouldClose()
3262 {
3263     Page* page = m_frame.page();
3264     if (!page)
3265         return true;
3266     if (!page->chrome().canRunBeforeUnloadConfirmPanel())
3267         return true;
3268
3269     // Store all references to each subframe in advance since beforeunload's event handler may modify frame
3270     Vector<Ref<Frame>, 16> targetFrames;
3271     targetFrames.append(m_frame);
3272     for (Frame* child = m_frame.tree().firstChild(); child; child = child->tree().traverseNext(&m_frame))
3273         targetFrames.append(*child);
3274
3275     bool shouldClose = false;
3276     {
3277         NavigationDisabler navigationDisabler(&m_frame);
3278         IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3279         size_t i;
3280
3281         for (i = 0; i < targetFrames.size(); i++) {
3282             if (!targetFrames[i]->tree().isDescendantOf(&m_frame))
3283                 continue;
3284             if (!targetFrames[i]->loader().dispatchBeforeUnloadEvent(page->chrome(), this))
3285                 break;
3286         }
3287
3288         if (i == targetFrames.size())
3289             shouldClose = true;
3290     }
3291
3292     if (!shouldClose)
3293         m_submittedFormURL = URL();
3294
3295     m_currentNavigationHasShownBeforeUnloadConfirmPanel = false;
3296     return shouldClose;
3297 }
3298
3299 void FrameLoader::dispatchUnloadEvents(UnloadEventPolicy unloadEventPolicy)
3300 {
3301     if (!m_frame.document())
3302         return;
3303
3304     if (m_pageDismissalEventBeingDispatched != PageDismissalType::None)
3305         return;
3306
3307     // We store the frame's page in a local variable because the frame might get detached inside dispatchEvent.
3308     ForbidPromptsScope forbidPrompts(m_frame.page());
3309     IgnoreOpensDuringUnloadCountIncrementer ignoreOpensDuringUnloadCountIncrementer(m_frame.document());
3310
3311     if (m_didCallImplicitClose && !m_wasUnloadEventEmitted) {
3312         auto* currentFocusedElement = m_frame.document()->focusedElement();
3313         if (is<HTMLInputElement>(currentFocusedElement))
3314             downcast<HTMLInputElement>(*currentFocusedElement).endEditing();
3315         if (m_pageDismissalEventBeingDispatched == PageDismissalType::None) {
3316             if (unloadEventPolicy == UnloadEventPolicyUnloadAndPageHide) {
3317                 m_pageDismissalEventBeingDispatched = PageDismissalType::PageHide;
3318                 m_frame.document()->domWindow()->dispatchEvent(PageTransitionEvent::create(eventNames().pagehideEvent, m_frame.document()->pageCacheState() == Document::AboutToEnterPageCache), m_frame.document());
3319             }
3320
3321             // FIXME: update Page Visibility state here.
3322             // https://bugs.webkit.org/show_bug.cgi?id=116770
3323
3324             if (m_frame.document()->pageCacheState() == Document::NotInPageCache) {
3325                 Ref<Event> unloadEvent(Event::create(eventNames().unloadEvent, Event::CanBubble::No, Event::IsCancelable::No));
3326                 // The DocumentLoader (and thus its LoadTiming) might get destroyed
3327                 // while dispatching the event, so protect it to prevent writing the end
3328                 // time into freed memory.
3329                 RefPtr<DocumentLoader> documentLoader = m_provisionalDocumentLoader;
3330                 m_pageDismissalEventBeingDispatched = PageDismissalType::Unload;
3331                 if (documentLoader && documentLoader->timing().startTime() && !documentLoader->timing().unloadEventStart() && !documentLoader->timing().unloadEventEnd()) {
3332                     auto& timing = documentLoader->timing();
3333                     timing.markUnloadEventStart();
3334                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3335                     timing.markUnloadEventEnd();
3336                 } else
3337                     m_frame.document()->domWindow()->dispatchEvent(unloadEvent, m_frame.document());
3338             }
3339         }
3340         m_pageDismissalEventBeingDispatched = PageDismissalType::None;
3341         m_wasUnloadEventEmitted = true;
3342     }
3343
3344     // Dispatching the unload event could have made m_frame.document() null.
3345     if (!m_frame.document())
3346         return;
3347
3348     if (m_frame.document()->pageCacheState() != Document::NotInPageCache)
3349         return;
3350
3351     // Don't remove event listeners from a transitional empty document (see bug 28716 for more information).
3352     bool keepEventListeners = m_stateMachine.isDisplayingInitialEmptyDocument() && m_provisionalDocumentLoader
3353         && m_frame.document()->isSecureTransitionTo(m_provisionalDocumentLoader->url());
3354
3355     if (!keepEventListeners)
3356         m_frame.document()->removeAllEventListeners();
3357 }
3358
3359 static bool shouldAskForNavigationConfirmation(Document& document, const BeforeUnloadEvent& event)
3360 {
3361     // Confirmation dialog should not be displayed when the allow-modals flag is not set.
3362     if (document.isSandboxed(SandboxModals))
3363         return false;
3364
3365     bool userDidInteractWithPage = document.topDocument().userDidInteractWithPage();
3366     // Web pages can request we ask for confirmation before navigating by:
3367     // - Cancelling the BeforeUnloadEvent (modern way)
3368     // - Setting the returnValue attribute on the BeforeUnloadEvent to a non-empty string.
3369     // - Returning a non-empty string from the event handler, which is then set as returnValue
3370     //   attribute on the BeforeUnloadEvent.
3371     return userDidInteractWithPage && (event.defaultPrevented() || !event.returnValue().isEmpty());
3372 }
3373
3374 bool FrameLoader::dispatchBeforeUnloadEvent(Chrome& chrome, FrameLoader* frameLoaderBeingNavigated)
3375 {
3376     DOMWindow* domWindow = m_frame.document()->domWindow();
3377     if (!domWindow)
3378         return true;
3379
3380     RefPtr<Document> document = m_frame.document();
3381     if (!document->bodyOrFrameset())
3382         return true;
3383     
3384     Ref<BeforeUnloadEvent> beforeUnloadEvent = BeforeUnloadEvent::create();
3385
3386     {
3387         SetForScope<PageDismissalType> change(m_pageDismissalEventBeingDispatched, PageDismissalType::BeforeUnload);
3388         ForbidPromptsScope forbidPrompts(m_frame.page());
3389         domWindow->dispatchEvent(beforeUnloadEvent, domWindow->document());
3390     }
3391
3392     if (!beforeUnloadEvent->defaultPrevented())
3393         document->defaultEventHandler(beforeUnloadEvent.get());
3394
3395     if (!shouldAskForNavigationConfirmation(*document, beforeUnloadEvent))
3396         return true;
3397
3398     // If the navigating FrameLoader has already shown a beforeunload confirmation panel for the current navigation attempt,
3399     // this frame is not allowed to cause another one to be shown.
3400     if (frameLoaderBeingNavigated->m_currentNavigationHasShownBeforeUnloadConfirmPanel) {
3401         document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show multiple beforeunload confirmation dialogs for the same navigation."_s);
3402         return true;
3403     }
3404
3405     // We should only display the beforeunload dialog for an iframe if its SecurityOrigin matches all
3406     // ancestor frame SecurityOrigins up through the navigating FrameLoader.
3407     if (frameLoaderBeingNavigated != this) {
3408         Frame* parentFrame = m_frame.tree().parent();
3409         while (parentFrame) {
3410             Document* parentDocument = parentFrame->document();
3411             if (!parentDocument)
3412                 return true;
3413             if (!m_frame.document() || !m_frame.document()->securityOrigin().canAccess(parentDocument->securityOrigin())) {
3414                 document->addConsoleMessage(MessageSource::JS, MessageLevel::Error, "Blocked attempt to show beforeunload confirmation dialog on behalf of a frame with different security origin. Protocols, domains, and ports must match."_s);
3415                 return true;
3416