Allow implicit conversion from Ref<T> to T&
[WebKit-https.git] / Source / WebCore / loader / DocumentLoader.h
1 /*
2  * Copyright (C) 2006, 2007, 2008, 2009 Apple Inc. All rights reserved.
3  * Copyright (C) 2011 Google Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * 1.  Redistributions of source code must retain the above copyright
10  *     notice, this list of conditions and the following disclaimer. 
11  * 2.  Redistributions in binary form must reproduce the above copyright
12  *     notice, this list of conditions and the following disclaimer in the
13  *     documentation and/or other materials provided with the distribution. 
14  * 3.  Neither the name of Apple Inc. ("Apple") nor the names of
15  *     its contributors may be used to endorse or promote products derived
16  *     from this software without specific prior written permission. 
17  *
18  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28  */
29
30 #ifndef DocumentLoader_h
31 #define DocumentLoader_h
32
33 #include "CachedRawResourceClient.h"
34 #include "CachedResourceHandle.h"
35 #include "DocumentLoadTiming.h"
36 #include "DocumentWriter.h"
37 #include "IconDatabaseBase.h"
38 #include "NavigationAction.h"
39 #include "ResourceError.h"
40 #include "ResourceLoaderOptions.h"
41 #include "ResourceRequest.h"
42 #include "ResourceResponse.h"
43 #include "StringWithDirection.h"
44 #include "SubstituteData.h"
45 #include "Timer.h"
46 #include <wtf/HashSet.h>
47 #include <wtf/RefPtr.h>
48 #include <wtf/Vector.h>
49
50 #if HAVE(RUNLOOP_TIMER)
51 #include <wtf/RunLoopTimer.h>
52 #endif
53
54 #if USE(QUICK_LOOK)
55 #include "QuickLook.h"
56 #endif
57
58 namespace WebCore {
59
60     class ApplicationCacheHost;
61     class Archive;
62     class ArchiveResource;
63     class ArchiveResourceCollection;
64     class CachedRawResource;
65     class CachedResourceLoader;
66     class ContentFilter;
67     class FormState;
68     class Frame;
69     class FrameLoader;
70     class Page;
71     class ResourceBuffer;
72     class ResourceLoader;
73     class SharedBuffer;
74     class SubstituteResource;
75
76     typedef HashMap<unsigned long, RefPtr<ResourceLoader>> ResourceLoaderMap;
77     typedef Vector<ResourceResponse> ResponseVector;
78
79     class DocumentLoader : public RefCounted<DocumentLoader>, private CachedRawResourceClient {
80         WTF_MAKE_FAST_ALLOCATED;
81     public:
82         static PassRefPtr<DocumentLoader> create(const ResourceRequest& request, const SubstituteData& data)
83         {
84             return adoptRef(new DocumentLoader(request, data));
85         }
86         WEBCORE_EXPORT virtual ~DocumentLoader();
87
88         WEBCORE_EXPORT void setFrame(Frame*);
89         Frame* frame() const { return m_frame; }
90
91         WEBCORE_EXPORT virtual void attachToFrame();
92         WEBCORE_EXPORT virtual void detachFromFrame();
93
94         WEBCORE_EXPORT FrameLoader* frameLoader() const;
95         WEBCORE_EXPORT ResourceLoader* mainResourceLoader() const;
96         WEBCORE_EXPORT PassRefPtr<ResourceBuffer> mainResourceData() const;
97         
98         DocumentWriter& writer() const { return m_writer; }
99
100         WEBCORE_EXPORT const ResourceRequest& originalRequest() const;
101         WEBCORE_EXPORT const ResourceRequest& originalRequestCopy() const;
102
103         WEBCORE_EXPORT const ResourceRequest& request() const;
104         WEBCORE_EXPORT ResourceRequest& request();
105
106         CachedResourceLoader& cachedResourceLoader() { return m_cachedResourceLoader; }
107
108         const SubstituteData& substituteData() const { return m_substituteData; }
109
110         // FIXME: This is the same as requestURL(). We should remove one of them.
111         WEBCORE_EXPORT const URL& url() const;
112         WEBCORE_EXPORT const URL& unreachableURL() const;
113
114         const URL& originalURL() const;
115         WEBCORE_EXPORT const URL& requestURL() const;
116         WEBCORE_EXPORT const URL& responseURL() const;
117         WEBCORE_EXPORT const String& responseMIMEType() const;
118 #if PLATFORM(IOS)
119         // FIXME: This method seems to violate the encapsulation of this class.
120         WEBCORE_EXPORT void setResponseMIMEType(const String&);
121 #endif
122
123         void replaceRequestURLForSameDocumentNavigation(const URL&);
124         bool isStopping() const { return m_isStopping; }
125         void stopLoading();
126         void setCommitted(bool committed) { m_committed = committed; }
127         bool isCommitted() const { return m_committed; }
128         WEBCORE_EXPORT bool isLoading() const;
129
130         const ResourceError& mainDocumentError() const { return m_mainDocumentError; }
131
132         const ResourceResponse& response() const { return m_response; }
133 #if PLATFORM(IOS)
134         // FIXME: This method seems to violate the encapsulation of this class.
135         void setResponse(const ResourceResponse& response) { m_response = response; }
136 #endif
137
138         bool isClientRedirect() const { return m_isClientRedirect; }
139         void setIsClientRedirect(bool isClientRedirect) { m_isClientRedirect = isClientRedirect; }
140         void handledOnloadEvents();
141         bool wasOnloadHandled() { return m_wasOnloadHandled; }
142         WEBCORE_EXPORT bool isLoadingInAPISense() const;
143         WEBCORE_EXPORT void setTitle(const StringWithDirection&);
144         const String& overrideEncoding() const { return m_overrideEncoding; }
145
146 #if PLATFORM(MAC)
147         void schedule(SchedulePair&);
148         void unschedule(SchedulePair&);
149 #endif
150
151 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
152         void setArchive(PassRefPtr<Archive>);
153         WEBCORE_EXPORT void addAllArchiveResources(Archive*);
154         WEBCORE_EXPORT void addArchiveResource(PassRefPtr<ArchiveResource>);
155         PassRefPtr<Archive> popArchiveForSubframe(const String& frameName, const URL&);
156         WEBCORE_EXPORT SharedBuffer* parsedArchiveData() const;
157
158         WEBCORE_EXPORT bool scheduleArchiveLoad(ResourceLoader*, const ResourceRequest&);
159 #endif
160
161         // Return the ArchiveResource for the URL only when loading an Archive
162         ArchiveResource* archiveResourceForURL(const URL&) const;
163
164         WEBCORE_EXPORT PassRefPtr<ArchiveResource> mainResource() const;
165
166         // Return an ArchiveResource for the URL, either creating from live data or
167         // pulling from the ArchiveResourceCollection
168         WEBCORE_EXPORT PassRefPtr<ArchiveResource> subresource(const URL&) const;
169         WEBCORE_EXPORT Vector<RefPtr<ArchiveResource>> subresources() const;
170
171 #ifndef NDEBUG
172         bool isSubstituteLoadPending(ResourceLoader*) const;
173 #endif
174         void cancelPendingSubstituteLoad(ResourceLoader*);   
175         
176         void addResponse(const ResourceResponse&);
177         const ResponseVector& responses() const { return m_responses; }
178
179         const NavigationAction& triggeringAction() const { return m_triggeringAction; }
180         void setTriggeringAction(const NavigationAction& action) { m_triggeringAction = action; }
181         void setOverrideEncoding(const String& encoding) { m_overrideEncoding = encoding; }
182         void setLastCheckedRequest(const ResourceRequest& request) { m_lastCheckedRequest = request; }
183         const ResourceRequest& lastCheckedRequest()  { return m_lastCheckedRequest; }
184
185         void stopRecordingResponses();
186         const StringWithDirection& title() const { return m_pageTitle; }
187
188         WEBCORE_EXPORT URL urlForHistory() const;
189         WEBCORE_EXPORT bool urlForHistoryReflectsFailure() const;
190
191         // These accessors accommodate WebCore's somewhat fickle custom of creating history
192         // items for redirects, but only sometimes. For "source" and "destination",
193         // these accessors return the URL that would have been used if a history
194         // item were created. This allows WebKit to link history items reflecting
195         // redirects into a chain from start to finish.
196         String clientRedirectSourceForHistory() const { return m_clientRedirectSourceForHistory; } // null if no client redirect occurred.
197         String clientRedirectDestinationForHistory() const { return urlForHistory(); }
198         void setClientRedirectSourceForHistory(const String& clientRedirectSourceForHistory) { m_clientRedirectSourceForHistory = clientRedirectSourceForHistory; }
199         
200         String serverRedirectSourceForHistory() const { return (urlForHistory() == url() || url() == blankURL()) ? String() : urlForHistory().string(); } // null if no server redirect occurred.
201         String serverRedirectDestinationForHistory() const { return url(); }
202
203         bool didCreateGlobalHistoryEntry() const { return m_didCreateGlobalHistoryEntry; }
204         void setDidCreateGlobalHistoryEntry(bool didCreateGlobalHistoryEntry) { m_didCreateGlobalHistoryEntry = didCreateGlobalHistoryEntry; }
205
206         bool subresourceLoadersArePageCacheAcceptable() const { return m_subresourceLoadersArePageCacheAcceptable; }
207
208         void setDefersLoading(bool);
209         void setMainResourceDataBufferingPolicy(DataBufferingPolicy);
210
211         void startLoadingMainResource();
212         WEBCORE_EXPORT void cancelMainResourceLoad(const ResourceError&);
213         
214         // Support iconDatabase in synchronous mode.
215         void iconLoadDecisionAvailable();
216         
217         // Support iconDatabase in asynchronous mode.
218         void continueIconLoadWithDecision(IconLoadDecision);
219         void getIconLoadDecisionForIconURL(const String&);
220         void getIconDataForIconURL(const String&);
221
222         bool isLoadingMainResource() const { return m_loadingMainResource; }
223         bool isLoadingMultipartContent() const { return m_isLoadingMultipartContent; }
224
225         void stopLoadingPlugIns();
226         void stopLoadingSubresources();
227
228         void addSubresourceLoader(ResourceLoader*);
229         void removeSubresourceLoader(ResourceLoader*);
230         WEBCORE_EXPORT void addPlugInStreamLoader(ResourceLoader*);
231         WEBCORE_EXPORT void removePlugInStreamLoader(ResourceLoader*);
232
233         void subresourceLoaderFinishedLoadingOnePart(ResourceLoader*);
234
235         void setDeferMainResourceDataLoad(bool defer) { m_deferMainResourceDataLoad = defer; }
236         
237         void didTellClientAboutLoad(const String& url)
238         { 
239 #if !PLATFORM(COCOA)
240             // Don't include data urls here, as if a lot of data is loaded
241             // that way, we hold on to the (large) url string for too long.
242             if (protocolIs(url, "data"))
243                 return;
244 #endif
245             if (!url.isEmpty())
246                 m_resourcesClientKnowsAbout.add(url);
247         }
248         bool haveToldClientAboutLoad(const String& url) { return m_resourcesClientKnowsAbout.contains(url); }
249         void recordMemoryCacheLoadForFutureClientNotification(const ResourceRequest&);
250         void takeMemoryCacheLoadsForClientNotification(Vector<ResourceRequest>& loads);
251
252         DocumentLoadTiming* timing() { return &m_documentLoadTiming; }
253         void resetTiming() { m_documentLoadTiming = DocumentLoadTiming(); }
254
255         // The WebKit layer calls this function when it's ready for the data to
256         // actually be added to the document.
257         WEBCORE_EXPORT void commitData(const char* bytes, size_t length);
258
259         ApplicationCacheHost* applicationCacheHost() const { return m_applicationCacheHost.get(); }
260
261         void checkLoadComplete();
262
263         // The URL of the document resulting from this DocumentLoader.
264         URL documentURL() const;
265
266 #if USE(QUICK_LOOK)
267         void setQuickLookHandle(std::unique_ptr<QuickLookHandle> quickLookHandle) { m_quickLookHandle = WTF::move(quickLookHandle); }
268         QuickLookHandle* quickLookHandle() const { return m_quickLookHandle.get(); }
269 #endif
270
271     protected:
272         WEBCORE_EXPORT DocumentLoader(const ResourceRequest&, const SubstituteData&);
273
274         bool m_deferMainResourceDataLoad;
275
276     private:
277         Document* document() const;
278
279         void setRequest(const ResourceRequest&);
280
281         void commitIfReady();
282         void setMainDocumentError(const ResourceError&);
283         void commitLoad(const char*, int);
284         void clearMainResourceLoader();
285
286         void setupForReplace();
287         void maybeFinishLoadingMultipartContent();
288         
289         bool maybeCreateArchive();
290 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
291         void clearArchiveResources();
292 #endif
293
294         void willSendRequest(ResourceRequest&, const ResourceResponse&);
295         void finishedLoading(double finishTime);
296         void mainReceivedError(const ResourceError&);
297         WEBCORE_EXPORT virtual void redirectReceived(CachedResource*, ResourceRequest&, const ResourceResponse&) override;
298         WEBCORE_EXPORT virtual void responseReceived(CachedResource*, const ResourceResponse&) override;
299         WEBCORE_EXPORT virtual void dataReceived(CachedResource*, const char* data, int length) override;
300         WEBCORE_EXPORT virtual void notifyFinished(CachedResource*) override;
301
302         bool maybeLoadEmpty();
303
304         bool isMultipartReplacingLoad() const;
305         bool isPostOrRedirectAfterPost(const ResourceRequest&, const ResourceResponse&);
306
307         void continueAfterNavigationPolicy(const ResourceRequest&, bool shouldContinue);
308
309         void continueAfterContentPolicy(PolicyAction);
310
311         void stopLoadingForPolicyChange();
312         ResourceError interruptedForPolicyChangeError() const;
313
314 #if HAVE(RUNLOOP_TIMER)
315         typedef RunLoopTimer<DocumentLoader> DocumentLoaderTimer;
316 #else
317         typedef Timer<DocumentLoader> DocumentLoaderTimer;
318 #endif
319         void handleSubstituteDataLoadSoon();
320         void handleSubstituteDataLoadNow(DocumentLoaderTimer*);
321         void startDataLoadTimer();
322
323         void deliverSubstituteResourcesAfterDelay();
324         void substituteResourceDeliveryTimerFired(Timer<DocumentLoader>&);
325
326         void clearMainResource();
327
328         Frame* m_frame;
329         Ref<CachedResourceLoader> m_cachedResourceLoader;
330
331         CachedResourceHandle<CachedRawResource> m_mainResource;
332         ResourceLoaderMap m_subresourceLoaders;
333         ResourceLoaderMap m_multipartSubresourceLoaders;
334         ResourceLoaderMap m_plugInStreamLoaders;
335         
336         mutable DocumentWriter m_writer;
337
338         // A reference to actual request used to create the data source.
339         // This should only be used by the resourceLoadDelegate's
340         // identifierForInitialRequest:fromDatasource: method. It is
341         // not guaranteed to remain unchanged, as requests are mutable.
342         ResourceRequest m_originalRequest;   
343
344         SubstituteData m_substituteData;
345
346         // A copy of the original request used to create the data source.
347         // We have to copy the request because requests are mutable.
348         ResourceRequest m_originalRequestCopy;
349         
350         // The 'working' request. It may be mutated
351         // several times from the original request to include additional
352         // headers, cookie information, canonicalization and redirects.
353         ResourceRequest m_request;
354
355         ResourceResponse m_response;
356     
357         ResourceError m_mainDocumentError;    
358
359         bool m_originalSubstituteDataWasValid;
360         bool m_committed;
361         bool m_isStopping;
362         bool m_gotFirstByte;
363         bool m_isClientRedirect;
364         bool m_isLoadingMultipartContent;
365
366         // FIXME: Document::m_processingLoadEvent and DocumentLoader::m_wasOnloadHandled are roughly the same
367         // and should be merged.
368         bool m_wasOnloadHandled;
369
370         StringWithDirection m_pageTitle;
371
372         String m_overrideEncoding;
373
374         // The action that triggered loading - we keep this around for the
375         // benefit of the various policy handlers.
376         NavigationAction m_triggeringAction;
377
378         // The last request that we checked click policy for - kept around
379         // so we can avoid asking again needlessly.
380         ResourceRequest m_lastCheckedRequest;
381
382         // We retain all the received responses so we can play back the
383         // WebResourceLoadDelegate messages if the item is loaded from the
384         // page cache.
385         ResponseVector m_responses;
386         bool m_stopRecordingResponses;
387         
388         typedef HashMap<RefPtr<ResourceLoader>, RefPtr<SubstituteResource>> SubstituteResourceMap;
389         SubstituteResourceMap m_pendingSubstituteResources;
390         Timer<DocumentLoader> m_substituteResourceDeliveryTimer;
391
392         OwnPtr<ArchiveResourceCollection> m_archiveResourceCollection;
393 #if ENABLE(WEB_ARCHIVE) || ENABLE(MHTML)
394         RefPtr<Archive> m_archive;
395         RefPtr<SharedBuffer> m_parsedArchiveData;
396 #endif
397
398         HashSet<String> m_resourcesClientKnowsAbout;
399         Vector<ResourceRequest> m_resourcesLoadedFromMemoryCacheForClientNotification;
400         
401         String m_clientRedirectSourceForHistory;
402         bool m_didCreateGlobalHistoryEntry;
403
404         bool m_loadingMainResource;
405         DocumentLoadTiming m_documentLoadTiming;
406
407         double m_timeOfLastDataReceived;
408         unsigned long m_identifierForLoadWithoutResourceLoader;
409
410         DocumentLoaderTimer m_dataLoadTimer;
411         bool m_waitingForContentPolicy;
412
413         RefPtr<IconLoadDecisionCallback> m_iconLoadDecisionCallback;
414         RefPtr<IconDataCallback> m_iconDataCallback;
415
416         bool m_subresourceLoadersArePageCacheAcceptable;
417
418         friend class ApplicationCacheHost;  // for substitute resource delivery
419         OwnPtr<ApplicationCacheHost> m_applicationCacheHost;
420
421 #if ENABLE(CONTENT_FILTERING)
422         std::unique_ptr<ContentFilter> m_contentFilter;
423 #endif
424
425 #if USE(QUICK_LOOK)
426         std::unique_ptr<QuickLookHandle> m_quickLookHandle;
427 #endif
428     };
429
430     inline void DocumentLoader::recordMemoryCacheLoadForFutureClientNotification(const ResourceRequest& request)
431     {
432         m_resourcesLoadedFromMemoryCacheForClientNotification.append(request);
433     }
434
435     inline void DocumentLoader::takeMemoryCacheLoadsForClientNotification(Vector<ResourceRequest>& loadsSet)
436     {
437         loadsSet.swap(m_resourcesLoadedFromMemoryCacheForClientNotification);
438         m_resourcesLoadedFromMemoryCacheForClientNotification.clear();
439     }
440
441 }
442
443 #endif // DocumentLoader_h