Regression(r220817): We should only copy the original request headers for Ping loads
[WebKit-https.git] / Source / WebCore / loader / cache / CachedResource.h
1 /*
2     Copyright (C) 1998 Lars Knoll (knoll@mpi-hd.mpg.de)
3     Copyright (C) 2001 Dirk Mueller <mueller@kde.org>
4     Copyright (C) 2006 Samuel Weinig (sam.weinig@gmail.com)
5     Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011 Apple Inc. All rights reserved.
6
7     This library is free software; you can redistribute it and/or
8     modify it under the terms of the GNU Library General Public
9     License as published by the Free Software Foundation; either
10     version 2 of the License, or (at your option) any later version.
11
12     This library is distributed in the hope that it will be useful,
13     but WITHOUT ANY WARRANTY; without even the implied warranty of
14     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15     Library General Public License for more details.
16
17     You should have received a copy of the GNU Library General Public License
18     along with this library; see the file COPYING.LIB.  If not, write to
19     the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
20     Boston, MA 02110-1301, USA.
21 */
22
23 #pragma once
24
25 #include "CachePolicy.h"
26 #include "CacheValidation.h"
27 #include "FrameLoaderTypes.h"
28 #include "ResourceError.h"
29 #include "ResourceLoadPriority.h"
30 #include "ResourceLoaderOptions.h"
31 #include "ResourceRequest.h"
32 #include "ResourceResponse.h"
33 #include "Timer.h"
34 #include <pal/SessionID.h>
35 #include <time.h>
36 #include <wtf/HashCountedSet.h>
37 #include <wtf/HashSet.h>
38 #include <wtf/TypeCasts.h>
39 #include <wtf/Vector.h>
40 #include <wtf/text/WTFString.h>
41
42 namespace WebCore {
43
44 class CachedResourceClient;
45 class CachedResourceHandleBase;
46 class CachedResourceLoader;
47 class CachedResourceRequest;
48 class LoadTiming;
49 class MemoryCache;
50 class SecurityOrigin;
51 class SharedBuffer;
52 class SubresourceLoader;
53 class TextResourceDecoder;
54
55 // A resource that is held in the cache. Classes who want to use this object should derive
56 // from CachedResourceClient, to get the function calls in case the requested data has arrived.
57 // This class also does the actual communication with the loader to obtain the resource from the network.
58 class CachedResource {
59     WTF_MAKE_NONCOPYABLE(CachedResource); WTF_MAKE_FAST_ALLOCATED;
60     friend class MemoryCache;
61
62 public:
63     enum Type {
64         MainResource,
65         ImageResource,
66         CSSStyleSheet,
67         Script,
68         FontResource,
69 #if ENABLE(SVG_FONTS)
70         SVGFontResource,
71 #endif
72         MediaResource,
73         RawResource,
74         Icon,
75         Beacon,
76         SVGDocumentResource
77 #if ENABLE(XSLT)
78         , XSLStyleSheet
79 #endif
80 #if ENABLE(LINK_PREFETCH)
81         , LinkPrefetch
82         , LinkSubresource
83 #endif
84 #if ENABLE(VIDEO_TRACK)
85         , TextTrackResource
86 #endif
87     };
88
89     enum Status {
90         Unknown,      // let cache decide what to do with it
91         Pending,      // only partially loaded
92         Cached,       // regular case
93         LoadError,
94         DecodeError
95     };
96
97     CachedResource(CachedResourceRequest&&, Type, PAL::SessionID);
98     virtual ~CachedResource();
99
100     virtual void load(CachedResourceLoader&);
101
102     virtual void setEncoding(const String&) { }
103     virtual String encoding() const { return String(); }
104     virtual const TextResourceDecoder* textResourceDecoder() const { return nullptr; }
105     virtual void addDataBuffer(SharedBuffer&);
106     virtual void addData(const char* data, unsigned length);
107     virtual void finishLoading(SharedBuffer*);
108     virtual void error(CachedResource::Status);
109
110     void setResourceError(const ResourceError& error) { m_error = error; }
111     const ResourceError& resourceError() const { return m_error; }
112
113     virtual bool shouldIgnoreHTTPStatusCodeErrors() const { return false; }
114
115     const ResourceRequest& resourceRequest() const { return m_resourceRequest; }
116     const URL& url() const { return m_resourceRequest.url();}
117     const String& cachePartition() const { return m_resourceRequest.cachePartition(); }
118     PAL::SessionID sessionID() const { return m_sessionID; }
119     Type type() const { return m_type; }
120
121     static bool shouldUsePingLoad(Type type) { return type == Type::Beacon; }
122
123     ResourceLoadPriority loadPriority() const { return m_loadPriority; }
124     void setLoadPriority(const std::optional<ResourceLoadPriority>&);
125
126     WEBCORE_EXPORT void addClient(CachedResourceClient&);
127     WEBCORE_EXPORT void removeClient(CachedResourceClient&);
128     bool hasClients() const { return !m_clients.isEmpty() || !m_clientsAwaitingCallback.isEmpty(); }
129     bool hasClient(CachedResourceClient& client) { return m_clients.contains(&client) || m_clientsAwaitingCallback.contains(&client); }
130     bool deleteIfPossible();
131
132     enum PreloadResult {
133         PreloadNotReferenced,
134         PreloadReferenced,
135         PreloadReferencedWhileLoading,
136         PreloadReferencedWhileComplete
137     };
138     PreloadResult preloadResult() const { return static_cast<PreloadResult>(m_preloadResult); }
139
140     virtual void didAddClient(CachedResourceClient&);
141     virtual void didRemoveClient(CachedResourceClient&) { }
142     virtual void allClientsRemoved() { }
143     void destroyDecodedDataIfNeeded();
144
145     unsigned count() const { return m_clients.size(); }
146
147     Status status() const { return static_cast<Status>(m_status); }
148     void setStatus(Status status) { m_status = status; }
149
150     unsigned size() const { return encodedSize() + decodedSize() + overheadSize(); }
151     unsigned encodedSize() const { return m_encodedSize; }
152     unsigned decodedSize() const { return m_decodedSize; }
153     unsigned overheadSize() const;
154
155     bool isLoaded() const { return !m_loading; } // FIXME. Method name is inaccurate. Loading might not have started yet.
156
157     bool isLoading() const { return m_loading; }
158     void setLoading(bool b) { m_loading = b; }
159     virtual bool stillNeedsLoad() const { return false; }
160
161     SubresourceLoader* loader() { return m_loader.get(); }
162
163     bool areAllClientsXMLHttpRequests() const;
164
165     bool isImage() const { return type() == ImageResource; }
166     // FIXME: CachedRawResource could be a main resource, an audio/video resource, or a raw XHR/icon resource.
167     bool isMainOrMediaOrIconOrRawResource() const { return type() == MainResource || type() == MediaResource || type() == Icon || type() == RawResource || type() == Beacon; }
168
169     // Whether this request should impact request counting and delay window.onload.
170     bool ignoreForRequestCount() const
171     {
172         return m_ignoreForRequestCount
173             || type() == MainResource
174 #if ENABLE(LINK_PREFETCH)
175             || type() == LinkPrefetch
176             || type() == LinkSubresource
177 #endif
178             || type() == Icon
179             || type() == RawResource;
180     }
181
182     void setIgnoreForRequestCount(bool ignoreForRequestCount) { m_ignoreForRequestCount = ignoreForRequestCount; }
183
184     unsigned accessCount() const { return m_accessCount; }
185     void increaseAccessCount() { m_accessCount++; }
186
187     // Computes the status of an object after loading.
188     // Updates the expire date on the cache entry file
189     void finish();
190
191     // Called by the cache if the object has been removed from the cache
192     // while still being referenced. This means the object should delete itself
193     // if the number of clients observing it ever drops to 0.
194     // The resource can be brought back to cache after successful revalidation.
195     void setInCache(bool inCache) { m_inCache = inCache; }
196     bool inCache() const { return m_inCache; }
197
198     void clearLoader();
199
200     SharedBuffer* resourceBuffer() const { return m_data.get(); }
201
202     virtual void redirectReceived(ResourceRequest&, const ResourceResponse&);
203     virtual void responseReceived(const ResourceResponse&);
204     virtual bool shouldCacheResponse(const ResourceResponse&) { return true; }
205     void setResponse(const ResourceResponse&);
206     const ResourceResponse& response() const { return m_response; }
207
208     void setCrossOrigin();
209     bool isCrossOrigin() const;
210     bool isCORSSameOrigin() const;
211     ResourceResponse::Tainting responseTainting() const { return m_responseTainting; }
212
213     void loadFrom(const CachedResource&);
214
215     SecurityOrigin* origin() const { return m_origin.get(); }
216     AtomicString initiatorName() const { return m_initiatorName; }
217
218     bool canDelete() const { return !hasClients() && !m_loader && !m_preloadCount && !m_handleCount && !m_resourceToRevalidate && !m_proxyResource; }
219     bool hasOneHandle() const { return m_handleCount == 1; }
220
221     bool isExpired() const;
222
223     void cancelLoad();
224     bool wasCanceled() const { return m_error.isCancellation(); }
225     bool errorOccurred() const { return m_status == LoadError || m_status == DecodeError; }
226     bool loadFailedOrCanceled() const { return !m_error.isNull(); }
227
228     bool shouldSendResourceLoadCallbacks() const { return m_options.sendLoadCallbacks == SendCallbacks; }
229     DataBufferingPolicy dataBufferingPolicy() const { return m_options.dataBufferingPolicy; }
230
231     bool allowsCaching() const { return m_options.cachingPolicy == CachingPolicy::AllowCaching; }
232     const FetchOptions& options() const { return m_options; }
233
234     virtual void destroyDecodedData() { }
235
236     void setOwningCachedResourceLoader(CachedResourceLoader* cachedResourceLoader) { m_owningCachedResourceLoader = cachedResourceLoader; }
237
238     bool isPreloaded() const { return m_preloadCount; }
239     void increasePreloadCount() { ++m_preloadCount; }
240     void decreasePreloadCount() { ASSERT(m_preloadCount); --m_preloadCount; }
241     bool isLinkPreload() { return m_isLinkPreload; }
242     void setLinkPreload() { m_isLinkPreload = true; }
243     bool hasUnknownEncoding() { return m_hasUnknownEncoding; }
244     void setHasUnknownEncoding(bool hasUnknownEncoding) { m_hasUnknownEncoding = hasUnknownEncoding; }
245
246     void registerHandle(CachedResourceHandleBase*);
247     WEBCORE_EXPORT void unregisterHandle(CachedResourceHandleBase*);
248
249     bool canUseCacheValidator() const;
250
251     enum class RevalidationDecision { No, YesDueToCachePolicy, YesDueToNoStore, YesDueToNoCache, YesDueToExpired };
252     virtual RevalidationDecision makeRevalidationDecision(CachePolicy) const;
253     bool redirectChainAllowsReuse(ReuseExpiredRedirectionOrNot) const;
254     bool hasRedirections() const { return m_redirectChainCacheStatus.status != RedirectChainCacheStatus::Status::NoRedirection;  }
255
256     bool varyHeaderValuesMatch(const ResourceRequest&);
257
258     bool isCacheValidator() const { return m_resourceToRevalidate; }
259     CachedResource* resourceToRevalidate() const { return m_resourceToRevalidate; }
260
261     // HTTP revalidation support methods for CachedResourceLoader.
262     void setResourceToRevalidate(CachedResource*);
263     virtual void switchClientsToRevalidatedResource();
264     void clearResourceToRevalidate();
265     void updateResponseAfterRevalidation(const ResourceResponse& validatingResponse);
266     bool validationInProgress() const { return m_proxyResource; }
267     bool validationCompleting() const { return m_proxyResource && m_proxyResource->m_switchingClientsToRevalidatedResource; }
268
269     virtual void didSendData(unsigned long long /* bytesSent */, unsigned long long /* totalBytesToBeSent */) { }
270
271     virtual void didRetrieveDerivedDataFromCache(const String& /* type */, SharedBuffer&) { }
272
273 #if USE(FOUNDATION) || USE(SOUP)
274     WEBCORE_EXPORT void tryReplaceEncodedData(SharedBuffer&);
275 #endif
276
277 #if USE(SOUP)
278     virtual char* getOrCreateReadBuffer(size_t /* requestedSize */, size_t& /* actualSize */) { return nullptr; }
279 #endif
280
281     unsigned long identifierForLoadWithoutResourceLoader() const { return m_identifierForLoadWithoutResourceLoader; }
282     static ResourceLoadPriority defaultPriorityForResourceType(Type);
283
284     void setOriginalRequestHeaders(std::optional<HTTPHeaderMap>&& originalRequestHeaders) { m_originalRequestHeaders = WTFMove(originalRequestHeaders); }
285
286 protected:
287     // CachedResource constructor that may be used when the CachedResource can already be filled with response data.
288     CachedResource(const URL&, Type, PAL::SessionID);
289
290     void setEncodedSize(unsigned);
291     void setDecodedSize(unsigned);
292     void didAccessDecodedData(double timeStamp);
293
294     virtual void didReplaceSharedBufferContents() { }
295
296     virtual void setBodyDataFrom(const CachedResource&);
297
298     // FIXME: Make the rest of these data members private and use functions in derived classes instead.
299     HashCountedSet<CachedResourceClient*> m_clients;
300     ResourceRequest m_resourceRequest;
301     std::optional<HTTPHeaderMap> m_originalRequestHeaders; // Needed by Ping loads.
302     RefPtr<SubresourceLoader> m_loader;
303     ResourceLoaderOptions m_options;
304     ResourceResponse m_response;
305     ResourceResponse::Tainting m_responseTainting { ResourceResponse::Tainting::Basic };
306     RefPtr<SharedBuffer> m_data;
307     DeferrableOneShotTimer m_decodedDataDeletionTimer;
308
309 private:
310     class Callback;
311
312     bool addClientToSet(CachedResourceClient&);
313
314     void decodedDataDeletionTimerFired();
315
316     virtual void checkNotify();
317     virtual bool mayTryReplaceEncodedData() const { return false; }
318
319     std::chrono::microseconds freshnessLifetime(const ResourceResponse&) const;
320
321     void addAdditionalRequestHeaders(CachedResourceLoader&);
322     void failBeforeStarting();
323
324     HashMap<CachedResourceClient*, std::unique_ptr<Callback>> m_clientsAwaitingCallback;
325     PAL::SessionID m_sessionID;
326     ResourceLoadPriority m_loadPriority;
327     std::chrono::system_clock::time_point m_responseTimestamp;
328
329     String m_fragmentIdentifierForRequest;
330
331     ResourceError m_error;
332     RefPtr<SecurityOrigin> m_origin;
333     AtomicString m_initiatorName;
334
335     double m_lastDecodedAccessTime { 0 }; // Used as a "thrash guard" in the cache
336
337     unsigned m_encodedSize { 0 };
338     unsigned m_decodedSize { 0 };
339     unsigned m_accessCount { 0 };
340     unsigned m_handleCount { 0 };
341     unsigned m_preloadCount { 0 };
342
343     PreloadResult m_preloadResult { PreloadNotReferenced };
344
345     bool m_requestedFromNetworkingLayer { false };
346
347     bool m_inCache { false };
348     bool m_loading { false };
349     bool m_isLinkPreload { false };
350     bool m_hasUnknownEncoding { false };
351
352     bool m_switchingClientsToRevalidatedResource { false };
353
354     Type m_type; // Type
355     unsigned m_status { Pending }; // Status
356
357 #ifndef NDEBUG
358     bool m_deleted { false };
359     unsigned m_lruIndex { 0 };
360 #endif
361
362     CachedResourceLoader* m_owningCachedResourceLoader { nullptr }; // only non-null for resources that are not in the cache
363
364     // If this field is non-null we are using the resource as a proxy for checking whether an existing resource is still up to date
365     // using HTTP If-Modified-Since/If-None-Match headers. If the response is 304 all clients of this resource are moved
366     // to to be clients of m_resourceToRevalidate and the resource is deleted. If not, the field is zeroed and this
367     // resources becomes normal resource load.
368     CachedResource* m_resourceToRevalidate { nullptr };
369
370     // If this field is non-null, the resource has a proxy for checking whether it is still up to date (see m_resourceToRevalidate).
371     CachedResource* m_proxyResource { nullptr };
372
373     // These handles will need to be updated to point to the m_resourceToRevalidate in case we get 304 response.
374     HashSet<CachedResourceHandleBase*> m_handlesToRevalidate;
375
376     RedirectChainCacheStatus m_redirectChainCacheStatus;
377
378     Vector<std::pair<String, String>> m_varyingHeaderValues;
379
380     unsigned long m_identifierForLoadWithoutResourceLoader { 0 };
381     bool m_ignoreForRequestCount { false };
382 };
383
384 class CachedResource::Callback {
385 #if !COMPILER(MSVC)
386     WTF_MAKE_FAST_ALLOCATED;
387 #endif
388 public:
389     Callback(CachedResource&, CachedResourceClient&);
390
391     void cancel();
392
393 private:
394     void timerFired();
395
396     CachedResource& m_resource;
397     CachedResourceClient& m_client;
398     Timer m_timer;
399 };
400
401 } // namespace WebCore
402
403 #define SPECIALIZE_TYPE_TRAITS_CACHED_RESOURCE(ToClassName, CachedResourceType) \
404 SPECIALIZE_TYPE_TRAITS_BEGIN(WebCore::ToClassName) \
405     static bool isType(const WebCore::CachedResource& resource) { return resource.type() == WebCore::CachedResourceType; } \
406 SPECIALIZE_TYPE_TRAITS_END()