2011-04-29 Geoffrey Garen <ggaren@apple.com>
[WebKit-https.git] / Source / WebCore / loader / cache / CachedResource.cpp
1 /*
2     Copyright (C) 1998 Lars Knoll (knoll@mpi-hd.mpg.de)
3     Copyright (C) 2001 Dirk Mueller (mueller@kde.org)
4     Copyright (C) 2002 Waldo Bastian (bastian@kde.org)
5     Copyright (C) 2006 Samuel Weinig (sam.weinig@gmail.com)
6     Copyright (C) 2004, 2005, 2006, 2007, 2008 Apple Inc. All rights reserved.
7
8     This library is free software; you can redistribute it and/or
9     modify it under the terms of the GNU Library General Public
10     License as published by the Free Software Foundation; either
11     version 2 of the License, or (at your option) any later version.
12
13     This library is distributed in the hope that it will be useful,
14     but WITHOUT ANY WARRANTY; without even the implied warranty of
15     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16     Library General Public License for more details.
17
18     You should have received a copy of the GNU Library General Public License
19     along with this library; see the file COPYING.LIB.  If not, write to
20     the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
21     Boston, MA 02110-1301, USA.
22 */
23
24 #include "config.h"
25 #include "CachedResource.h"
26
27 #include "MemoryCache.h"
28 #include "CachedMetadata.h"
29 #include "CachedResourceClient.h"
30 #include "CachedResourceClientWalker.h"
31 #include "CachedResourceHandle.h"
32 #include "CachedResourceLoader.h"
33 #include "CachedResourceRequest.h"
34 #include "Frame.h"
35 #include "FrameLoaderClient.h"
36 #include "KURL.h"
37 #include "Logging.h"
38 #include "PurgeableBuffer.h"
39 #include "ResourceHandle.h"
40 #include "SharedBuffer.h"
41 #include <wtf/CurrentTime.h>
42 #include <wtf/MathExtras.h>
43 #include <wtf/RefCountedLeakCounter.h>
44 #include <wtf/StdLibExtras.h>
45 #include <wtf/Vector.h>
46
47 using namespace WTF;
48
49 namespace WebCore {
50     
51 static ResourceLoadPriority defaultPriorityForResourceType(CachedResource::Type type)
52 {
53     switch (type) {
54         case CachedResource::CSSStyleSheet:
55 #if ENABLE(XSLT)
56         case CachedResource::XSLStyleSheet:
57 #endif
58             return ResourceLoadPriorityHigh;
59         case CachedResource::Script:
60         case CachedResource::FontResource:
61             return ResourceLoadPriorityMedium;
62         case CachedResource::ImageResource:
63             return ResourceLoadPriorityLow;
64 #if ENABLE(LINK_PREFETCH)
65         case CachedResource::LinkResource:
66             return ResourceLoadPriorityVeryLow;
67 #endif
68     }
69     ASSERT_NOT_REACHED();
70     return ResourceLoadPriorityLow;
71 }
72
73 #ifndef NDEBUG
74 static RefCountedLeakCounter cachedResourceLeakCounter("CachedResource");
75 #endif
76
77 CachedResource::CachedResource(const String& url, Type type)
78     : m_url(url)
79     , m_request(0)
80     , m_loadPriority(defaultPriorityForResourceType(type))
81     , m_responseTimestamp(currentTime())
82     , m_lastDecodedAccessTime(0)
83     , m_encodedSize(0)
84     , m_decodedSize(0)
85     , m_accessCount(0)
86     , m_handleCount(0)
87     , m_preloadCount(0)
88     , m_preloadResult(PreloadNotReferenced)
89     , m_inLiveDecodedResourcesList(false)
90     , m_requestedFromNetworkingLayer(false)
91     , m_sendResourceLoadCallbacks(true)
92     , m_inCache(false)
93     , m_loading(false)
94     , m_type(type)
95     , m_status(Pending)
96 #ifndef NDEBUG
97     , m_deleted(false)
98     , m_lruIndex(0)
99 #endif
100     , m_nextInAllResourcesList(0)
101     , m_prevInAllResourcesList(0)
102     , m_nextInLiveResourcesList(0)
103     , m_prevInLiveResourcesList(0)
104     , m_owningCachedResourceLoader(0)
105     , m_resourceToRevalidate(0)
106     , m_proxyResource(0)
107 {
108 #ifndef NDEBUG
109     cachedResourceLeakCounter.increment();
110 #endif
111 }
112
113 CachedResource::~CachedResource()
114 {
115     ASSERT(!m_resourceToRevalidate); // Should be true because canDelete() checks this.
116     ASSERT(canDelete());
117     ASSERT(!inCache());
118     ASSERT(!m_deleted);
119     ASSERT(url().isNull() || memoryCache()->resourceForURL(KURL(ParsedURLString, url())) != this);
120     
121 #ifndef NDEBUG
122     m_deleted = true;
123     cachedResourceLeakCounter.decrement();
124 #endif
125
126     if (m_owningCachedResourceLoader)
127         m_owningCachedResourceLoader->removeCachedResource(this);
128 }
129
130 void CachedResource::load(CachedResourceLoader* cachedResourceLoader, bool incremental, SecurityCheckPolicy securityCheck, bool sendResourceLoadCallbacks)
131 {
132     m_sendResourceLoadCallbacks = sendResourceLoadCallbacks;
133     cachedResourceLoader->load(this, incremental, securityCheck, sendResourceLoadCallbacks);
134     m_loading = true;
135 }
136
137 void CachedResource::checkNotify()
138 {
139     if (isLoading())
140         return;
141
142     CachedResourceClientWalker w(m_clients);
143     while (CachedResourceClient* c = w.next())
144         c->notifyFinished(this);
145 }
146
147 void CachedResource::data(PassRefPtr<SharedBuffer>, bool allDataReceived)
148 {
149     if (!allDataReceived)
150         return;
151     
152     setLoading(false);
153     checkNotify();
154 }
155
156 void CachedResource::error(CachedResource::Status status)
157 {
158     setStatus(status);
159     ASSERT(errorOccurred());
160     m_data.clear();
161
162     setLoading(false);
163     checkNotify();
164 }
165
166 void CachedResource::finish()
167 {
168     m_status = Cached;
169 }
170
171 bool CachedResource::isExpired() const
172 {
173     if (m_response.isNull())
174         return false;
175
176     return currentAge() > freshnessLifetime();
177 }
178     
179 double CachedResource::currentAge() const
180 {
181     // RFC2616 13.2.3
182     // No compensation for latency as that is not terribly important in practice
183     double dateValue = m_response.date();
184     double apparentAge = isfinite(dateValue) ? max(0., m_responseTimestamp - dateValue) : 0;
185     double ageValue = m_response.age();
186     double correctedReceivedAge = isfinite(ageValue) ? max(apparentAge, ageValue) : apparentAge;
187     double residentTime = currentTime() - m_responseTimestamp;
188     return correctedReceivedAge + residentTime;
189 }
190     
191 double CachedResource::freshnessLifetime() const
192 {
193     // Cache non-http resources liberally
194     if (!m_response.url().protocolInHTTPFamily())
195         return std::numeric_limits<double>::max();
196
197     // RFC2616 13.2.4
198     double maxAgeValue = m_response.cacheControlMaxAge();
199     if (isfinite(maxAgeValue))
200         return maxAgeValue;
201     double expiresValue = m_response.expires();
202     double dateValue = m_response.date();
203     double creationTime = isfinite(dateValue) ? dateValue : m_responseTimestamp;
204     if (isfinite(expiresValue))
205         return expiresValue - creationTime;
206     double lastModifiedValue = m_response.lastModified();
207     if (isfinite(lastModifiedValue))
208         return (creationTime - lastModifiedValue) * 0.1;
209     // If no cache headers are present, the specification leaves the decision to the UA. Other browsers seem to opt for 0.
210     return 0;
211 }
212
213 void CachedResource::setResponse(const ResourceResponse& response)
214 {
215     m_response = response;
216     m_responseTimestamp = currentTime();
217 }
218
219 void CachedResource::setSerializedCachedMetadata(const char* data, size_t size)
220 {
221     // We only expect to receive cached metadata from the platform once.
222     // If this triggers, it indicates an efficiency problem which is most
223     // likely unexpected in code designed to improve performance.
224     ASSERT(!m_cachedMetadata);
225
226     m_cachedMetadata = CachedMetadata::deserialize(data, size);
227 }
228
229 void CachedResource::setCachedMetadata(unsigned dataTypeID, const char* data, size_t size)
230 {
231     // Currently, only one type of cached metadata per resource is supported.
232     // If the need arises for multiple types of metadata per resource this could
233     // be enhanced to store types of metadata in a map.
234     ASSERT(!m_cachedMetadata);
235
236     m_cachedMetadata = CachedMetadata::create(dataTypeID, data, size);
237     ResourceHandle::cacheMetadata(m_response, m_cachedMetadata->serialize());
238 }
239
240 CachedMetadata* CachedResource::cachedMetadata(unsigned dataTypeID) const
241 {
242     if (!m_cachedMetadata || m_cachedMetadata->dataTypeID() != dataTypeID)
243         return 0;
244     return m_cachedMetadata.get();
245 }
246
247 void CachedResource::setRequest(CachedResourceRequest* request)
248 {
249     if (request && !m_request)
250         m_status = Pending;
251     m_request = request;
252
253     // All loads finish with data(allDataReceived = true) or error(), except for
254     // canceled loads, which silently set our request to 0. Be sure to set our
255     // loading flag to false in that case, so we don't seem to continue loading
256     // forever.
257     if (!m_request)
258         setLoading(false);
259
260     if (canDelete() && !inCache())
261         delete this;
262 }
263
264 void CachedResource::addClient(CachedResourceClient* client)
265 {
266     addClientToSet(client);
267     didAddClient(client);
268 }
269
270 void CachedResource::didAddClient(CachedResourceClient* c)
271 {
272     if (!isLoading())
273         c->notifyFinished(this);
274 }
275
276 void CachedResource::addClientToSet(CachedResourceClient* client)
277 {
278     ASSERT(!isPurgeable());
279
280     if (m_preloadResult == PreloadNotReferenced) {
281         if (isLoaded())
282             m_preloadResult = PreloadReferencedWhileComplete;
283         else if (m_requestedFromNetworkingLayer)
284             m_preloadResult = PreloadReferencedWhileLoading;
285         else
286             m_preloadResult = PreloadReferenced;
287     }
288     if (!hasClients() && inCache())
289         memoryCache()->addToLiveResourcesSize(this);
290     m_clients.add(client);
291 }
292
293 void CachedResource::removeClient(CachedResourceClient* client)
294 {
295     ASSERT(m_clients.contains(client));
296     m_clients.remove(client);
297
298     if (canDelete() && !inCache())
299         delete this;
300     else if (!hasClients() && inCache()) {
301         memoryCache()->removeFromLiveResourcesSize(this);
302         memoryCache()->removeFromLiveDecodedResourcesList(this);
303         allClientsRemoved();
304         if (response().cacheControlContainsNoStore()) {
305             // RFC2616 14.9.2:
306             // "no-store: ... MUST make a best-effort attempt to remove the information from volatile storage as promptly as possible"
307             // "... History buffers MAY store such responses as part of their normal operation."
308             // We allow non-secure content to be reused in history, but we do not allow secure content to be reused.
309             if (protocolIs(url(), "https"))
310                 memoryCache()->remove(this);
311         } else
312             memoryCache()->prune();
313     }
314     // This object may be dead here.
315 }
316
317 void CachedResource::deleteIfPossible()
318 {
319     if (canDelete() && !inCache())
320         delete this;
321 }
322     
323 void CachedResource::setDecodedSize(unsigned size)
324 {
325     if (size == m_decodedSize)
326         return;
327
328     int delta = size - m_decodedSize;
329
330     // The object must now be moved to a different queue, since its size has been changed.
331     // We have to remove explicitly before updating m_decodedSize, so that we find the correct previous
332     // queue.
333     if (inCache())
334         memoryCache()->removeFromLRUList(this);
335     
336     m_decodedSize = size;
337    
338     if (inCache()) { 
339         // Now insert into the new LRU list.
340         memoryCache()->insertInLRUList(this);
341         
342         // Insert into or remove from the live decoded list if necessary.
343         // When inserting into the LiveDecodedResourcesList it is possible
344         // that the m_lastDecodedAccessTime is still zero or smaller than
345         // the m_lastDecodedAccessTime of the current list head. This is a
346         // violation of the invariant that the list is to be kept sorted
347         // by access time. The weakening of the invariant does not pose
348         // a problem. For more details please see: https://bugs.webkit.org/show_bug.cgi?id=30209
349         if (m_decodedSize && !m_inLiveDecodedResourcesList && hasClients())
350             memoryCache()->insertInLiveDecodedResourcesList(this);
351         else if (!m_decodedSize && m_inLiveDecodedResourcesList)
352             memoryCache()->removeFromLiveDecodedResourcesList(this);
353
354         // Update the cache's size totals.
355         memoryCache()->adjustSize(hasClients(), delta);
356     }
357 }
358
359 void CachedResource::setEncodedSize(unsigned size)
360 {
361     if (size == m_encodedSize)
362         return;
363
364     // The size cannot ever shrink (unless it is being nulled out because of an error).  If it ever does, assert.
365     ASSERT(size == 0 || size >= m_encodedSize);
366     
367     int delta = size - m_encodedSize;
368
369     // The object must now be moved to a different queue, since its size has been changed.
370     // We have to remove explicitly before updating m_encodedSize, so that we find the correct previous
371     // queue.
372     if (inCache())
373         memoryCache()->removeFromLRUList(this);
374     
375     m_encodedSize = size;
376    
377     if (inCache()) { 
378         // Now insert into the new LRU list.
379         memoryCache()->insertInLRUList(this);
380         
381         // Update the cache's size totals.
382         memoryCache()->adjustSize(hasClients(), delta);
383     }
384 }
385
386 void CachedResource::didAccessDecodedData(double timeStamp)
387 {
388     m_lastDecodedAccessTime = timeStamp;
389     
390     if (inCache()) {
391         if (m_inLiveDecodedResourcesList) {
392             memoryCache()->removeFromLiveDecodedResourcesList(this);
393             memoryCache()->insertInLiveDecodedResourcesList(this);
394         }
395         memoryCache()->prune();
396     }
397 }
398     
399 void CachedResource::setResourceToRevalidate(CachedResource* resource) 
400
401     ASSERT(resource);
402     ASSERT(!m_resourceToRevalidate);
403     ASSERT(resource != this);
404     ASSERT(m_handlesToRevalidate.isEmpty());
405     ASSERT(resource->type() == type());
406
407     LOG(ResourceLoading, "CachedResource %p setResourceToRevalidate %p", this, resource);
408
409     // The following assert should be investigated whenever it occurs. Although it should never fire, it currently does in rare circumstances.
410     // https://bugs.webkit.org/show_bug.cgi?id=28604.
411     // So the code needs to be robust to this assert failing thus the "if (m_resourceToRevalidate->m_proxyResource == this)" in CachedResource::clearResourceToRevalidate.
412     ASSERT(!resource->m_proxyResource);
413
414     resource->m_proxyResource = this;
415     m_resourceToRevalidate = resource;
416 }
417
418 void CachedResource::clearResourceToRevalidate() 
419
420     ASSERT(m_resourceToRevalidate);
421     // A resource may start revalidation before this method has been called, so check that this resource is still the proxy resource before clearing it out.
422     if (m_resourceToRevalidate->m_proxyResource == this) {
423         m_resourceToRevalidate->m_proxyResource = 0;
424         m_resourceToRevalidate->deleteIfPossible();
425     }
426     m_handlesToRevalidate.clear();
427     m_resourceToRevalidate = 0;
428     deleteIfPossible();
429 }
430     
431 void CachedResource::switchClientsToRevalidatedResource()
432 {
433     ASSERT(m_resourceToRevalidate);
434     ASSERT(m_resourceToRevalidate->inCache());
435     ASSERT(!inCache());
436
437     LOG(ResourceLoading, "CachedResource %p switchClientsToRevalidatedResource %p", this, m_resourceToRevalidate);
438
439     HashSet<CachedResourceHandleBase*>::iterator end = m_handlesToRevalidate.end();
440     for (HashSet<CachedResourceHandleBase*>::iterator it = m_handlesToRevalidate.begin(); it != end; ++it) {
441         CachedResourceHandleBase* handle = *it;
442         handle->m_resource = m_resourceToRevalidate;
443         m_resourceToRevalidate->registerHandle(handle);
444         --m_handleCount;
445     }
446     ASSERT(!m_handleCount);
447     m_handlesToRevalidate.clear();
448
449     Vector<CachedResourceClient*> clientsToMove;
450     HashCountedSet<CachedResourceClient*>::iterator end2 = m_clients.end();
451     for (HashCountedSet<CachedResourceClient*>::iterator it = m_clients.begin(); it != end2; ++it) {
452         CachedResourceClient* client = it->first;
453         unsigned count = it->second;
454         while (count) {
455             clientsToMove.append(client);
456             --count;
457         }
458     }
459     // Equivalent of calling removeClient() for all clients
460     m_clients.clear();
461
462     unsigned moveCount = clientsToMove.size();
463     for (unsigned n = 0; n < moveCount; ++n)
464         m_resourceToRevalidate->addClientToSet(clientsToMove[n]);
465     for (unsigned n = 0; n < moveCount; ++n) {
466         // Calling didAddClient for a client may end up removing another client. In that case it won't be in the set anymore.
467         if (m_resourceToRevalidate->m_clients.contains(clientsToMove[n]))
468             m_resourceToRevalidate->didAddClient(clientsToMove[n]);
469     }
470 }
471     
472 void CachedResource::updateResponseAfterRevalidation(const ResourceResponse& validatingResponse)
473 {
474     m_responseTimestamp = currentTime();
475
476     DEFINE_STATIC_LOCAL(const AtomicString, contentHeaderPrefix, ("content-"));
477     // RFC2616 10.3.5
478     // Update cached headers from the 304 response
479     const HTTPHeaderMap& newHeaders = validatingResponse.httpHeaderFields();
480     HTTPHeaderMap::const_iterator end = newHeaders.end();
481     for (HTTPHeaderMap::const_iterator it = newHeaders.begin(); it != end; ++it) {
482         // Don't allow 304 response to update content headers, these can't change but some servers send wrong values.
483         if (it->first.startsWith(contentHeaderPrefix, false))
484             continue;
485         m_response.setHTTPHeaderField(it->first, it->second);
486     }
487 }
488
489 void CachedResource::registerHandle(CachedResourceHandleBase* h)
490 {
491     ++m_handleCount;
492     if (m_resourceToRevalidate)
493         m_handlesToRevalidate.add(h);
494 }
495
496 void CachedResource::unregisterHandle(CachedResourceHandleBase* h)
497 {
498     ASSERT(m_handleCount > 0);
499     --m_handleCount;
500
501     if (m_resourceToRevalidate)
502          m_handlesToRevalidate.remove(h);
503
504     if (!m_handleCount)
505         deleteIfPossible();
506 }
507
508 bool CachedResource::canUseCacheValidator() const
509 {
510     if (m_loading || errorOccurred())
511         return false;
512
513     if (m_response.cacheControlContainsNoStore())
514         return false;
515     return m_response.hasCacheValidatorFields();
516 }
517
518 bool CachedResource::mustRevalidateDueToCacheHeaders(CachePolicy cachePolicy) const
519 {    
520     ASSERT(cachePolicy == CachePolicyRevalidate || cachePolicy == CachePolicyCache || cachePolicy == CachePolicyVerify);
521
522     if (cachePolicy == CachePolicyRevalidate)
523         return true;
524
525     if (m_response.cacheControlContainsNoCache() || m_response.cacheControlContainsNoStore()) {
526         LOG(ResourceLoading, "CachedResource %p mustRevalidate because of m_response.cacheControlContainsNoCache() || m_response.cacheControlContainsNoStore()\n", this);
527         return true;
528     }
529
530     if (cachePolicy == CachePolicyCache) {
531         if (m_response.cacheControlContainsMustRevalidate() && isExpired()) {
532             LOG(ResourceLoading, "CachedResource %p mustRevalidate because of cachePolicy == CachePolicyCache and m_response.cacheControlContainsMustRevalidate() && isExpired()\n", this);
533             return true;
534         }
535         return false;
536     }
537
538     // CachePolicyVerify
539     if (isExpired()) {
540         LOG(ResourceLoading, "CachedResource %p mustRevalidate because of isExpired()\n", this);
541         return true;
542     }
543
544     return false;
545 }
546
547 bool CachedResource::isSafeToMakePurgeable() const
548
549     return !hasClients() && !m_proxyResource && !m_resourceToRevalidate;
550 }
551
552 bool CachedResource::makePurgeable(bool purgeable) 
553
554     if (purgeable) {
555         ASSERT(isSafeToMakePurgeable());
556
557         if (m_purgeableData) {
558             ASSERT(!m_data);
559             return true;
560         }
561         if (!m_data)
562             return false;
563         
564         // Should not make buffer purgeable if it has refs other than this since we don't want two copies.
565         if (!m_data->hasOneRef())
566             return false;
567         
568         if (m_data->hasPurgeableBuffer()) {
569             m_purgeableData = m_data->releasePurgeableBuffer();
570         } else {
571             m_purgeableData = PurgeableBuffer::create(m_data->data(), m_data->size());
572             if (!m_purgeableData)
573                 return false;
574             m_purgeableData->setPurgePriority(purgePriority());
575         }
576         
577         m_purgeableData->makePurgeable(true);
578         m_data.clear();
579         return true;
580     }
581
582     if (!m_purgeableData)
583         return true;
584     ASSERT(!m_data);
585     ASSERT(!hasClients());
586
587     if (!m_purgeableData->makePurgeable(false))
588         return false; 
589
590     m_data = SharedBuffer::adoptPurgeableBuffer(m_purgeableData.release());
591     return true;
592 }
593
594 bool CachedResource::isPurgeable() const
595 {
596     return m_purgeableData && m_purgeableData->isPurgeable();
597 }
598
599 bool CachedResource::wasPurged() const
600 {
601     return m_purgeableData && m_purgeableData->wasPurged();
602 }
603
604 unsigned CachedResource::overheadSize() const
605 {
606     return sizeof(CachedResource) + m_response.memoryUsage() + 576;
607     /*
608         576 = 192 +                   // average size of m_url
609               384;                    // average size of m_clients hash map
610     */
611 }
612     
613 void CachedResource::setLoadPriority(ResourceLoadPriority loadPriority) 
614
615     if (loadPriority == ResourceLoadPriorityUnresolved)
616         return;
617     m_loadPriority = loadPriority;
618 }
619
620 }