Async XMLHttpRequest should get access to AppCache resources stored as flat files
[WebKit-https.git] / Source / WebCore / loader / appcache / ApplicationCacheHost.cpp
1 /*
2  * Copyright (C) 2008, 2009 Apple Inc. All Rights Reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "ApplicationCacheHost.h"
28
29 #include "ApplicationCache.h"
30 #include "ApplicationCacheGroup.h"
31 #include "ApplicationCacheResource.h"
32 #include "DocumentLoader.h"
33 #include "DOMApplicationCache.h"
34 #include "FileSystem.h"
35 #include "Frame.h"
36 #include "FrameLoader.h"
37 #include "FrameLoaderClient.h"
38 #include "InspectorInstrumentation.h"
39 #include "MainFrame.h"
40 #include "ProgressEvent.h"
41 #include "ResourceHandle.h"
42 #include "ResourceLoader.h"
43 #include "ResourceRequest.h"
44 #include "Settings.h"
45
46 namespace WebCore {
47
48 ApplicationCacheHost::ApplicationCacheHost(DocumentLoader& documentLoader)
49     : m_domApplicationCache(0)
50     , m_documentLoader(documentLoader)
51     , m_defersEvents(true)
52     , m_candidateApplicationCacheGroup(0)
53 {
54 }
55
56 ApplicationCacheHost::~ApplicationCacheHost()
57 {
58     ASSERT(!m_applicationCache || !m_candidateApplicationCacheGroup || m_applicationCache->group() == m_candidateApplicationCacheGroup);
59
60     if (m_applicationCache)
61         m_applicationCache->group()->disassociateDocumentLoader(&m_documentLoader);
62     else if (m_candidateApplicationCacheGroup)
63         m_candidateApplicationCacheGroup->disassociateDocumentLoader(&m_documentLoader);
64 }
65
66 void ApplicationCacheHost::selectCacheWithoutManifest()
67 {
68     ApplicationCacheGroup::selectCacheWithoutManifestURL(m_documentLoader.frame());
69 }
70
71 void ApplicationCacheHost::selectCacheWithManifest(const URL& manifestURL)
72 {
73     ApplicationCacheGroup::selectCache(m_documentLoader.frame(), manifestURL);
74 }
75
76 void ApplicationCacheHost::maybeLoadMainResource(ResourceRequest& request, SubstituteData& substituteData)
77 {
78     // Check if this request should be loaded from the application cache
79     if (!substituteData.isValid() && isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request)) {
80         ASSERT(!m_mainResourceApplicationCache);
81
82         m_mainResourceApplicationCache = ApplicationCacheGroup::cacheForMainRequest(request, &m_documentLoader);
83
84         if (m_mainResourceApplicationCache) {
85             // Get the resource from the application cache. By definition, cacheForMainRequest() returns a cache that contains the resource.
86             ApplicationCacheResource* resource = m_mainResourceApplicationCache->resourceForRequest(request);
87
88             // ApplicationCache resources have fragment identifiers stripped off of their URLs,
89             // but we'll need to restore that for the SubstituteData.
90             ResourceResponse responseToUse = resource->response();
91             if (request.url().hasFragmentIdentifier()) {
92                 URL url = responseToUse.url();
93                 url.setFragmentIdentifier(request.url().fragmentIdentifier());
94                 responseToUse.setURL(url);
95             }
96
97             substituteData = SubstituteData(resource->data(),
98                                             URL(),
99                                             responseToUse,
100                                             SubstituteData::SessionHistoryVisibility::Visible);
101         }
102     }
103 }
104
105 void ApplicationCacheHost::maybeLoadMainResourceForRedirect(ResourceRequest& request, SubstituteData& substituteData)
106 {
107     ASSERT(status() == UNCACHED);
108     maybeLoadMainResource(request, substituteData);
109 }
110
111 bool ApplicationCacheHost::maybeLoadFallbackForMainResponse(const ResourceRequest& request, const ResourceResponse& r)
112 {
113     if (r.httpStatusCode() / 100 == 4 || r.httpStatusCode() / 100 == 5) {
114         ASSERT(!m_mainResourceApplicationCache);
115         if (isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request)) {
116             m_mainResourceApplicationCache = ApplicationCacheGroup::fallbackCacheForMainRequest(request, &m_documentLoader);
117
118             if (scheduleLoadFallbackResourceFromApplicationCache(m_documentLoader.mainResourceLoader(), m_mainResourceApplicationCache.get()))
119                 return true;
120         }
121     }
122     return false;
123 }
124
125 bool ApplicationCacheHost::maybeLoadFallbackForMainError(const ResourceRequest& request, const ResourceError& error)
126 {
127     if (!error.isCancellation()) {
128         ASSERT(!m_mainResourceApplicationCache);
129         if (isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request)) {
130             m_mainResourceApplicationCache = ApplicationCacheGroup::fallbackCacheForMainRequest(request, &m_documentLoader);
131
132             if (scheduleLoadFallbackResourceFromApplicationCache(m_documentLoader.mainResourceLoader(), m_mainResourceApplicationCache.get()))
133                 return true;
134         }
135     }
136     return false;
137 }
138
139 void ApplicationCacheHost::mainResourceDataReceived(const char*, int, long long, bool)
140 {
141     // This method is here to facilitate alternate implemetations of this interface by the host browser.
142 }
143
144 void ApplicationCacheHost::failedLoadingMainResource()
145 {
146     ApplicationCacheGroup* group = m_candidateApplicationCacheGroup;
147     if (!group && m_applicationCache) {
148         if (mainResourceApplicationCache()) {
149             // Even when the main resource is being loaded from an application cache, loading can fail if aborted.
150             return;
151         }
152         group = m_applicationCache->group();
153     }
154     
155     if (group)
156         group->failedLoadingMainResource(&m_documentLoader);
157 }
158
159 void ApplicationCacheHost::finishedLoadingMainResource()
160 {
161     ApplicationCacheGroup* group = candidateApplicationCacheGroup();
162     if (!group && applicationCache() && !mainResourceApplicationCache())
163         group = applicationCache()->group();
164     
165     if (group)
166         group->finishedLoadingMainResource(&m_documentLoader);
167 }
168
169 bool ApplicationCacheHost::maybeLoadResource(ResourceLoader* loader, const ResourceRequest& request, const URL& originalURL)
170 {
171     if (!isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request))
172         return false;
173     
174     if (request.url() != originalURL)
175         return false;
176
177     ApplicationCacheResource* resource;
178     if (!shouldLoadResourceFromApplicationCache(request, resource))
179         return false;
180
181     m_documentLoader.scheduleSubstituteResourceLoad(*loader, *resource);
182     return true;
183 }
184
185 bool ApplicationCacheHost::maybeLoadFallbackForRedirect(ResourceLoader* resourceLoader, ResourceRequest& request, const ResourceResponse& redirectResponse)
186 {
187     if (!redirectResponse.isNull() && !protocolHostAndPortAreEqual(request.url(), redirectResponse.url()))
188         if (scheduleLoadFallbackResourceFromApplicationCache(resourceLoader))
189             return true;
190     return false;
191 }
192
193 bool ApplicationCacheHost::maybeLoadFallbackForResponse(ResourceLoader* resourceLoader, const ResourceResponse& response)
194 {
195     if (response.httpStatusCode() / 100 == 4 || response.httpStatusCode() / 100 == 5)
196         if (scheduleLoadFallbackResourceFromApplicationCache(resourceLoader))
197             return true;
198     return false;
199 }
200
201 bool ApplicationCacheHost::maybeLoadFallbackForError(ResourceLoader* resourceLoader, const ResourceError& error)
202 {
203     if (!error.isCancellation()) {
204         if (resourceLoader == m_documentLoader.mainResourceLoader())
205             return maybeLoadFallbackForMainError(resourceLoader->request(), error);
206         if (scheduleLoadFallbackResourceFromApplicationCache(resourceLoader))
207             return true;
208     }
209     return false;
210 }
211
212 URL ApplicationCacheHost::createFileURL(const String& path)
213 {
214     // FIXME: Can we just use fileURLWithFileSystemPath instead?
215
216     // fileURLWithFileSystemPath function is not suitable because URL::setPath uses encodeWithURLEscapeSequences, which it notes
217     // does not correctly escape '#' and '?'. This function works for our purposes because
218     // app cache media files are always created with encodeForFileName(createCanonicalUUIDString()).
219
220 #if USE(CF) && PLATFORM(WIN)
221     RetainPtr<CFURLRef> cfURL = adoptCF(CFURLCreateWithFileSystemPath(0, path.createCFString().get(), kCFURLWindowsPathStyle, false));
222     URL url(cfURL.get());
223 #else
224     URL url;
225
226     url.setProtocol(ASCIILiteral("file"));
227     url.setPath(path);
228 #endif
229     return url;
230 }
231
232 bool ApplicationCacheHost::maybeLoadSynchronously(ResourceRequest& request, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
233 {
234     ApplicationCacheResource* resource;
235     if (shouldLoadResourceFromApplicationCache(request, resource)) {
236         if (resource) {
237             // FIXME: Clients proably do not need a copy of the SharedBuffer.
238             // Remove the call to copy() once we ensure SharedBuffer will not be modified.
239             if (resource->path().isEmpty())
240                 data = resource->data()->copy();
241             else
242                 data = SharedBuffer::createWithContentsOfFile(resource->path());
243         }
244         if (!data)
245             error = m_documentLoader.frameLoader()->client().cannotShowURLError(request);
246         else
247             response = resource->response();
248         return true;
249     }
250     return false;
251 }
252
253 void ApplicationCacheHost::maybeLoadFallbackSynchronously(const ResourceRequest& request, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
254 {
255     // If normal loading results in a redirect to a resource with another origin (indicative of a captive portal), or a 4xx or 5xx status code or equivalent,
256     // or if there were network errors (but not if the user canceled the download), then instead get, from the cache, the resource of the fallback entry
257     // corresponding to the matched namespace.
258     if ((!error.isNull() && !error.isCancellation())
259          || response.httpStatusCode() / 100 == 4 || response.httpStatusCode() / 100 == 5
260          || !protocolHostAndPortAreEqual(request.url(), response.url())) {
261         ApplicationCacheResource* resource;
262         if (getApplicationCacheFallbackResource(request, resource)) {
263             response = resource->response();
264             // FIXME: Clients proably do not need a copy of the SharedBuffer.
265             // Remove the call to copy() once we ensure SharedBuffer will not be modified.
266             data = resource->data()->copy();
267         }
268     }
269 }
270
271 bool ApplicationCacheHost::canCacheInPageCache()
272 {
273     return !applicationCache() && !candidateApplicationCacheGroup();
274 }
275
276 void ApplicationCacheHost::setDOMApplicationCache(DOMApplicationCache* domApplicationCache)
277 {
278     ASSERT(!m_domApplicationCache || !domApplicationCache);
279     m_domApplicationCache = domApplicationCache;
280 }
281
282 void ApplicationCacheHost::notifyDOMApplicationCache(EventID id, int total, int done)
283 {
284     if (id != PROGRESS_EVENT)
285         InspectorInstrumentation::updateApplicationCacheStatus(m_documentLoader.frame());
286
287     if (m_defersEvents) {
288         // Event dispatching is deferred until document.onload has fired.
289         m_deferredEvents.append(DeferredEvent(id, total, done));
290         return;
291     }
292     dispatchDOMEvent(id, total, done);
293 }
294
295 void ApplicationCacheHost::stopLoadingInFrame(Frame* frame)
296 {
297     ASSERT(!m_applicationCache || !m_candidateApplicationCacheGroup || m_applicationCache->group() == m_candidateApplicationCacheGroup);
298
299     if (m_candidateApplicationCacheGroup)
300         m_candidateApplicationCacheGroup->stopLoadingInFrame(frame);
301     else if (m_applicationCache)
302         m_applicationCache->group()->stopLoadingInFrame(frame);
303 }
304
305 void ApplicationCacheHost::stopDeferringEvents()
306 {
307     Ref<DocumentLoader> protect(m_documentLoader);
308     for (unsigned i = 0; i < m_deferredEvents.size(); ++i) {
309         const DeferredEvent& deferred = m_deferredEvents[i];
310         dispatchDOMEvent(deferred.eventID, deferred.progressTotal, deferred.progressDone);
311     }
312     m_deferredEvents.clear();
313     m_defersEvents = false;
314 }
315
316 void ApplicationCacheHost::fillResourceList(ResourceInfoList* resources)
317 {
318     ApplicationCache* cache = applicationCache();
319     if (!cache || !cache->isComplete())
320         return;
321
322     for (const auto& urlAndResource : cache->resources()) {
323         ApplicationCacheResource* resource = urlAndResource.value.get();
324
325         unsigned type = resource->type();
326         bool isMaster = type & ApplicationCacheResource::Master;
327         bool isManifest = type & ApplicationCacheResource::Manifest;
328         bool isExplicit = type & ApplicationCacheResource::Explicit;
329         bool isForeign = type & ApplicationCacheResource::Foreign;
330         bool isFallback = type & ApplicationCacheResource::Fallback;
331
332         resources->append(ResourceInfo(resource->url(), isMaster, isManifest, isFallback, isForeign, isExplicit, resource->estimatedSizeInStorage()));
333     }
334 }
335
336 ApplicationCacheHost::CacheInfo ApplicationCacheHost::applicationCacheInfo()
337 {
338     ApplicationCache* cache = applicationCache();
339     if (!cache || !cache->isComplete())
340         return CacheInfo(URL(), 0, 0, 0);
341
342     // FIXME: Add "Creation Time" and "Update Time" to Application Caches.
343     return CacheInfo(cache->manifestResource()->url(), 0, 0, cache->estimatedSizeInStorage());
344 }
345
346 void ApplicationCacheHost::dispatchDOMEvent(EventID id, int total, int done)
347 {
348     if (m_domApplicationCache) {
349         const AtomicString& eventType = DOMApplicationCache::toEventType(id);
350         RefPtr<Event> event;
351         if (id == PROGRESS_EVENT)
352             event = ProgressEvent::create(eventType, true, done, total);
353         else
354             event = Event::create(eventType, false, false);
355         m_domApplicationCache->dispatchEvent(event, ASSERT_NO_EXCEPTION);
356     }
357 }
358
359 void ApplicationCacheHost::setCandidateApplicationCacheGroup(ApplicationCacheGroup* group)
360 {
361     ASSERT(!m_applicationCache);
362     m_candidateApplicationCacheGroup = group;
363 }
364     
365 void ApplicationCacheHost::setApplicationCache(PassRefPtr<ApplicationCache> applicationCache)
366 {
367     if (m_candidateApplicationCacheGroup) {
368         ASSERT(!m_applicationCache);
369         m_candidateApplicationCacheGroup = 0;
370     }
371
372     m_applicationCache = applicationCache;
373 }
374
375 bool ApplicationCacheHost::shouldLoadResourceFromApplicationCache(const ResourceRequest& request, ApplicationCacheResource*& resource)
376 {
377     ApplicationCache* cache = applicationCache();
378     if (!cache || !cache->isComplete())
379         return false;
380
381     // If the resource is not to be fetched using the HTTP GET mechanism or equivalent, or if its URL has a different
382     // <scheme> component than the application cache's manifest, then fetch the resource normally.
383     if (!ApplicationCache::requestIsHTTPOrHTTPSGet(request) || !equalIgnoringCase(request.url().protocol(), cache->manifestResource()->url().protocol()))
384         return false;
385
386     // If the resource's URL is an master entry, the manifest, an explicit entry, or a fallback entry
387     // in the application cache, then get the resource from the cache (instead of fetching it).
388     resource = cache->resourceForURL(request.url());
389
390     // Resources that match fallback namespaces or online whitelist entries are fetched from the network,
391     // unless they are also cached.
392     if (!resource && (cache->allowsAllNetworkRequests() || cache->urlMatchesFallbackNamespace(request.url()) || cache->isURLInOnlineWhitelist(request.url())))
393         return false;
394
395     // Resources that are not present in the manifest will always fail to load (at least, after the
396     // cache has been primed the first time), making the testing of offline applications simpler.
397     return true;
398 }
399
400 bool ApplicationCacheHost::getApplicationCacheFallbackResource(const ResourceRequest& request, ApplicationCacheResource*& resource, ApplicationCache* cache)
401 {
402     if (!cache) {
403         cache = applicationCache();
404         if (!cache)
405             return false;
406     }
407     if (!cache->isComplete())
408         return false;
409     
410     // If the resource is not a HTTP/HTTPS GET, then abort
411     if (!ApplicationCache::requestIsHTTPOrHTTPSGet(request))
412         return false;
413
414     URL fallbackURL;
415     if (cache->isURLInOnlineWhitelist(request.url()))
416         return false;
417     if (!cache->urlMatchesFallbackNamespace(request.url(), &fallbackURL))
418         return false;
419
420     resource = cache->resourceForURL(fallbackURL);
421     ASSERT(resource);
422
423     return true;
424 }
425
426 bool ApplicationCacheHost::scheduleLoadFallbackResourceFromApplicationCache(ResourceLoader* loader, ApplicationCache* cache)
427 {
428     if (!isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(loader->request()))
429         return false;
430
431     ApplicationCacheResource* resource;
432     if (!getApplicationCacheFallbackResource(loader->request(), resource, cache))
433         return false;
434
435     loader->willSwitchToSubstituteResource();
436
437     m_documentLoader.scheduleSubstituteResourceLoad(*loader, *resource);
438
439     return true;
440 }
441
442 ApplicationCacheHost::Status ApplicationCacheHost::status() const
443 {
444     ApplicationCache* cache = applicationCache();    
445     if (!cache)
446         return UNCACHED;
447
448     switch (cache->group()->updateStatus()) {
449         case ApplicationCacheGroup::Checking:
450             return CHECKING;
451         case ApplicationCacheGroup::Downloading:
452             return DOWNLOADING;
453         case ApplicationCacheGroup::Idle: {
454             if (cache->group()->isObsolete())
455                 return OBSOLETE;
456             if (cache != cache->group()->newestCache())
457                 return UPDATEREADY;
458             return IDLE;
459         }
460     }
461
462     ASSERT_NOT_REACHED();
463     return UNCACHED;
464 }
465
466 bool ApplicationCacheHost::update()
467 {
468     ApplicationCache* cache = applicationCache();
469     if (!cache)
470         return false;
471     cache->group()->update(m_documentLoader.frame(), ApplicationCacheUpdateWithoutBrowsingContext);
472     return true;
473 }
474
475 bool ApplicationCacheHost::swapCache()
476 {
477     ApplicationCache* cache = applicationCache();
478     if (!cache)
479         return false;
480
481     // If the group of application caches to which cache belongs has the lifecycle status obsolete, unassociate document from cache.
482     if (cache->group()->isObsolete()) {
483         cache->group()->disassociateDocumentLoader(&m_documentLoader);
484         return true;
485     }
486
487     // If there is no newer cache, raise an INVALID_STATE_ERR exception.
488     ApplicationCache* newestCache = cache->group()->newestCache();
489     if (cache == newestCache)
490         return false;
491     
492     ASSERT(cache->group() == newestCache->group());
493     setApplicationCache(newestCache);
494     InspectorInstrumentation::updateApplicationCacheStatus(m_documentLoader.frame());
495     return true;
496 }
497
498 void ApplicationCacheHost::abort()
499 {
500     ApplicationCacheGroup* cacheGroup = candidateApplicationCacheGroup();
501     if (cacheGroup)
502         cacheGroup->abort(m_documentLoader.frame());
503     else {
504         ApplicationCache* cache = applicationCache();
505         if (cache)
506             cache->group()->abort(m_documentLoader.frame());
507     }
508 }
509
510 bool ApplicationCacheHost::isApplicationCacheEnabled()
511 {
512     return m_documentLoader.frame() && m_documentLoader.frame()->settings().offlineWebApplicationCacheEnabled() && !m_documentLoader.frame()->page()->usesEphemeralSession();
513 }
514
515 bool ApplicationCacheHost::isApplicationCacheBlockedForRequest(const ResourceRequest& request)
516 {
517     Frame* frame = m_documentLoader.frame();
518     if (!frame)
519         return false;
520
521     if (frame->isMainFrame())
522         return false;
523
524     Ref<SecurityOrigin> origin(SecurityOrigin::create(request.url()));
525     return !origin.get().canAccessApplicationCache(frame->document()->topOrigin());
526 }
527
528 }  // namespace WebCore