Add WebSocketProvider stub
[WebKit-https.git] / Source / WebCore / loader / appcache / ApplicationCacheHost.cpp
1 /*
2  * Copyright (C) 2008-2016 Apple Inc. All Rights Reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "ApplicationCacheHost.h"
28
29 #include "ApplicationCache.h"
30 #include "ApplicationCacheGroup.h"
31 #include "ApplicationCacheResource.h"
32 #include "ContentSecurityPolicy.h"
33 #include "DocumentLoader.h"
34 #include "DOMApplicationCache.h"
35 #include "FileSystem.h"
36 #include "Frame.h"
37 #include "FrameLoader.h"
38 #include "FrameLoaderClient.h"
39 #include "InspectorInstrumentation.h"
40 #include "MainFrame.h"
41 #include "Page.h"
42 #include "ProgressEvent.h"
43 #include "ResourceHandle.h"
44 #include "ResourceRequest.h"
45 #include "Settings.h"
46 #include "SubresourceLoader.h"
47
48 namespace WebCore {
49
50 ApplicationCacheHost::ApplicationCacheHost(DocumentLoader& documentLoader)
51     : m_domApplicationCache(nullptr)
52     , m_documentLoader(documentLoader)
53     , m_defersEvents(true)
54     , m_candidateApplicationCacheGroup(nullptr)
55 {
56 }
57
58 ApplicationCacheHost::~ApplicationCacheHost()
59 {
60     ASSERT(!m_applicationCache || !m_candidateApplicationCacheGroup || m_applicationCache->group() == m_candidateApplicationCacheGroup);
61
62     if (m_applicationCache)
63         m_applicationCache->group()->disassociateDocumentLoader(&m_documentLoader);
64     else if (m_candidateApplicationCacheGroup)
65         m_candidateApplicationCacheGroup->disassociateDocumentLoader(&m_documentLoader);
66 }
67
68 void ApplicationCacheHost::selectCacheWithoutManifest()
69 {
70     ApplicationCacheGroup::selectCacheWithoutManifestURL(m_documentLoader.frame());
71 }
72
73 void ApplicationCacheHost::selectCacheWithManifest(const URL& manifestURL)
74 {
75     ApplicationCacheGroup::selectCache(m_documentLoader.frame(), manifestURL);
76 }
77
78 void ApplicationCacheHost::maybeLoadMainResource(ResourceRequest& request, SubstituteData& substituteData)
79 {
80     // Check if this request should be loaded from the application cache
81     if (!substituteData.isValid() && isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request)) {
82         ASSERT(!m_mainResourceApplicationCache);
83
84         m_mainResourceApplicationCache = ApplicationCacheGroup::cacheForMainRequest(request, &m_documentLoader);
85
86         if (m_mainResourceApplicationCache) {
87             // Get the resource from the application cache. By definition, cacheForMainRequest() returns a cache that contains the resource.
88             ApplicationCacheResource* resource = m_mainResourceApplicationCache->resourceForRequest(request);
89
90             // ApplicationCache resources have fragment identifiers stripped off of their URLs,
91             // but we'll need to restore that for the SubstituteData.
92             ResourceResponse responseToUse = resource->response();
93             if (request.url().hasFragmentIdentifier()) {
94                 URL url = responseToUse.url();
95                 url.setFragmentIdentifier(request.url().fragmentIdentifier());
96                 responseToUse.setURL(url);
97             }
98
99             substituteData = SubstituteData(&resource->data(),
100                                             URL(),
101                                             responseToUse,
102                                             SubstituteData::SessionHistoryVisibility::Visible);
103         }
104     }
105 }
106
107 void ApplicationCacheHost::maybeLoadMainResourceForRedirect(ResourceRequest& request, SubstituteData& substituteData)
108 {
109     ASSERT(status() == UNCACHED);
110     maybeLoadMainResource(request, substituteData);
111 }
112
113 bool ApplicationCacheHost::maybeLoadFallbackForMainResponse(const ResourceRequest& request, const ResourceResponse& r)
114 {
115     if (r.httpStatusCode() / 100 == 4 || r.httpStatusCode() / 100 == 5) {
116         ASSERT(!m_mainResourceApplicationCache);
117         if (isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request)) {
118             m_mainResourceApplicationCache = ApplicationCacheGroup::fallbackCacheForMainRequest(request, &m_documentLoader);
119
120             if (scheduleLoadFallbackResourceFromApplicationCache(m_documentLoader.mainResourceLoader(), m_mainResourceApplicationCache.get()))
121                 return true;
122         }
123     }
124     return false;
125 }
126
127 bool ApplicationCacheHost::maybeLoadFallbackForMainError(const ResourceRequest& request, const ResourceError& error)
128 {
129     if (!error.isCancellation()) {
130         ASSERT(!m_mainResourceApplicationCache);
131         if (isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request)) {
132             m_mainResourceApplicationCache = ApplicationCacheGroup::fallbackCacheForMainRequest(request, &m_documentLoader);
133
134             if (scheduleLoadFallbackResourceFromApplicationCache(m_documentLoader.mainResourceLoader(), m_mainResourceApplicationCache.get()))
135                 return true;
136         }
137     }
138     return false;
139 }
140
141 void ApplicationCacheHost::mainResourceDataReceived(const char*, int, long long, bool)
142 {
143     // This method is here to facilitate alternate implemetations of this interface by the host browser.
144 }
145
146 void ApplicationCacheHost::failedLoadingMainResource()
147 {
148     ApplicationCacheGroup* group = m_candidateApplicationCacheGroup;
149     if (!group && m_applicationCache) {
150         if (mainResourceApplicationCache()) {
151             // Even when the main resource is being loaded from an application cache, loading can fail if aborted.
152             return;
153         }
154         group = m_applicationCache->group();
155     }
156     
157     if (group)
158         group->failedLoadingMainResource(&m_documentLoader);
159 }
160
161 void ApplicationCacheHost::finishedLoadingMainResource()
162 {
163     ApplicationCacheGroup* group = candidateApplicationCacheGroup();
164     if (!group && applicationCache() && !mainResourceApplicationCache())
165         group = applicationCache()->group();
166     
167     if (group)
168         group->finishedLoadingMainResource(&m_documentLoader);
169 }
170
171 bool ApplicationCacheHost::maybeLoadResource(ResourceLoader& loader, const ResourceRequest& request, const URL& originalURL)
172 {
173     if (!isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(request))
174         return false;
175     
176     if (request.url() != originalURL)
177         return false;
178
179     ApplicationCacheResource* resource;
180     if (!shouldLoadResourceFromApplicationCache(request, resource))
181         return false;
182
183     m_documentLoader.scheduleSubstituteResourceLoad(loader, *resource);
184     return true;
185 }
186
187 bool ApplicationCacheHost::maybeLoadFallbackForRedirect(ResourceLoader* resourceLoader, ResourceRequest& request, const ResourceResponse& redirectResponse)
188 {
189     if (!redirectResponse.isNull() && !protocolHostAndPortAreEqual(request.url(), redirectResponse.url()))
190         if (scheduleLoadFallbackResourceFromApplicationCache(resourceLoader))
191             return true;
192     return false;
193 }
194
195 bool ApplicationCacheHost::maybeLoadFallbackForResponse(ResourceLoader* resourceLoader, const ResourceResponse& response)
196 {
197     if (response.httpStatusCode() / 100 == 4 || response.httpStatusCode() / 100 == 5)
198         if (scheduleLoadFallbackResourceFromApplicationCache(resourceLoader))
199             return true;
200     return false;
201 }
202
203 bool ApplicationCacheHost::maybeLoadFallbackForError(ResourceLoader* resourceLoader, const ResourceError& error)
204 {
205     if (!error.isCancellation()) {
206         if (resourceLoader == m_documentLoader.mainResourceLoader())
207             return maybeLoadFallbackForMainError(resourceLoader->request(), error);
208         if (scheduleLoadFallbackResourceFromApplicationCache(resourceLoader))
209             return true;
210     }
211     return false;
212 }
213
214 URL ApplicationCacheHost::createFileURL(const String& path)
215 {
216     // FIXME: Can we just use fileURLWithFileSystemPath instead?
217
218     // fileURLWithFileSystemPath function is not suitable because URL::setPath uses encodeWithURLEscapeSequences, which it notes
219     // does not correctly escape '#' and '?'. This function works for our purposes because
220     // app cache media files are always created with encodeForFileName(createCanonicalUUIDString()).
221
222 #if USE(CF) && PLATFORM(WIN)
223     RetainPtr<CFURLRef> cfURL = adoptCF(CFURLCreateWithFileSystemPath(0, path.createCFString().get(), kCFURLWindowsPathStyle, false));
224     URL url(cfURL.get());
225 #else
226     URL url;
227
228     url.setProtocol(ASCIILiteral("file"));
229     url.setPath(path);
230 #endif
231     return url;
232 }
233
234 bool ApplicationCacheHost::maybeLoadSynchronously(ResourceRequest& request, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
235 {
236     ApplicationCacheResource* resource;
237     if (shouldLoadResourceFromApplicationCache(request, resource)) {
238         if (resource) {
239             // FIXME: Clients proably do not need a copy of the SharedBuffer.
240             // Remove the call to copy() once we ensure SharedBuffer will not be modified.
241             if (resource->path().isEmpty())
242                 data = resource->data().copy();
243             else
244                 data = SharedBuffer::createWithContentsOfFile(resource->path());
245         }
246         if (!data)
247             error = m_documentLoader.frameLoader()->client().cannotShowURLError(request);
248         else
249             response = resource->response();
250         return true;
251     }
252     return false;
253 }
254
255 void ApplicationCacheHost::maybeLoadFallbackSynchronously(const ResourceRequest& request, ResourceError& error, ResourceResponse& response, RefPtr<SharedBuffer>& data)
256 {
257     // If normal loading results in a redirect to a resource with another origin (indicative of a captive portal), or a 4xx or 5xx status code or equivalent,
258     // or if there were network errors (but not if the user canceled the download), then instead get, from the cache, the resource of the fallback entry
259     // corresponding to the matched namespace.
260     if ((!error.isNull() && !error.isCancellation())
261          || response.httpStatusCode() / 100 == 4 || response.httpStatusCode() / 100 == 5
262          || !protocolHostAndPortAreEqual(request.url(), response.url())) {
263         ApplicationCacheResource* resource;
264         if (getApplicationCacheFallbackResource(request, resource)) {
265             response = resource->response();
266             // FIXME: Clients proably do not need a copy of the SharedBuffer.
267             // Remove the call to copy() once we ensure SharedBuffer will not be modified.
268             data = resource->data().copy();
269         }
270     }
271 }
272
273 bool ApplicationCacheHost::canCacheInPageCache()
274 {
275     return !applicationCache() && !candidateApplicationCacheGroup();
276 }
277
278 void ApplicationCacheHost::setDOMApplicationCache(DOMApplicationCache* domApplicationCache)
279 {
280     ASSERT(!m_domApplicationCache || !domApplicationCache);
281     m_domApplicationCache = domApplicationCache;
282 }
283
284 void ApplicationCacheHost::notifyDOMApplicationCache(EventID id, int total, int done)
285 {
286     if (id != PROGRESS_EVENT)
287         InspectorInstrumentation::updateApplicationCacheStatus(m_documentLoader.frame());
288
289     if (m_defersEvents) {
290         // Event dispatching is deferred until document.onload has fired.
291         m_deferredEvents.append(DeferredEvent(id, total, done));
292         return;
293     }
294     dispatchDOMEvent(id, total, done);
295 }
296
297 void ApplicationCacheHost::stopLoadingInFrame(Frame* frame)
298 {
299     ASSERT(!m_applicationCache || !m_candidateApplicationCacheGroup || m_applicationCache->group() == m_candidateApplicationCacheGroup);
300
301     if (m_candidateApplicationCacheGroup)
302         m_candidateApplicationCacheGroup->stopLoadingInFrame(frame);
303     else if (m_applicationCache)
304         m_applicationCache->group()->stopLoadingInFrame(frame);
305 }
306
307 void ApplicationCacheHost::stopDeferringEvents()
308 {
309     Ref<DocumentLoader> protect(m_documentLoader);
310     for (auto& event : m_deferredEvents)
311         dispatchDOMEvent(event.eventID, event.progressTotal, event.progressDone);
312     m_deferredEvents.clear();
313     m_defersEvents = false;
314 }
315
316 void ApplicationCacheHost::fillResourceList(ResourceInfoList* resources)
317 {
318     ApplicationCache* cache = applicationCache();
319     if (!cache || !cache->isComplete())
320         return;
321
322     for (const auto& urlAndResource : cache->resources()) {
323         ApplicationCacheResource* resource = urlAndResource.value.get();
324
325         unsigned type = resource->type();
326         bool isMaster = type & ApplicationCacheResource::Master;
327         bool isManifest = type & ApplicationCacheResource::Manifest;
328         bool isExplicit = type & ApplicationCacheResource::Explicit;
329         bool isForeign = type & ApplicationCacheResource::Foreign;
330         bool isFallback = type & ApplicationCacheResource::Fallback;
331
332         resources->append(ResourceInfo(resource->url(), isMaster, isManifest, isFallback, isForeign, isExplicit, resource->estimatedSizeInStorage()));
333     }
334 }
335
336 ApplicationCacheHost::CacheInfo ApplicationCacheHost::applicationCacheInfo()
337 {
338     ApplicationCache* cache = applicationCache();
339     if (!cache || !cache->isComplete())
340         return CacheInfo(URL(), 0, 0, 0);
341
342     // FIXME: Add "Creation Time" and "Update Time" to Application Caches.
343     return CacheInfo(cache->manifestResource()->url(), 0, 0, cache->estimatedSizeInStorage());
344 }
345
346 void ApplicationCacheHost::dispatchDOMEvent(EventID id, int total, int done)
347 {
348     if (m_domApplicationCache) {
349         const AtomicString& eventType = DOMApplicationCache::toEventType(id);
350         RefPtr<Event> event;
351         if (id == PROGRESS_EVENT)
352             event = ProgressEvent::create(eventType, true, done, total);
353         else
354             event = Event::create(eventType, false, false);
355         m_domApplicationCache->dispatchEvent(*event);
356     }
357 }
358
359 void ApplicationCacheHost::setCandidateApplicationCacheGroup(ApplicationCacheGroup* group)
360 {
361     ASSERT(!m_applicationCache);
362     m_candidateApplicationCacheGroup = group;
363 }
364     
365 void ApplicationCacheHost::setApplicationCache(PassRefPtr<ApplicationCache> applicationCache)
366 {
367     if (m_candidateApplicationCacheGroup) {
368         ASSERT(!m_applicationCache);
369         m_candidateApplicationCacheGroup = nullptr;
370     }
371
372     m_applicationCache = applicationCache;
373 }
374
375 bool ApplicationCacheHost::shouldLoadResourceFromApplicationCache(const ResourceRequest& originalRequest, ApplicationCacheResource*& resource)
376 {
377     ApplicationCache* cache = applicationCache();
378     if (!cache || !cache->isComplete())
379         return false;
380
381     ResourceRequest request(originalRequest);
382     if (Frame* loaderFrame = m_documentLoader.frame()) {
383         if (Document* document = loaderFrame->document())
384             document->contentSecurityPolicy()->upgradeInsecureRequestIfNeeded(request, ContentSecurityPolicy::InsecureRequestType::Load);
385     }
386     
387     // If the resource is not to be fetched using the HTTP GET mechanism or equivalent, or if its URL has a different
388     // <scheme> component than the application cache's manifest, then fetch the resource normally.
389     if (!ApplicationCache::requestIsHTTPOrHTTPSGet(request) || !equalIgnoringASCIICase(request.url().protocol(), cache->manifestResource()->url().protocol()))
390         return false;
391
392     // If the resource's URL is an master entry, the manifest, an explicit entry, or a fallback entry
393     // in the application cache, then get the resource from the cache (instead of fetching it).
394     resource = cache->resourceForURL(request.url());
395
396     // Resources that match fallback namespaces or online whitelist entries are fetched from the network,
397     // unless they are also cached.
398     if (!resource && (cache->allowsAllNetworkRequests() || cache->urlMatchesFallbackNamespace(request.url()) || cache->isURLInOnlineWhitelist(request.url())))
399         return false;
400
401     // Resources that are not present in the manifest will always fail to load (at least, after the
402     // cache has been primed the first time), making the testing of offline applications simpler.
403     return true;
404 }
405
406 bool ApplicationCacheHost::getApplicationCacheFallbackResource(const ResourceRequest& request, ApplicationCacheResource*& resource, ApplicationCache* cache)
407 {
408     if (!cache) {
409         cache = applicationCache();
410         if (!cache)
411             return false;
412     }
413     if (!cache->isComplete())
414         return false;
415     
416     // If the resource is not a HTTP/HTTPS GET, then abort
417     if (!ApplicationCache::requestIsHTTPOrHTTPSGet(request))
418         return false;
419
420     URL fallbackURL;
421     if (cache->isURLInOnlineWhitelist(request.url()))
422         return false;
423     if (!cache->urlMatchesFallbackNamespace(request.url(), &fallbackURL))
424         return false;
425
426     resource = cache->resourceForURL(fallbackURL);
427     ASSERT(resource);
428
429     return true;
430 }
431
432 bool ApplicationCacheHost::scheduleLoadFallbackResourceFromApplicationCache(ResourceLoader* loader, ApplicationCache* cache)
433 {
434     if (!isApplicationCacheEnabled() && !isApplicationCacheBlockedForRequest(loader->request()))
435         return false;
436
437     ApplicationCacheResource* resource;
438     if (!getApplicationCacheFallbackResource(loader->request(), resource, cache))
439         return false;
440
441     loader->willSwitchToSubstituteResource();
442
443     m_documentLoader.scheduleSubstituteResourceLoad(*loader, *resource);
444
445     return true;
446 }
447
448 ApplicationCacheHost::Status ApplicationCacheHost::status() const
449 {
450     ApplicationCache* cache = applicationCache();    
451     if (!cache)
452         return UNCACHED;
453
454     switch (cache->group()->updateStatus()) {
455         case ApplicationCacheGroup::Checking:
456             return CHECKING;
457         case ApplicationCacheGroup::Downloading:
458             return DOWNLOADING;
459         case ApplicationCacheGroup::Idle: {
460             if (cache->group()->isObsolete())
461                 return OBSOLETE;
462             if (cache != cache->group()->newestCache())
463                 return UPDATEREADY;
464             return IDLE;
465         }
466     }
467
468     ASSERT_NOT_REACHED();
469     return UNCACHED;
470 }
471
472 bool ApplicationCacheHost::update()
473 {
474     ApplicationCache* cache = applicationCache();
475     if (!cache)
476         return false;
477     cache->group()->update(m_documentLoader.frame(), ApplicationCacheUpdateWithoutBrowsingContext);
478     return true;
479 }
480
481 bool ApplicationCacheHost::swapCache()
482 {
483     ApplicationCache* cache = applicationCache();
484     if (!cache)
485         return false;
486
487     // If the group of application caches to which cache belongs has the lifecycle status obsolete, unassociate document from cache.
488     if (cache->group()->isObsolete()) {
489         cache->group()->disassociateDocumentLoader(&m_documentLoader);
490         return true;
491     }
492
493     // If there is no newer cache, raise an INVALID_STATE_ERR exception.
494     ApplicationCache* newestCache = cache->group()->newestCache();
495     if (cache == newestCache)
496         return false;
497     
498     ASSERT(cache->group() == newestCache->group());
499     setApplicationCache(newestCache);
500     InspectorInstrumentation::updateApplicationCacheStatus(m_documentLoader.frame());
501     return true;
502 }
503
504 void ApplicationCacheHost::abort()
505 {
506     ApplicationCacheGroup* cacheGroup = candidateApplicationCacheGroup();
507     if (cacheGroup)
508         cacheGroup->abort(m_documentLoader.frame());
509     else {
510         ApplicationCache* cache = applicationCache();
511         if (cache)
512             cache->group()->abort(m_documentLoader.frame());
513     }
514 }
515
516 bool ApplicationCacheHost::isApplicationCacheEnabled()
517 {
518     return m_documentLoader.frame() && m_documentLoader.frame()->settings().offlineWebApplicationCacheEnabled() && !m_documentLoader.frame()->page()->usesEphemeralSession();
519 }
520
521 bool ApplicationCacheHost::isApplicationCacheBlockedForRequest(const ResourceRequest& request)
522 {
523     Frame* frame = m_documentLoader.frame();
524     if (!frame)
525         return false;
526
527     if (frame->isMainFrame())
528         return false;
529
530     Ref<SecurityOrigin> origin(SecurityOrigin::create(request.url()));
531     return !origin.get().canAccessApplicationCache(frame->document()->topOrigin());
532 }
533
534 }  // namespace WebCore