Update Resource Load Statistics
[WebKit-https.git] / Source / WebCore / loader / ResourceLoadStatisticsStore.cpp
1 /*
2  * Copyright (C) 2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "ResourceLoadStatisticsStore.h"
28
29 #include "KeyedCoding.h"
30 #include "Logging.h"
31 #include "NetworkStorageSession.h"
32 #include "PlatformStrategies.h"
33 #include "ResourceLoadStatistics.h"
34 #include "SecurityOrigin.h"
35 #include "SharedBuffer.h"
36 #include "URL.h"
37 #include <wtf/NeverDestroyed.h>
38
39 #define LOG_STATISTICS_TO_FILE 0
40
41 namespace WebCore {
42
43 static const unsigned minimumOriginsLoadedForProcessing = 100;
44
45 Ref<ResourceLoadStatisticsStore> ResourceLoadStatisticsStore::create()
46 {
47     return adoptRef(*new ResourceLoadStatisticsStore());
48 }
49     
50 bool ResourceLoadStatisticsStore::isPrevalentResource(const String& primaryDomain) const
51 {
52     auto mapEntry = m_resourceStatisticsMap.find(primaryDomain);
53     if (mapEntry == m_resourceStatisticsMap.end())
54         return false;
55
56     return mapEntry->value.isPrevalentResource;
57 }
58     
59 ResourceLoadStatistics& ResourceLoadStatisticsStore::ensureResourceStatisticsForPrimaryDomain(const String& primaryDomain)
60 {
61     auto addResult = m_resourceStatisticsMap.ensure(primaryDomain, [&primaryDomain] {
62         return ResourceLoadStatistics(primaryDomain);
63     });
64
65     return addResult.iterator->value;
66 }
67
68 void ResourceLoadStatisticsStore::setResourceStatisticsForPrimaryDomain(const String& primaryDomain, ResourceLoadStatistics&& statistics)
69 {
70     m_resourceStatisticsMap.set(primaryDomain, WTFMove(statistics));
71 }
72
73 typedef HashMap<String, ResourceLoadStatistics>::KeyValuePairType StatisticsValue;
74
75 std::unique_ptr<KeyedEncoder> ResourceLoadStatisticsStore::createEncoderFromData()
76 {
77     auto encoder = KeyedEncoder::encoder();
78     
79     encoder->encodeObjects("browsingStatistics", m_resourceStatisticsMap.begin(), m_resourceStatisticsMap.end(), [this](KeyedEncoder& encoderInner, const StatisticsValue& origin) {
80         origin.value.encode(encoderInner);
81     });
82
83     return encoder;
84 }
85
86 void ResourceLoadStatisticsStore::readDataFromDecoder(KeyedDecoder& decoder)
87 {
88     if (m_resourceStatisticsMap.size())
89         return;
90
91     Vector<ResourceLoadStatistics> loadedStatistics;
92     bool succeeded = decoder.decodeObjects("browsingStatistics", loadedStatistics, [this](KeyedDecoder& decoderInner, ResourceLoadStatistics& statistics) {
93         return statistics.decode(decoderInner);
94     });
95
96     if (!succeeded)
97         return;
98
99     for (auto& statistics : loadedStatistics)
100         m_resourceStatisticsMap.set(statistics.highLevelDomain, statistics);
101 }
102
103 String ResourceLoadStatisticsStore::statisticsForOrigin(const String& origin)
104 {
105     auto iter = m_resourceStatisticsMap.find(origin);
106     if (iter == m_resourceStatisticsMap.end())
107         return emptyString();
108     
109     return "Statistics for " + origin + ":\n" + iter->value.toString();
110 }
111
112 Vector<ResourceLoadStatistics> ResourceLoadStatisticsStore::takeStatistics()
113 {
114     Vector<ResourceLoadStatistics> statistics;
115     statistics.reserveInitialCapacity(m_resourceStatisticsMap.size());
116     for (auto& statistic : m_resourceStatisticsMap.values())
117         statistics.uncheckedAppend(WTFMove(statistic));
118
119     m_resourceStatisticsMap.clear();
120
121     return statistics;
122 }
123
124 void ResourceLoadStatisticsStore::mergeStatistics(const Vector<ResourceLoadStatistics>& statistics)
125 {
126     for (auto& statistic : statistics) {
127         auto result = m_resourceStatisticsMap.ensure(statistic.highLevelDomain, [&statistic] {
128             return ResourceLoadStatistics(statistic.highLevelDomain);
129         });
130         
131         result.iterator->value.merge(statistic);
132     }
133 }
134
135 void ResourceLoadStatisticsStore::setNotificationCallback(std::function<void()> handler)
136 {
137     m_dataAddedHandler = WTFMove(handler);
138 }
139
140 void ResourceLoadStatisticsStore::fireDataModificationHandler()
141 {
142     if (m_dataAddedHandler)
143         m_dataAddedHandler();
144 }
145
146 bool ResourceLoadStatisticsStore::hasEnoughDataForStatisticsProcessing()
147 {
148     return m_resourceStatisticsMap.size() >= minimumOriginsLoadedForProcessing;
149 }
150
151 void ResourceLoadStatisticsStore::processStatistics(std::function<void(ResourceLoadStatistics&)>&& processFunction)
152 {
153     ASSERT(hasEnoughDataForStatisticsProcessing());
154     for (auto& resourceStatistic : m_resourceStatisticsMap.values())
155         processFunction(resourceStatistic);
156 }
157
158 Vector<String> ResourceLoadStatisticsStore::prevalentResourceDomainsWithoutUserInteraction()
159 {
160     Vector<String> prevalentResources;
161     for (auto& resourceStatistic : m_resourceStatisticsMap.values()) {
162         if (resourceStatistic.isPrevalentResource && !resourceStatistic.hadUserInteraction)
163             prevalentResources.append(resourceStatistic.highLevelDomain);
164     }
165     return prevalentResources;
166 }
167 }