521bd32cdc1c4058b03ef60cad4cc655f1c8fbfd
[WebKit-https.git] / Source / WebKit / UIProcess / WebResourceLoadStatisticsStore.h
1 /*
2  * Copyright (C) 2016-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #include "Connection.h"
29 #include "ResourceLoadStatisticsClassifier.h"
30 #include "ResourceLoadStatisticsPersistentStorage.h"
31 #include "WebsiteDataType.h"
32 #include <wtf/MonotonicTime.h>
33 #include <wtf/RunLoop.h>
34 #include <wtf/Vector.h>
35 #include <wtf/WallTime.h>
36 #include <wtf/text/WTFString.h>
37
38 #if HAVE(CORE_PREDICTION)
39 #include "ResourceLoadStatisticsClassifierCocoa.h"
40 #endif
41
42 namespace WTF {
43 class WorkQueue;
44 }
45
46 namespace WebCore {
47 class KeyedDecoder;
48 class KeyedEncoder;
49 class URL;
50 struct ResourceLoadStatistics;
51 }
52
53 namespace WebKit {
54
55 class OperatingDate;
56 class WebProcessProxy;
57
58 enum class ShouldClearFirst;
59
60 class WebResourceLoadStatisticsStore final : public IPC::Connection::WorkQueueMessageReceiver {
61 public:
62     using UpdateCookiePartitioningForDomainsHandler = WTF::Function<void(const Vector<String>& domainsToRemove, const Vector<String>& domainsToAdd, ShouldClearFirst)>;
63     static Ref<WebResourceLoadStatisticsStore> create(const String& resourceLoadStatisticsDirectory, Function<void (const String&)>&& testingCallback, UpdateCookiePartitioningForDomainsHandler&& updateCookiePartitioningForDomainsHandler = { })
64     {
65         return adoptRef(*new WebResourceLoadStatisticsStore(resourceLoadStatisticsDirectory, WTFMove(testingCallback), WTFMove(updateCookiePartitioningForDomainsHandler)));
66     }
67
68     ~WebResourceLoadStatisticsStore();
69
70     static const OptionSet<WebsiteDataType>& monitoredDataTypes();
71
72     bool isEmpty() const { return m_resourceStatisticsMap.isEmpty(); }
73     WorkQueue& statisticsQueue() { return m_statisticsQueue.get(); }
74
75     void setNotifyPagesWhenDataRecordsWereScanned(bool value) { m_parameters.shouldNotifyPagesWhenDataRecordsWereScanned = value; }
76     void setShouldClassifyResourcesBeforeDataRecordsRemoval(bool value) { m_parameters.shouldClassifyResourcesBeforeDataRecordsRemoval = value; }
77     void setShouldSubmitTelemetry(bool value) { m_parameters.shouldSubmitTelemetry = value; }
78
79     void resourceLoadStatisticsUpdated(Vector<WebCore::ResourceLoadStatistics>&& origins);
80
81     void processWillOpenConnection(WebProcessProxy&, IPC::Connection&);
82     void processDidCloseConnection(WebProcessProxy&, IPC::Connection&);
83     void applicationWillTerminate();
84
85     void logUserInteraction(const WebCore::URL&);
86     void clearUserInteraction(const WebCore::URL&);
87     void hasHadUserInteraction(const WebCore::URL&, WTF::Function<void (bool)>&&);
88     void setLastSeen(const WebCore::URL&, Seconds);
89     void setPrevalentResource(const WebCore::URL&);
90     void isPrevalentResource(const WebCore::URL&, WTF::Function<void (bool)>&&);
91     void clearPrevalentResource(const WebCore::URL&);
92     void setGrandfathered(const WebCore::URL&, bool);
93     void isGrandfathered(const WebCore::URL&, WTF::Function<void (bool)>&&);
94     void setSubframeUnderTopFrameOrigin(const WebCore::URL& subframe, const WebCore::URL& topFrame);
95     void setSubresourceUnderTopFrameOrigin(const WebCore::URL& subresource, const WebCore::URL& topFrame);
96     void setSubresourceUniqueRedirectTo(const WebCore::URL& subresource, const WebCore::URL& hostNameRedirectedTo);
97     void scheduleCookiePartitioningUpdate();
98     void scheduleCookiePartitioningUpdateForDomains(const Vector<String>& domainsToRemove, const Vector<String>& domainsToAdd, ShouldClearFirst);
99     void scheduleStatisticsAndDataRecordsProcessing();
100     void submitTelemetry();
101     void scheduleCookiePartitioningStateReset();
102
103     void scheduleClearInMemory();
104     
105     enum class ShouldGrandfather {
106         No,
107         Yes,
108     };
109     void scheduleClearInMemoryAndPersistent(ShouldGrandfather);
110     void scheduleClearInMemoryAndPersistent(std::chrono::system_clock::time_point modifiedSince, ShouldGrandfather);
111
112     void setTimeToLiveUserInteraction(Seconds);
113     void setTimeToLiveCookiePartitionFree(Seconds);
114     void setMinimumTimeBetweenDataRecordsRemoval(Seconds);
115     void setGrandfatheringTime(Seconds);
116     void setMaxStatisticsEntries(size_t);
117     void setPruneEntriesDownTo(size_t);
118     
119     void processStatistics(const WTF::Function<void (const WebCore::ResourceLoadStatistics&)>&) const;
120     void pruneStatisticsIfNeeded();
121
122     void resetParametersToDefaultValues();
123
124     std::unique_ptr<WebCore::KeyedEncoder> createEncoderFromData() const;
125     void mergeWithDataFromDecoder(WebCore::KeyedDecoder&);
126     void clearInMemory();
127     void grandfatherExistingWebsiteData();
128
129     void setStatisticsTestingCallback(Function<void (const String&)>&& callback) { m_statisticsTestingCallback = WTFMove(callback); }
130     void logTestingEvent(const String&);
131
132 private:
133     WebResourceLoadStatisticsStore(const String&, Function<void (const String&)>&& testingCallback, UpdateCookiePartitioningForDomainsHandler&&);
134
135     void removeDataRecords();
136
137     // IPC::MessageReceiver
138     void didReceiveMessage(IPC::Connection&, IPC::Decoder&) override;
139
140     void performDailyTasks();
141     bool shouldRemoveDataRecords() const;
142     void setDataRecordsBeingRemoved(bool);
143
144     bool shouldPartitionCookies(const WebCore::ResourceLoadStatistics&) const;
145     bool hasStatisticsExpired(const WebCore::ResourceLoadStatistics&) const;
146     bool hasHadUnexpiredRecentUserInteraction(WebCore::ResourceLoadStatistics&) const;
147     void includeTodayAsOperatingDateIfNecessary();
148     Vector<String> topPrivatelyControlledDomainsToRemoveWebsiteDataFor();
149     void updateCookiePartitioning();
150     void updateCookiePartitioningForDomains(const Vector<String>& domainsToRemove, const Vector<String>& domainsToAdd, ShouldClearFirst);
151     void mergeStatistics(Vector<WebCore::ResourceLoadStatistics>&&);
152     WebCore::ResourceLoadStatistics& ensureResourceStatisticsForPrimaryDomain(const String&);
153     void processStatisticsAndDataRecords();
154
155     void resetCookiePartitioningState();
156
157 #if PLATFORM(COCOA)
158     void registerUserDefaultsIfNeeded();
159 #endif
160
161     struct Parameters {
162         size_t pruneEntriesDownTo { 800 };
163         size_t maxStatisticsEntries { 1000 };
164         std::optional<Seconds> timeToLiveUserInteraction;
165         Seconds timeToLiveCookiePartitionFree { 24_h };
166         Seconds minimumTimeBetweenDataRecordsRemoval { 1_h };
167         Seconds grandfatheringTime { 1_h };
168         bool shouldNotifyPagesWhenDataRecordsWereScanned { false };
169         bool shouldClassifyResourcesBeforeDataRecordsRemoval { true };
170         bool shouldSubmitTelemetry { true };
171     };
172
173     HashMap<String, WebCore::ResourceLoadStatistics> m_resourceStatisticsMap;
174 #if HAVE(CORE_PREDICTION)
175     ResourceLoadStatisticsClassifierCocoa m_resourceLoadStatisticsClassifier;
176 #else
177     ResourceLoadStatisticsClassifier m_resourceLoadStatisticsClassifier;
178 #endif
179     Ref<WTF::WorkQueue> m_statisticsQueue;
180     ResourceLoadStatisticsPersistentStorage m_persistentStorage;
181     Vector<OperatingDate> m_operatingDates;
182
183     UpdateCookiePartitioningForDomainsHandler m_updateCookiePartitioningForDomainsHandler;
184
185     WallTime m_endOfGrandfatheringTimestamp;
186     RunLoop::Timer<WebResourceLoadStatisticsStore> m_dailyTasksTimer;
187     MonotonicTime m_lastTimeDataRecordsWereRemoved;
188
189     Parameters m_parameters;
190
191     bool m_dataRecordsBeingRemoved { false };
192
193     Function<void (const String&)> m_statisticsTestingCallback;
194 };
195
196 } // namespace WebKit