Updated resource load statistics are never merged into the SQLite Database backend...
[WebKit-https.git] / Tools / WebKitTestRunner / TestInvocation.h
1 /*
2  * Copyright (C) 2010 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #ifndef TestInvocation_h
27 #define TestInvocation_h
28
29 #include "JSWrappable.h"
30 #include "TestOptions.h"
31 #include "UIScriptContext.h"
32 #include "WhatToDump.h"
33 #include <WebKit/WKRetainPtr.h>
34 #include <string>
35 #include <wtf/Noncopyable.h>
36 #include <wtf/RunLoop.h>
37 #include <wtf/Seconds.h>
38 #include <wtf/text/StringBuilder.h>
39
40 namespace WTR {
41
42 class TestInvocation final : public UIScriptContextDelegate {
43     WTF_MAKE_FAST_ALLOCATED;
44     WTF_MAKE_NONCOPYABLE(TestInvocation);
45 public:
46     explicit TestInvocation(WKURLRef, const TestOptions&);
47     ~TestInvocation();
48
49     WKURLRef url() const;
50     bool urlContains(const char*) const;
51     
52     const TestOptions& options() const { return m_options; }
53
54     void setIsPixelTest(const std::string& expectedPixelHash);
55
56     void setCustomTimeout(WTF::Seconds duration) { m_timeout = duration; }
57     void setDumpJSConsoleLogInStdErr(bool value) { m_dumpJSConsoleLogInStdErr = value; }
58
59     WTF::Seconds shortTimeout() const;
60
61     void invoke();
62     void didReceiveMessageFromInjectedBundle(WKStringRef messageName, WKTypeRef messageBody);
63     WKRetainPtr<WKTypeRef> didReceiveSynchronousMessageFromInjectedBundle(WKStringRef messageName, WKTypeRef messageBody);
64
65     static void dumpWebProcessUnresponsiveness(const char* errorMessage);
66     void outputText(const WTF::String&);
67
68     void didBeginSwipe();
69     void willEndSwipe();
70     void didEndSwipe();
71     void didRemoveSwipeSnapshot();
72
73     void notifyDownloadDone();
74
75     void didClearStatisticsThroughWebsiteDataRemoval();
76     void didSetShouldDowngradeReferrer();
77     void didResetStatisticsToConsistentState();
78     void didSetBlockCookiesForHost();
79     void didSetStatisticsDebugMode();
80     void didSetPrevalentResourceForDebugMode();
81     void didSetLastSeen();
82     void didMergeStatistic();
83     void didSetPrevalentResource();
84     void didSetVeryPrevalentResource();
85     void didSetHasHadUserInteraction();
86     void didReceiveAllStorageAccessEntries(Vector<String>& domains);
87
88     void didRemoveAllSessionCredentials();
89     
90     void dumpResourceLoadStatistics();
91
92     bool canOpenWindows() const { return m_canOpenWindows; }
93
94     void dumpAdClickAttribution();
95     void performCustomMenuAction();
96
97     void willCreateNewPage();
98
99 private:
100     WKRetainPtr<WKMutableDictionaryRef> createTestSettingsDictionary();
101
102     void waitToDumpWatchdogTimerFired();
103     void initializeWaitToDumpWatchdogTimerIfNeeded();
104     void invalidateWaitToDumpWatchdogTimer();
105
106     void done();
107     void setWaitUntilDone(bool);
108
109     void dumpResults();
110     static void dump(const char* textToStdout, const char* textToStderr = 0, bool seenError = false);
111     enum class SnapshotResultType { WebView, WebContents };
112     void dumpPixelsAndCompareWithExpected(SnapshotResultType, WKArrayRef repaintRects, WKImageRef = nullptr);
113     void dumpAudio(WKDataRef);
114     bool compareActualHashToExpectedAndDumpResults(const char[33]);
115
116     static void forceRepaintDoneCallback(WKErrorRef, void* context);
117     
118     struct UIScriptInvocationData {
119         unsigned callbackID;
120         WebKit::WKRetainPtr<WKStringRef> scriptString;
121         TestInvocation* testInvocation;
122     };
123     static void runUISideScriptAfterUpdateCallback(WKErrorRef, void* context);
124
125     bool shouldLogHistoryClientCallbacks() const;
126
127     void runUISideScript(WKStringRef, unsigned callbackID);
128     // UIScriptContextDelegate
129     void uiScriptDidComplete(const String& result, unsigned callbackID) override;
130
131     const TestOptions m_options;
132     
133     WKRetainPtr<WKURLRef> m_url;
134     WTF::String m_urlString;
135     RunLoop::Timer<TestInvocation> m_waitToDumpWatchdogTimer;
136
137     std::string m_expectedPixelHash;
138
139     WTF::Seconds m_timeout;
140     bool m_dumpJSConsoleLogInStdErr { false };
141
142     // Invocation state
143     bool m_startedTesting { false };
144     bool m_gotInitialResponse { false };
145     bool m_gotFinalMessage { false };
146     bool m_gotRepaint { false };
147     bool m_error { false };
148
149     bool m_waitUntilDone { false };
150     bool m_dumpFrameLoadCallbacks { false };
151     bool m_dumpPixels { false };
152     bool m_pixelResultIsPending { false };
153     bool m_shouldDumpResourceLoadStatistics { false };
154     bool m_canOpenWindows { false };
155     bool m_shouldDumpAdClickAttribution { false };
156     WhatToDump m_whatToDump { WhatToDump::RenderTree };
157
158     StringBuilder m_textOutput;
159     String m_savedResourceLoadStatistics;
160     WKRetainPtr<WKDataRef> m_audioResult;
161     WKRetainPtr<WKImageRef> m_pixelResult;
162     WKRetainPtr<WKArrayRef> m_repaintRects;
163     
164     std::unique_ptr<UIScriptContext> m_UIScriptContext;
165     UIScriptInvocationData* m_pendingUIScriptInvocationData { nullptr };
166 };
167
168 } // namespace WTR
169
170 #endif // TestInvocation_h