WebKitTestRunner needs layoutTestController.setDashboardCompatibilityMode
[WebKit-https.git] / Tools / WebKitTestRunner / InjectedBundle / TestRunner.h
1 /*
2  * Copyright (C) 2010-2016 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #ifndef TestRunner_h
27 #define TestRunner_h
28
29 #include "JSWrappable.h"
30 #include "StringFunctions.h"
31 #include <JavaScriptCore/JSRetainPtr.h>
32 #include <WebKit/WKBundleScriptWorld.h>
33 #include <WebKit/WKRetainPtr.h>
34 #include <string>
35 #include <wtf/PassRefPtr.h>
36 #include <wtf/text/WTFString.h>
37
38 #if PLATFORM(COCOA)
39 #include <wtf/RetainPtr.h>
40 #include <CoreFoundation/CFRunLoop.h>
41 typedef RetainPtr<CFRunLoopTimerRef> PlatformTimerRef;
42 #elif PLATFORM(GTK)
43 #include <wtf/RunLoop.h>
44 namespace WTR {
45 class TestRunner;
46 typedef RunLoop::Timer<TestRunner> PlatformTimerRef;
47 }
48 #elif PLATFORM(EFL)
49 typedef Ecore_Timer* PlatformTimerRef;
50 #endif
51
52 namespace WTR {
53
54 class TestRunner : public JSWrappable {
55 public:
56     static PassRefPtr<TestRunner> create();
57     virtual ~TestRunner();
58
59     // JSWrappable
60     virtual JSClassRef wrapperClass();
61
62     void makeWindowObject(JSContextRef, JSObjectRef windowObject, JSValueRef* exception);
63
64     // The basics.
65     WKURLRef testURL() const { return m_testURL.get(); }
66     void setTestURL(WKURLRef url) { m_testURL = url; }
67     void dumpAsText(bool dumpPixels);
68     void waitForPolicyDelegate();
69     void dumpChildFramesAsText() { m_whatToDump = AllFramesText; }
70     void waitUntilDownloadFinished();
71     void waitUntilDone();
72     void notifyDone();
73     double preciseTime();
74     double timeout() { return m_timeout; }
75
76     // Other dumping.
77     void dumpBackForwardList() { m_shouldDumpBackForwardListsForAllWindows = true; }
78     void dumpChildFrameScrollPositions() { m_shouldDumpAllFrameScrollPositions = true; }
79     void dumpEditingCallbacks() { m_dumpEditingCallbacks = true; }
80     void dumpSelectionRect() { m_dumpSelectionRect = true; }
81     void dumpStatusCallbacks() { m_dumpStatusCallbacks = true; }
82     void dumpTitleChanges() { m_dumpTitleChanges = true; }
83     void dumpFullScreenCallbacks() { m_dumpFullScreenCallbacks = true; }
84     void dumpFrameLoadCallbacks() { setShouldDumpFrameLoadCallbacks(true); }
85     void dumpProgressFinishedCallback() { setShouldDumpProgressFinishedCallback(true); }
86     void dumpResourceLoadCallbacks() { m_dumpResourceLoadCallbacks = true; }
87     void dumpResourceResponseMIMETypes() { m_dumpResourceResponseMIMETypes = true; }
88     void dumpWillCacheResponse() { m_dumpWillCacheResponse = true; }
89     void dumpApplicationCacheDelegateCallbacks() { m_dumpApplicationCacheDelegateCallbacks = true; }
90     void dumpDatabaseCallbacks() { m_dumpDatabaseCallbacks = true; }
91     void dumpDOMAsWebArchive() { m_whatToDump = DOMAsWebArchive; }
92     void dumpPolicyDelegateCallbacks() { m_dumpPolicyCallbacks = true; }
93
94     void setShouldDumpFrameLoadCallbacks(bool value) { m_dumpFrameLoadCallbacks = value; }
95     void setShouldDumpProgressFinishedCallback(bool value) { m_dumpProgressFinishedCallback = value; }
96
97     // Special options.
98     void keepWebHistory();
99     void setAcceptsEditing(bool value) { m_shouldAllowEditing = value; }
100     void setCanOpenWindows(bool);
101     void setCloseRemainingWindowsWhenComplete(bool value) { m_shouldCloseExtraWindows = value; }
102     void setXSSAuditorEnabled(bool);
103     void setShadowDOMEnabled(bool);
104     void setCustomElementsEnabled(bool);
105     void setDOMIteratorEnabled(bool);
106     void setWebGL2Enabled(bool);
107     void setFetchAPIEnabled(bool);
108     void setAllowUniversalAccessFromFileURLs(bool);
109     void setAllowFileAccessFromFileURLs(bool);
110     void setPluginsEnabled(bool);
111     void setJavaScriptCanAccessClipboard(bool);
112     void setAutomaticLinkDetectionEnabled(bool);
113     void setPrivateBrowsingEnabled(bool);
114     void setUseDashboardCompatibilityMode(bool);
115     void setPopupBlockingEnabled(bool);
116     void setAuthorAndUserStylesEnabled(bool);
117     void setCustomPolicyDelegate(bool enabled, bool permissive = false);
118     void addOriginAccessWhitelistEntry(JSStringRef sourceOrigin, JSStringRef destinationProtocol, JSStringRef destinationHost, bool allowDestinationSubdomains);
119     void removeOriginAccessWhitelistEntry(JSStringRef sourceOrigin, JSStringRef destinationProtocol, JSStringRef destinationHost, bool allowDestinationSubdomains);
120     void setUserStyleSheetEnabled(bool);
121     void setUserStyleSheetLocation(JSStringRef);
122     void setSpatialNavigationEnabled(bool);
123     void setTabKeyCyclesThroughElements(bool);
124     void setSerializeHTTPLoads();
125     void dispatchPendingLoadRequests();
126     void setCacheModel(int);
127     void setAsynchronousSpellCheckingEnabled(bool);
128     void setDownloadAttributeEnabled(bool);
129     void setAllowsAnySSLCertificate(bool);
130
131     // Special DOM functions.
132     void clearBackForwardList();
133     void execCommand(JSStringRef name, JSStringRef argument);
134     bool isCommandEnabled(JSStringRef name);
135     unsigned windowCount();
136
137     // Repaint testing.
138     void testRepaint() { m_testRepaint = true; }
139     void repaintSweepHorizontally() { m_testRepaintSweepHorizontally = true; }
140     void display();
141     
142     // UserContent testing.
143     void addUserScript(JSStringRef source, bool runAtStart, bool allFrames);
144     void addUserStyleSheet(JSStringRef source, bool allFrames);
145
146     // Text search testing.
147     bool findString(JSStringRef, JSValueRef optionsArray);
148
149     // Local storage
150     void clearAllDatabases();
151     void setDatabaseQuota(uint64_t);
152     JSRetainPtr<JSStringRef> pathToLocalResource(JSStringRef);
153
154     // Application Cache
155     void clearAllApplicationCaches();
156     void clearApplicationCacheForOrigin(JSStringRef origin);
157     void setAppCacheMaximumSize(uint64_t);
158     long long applicationCacheDiskUsageForOrigin(JSStringRef origin);
159     void disallowIncreaseForApplicationCacheQuota();
160     bool shouldDisallowIncreaseForApplicationCacheQuota() { return m_disallowIncreaseForApplicationCacheQuota; }
161     JSValueRef originsWithApplicationCache();
162
163     // Printing
164     bool isPageBoxVisible(int pageIndex);
165     bool isPrinting() { return m_isPrinting; }
166     void setPrinting() { m_isPrinting = true; }
167
168     // Authentication
169     void setRejectsProtectionSpaceAndContinueForAuthenticationChallenges(bool);
170     void setHandlesAuthenticationChallenges(bool);
171     void setShouldLogCanAuthenticateAgainstProtectionSpace(bool);
172     void setAuthenticationUsername(JSStringRef);
173     void setAuthenticationPassword(JSStringRef);
174
175     void setValueForUser(JSContextRef, JSValueRef element, JSStringRef value);
176
177     // Audio testing.
178     void setAudioResult(JSContextRef, JSValueRef data);
179
180     void setBlockAllPlugins(bool shouldBlock);
181
182     enum WhatToDump { RenderTree, MainFrameText, AllFramesText, Audio, DOMAsWebArchive };
183     WhatToDump whatToDump() const { return m_whatToDump; }
184
185     bool shouldDumpAllFrameScrollPositions() const { return m_shouldDumpAllFrameScrollPositions; }
186     bool shouldDumpBackForwardListsForAllWindows() const { return m_shouldDumpBackForwardListsForAllWindows; }
187     bool shouldDumpEditingCallbacks() const { return m_dumpEditingCallbacks; }
188     bool shouldDumpMainFrameScrollPosition() const { return m_whatToDump == RenderTree; }
189     bool shouldDumpStatusCallbacks() const { return m_dumpStatusCallbacks; }
190     bool shouldDumpTitleChanges() const { return m_dumpTitleChanges; }
191     bool shouldDumpPixels() const { return m_dumpPixels; }
192     bool shouldDumpFullScreenCallbacks() const { return m_dumpFullScreenCallbacks; }
193     bool shouldDumpFrameLoadCallbacks() const { return m_dumpFrameLoadCallbacks; }
194     bool shouldDumpProgressFinishedCallback() const { return m_dumpProgressFinishedCallback; }
195     bool shouldDumpResourceLoadCallbacks() const { return m_dumpResourceLoadCallbacks; }
196     bool shouldDumpResourceResponseMIMETypes() const { return m_dumpResourceResponseMIMETypes; }
197     bool shouldDumpWillCacheResponse() const { return m_dumpWillCacheResponse; }
198     bool shouldDumpApplicationCacheDelegateCallbacks() const { return m_dumpApplicationCacheDelegateCallbacks; }
199     bool shouldDumpDatabaseCallbacks() const { return m_dumpDatabaseCallbacks; }
200     bool shouldDumpSelectionRect() const { return m_dumpSelectionRect; }
201     bool shouldDumpPolicyCallbacks() const { return m_dumpPolicyCallbacks; }
202
203     bool isPolicyDelegateEnabled() const { return m_policyDelegateEnabled; }
204     bool isPolicyDelegatePermissive() const { return m_policyDelegatePermissive; }
205
206     bool waitToDump() const { return m_waitToDump; }
207     void waitToDumpWatchdogTimerFired();
208     void invalidateWaitToDumpWatchdogTimer();
209     bool shouldFinishAfterDownload() const { return m_shouldFinishAfterDownload; }
210
211     bool shouldAllowEditing() const { return m_shouldAllowEditing; }
212
213     bool shouldCloseExtraWindowsAfterRunningTest() const { return m_shouldCloseExtraWindows; }
214
215     void evaluateScriptInIsolatedWorld(JSContextRef, unsigned worldID, JSStringRef script);
216     static unsigned worldIDForWorld(WKBundleScriptWorldRef);
217
218     void showWebInspector();
219     void closeWebInspector();
220     void evaluateInWebInspector(JSStringRef script);
221     JSRetainPtr<JSStringRef> inspectorTestStubURL();
222
223     void setPOSIXLocale(JSStringRef);
224
225     bool willSendRequestReturnsNull() const { return m_willSendRequestReturnsNull; }
226     void setWillSendRequestReturnsNull(bool f) { m_willSendRequestReturnsNull = f; }
227     bool willSendRequestReturnsNullOnRedirect() const { return m_willSendRequestReturnsNullOnRedirect; }
228     void setWillSendRequestReturnsNullOnRedirect(bool f) { m_willSendRequestReturnsNullOnRedirect = f; }
229     void setWillSendRequestAddsHTTPBody(JSStringRef body) { m_willSendRequestHTTPBody = toWTFString(toWK(body)); }
230     String willSendRequestHTTPBody() const { return m_willSendRequestHTTPBody; }
231
232     void setTextDirection(JSStringRef);
233
234     void setShouldStayOnPageAfterHandlingBeforeUnload(bool);
235
236     void setDefersLoading(bool);
237
238     void setStopProvisionalFrameLoads() { m_shouldStopProvisionalFrameLoads = true; }
239     bool shouldStopProvisionalFrameLoads() const { return m_shouldStopProvisionalFrameLoads; }
240     
241     bool globalFlag() const { return m_globalFlag; }
242     void setGlobalFlag(bool value) { m_globalFlag = value; }
243
244     double databaseDefaultQuota() const { return m_databaseDefaultQuota; }
245     void setDatabaseDefaultQuota(double quota) { m_databaseDefaultQuota = quota; }
246
247     double databaseMaxQuota() const { return m_databaseMaxQuota; }
248     void setDatabaseMaxQuota(double quota) { m_databaseMaxQuota = quota; }
249
250     void addChromeInputField(JSValueRef);
251     void removeChromeInputField(JSValueRef);
252     void focusWebView(JSValueRef);
253     void setBackingScaleFactor(double, JSValueRef);
254
255     void setWindowIsKey(bool);
256
257     void setViewSize(double width, double height);
258
259     void callAddChromeInputFieldCallback();
260     void callRemoveChromeInputFieldCallback();
261     void callFocusWebViewCallback();
262     void callSetBackingScaleFactorCallback();
263
264     void overridePreference(JSStringRef preference, JSStringRef value);
265
266     // Cookies testing
267     void setAlwaysAcceptCookies(bool);
268
269     // Custom full screen behavior.
270     void setHasCustomFullScreenBehavior(bool value) { m_customFullScreenBehavior = value; }
271     bool hasCustomFullScreenBehavior() const { return m_customFullScreenBehavior; }
272
273     // Web notifications.
274     static void grantWebNotificationPermission(JSStringRef origin);
275     static void denyWebNotificationPermission(JSStringRef origin);
276     static void removeAllWebNotificationPermissions();
277     static void simulateWebNotificationClick(JSValueRef notification);
278
279     // Geolocation.
280     void setGeolocationPermission(bool);
281     void setMockGeolocationPosition(double latitude, double longitude, double accuracy, JSValueRef altitude, JSValueRef altitudeAccuracy, JSValueRef heading, JSValueRef speed);
282     void setMockGeolocationPositionUnavailableError(JSStringRef message);
283     bool isGeolocationProviderActive();
284
285     // MediaStream
286     void setUserMediaPermission(bool);
287     void setUserMediaPermissionForOrigin(bool permission, JSStringRef origin, JSStringRef parentOrigin);
288
289     void setPageVisibility(JSStringRef state);
290     void resetPageVisibility();
291
292     bool callShouldCloseOnWebView();
293
294     void setCustomTimeout(int duration) { m_timeout = duration; }
295
296     // Work queue.
297     void queueBackNavigation(unsigned howFarBackward);
298     void queueForwardNavigation(unsigned howFarForward);
299     void queueLoad(JSStringRef url, JSStringRef target, bool shouldOpenExternalURLs);
300     void queueLoadHTMLString(JSStringRef content, JSStringRef baseURL, JSStringRef unreachableURL);
301     void queueReload();
302     void queueLoadingScript(JSStringRef script);
303     void queueNonLoadingScript(JSStringRef script);
304
305     bool secureEventInputIsEnabled() const;
306
307     JSValueRef failNextNewCodeBlock();
308     JSValueRef numberOfDFGCompiles(JSValueRef theFunction);
309     JSValueRef neverInlineFunction(JSValueRef theFunction);
310
311     bool shouldDecideNavigationPolicyAfterDelay() const { return m_shouldDecideNavigationPolicyAfterDelay; }
312     void setShouldDecideNavigationPolicyAfterDelay(bool);
313     void setNavigationGesturesEnabled(bool);
314     void setIgnoresViewportScaleLimits(bool);
315
316     void runUIScript(JSStringRef script, JSValueRef callback);
317     void runUIScriptCallback(unsigned callbackID, JSStringRef result);
318
319     void installDidBeginSwipeCallback(JSValueRef);
320     void installWillEndSwipeCallback(JSValueRef);
321     void installDidEndSwipeCallback(JSValueRef);
322     void installDidRemoveSwipeSnapshotCallback(JSValueRef);
323     void callDidBeginSwipeCallback();
324     void callWillEndSwipeCallback();
325     void callDidEndSwipeCallback();
326     void callDidRemoveSwipeSnapshotCallback();
327
328     void clearTestRunnerCallbacks();
329
330     void accummulateLogsForChannel(JSStringRef channel);
331
332     unsigned imageCountInGeneralPasteboard() const;
333
334     // Gamepads
335     void connectMockGamepad(unsigned index);
336     void disconnectMockGamepad(unsigned index);
337     void setMockGamepadDetails(unsigned index, JSStringRef gamepadID, unsigned axisCount, unsigned buttonCount);
338     void setMockGamepadAxisValue(unsigned index, unsigned axisIndex, double value);
339     void setMockGamepadButtonValue(unsigned index, unsigned buttonIndex, double value);
340
341 private:
342     TestRunner();
343
344     void platformInitialize();
345     void initializeWaitToDumpWatchdogTimerIfNeeded();
346
347     WKRetainPtr<WKURLRef> m_testURL; // Set by InjectedBundlePage once provisional load starts.
348
349     WhatToDump m_whatToDump;
350     bool m_shouldDumpAllFrameScrollPositions;
351     bool m_shouldDumpBackForwardListsForAllWindows;
352
353     bool m_shouldAllowEditing;
354     bool m_shouldCloseExtraWindows;
355
356     bool m_dumpEditingCallbacks;
357     bool m_dumpStatusCallbacks;
358     bool m_dumpTitleChanges;
359     bool m_dumpPixels;
360     bool m_dumpSelectionRect;
361     bool m_dumpFullScreenCallbacks;
362     bool m_dumpFrameLoadCallbacks;
363     bool m_dumpProgressFinishedCallback;
364     bool m_dumpResourceLoadCallbacks;
365     bool m_dumpResourceResponseMIMETypes;
366     bool m_dumpWillCacheResponse;
367     bool m_dumpApplicationCacheDelegateCallbacks;
368     bool m_dumpDatabaseCallbacks;
369     bool m_dumpPolicyCallbacks { false };
370     bool m_disallowIncreaseForApplicationCacheQuota;
371     bool m_waitToDump; // True if waitUntilDone() has been called, but notifyDone() has not yet been called.
372     bool m_testRepaint;
373     bool m_testRepaintSweepHorizontally;
374     bool m_isPrinting;
375
376     bool m_willSendRequestReturnsNull;
377     bool m_willSendRequestReturnsNullOnRedirect;
378     bool m_shouldStopProvisionalFrameLoads;
379     String m_willSendRequestHTTPBody;
380
381     bool m_policyDelegateEnabled;
382     bool m_policyDelegatePermissive;
383     
384     bool m_globalFlag;
385     bool m_customFullScreenBehavior;
386
387     int m_timeout;
388
389     double m_databaseDefaultQuota;
390     double m_databaseMaxQuota;
391
392     bool m_shouldDecideNavigationPolicyAfterDelay { false };
393     bool m_shouldFinishAfterDownload { false };
394
395     bool m_userStyleSheetEnabled;
396     WKRetainPtr<WKStringRef> m_userStyleSheetLocation;
397
398     WKRetainPtr<WKArrayRef> m_allowedHosts;
399
400     PlatformTimerRef m_waitToDumpWatchdogTimer;
401 };
402
403 } // namespace WTR
404
405 #endif // TestRunner_h