979081a9cc4519d5c3d500ac2692afca68f25b86
[WebKit-https.git] / Tools / WebKitTestRunner / InjectedBundle / TestRunner.h
1 /*
2  * Copyright (C) 2010-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #include "JSWrappable.h"
29 #include "StringFunctions.h"
30 #include <JavaScriptCore/JSRetainPtr.h>
31 #include <WebKit/WKBundleScriptWorld.h>
32 #include <WebKit/WKRetainPtr.h>
33 #include <string>
34 #include <wtf/Ref.h>
35 #include <wtf/text/WTFString.h>
36
37 #if PLATFORM(COCOA)
38 #include <wtf/RetainPtr.h>
39 #include <CoreFoundation/CFRunLoop.h>
40 typedef RetainPtr<CFRunLoopTimerRef> PlatformTimerRef;
41 #elif PLATFORM(GTK) || PLATFORM(WPE)
42 #include <wtf/RunLoop.h>
43 namespace WTR {
44 class TestRunner;
45 typedef RunLoop::Timer<TestRunner> PlatformTimerRef;
46 }
47 #endif
48
49 namespace WTR {
50
51 class TestRunner : public JSWrappable {
52 public:
53     static Ref<TestRunner> create();
54     virtual ~TestRunner();
55
56     // JSWrappable
57     virtual JSClassRef wrapperClass();
58
59     void makeWindowObject(JSContextRef, JSObjectRef windowObject, JSValueRef* exception);
60
61     bool isWebKit2() const { return true; }
62
63     // The basics.
64     WKURLRef testURL() const { return m_testURL.get(); }
65     void setTestURL(WKURLRef url) { m_testURL = url; }
66     void dumpAsText(bool dumpPixels);
67     void waitForPolicyDelegate();
68     void dumpChildFramesAsText() { m_whatToDump = AllFramesText; }
69     void waitUntilDownloadFinished();
70     void waitUntilDone();
71     void notifyDone();
72     double preciseTime();
73     double timeout() { return m_timeout; }
74
75     // Other dumping.
76     void dumpBackForwardList() { m_shouldDumpBackForwardListsForAllWindows = true; }
77     void dumpChildFrameScrollPositions() { m_shouldDumpAllFrameScrollPositions = true; }
78     void dumpEditingCallbacks() { m_dumpEditingCallbacks = true; }
79     void dumpSelectionRect() { m_dumpSelectionRect = true; }
80     void dumpStatusCallbacks() { m_dumpStatusCallbacks = true; }
81     void dumpTitleChanges() { m_dumpTitleChanges = true; }
82     void dumpFullScreenCallbacks() { m_dumpFullScreenCallbacks = true; }
83     void dumpFrameLoadCallbacks() { setShouldDumpFrameLoadCallbacks(true); }
84     void dumpProgressFinishedCallback() { setShouldDumpProgressFinishedCallback(true); }
85     void dumpResourceLoadCallbacks() { m_dumpResourceLoadCallbacks = true; }
86     void dumpResourceResponseMIMETypes() { m_dumpResourceResponseMIMETypes = true; }
87     void dumpWillCacheResponse() { m_dumpWillCacheResponse = true; }
88     void dumpApplicationCacheDelegateCallbacks() { m_dumpApplicationCacheDelegateCallbacks = true; }
89     void dumpDatabaseCallbacks() { m_dumpDatabaseCallbacks = true; }
90     void dumpDOMAsWebArchive() { m_whatToDump = DOMAsWebArchive; }
91     void dumpPolicyDelegateCallbacks() { m_dumpPolicyCallbacks = true; }
92
93     void setShouldDumpFrameLoadCallbacks(bool value) { m_dumpFrameLoadCallbacks = value; }
94     void setShouldDumpProgressFinishedCallback(bool value) { m_dumpProgressFinishedCallback = value; }
95
96     // Special options.
97     void keepWebHistory();
98     void setAcceptsEditing(bool value) { m_shouldAllowEditing = value; }
99     void setCanOpenWindows(bool);
100     void setCloseRemainingWindowsWhenComplete(bool value) { m_shouldCloseExtraWindows = value; }
101     void setXSSAuditorEnabled(bool);
102     void setModernMediaControlsEnabled(bool);
103     void setWebGL2Enabled(bool);
104     void setWebGPUEnabled(bool);
105     void setWritableStreamAPIEnabled(bool);
106     void setReadableByteStreamAPIEnabled(bool);
107
108     void setAllowUniversalAccessFromFileURLs(bool);
109     void setAllowFileAccessFromFileURLs(bool);
110     void setNeedsStorageAccessFromFileURLsQuirk(bool);
111     void setPluginsEnabled(bool);
112     void setJavaScriptCanAccessClipboard(bool);
113     void setPrivateBrowsingEnabled(bool);
114     void setUseDashboardCompatibilityMode(bool);
115     void setPopupBlockingEnabled(bool);
116     void setAuthorAndUserStylesEnabled(bool);
117     void setCustomPolicyDelegate(bool enabled, bool permissive = false);
118     void addOriginAccessWhitelistEntry(JSStringRef sourceOrigin, JSStringRef destinationProtocol, JSStringRef destinationHost, bool allowDestinationSubdomains);
119     void removeOriginAccessWhitelistEntry(JSStringRef sourceOrigin, JSStringRef destinationProtocol, JSStringRef destinationHost, bool allowDestinationSubdomains);
120     void setUserStyleSheetEnabled(bool);
121     void setUserStyleSheetLocation(JSStringRef);
122     void setSpatialNavigationEnabled(bool);
123     void setTabKeyCyclesThroughElements(bool);
124     void setSerializeHTTPLoads();
125     void dispatchPendingLoadRequests();
126     void setCacheModel(int);
127     void setAsynchronousSpellCheckingEnabled(bool);
128     void setAllowsAnySSLCertificate(bool);
129     void setEncryptedMediaAPIEnabled(bool);
130     void setSubtleCryptoEnabled(bool);
131     void setMediaDevicesEnabled(bool);
132     void setWebRTCLegacyAPIEnabled(bool);
133
134     // Special DOM functions.
135     void clearBackForwardList();
136     void execCommand(JSStringRef name, JSStringRef argument);
137     bool isCommandEnabled(JSStringRef name);
138     unsigned windowCount();
139
140     // Repaint testing.
141     void testRepaint() { m_testRepaint = true; }
142     void repaintSweepHorizontally() { m_testRepaintSweepHorizontally = true; }
143     void display();
144     void displayAndTrackRepaints();
145
146     // UserContent testing.
147     void addUserScript(JSStringRef source, bool runAtStart, bool allFrames);
148     void addUserStyleSheet(JSStringRef source, bool allFrames);
149
150     // Text search testing.
151     bool findString(JSStringRef, JSValueRef optionsArray);
152
153     // Local storage
154     void clearAllDatabases();
155     void setDatabaseQuota(uint64_t);
156     JSRetainPtr<JSStringRef> pathToLocalResource(JSStringRef);
157
158     // Application Cache
159     void clearAllApplicationCaches();
160     void clearApplicationCacheForOrigin(JSStringRef origin);
161     void setAppCacheMaximumSize(uint64_t);
162     long long applicationCacheDiskUsageForOrigin(JSStringRef origin);
163     void disallowIncreaseForApplicationCacheQuota();
164     bool shouldDisallowIncreaseForApplicationCacheQuota() { return m_disallowIncreaseForApplicationCacheQuota; }
165     JSValueRef originsWithApplicationCache();
166
167     // Printing
168     bool isPageBoxVisible(int pageIndex);
169     bool isPrinting() { return m_isPrinting; }
170     void setPrinting() { m_isPrinting = true; }
171
172     // Authentication
173     void setRejectsProtectionSpaceAndContinueForAuthenticationChallenges(bool);
174     void setHandlesAuthenticationChallenges(bool);
175     void setShouldLogCanAuthenticateAgainstProtectionSpace(bool);
176     void setAuthenticationUsername(JSStringRef);
177     void setAuthenticationPassword(JSStringRef);
178
179     void setValueForUser(JSContextRef, JSValueRef element, JSStringRef value);
180
181     // Audio testing.
182     void setAudioResult(JSContextRef, JSValueRef data);
183
184     void setBlockAllPlugins(bool shouldBlock);
185
186     enum WhatToDump { RenderTree, MainFrameText, AllFramesText, Audio, DOMAsWebArchive };
187     WhatToDump whatToDump() const { return m_whatToDump; }
188
189     bool shouldDumpAllFrameScrollPositions() const { return m_shouldDumpAllFrameScrollPositions; }
190     bool shouldDumpBackForwardListsForAllWindows() const { return m_shouldDumpBackForwardListsForAllWindows; }
191     bool shouldDumpEditingCallbacks() const { return m_dumpEditingCallbacks; }
192     bool shouldDumpMainFrameScrollPosition() const { return m_whatToDump == RenderTree; }
193     bool shouldDumpStatusCallbacks() const { return m_dumpStatusCallbacks; }
194     bool shouldDumpTitleChanges() const { return m_dumpTitleChanges; }
195     bool shouldDumpPixels() const { return m_dumpPixels; }
196     bool shouldDumpFullScreenCallbacks() const { return m_dumpFullScreenCallbacks; }
197     bool shouldDumpFrameLoadCallbacks() const { return m_dumpFrameLoadCallbacks; }
198     bool shouldDumpProgressFinishedCallback() const { return m_dumpProgressFinishedCallback; }
199     bool shouldDumpResourceLoadCallbacks() const { return m_dumpResourceLoadCallbacks; }
200     bool shouldDumpResourceResponseMIMETypes() const { return m_dumpResourceResponseMIMETypes; }
201     bool shouldDumpWillCacheResponse() const { return m_dumpWillCacheResponse; }
202     bool shouldDumpApplicationCacheDelegateCallbacks() const { return m_dumpApplicationCacheDelegateCallbacks; }
203     bool shouldDumpDatabaseCallbacks() const { return m_dumpDatabaseCallbacks; }
204     bool shouldDumpSelectionRect() const { return m_dumpSelectionRect; }
205     bool shouldDumpPolicyCallbacks() const { return m_dumpPolicyCallbacks; }
206
207     bool isPolicyDelegateEnabled() const { return m_policyDelegateEnabled; }
208     bool isPolicyDelegatePermissive() const { return m_policyDelegatePermissive; }
209
210     bool waitToDump() const { return m_waitToDump; }
211     void waitToDumpWatchdogTimerFired();
212     void invalidateWaitToDumpWatchdogTimer();
213     bool shouldFinishAfterDownload() const { return m_shouldFinishAfterDownload; }
214
215     bool shouldAllowEditing() const { return m_shouldAllowEditing; }
216
217     bool shouldCloseExtraWindowsAfterRunningTest() const { return m_shouldCloseExtraWindows; }
218
219     void evaluateScriptInIsolatedWorld(JSContextRef, unsigned worldID, JSStringRef script);
220     static unsigned worldIDForWorld(WKBundleScriptWorldRef);
221
222     void showWebInspector();
223     void closeWebInspector();
224     void evaluateInWebInspector(JSStringRef script);
225     JSRetainPtr<JSStringRef> inspectorTestStubURL();
226
227     void setPOSIXLocale(JSStringRef);
228
229     bool willSendRequestReturnsNull() const { return m_willSendRequestReturnsNull; }
230     void setWillSendRequestReturnsNull(bool f) { m_willSendRequestReturnsNull = f; }
231     bool willSendRequestReturnsNullOnRedirect() const { return m_willSendRequestReturnsNullOnRedirect; }
232     void setWillSendRequestReturnsNullOnRedirect(bool f) { m_willSendRequestReturnsNullOnRedirect = f; }
233     void setWillSendRequestAddsHTTPBody(JSStringRef body) { m_willSendRequestHTTPBody = toWTFString(toWK(body)); }
234     String willSendRequestHTTPBody() const { return m_willSendRequestHTTPBody; }
235
236     void setTextDirection(JSStringRef);
237
238     void setShouldStayOnPageAfterHandlingBeforeUnload(bool);
239
240     void setDefersLoading(bool);
241
242     void setStopProvisionalFrameLoads() { m_shouldStopProvisionalFrameLoads = true; }
243     bool shouldStopProvisionalFrameLoads() const { return m_shouldStopProvisionalFrameLoads; }
244     
245     bool globalFlag() const { return m_globalFlag; }
246     void setGlobalFlag(bool value) { m_globalFlag = value; }
247
248     double databaseDefaultQuota() const { return m_databaseDefaultQuota; }
249     void setDatabaseDefaultQuota(double quota) { m_databaseDefaultQuota = quota; }
250
251     double databaseMaxQuota() const { return m_databaseMaxQuota; }
252     void setDatabaseMaxQuota(double quota) { m_databaseMaxQuota = quota; }
253
254     void addChromeInputField(JSValueRef);
255     void removeChromeInputField(JSValueRef);
256     void focusWebView(JSValueRef);
257     void setBackingScaleFactor(double, JSValueRef);
258
259     void setWindowIsKey(bool);
260
261     void setViewSize(double width, double height);
262
263     void callAddChromeInputFieldCallback();
264     void callRemoveChromeInputFieldCallback();
265     void callFocusWebViewCallback();
266     void callSetBackingScaleFactorCallback();
267
268     void overridePreference(JSStringRef preference, JSStringRef value);
269
270     // Cookies testing
271     void setAlwaysAcceptCookies(bool);
272     void setCookieStoragePartitioningEnabled(bool);
273
274     // Custom full screen behavior.
275     void setHasCustomFullScreenBehavior(bool value) { m_customFullScreenBehavior = value; }
276     bool hasCustomFullScreenBehavior() const { return m_customFullScreenBehavior; }
277
278     // Web notifications.
279     static void grantWebNotificationPermission(JSStringRef origin);
280     static void denyWebNotificationPermission(JSStringRef origin);
281     static void removeAllWebNotificationPermissions();
282     static void simulateWebNotificationClick(JSValueRef notification);
283
284     // Geolocation.
285     void setGeolocationPermission(bool);
286     void setMockGeolocationPosition(double latitude, double longitude, double accuracy, JSValueRef altitude, JSValueRef altitudeAccuracy, JSValueRef heading, JSValueRef speed);
287     void setMockGeolocationPositionUnavailableError(JSStringRef message);
288     bool isGeolocationProviderActive();
289
290     // MediaStream
291     void setUserMediaPermission(bool);
292     void setUserMediaPersistentPermissionForOrigin(bool permission, JSStringRef origin, JSStringRef parentOrigin);
293     unsigned userMediaPermissionRequestCountForOrigin(JSStringRef origin, JSStringRef parentOrigin) const;
294     void resetUserMediaPermissionRequestCountForOrigin(JSStringRef origin, JSStringRef parentOrigin);
295
296     void setPageVisibility(JSStringRef state);
297     void resetPageVisibility();
298
299     bool callShouldCloseOnWebView();
300
301     void setCustomTimeout(int duration) { m_timeout = duration; }
302
303     // Work queue.
304     void queueBackNavigation(unsigned howFarBackward);
305     void queueForwardNavigation(unsigned howFarForward);
306     void queueLoad(JSStringRef url, JSStringRef target, bool shouldOpenExternalURLs);
307     void queueLoadHTMLString(JSStringRef content, JSStringRef baseURL, JSStringRef unreachableURL);
308     void queueReload();
309     void queueLoadingScript(JSStringRef script);
310     void queueNonLoadingScript(JSStringRef script);
311
312     bool secureEventInputIsEnabled() const;
313
314     JSValueRef failNextNewCodeBlock();
315     JSValueRef numberOfDFGCompiles(JSValueRef theFunction);
316     JSValueRef neverInlineFunction(JSValueRef theFunction);
317
318     bool shouldDecideNavigationPolicyAfterDelay() const { return m_shouldDecideNavigationPolicyAfterDelay; }
319     void setShouldDecideNavigationPolicyAfterDelay(bool);
320     void setNavigationGesturesEnabled(bool);
321     void setIgnoresViewportScaleLimits(bool);
322     void setShouldDownloadUndisplayableMIMETypes(bool);
323
324     void runUIScript(JSStringRef script, JSValueRef callback);
325     void runUIScriptCallback(unsigned callbackID, JSStringRef result);
326
327     void installDidBeginSwipeCallback(JSValueRef);
328     void installWillEndSwipeCallback(JSValueRef);
329     void installDidEndSwipeCallback(JSValueRef);
330     void installDidRemoveSwipeSnapshotCallback(JSValueRef);
331     void callDidBeginSwipeCallback();
332     void callWillEndSwipeCallback();
333     void callDidEndSwipeCallback();
334     void callDidRemoveSwipeSnapshotCallback();
335
336     void clearTestRunnerCallbacks();
337
338     void accummulateLogsForChannel(JSStringRef channel);
339
340     unsigned imageCountInGeneralPasteboard() const;
341
342     // Gamepads
343     void connectMockGamepad(unsigned index);
344     void disconnectMockGamepad(unsigned index);
345     void setMockGamepadDetails(unsigned index, JSStringRef gamepadID, unsigned axisCount, unsigned buttonCount);
346     void setMockGamepadAxisValue(unsigned index, unsigned axisIndex, double value);
347     void setMockGamepadButtonValue(unsigned index, unsigned buttonIndex, double value);
348     
349     // Resource Load Statistics
350     void installStatisticsDidModifyDataRecordsCallback(JSValueRef callback);
351     void statisticsDidModifyDataRecordsCallback();
352     void statisticsFireDataModificationHandler();
353     void statisticsFireShouldPartitionCookiesHandler();
354     void statisticsFireShouldPartitionCookiesHandlerForOneDomain(JSStringRef hostName, bool value);
355     void setStatisticsPrevalentResource(JSStringRef hostName, bool value);
356     bool isStatisticsPrevalentResource(JSStringRef hostName);
357     void setStatisticsHasHadUserInteraction(JSStringRef hostName, bool value);
358     bool isStatisticsHasHadUserInteraction(JSStringRef hostName);
359     void setStatisticsSubframeUnderTopFrameOrigin(JSStringRef hostName, JSStringRef topFrameHostName);
360     void setStatisticsSubresourceUnderTopFrameOrigin(JSStringRef hostName, JSStringRef topFrameHostName);
361     void setStatisticsSubresourceUniqueRedirectTo(JSStringRef hostName, JSStringRef hostNameRedirectedTo);
362     void setStatisticsTimeToLiveUserInteraction(double seconds);
363     void setStatisticsTimeToLiveCookiePartitionFree(double seconds);
364     void setStatisticsNotifyPagesWhenDataRecordsWereScanned(bool);
365     void setStatisticsShouldClassifyResourcesBeforeDataRecordsRemoval(bool);
366     void setStatisticsMinimumTimeBetweeenDataRecordsRemoval(double);
367     void statisticsClearInMemoryAndPersistentStore();
368     void statisticsClearInMemoryAndPersistentStoreModifiedSinceHours(unsigned hours);
369     void statisticsResetToConsistentState();
370
371     // Open panel
372     void setOpenPanelFiles(JSValueRef);
373
374     void terminateNetworkProcess();
375
376 private:
377     TestRunner();
378
379     void platformInitialize();
380     void initializeWaitToDumpWatchdogTimerIfNeeded();
381
382     WKRetainPtr<WKURLRef> m_testURL; // Set by InjectedBundlePage once provisional load starts.
383
384     WhatToDump m_whatToDump;
385     bool m_shouldDumpAllFrameScrollPositions;
386     bool m_shouldDumpBackForwardListsForAllWindows;
387
388     bool m_shouldAllowEditing;
389     bool m_shouldCloseExtraWindows;
390
391     bool m_dumpEditingCallbacks;
392     bool m_dumpStatusCallbacks;
393     bool m_dumpTitleChanges;
394     bool m_dumpPixels;
395     bool m_dumpSelectionRect;
396     bool m_dumpFullScreenCallbacks;
397     bool m_dumpFrameLoadCallbacks;
398     bool m_dumpProgressFinishedCallback;
399     bool m_dumpResourceLoadCallbacks;
400     bool m_dumpResourceResponseMIMETypes;
401     bool m_dumpWillCacheResponse;
402     bool m_dumpApplicationCacheDelegateCallbacks;
403     bool m_dumpDatabaseCallbacks;
404     bool m_dumpPolicyCallbacks { false };
405     bool m_disallowIncreaseForApplicationCacheQuota;
406     bool m_waitToDump; // True if waitUntilDone() has been called, but notifyDone() has not yet been called.
407     bool m_testRepaint;
408     bool m_testRepaintSweepHorizontally;
409     bool m_isPrinting;
410
411     bool m_willSendRequestReturnsNull;
412     bool m_willSendRequestReturnsNullOnRedirect;
413     bool m_shouldStopProvisionalFrameLoads;
414     String m_willSendRequestHTTPBody;
415
416     bool m_policyDelegateEnabled;
417     bool m_policyDelegatePermissive;
418     
419     bool m_globalFlag;
420     bool m_customFullScreenBehavior;
421
422     int m_timeout;
423
424     double m_databaseDefaultQuota;
425     double m_databaseMaxQuota;
426
427     bool m_shouldDecideNavigationPolicyAfterDelay { false };
428     bool m_shouldFinishAfterDownload { false };
429
430     bool m_userStyleSheetEnabled;
431     WKRetainPtr<WKStringRef> m_userStyleSheetLocation;
432
433     WKRetainPtr<WKArrayRef> m_allowedHosts;
434
435     size_t m_userMediaPermissionRequestCount { 0 };
436
437     PlatformTimerRef m_waitToDumpWatchdogTimer;
438 };
439
440 } // namespace WTR