d680c089d78f56fc4e5ab04634cd80eb27331e88
[WebKit-https.git] / Tools / WebKitTestRunner / InjectedBundle / TestRunner.h
1 /*
2  * Copyright (C) 2010-2017 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #pragma once
27
28 #include "JSWrappable.h"
29 #include "StringFunctions.h"
30 #include <JavaScriptCore/JSRetainPtr.h>
31 #include <WebKit/WKBundleScriptWorld.h>
32 #include <WebKit/WKRetainPtr.h>
33 #include <string>
34 #include <wtf/Ref.h>
35 #include <wtf/text/WTFString.h>
36
37 #if PLATFORM(COCOA)
38 #include <wtf/RetainPtr.h>
39 #include <CoreFoundation/CFRunLoop.h>
40 typedef RetainPtr<CFRunLoopTimerRef> PlatformTimerRef;
41 #elif PLATFORM(GTK)
42 #include <wtf/RunLoop.h>
43 namespace WTR {
44 class TestRunner;
45 typedef RunLoop::Timer<TestRunner> PlatformTimerRef;
46 }
47 #elif PLATFORM(EFL)
48 typedef Ecore_Timer* PlatformTimerRef;
49 #endif
50
51 namespace WTR {
52
53 class TestRunner : public JSWrappable {
54 public:
55     static Ref<TestRunner> create();
56     virtual ~TestRunner();
57
58     // JSWrappable
59     virtual JSClassRef wrapperClass();
60
61     void makeWindowObject(JSContextRef, JSObjectRef windowObject, JSValueRef* exception);
62
63     bool isWebKit2() const { return true; }
64
65     // The basics.
66     WKURLRef testURL() const { return m_testURL.get(); }
67     void setTestURL(WKURLRef url) { m_testURL = url; }
68     void dumpAsText(bool dumpPixels);
69     void waitForPolicyDelegate();
70     void dumpChildFramesAsText() { m_whatToDump = AllFramesText; }
71     void waitUntilDownloadFinished();
72     void waitUntilDone();
73     void notifyDone();
74     double preciseTime();
75     double timeout() { return m_timeout; }
76
77     // Other dumping.
78     void dumpBackForwardList() { m_shouldDumpBackForwardListsForAllWindows = true; }
79     void dumpChildFrameScrollPositions() { m_shouldDumpAllFrameScrollPositions = true; }
80     void dumpEditingCallbacks() { m_dumpEditingCallbacks = true; }
81     void dumpSelectionRect() { m_dumpSelectionRect = true; }
82     void dumpStatusCallbacks() { m_dumpStatusCallbacks = true; }
83     void dumpTitleChanges() { m_dumpTitleChanges = true; }
84     void dumpFullScreenCallbacks() { m_dumpFullScreenCallbacks = true; }
85     void dumpFrameLoadCallbacks() { setShouldDumpFrameLoadCallbacks(true); }
86     void dumpProgressFinishedCallback() { setShouldDumpProgressFinishedCallback(true); }
87     void dumpResourceLoadCallbacks() { m_dumpResourceLoadCallbacks = true; }
88     void dumpResourceResponseMIMETypes() { m_dumpResourceResponseMIMETypes = true; }
89     void dumpWillCacheResponse() { m_dumpWillCacheResponse = true; }
90     void dumpApplicationCacheDelegateCallbacks() { m_dumpApplicationCacheDelegateCallbacks = true; }
91     void dumpDatabaseCallbacks() { m_dumpDatabaseCallbacks = true; }
92     void dumpDOMAsWebArchive() { m_whatToDump = DOMAsWebArchive; }
93     void dumpPolicyDelegateCallbacks() { m_dumpPolicyCallbacks = true; }
94
95     void setShouldDumpFrameLoadCallbacks(bool value) { m_dumpFrameLoadCallbacks = value; }
96     void setShouldDumpProgressFinishedCallback(bool value) { m_dumpProgressFinishedCallback = value; }
97
98     // Special options.
99     void keepWebHistory();
100     void setAcceptsEditing(bool value) { m_shouldAllowEditing = value; }
101     void setCanOpenWindows(bool);
102     void setCloseRemainingWindowsWhenComplete(bool value) { m_shouldCloseExtraWindows = value; }
103     void setXSSAuditorEnabled(bool);
104     void setShadowDOMEnabled(bool);
105     void setCustomElementsEnabled(bool);
106     void setModernMediaControlsEnabled(bool);
107     void setWebGL2Enabled(bool);
108     void setWebGPUEnabled(bool);
109     void setFetchAPIEnabled(bool);
110     void setAllowUniversalAccessFromFileURLs(bool);
111     void setAllowFileAccessFromFileURLs(bool);
112     void setNeedsStorageAccessFromFileURLsQuirk(bool);
113     void setPluginsEnabled(bool);
114     void setJavaScriptCanAccessClipboard(bool);
115     void setPrivateBrowsingEnabled(bool);
116     void setUseDashboardCompatibilityMode(bool);
117     void setPopupBlockingEnabled(bool);
118     void setAuthorAndUserStylesEnabled(bool);
119     void setCustomPolicyDelegate(bool enabled, bool permissive = false);
120     void addOriginAccessWhitelistEntry(JSStringRef sourceOrigin, JSStringRef destinationProtocol, JSStringRef destinationHost, bool allowDestinationSubdomains);
121     void removeOriginAccessWhitelistEntry(JSStringRef sourceOrigin, JSStringRef destinationProtocol, JSStringRef destinationHost, bool allowDestinationSubdomains);
122     void setUserStyleSheetEnabled(bool);
123     void setUserStyleSheetLocation(JSStringRef);
124     void setSpatialNavigationEnabled(bool);
125     void setTabKeyCyclesThroughElements(bool);
126     void setSerializeHTTPLoads();
127     void dispatchPendingLoadRequests();
128     void setCacheModel(int);
129     void setAsynchronousSpellCheckingEnabled(bool);
130     void setDownloadAttributeEnabled(bool);
131     void setAllowsAnySSLCertificate(bool);
132     void setEncryptedMediaAPIEnabled(bool);
133     void setSubtleCryptoEnabled(bool);
134     void setMediaStreamEnabled(bool);
135     void setPeerConnectionEnabled(bool);
136
137     // Special DOM functions.
138     void clearBackForwardList();
139     void execCommand(JSStringRef name, JSStringRef argument);
140     bool isCommandEnabled(JSStringRef name);
141     unsigned windowCount();
142
143     // Repaint testing.
144     void testRepaint() { m_testRepaint = true; }
145     void repaintSweepHorizontally() { m_testRepaintSweepHorizontally = true; }
146     void display();
147     
148     // UserContent testing.
149     void addUserScript(JSStringRef source, bool runAtStart, bool allFrames);
150     void addUserStyleSheet(JSStringRef source, bool allFrames);
151
152     // Text search testing.
153     bool findString(JSStringRef, JSValueRef optionsArray);
154
155     // Local storage
156     void clearAllDatabases();
157     void setDatabaseQuota(uint64_t);
158     JSRetainPtr<JSStringRef> pathToLocalResource(JSStringRef);
159
160     // Application Cache
161     void clearAllApplicationCaches();
162     void clearApplicationCacheForOrigin(JSStringRef origin);
163     void setAppCacheMaximumSize(uint64_t);
164     long long applicationCacheDiskUsageForOrigin(JSStringRef origin);
165     void disallowIncreaseForApplicationCacheQuota();
166     bool shouldDisallowIncreaseForApplicationCacheQuota() { return m_disallowIncreaseForApplicationCacheQuota; }
167     JSValueRef originsWithApplicationCache();
168
169     // Printing
170     bool isPageBoxVisible(int pageIndex);
171     bool isPrinting() { return m_isPrinting; }
172     void setPrinting() { m_isPrinting = true; }
173
174     // Authentication
175     void setRejectsProtectionSpaceAndContinueForAuthenticationChallenges(bool);
176     void setHandlesAuthenticationChallenges(bool);
177     void setShouldLogCanAuthenticateAgainstProtectionSpace(bool);
178     void setAuthenticationUsername(JSStringRef);
179     void setAuthenticationPassword(JSStringRef);
180
181     void setValueForUser(JSContextRef, JSValueRef element, JSStringRef value);
182
183     // Audio testing.
184     void setAudioResult(JSContextRef, JSValueRef data);
185
186     void setBlockAllPlugins(bool shouldBlock);
187
188     enum WhatToDump { RenderTree, MainFrameText, AllFramesText, Audio, DOMAsWebArchive };
189     WhatToDump whatToDump() const { return m_whatToDump; }
190
191     bool shouldDumpAllFrameScrollPositions() const { return m_shouldDumpAllFrameScrollPositions; }
192     bool shouldDumpBackForwardListsForAllWindows() const { return m_shouldDumpBackForwardListsForAllWindows; }
193     bool shouldDumpEditingCallbacks() const { return m_dumpEditingCallbacks; }
194     bool shouldDumpMainFrameScrollPosition() const { return m_whatToDump == RenderTree; }
195     bool shouldDumpStatusCallbacks() const { return m_dumpStatusCallbacks; }
196     bool shouldDumpTitleChanges() const { return m_dumpTitleChanges; }
197     bool shouldDumpPixels() const { return m_dumpPixels; }
198     bool shouldDumpFullScreenCallbacks() const { return m_dumpFullScreenCallbacks; }
199     bool shouldDumpFrameLoadCallbacks() const { return m_dumpFrameLoadCallbacks; }
200     bool shouldDumpProgressFinishedCallback() const { return m_dumpProgressFinishedCallback; }
201     bool shouldDumpResourceLoadCallbacks() const { return m_dumpResourceLoadCallbacks; }
202     bool shouldDumpResourceResponseMIMETypes() const { return m_dumpResourceResponseMIMETypes; }
203     bool shouldDumpWillCacheResponse() const { return m_dumpWillCacheResponse; }
204     bool shouldDumpApplicationCacheDelegateCallbacks() const { return m_dumpApplicationCacheDelegateCallbacks; }
205     bool shouldDumpDatabaseCallbacks() const { return m_dumpDatabaseCallbacks; }
206     bool shouldDumpSelectionRect() const { return m_dumpSelectionRect; }
207     bool shouldDumpPolicyCallbacks() const { return m_dumpPolicyCallbacks; }
208
209     bool isPolicyDelegateEnabled() const { return m_policyDelegateEnabled; }
210     bool isPolicyDelegatePermissive() const { return m_policyDelegatePermissive; }
211
212     bool waitToDump() const { return m_waitToDump; }
213     void waitToDumpWatchdogTimerFired();
214     void invalidateWaitToDumpWatchdogTimer();
215     bool shouldFinishAfterDownload() const { return m_shouldFinishAfterDownload; }
216
217     bool shouldAllowEditing() const { return m_shouldAllowEditing; }
218
219     bool shouldCloseExtraWindowsAfterRunningTest() const { return m_shouldCloseExtraWindows; }
220
221     void evaluateScriptInIsolatedWorld(JSContextRef, unsigned worldID, JSStringRef script);
222     static unsigned worldIDForWorld(WKBundleScriptWorldRef);
223
224     void showWebInspector();
225     void closeWebInspector();
226     void evaluateInWebInspector(JSStringRef script);
227     JSRetainPtr<JSStringRef> inspectorTestStubURL();
228
229     void setPOSIXLocale(JSStringRef);
230
231     bool willSendRequestReturnsNull() const { return m_willSendRequestReturnsNull; }
232     void setWillSendRequestReturnsNull(bool f) { m_willSendRequestReturnsNull = f; }
233     bool willSendRequestReturnsNullOnRedirect() const { return m_willSendRequestReturnsNullOnRedirect; }
234     void setWillSendRequestReturnsNullOnRedirect(bool f) { m_willSendRequestReturnsNullOnRedirect = f; }
235     void setWillSendRequestAddsHTTPBody(JSStringRef body) { m_willSendRequestHTTPBody = toWTFString(toWK(body)); }
236     String willSendRequestHTTPBody() const { return m_willSendRequestHTTPBody; }
237
238     void setTextDirection(JSStringRef);
239
240     void setShouldStayOnPageAfterHandlingBeforeUnload(bool);
241
242     void setDefersLoading(bool);
243
244     void setStopProvisionalFrameLoads() { m_shouldStopProvisionalFrameLoads = true; }
245     bool shouldStopProvisionalFrameLoads() const { return m_shouldStopProvisionalFrameLoads; }
246     
247     bool globalFlag() const { return m_globalFlag; }
248     void setGlobalFlag(bool value) { m_globalFlag = value; }
249
250     double databaseDefaultQuota() const { return m_databaseDefaultQuota; }
251     void setDatabaseDefaultQuota(double quota) { m_databaseDefaultQuota = quota; }
252
253     double databaseMaxQuota() const { return m_databaseMaxQuota; }
254     void setDatabaseMaxQuota(double quota) { m_databaseMaxQuota = quota; }
255
256     void addChromeInputField(JSValueRef);
257     void removeChromeInputField(JSValueRef);
258     void focusWebView(JSValueRef);
259     void setBackingScaleFactor(double, JSValueRef);
260
261     void setWindowIsKey(bool);
262
263     void setViewSize(double width, double height);
264
265     void callAddChromeInputFieldCallback();
266     void callRemoveChromeInputFieldCallback();
267     void callFocusWebViewCallback();
268     void callSetBackingScaleFactorCallback();
269
270     void overridePreference(JSStringRef preference, JSStringRef value);
271
272     // Cookies testing
273     void setAlwaysAcceptCookies(bool);
274     void setCookieStoragePartitioningEnabled(bool);
275
276     // Custom full screen behavior.
277     void setHasCustomFullScreenBehavior(bool value) { m_customFullScreenBehavior = value; }
278     bool hasCustomFullScreenBehavior() const { return m_customFullScreenBehavior; }
279
280     // Web notifications.
281     static void grantWebNotificationPermission(JSStringRef origin);
282     static void denyWebNotificationPermission(JSStringRef origin);
283     static void removeAllWebNotificationPermissions();
284     static void simulateWebNotificationClick(JSValueRef notification);
285
286     // Geolocation.
287     void setGeolocationPermission(bool);
288     void setMockGeolocationPosition(double latitude, double longitude, double accuracy, JSValueRef altitude, JSValueRef altitudeAccuracy, JSValueRef heading, JSValueRef speed);
289     void setMockGeolocationPositionUnavailableError(JSStringRef message);
290     bool isGeolocationProviderActive();
291
292     // MediaStream
293     void setUserMediaPermission(bool);
294     void setUserMediaPersistentPermissionForOrigin(bool permission, JSStringRef origin, JSStringRef parentOrigin);
295     unsigned userMediaPermissionRequestCountForOrigin(JSStringRef origin, JSStringRef parentOrigin) const;
296     void resetUserMediaPermissionRequestCountForOrigin(JSStringRef origin, JSStringRef parentOrigin);
297
298     void setPageVisibility(JSStringRef state);
299     void resetPageVisibility();
300
301     bool callShouldCloseOnWebView();
302
303     void setCustomTimeout(int duration) { m_timeout = duration; }
304
305     // Work queue.
306     void queueBackNavigation(unsigned howFarBackward);
307     void queueForwardNavigation(unsigned howFarForward);
308     void queueLoad(JSStringRef url, JSStringRef target, bool shouldOpenExternalURLs);
309     void queueLoadHTMLString(JSStringRef content, JSStringRef baseURL, JSStringRef unreachableURL);
310     void queueReload();
311     void queueLoadingScript(JSStringRef script);
312     void queueNonLoadingScript(JSStringRef script);
313
314     bool secureEventInputIsEnabled() const;
315
316     JSValueRef failNextNewCodeBlock();
317     JSValueRef numberOfDFGCompiles(JSValueRef theFunction);
318     JSValueRef neverInlineFunction(JSValueRef theFunction);
319
320     bool shouldDecideNavigationPolicyAfterDelay() const { return m_shouldDecideNavigationPolicyAfterDelay; }
321     void setShouldDecideNavigationPolicyAfterDelay(bool);
322     void setNavigationGesturesEnabled(bool);
323     void setIgnoresViewportScaleLimits(bool);
324     void setShouldDownloadUndisplayableMIMETypes(bool);
325
326     void runUIScript(JSStringRef script, JSValueRef callback);
327     void runUIScriptCallback(unsigned callbackID, JSStringRef result);
328
329     void installDidBeginSwipeCallback(JSValueRef);
330     void installWillEndSwipeCallback(JSValueRef);
331     void installDidEndSwipeCallback(JSValueRef);
332     void installDidRemoveSwipeSnapshotCallback(JSValueRef);
333     void callDidBeginSwipeCallback();
334     void callWillEndSwipeCallback();
335     void callDidEndSwipeCallback();
336     void callDidRemoveSwipeSnapshotCallback();
337
338     void clearTestRunnerCallbacks();
339
340     void accummulateLogsForChannel(JSStringRef channel);
341
342     unsigned imageCountInGeneralPasteboard() const;
343
344     // Gamepads
345     void connectMockGamepad(unsigned index);
346     void disconnectMockGamepad(unsigned index);
347     void setMockGamepadDetails(unsigned index, JSStringRef gamepadID, unsigned axisCount, unsigned buttonCount);
348     void setMockGamepadAxisValue(unsigned index, unsigned axisIndex, double value);
349     void setMockGamepadButtonValue(unsigned index, unsigned buttonIndex, double value);
350     
351     // Resource Load Statistics
352     void installStatisticsDidModifyDataRecordsCallback(JSValueRef callback);
353     void statisticsDidModifyDataRecordsCallback();
354     void statisticsFireDataModificationHandler();
355     void statisticsFireShouldPartitionCookiesHandler(JSStringRef hostName, bool value);
356     void setStatisticsPrevalentResource(JSStringRef hostName, bool value);
357     bool isStatisticsPrevalentResource(JSStringRef hostName);
358     void setStatisticsHasHadUserInteraction(JSStringRef hostName, bool value);
359     bool isStatisticsHasHadUserInteraction(JSStringRef hostName);
360     void setStatisticsSubframeUnderTopFrameOrigin(JSStringRef hostName, JSStringRef topFrameHostName);
361     void setStatisticsSubresourceUnderTopFrameOrigin(JSStringRef hostName, JSStringRef topFrameHostName);
362     void setStatisticsSubresourceUniqueRedirectTo(JSStringRef hostName, JSStringRef hostNameRedirectedTo);
363     void setStatisticsTimeToLiveUserInteraction(double seconds);
364     void setStatisticsNotifyPagesWhenDataRecordsWereScanned(bool);
365     void setStatisticsShouldClassifyResourcesBeforeDataRecordsRemoval(bool);
366     void setStatisticsMinimumTimeBetweeenDataRecordsRemoval(double);
367     void statisticsClearInMemoryAndPersistentStore();
368     void statisticsResetToConsistentState();
369
370     // Open panel
371     void setOpenPanelFiles(JSValueRef);
372
373 private:
374     TestRunner();
375
376     void platformInitialize();
377     void initializeWaitToDumpWatchdogTimerIfNeeded();
378
379     WKRetainPtr<WKURLRef> m_testURL; // Set by InjectedBundlePage once provisional load starts.
380
381     WhatToDump m_whatToDump;
382     bool m_shouldDumpAllFrameScrollPositions;
383     bool m_shouldDumpBackForwardListsForAllWindows;
384
385     bool m_shouldAllowEditing;
386     bool m_shouldCloseExtraWindows;
387
388     bool m_dumpEditingCallbacks;
389     bool m_dumpStatusCallbacks;
390     bool m_dumpTitleChanges;
391     bool m_dumpPixels;
392     bool m_dumpSelectionRect;
393     bool m_dumpFullScreenCallbacks;
394     bool m_dumpFrameLoadCallbacks;
395     bool m_dumpProgressFinishedCallback;
396     bool m_dumpResourceLoadCallbacks;
397     bool m_dumpResourceResponseMIMETypes;
398     bool m_dumpWillCacheResponse;
399     bool m_dumpApplicationCacheDelegateCallbacks;
400     bool m_dumpDatabaseCallbacks;
401     bool m_dumpPolicyCallbacks { false };
402     bool m_disallowIncreaseForApplicationCacheQuota;
403     bool m_waitToDump; // True if waitUntilDone() has been called, but notifyDone() has not yet been called.
404     bool m_testRepaint;
405     bool m_testRepaintSweepHorizontally;
406     bool m_isPrinting;
407
408     bool m_willSendRequestReturnsNull;
409     bool m_willSendRequestReturnsNullOnRedirect;
410     bool m_shouldStopProvisionalFrameLoads;
411     String m_willSendRequestHTTPBody;
412
413     bool m_policyDelegateEnabled;
414     bool m_policyDelegatePermissive;
415     
416     bool m_globalFlag;
417     bool m_customFullScreenBehavior;
418
419     int m_timeout;
420
421     double m_databaseDefaultQuota;
422     double m_databaseMaxQuota;
423
424     bool m_shouldDecideNavigationPolicyAfterDelay { false };
425     bool m_shouldFinishAfterDownload { false };
426
427     bool m_userStyleSheetEnabled;
428     WKRetainPtr<WKStringRef> m_userStyleSheetLocation;
429
430     WKRetainPtr<WKArrayRef> m_allowedHosts;
431
432     size_t m_userMediaPermissionRequestCount { 0 };
433
434     PlatformTimerRef m_waitToDumpWatchdogTimer;
435 };
436
437 } // namespace WTR