Tools/WebKitTestRunner/TestInvocation.h

   1 /*
   2  * Copyright (C) 2010 Apple Inc. All rights reserved.
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1. Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2. Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
  14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
  17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  23  * THE POSSIBILITY OF SUCH DAMAGE.
  24  */
  25
  26 #ifndef TestInvocation_h
  27 #define TestInvocation_h
  28
  29 #include "JSWrappable.h"
  30 #include "TestOptions.h"
  31 #include "UIScriptContext.h"
  32 #include "WhatToDump.h"
  33 #include <WebKit/WKRetainPtr.h>
  34 #include <string>
  35 #include <wtf/Noncopyable.h>
  36 #include <wtf/Seconds.h>
  37 #include <wtf/text/StringBuilder.h>
  38
  39 namespace WTR {
  40
  41 class TestInvocation final : public UIScriptContextDelegate {
  42     WTF_MAKE_NONCOPYABLE(TestInvocation);
  43 public:
  44     explicit TestInvocation(WKURLRef, const TestOptions&);
  45     ~TestInvocation();
  46
  47     WKURLRef url() const;
  48     bool urlContains(const char*) const;
  49
  50     const TestOptions& options() const { return m_options; }
  51
  52     void setIsPixelTest(const std::string& expectedPixelHash);
  53
  54     void setCustomTimeout(WTF::Seconds duration) { m_timeout = duration; }
  55     void setDumpJSConsoleLogInStdErr(bool value) { m_dumpJSConsoleLogInStdErr = value; }
  56
  57     WTF::Seconds shortTimeout() const;
  58
  59     void invoke();
  60     void didReceiveMessageFromInjectedBundle(WKStringRef messageName, WKTypeRef messageBody);
  61     WKRetainPtr<WKTypeRef> didReceiveSynchronousMessageFromInjectedBundle(WKStringRef messageName, WKTypeRef messageBody);
  62
  63     static void dumpWebProcessUnresponsiveness(const char* errorMessage);
  64     void outputText(const WTF::String&);
  65
  66     void didBeginSwipe();
  67     void willEndSwipe();
  68     void didEndSwipe();
  69     void didRemoveSwipeSnapshot();
  70
  71     void notifyDownloadDone();
  72
  73     void didClearStatisticsThroughWebsiteDataRemoval();
  74     void didResetStatisticsToConsistentState();
  75     void didSetBlockCookiesForHost();
  76     void didSetStatisticsDebugMode();
  77     void didSetPrevalentResourceForDebugMode();
  78     void didSetLastSeen();
  79     void didSetPrevalentResource();
  80     void didSetVeryPrevalentResource();
  81     void didSetHasHadUserInteraction();
  82     void didReceiveAllStorageAccessEntries(Vector<String>& domains);
  83
  84     void didRemoveAllSessionCredentials();
  85
  86     void dumpResourceLoadStatistics();
  87
  88     bool canOpenWindows() const { return m_canOpenWindows; }
  89
  90 private:
  91     WKRetainPtr<WKMutableDictionaryRef> createTestSettingsDictionary();
  92
  93     void dumpResults();
  94     static void dump(const char* textToStdout, const char* textToStderr = 0, bool seenError = false);
  95     enum class SnapshotResultType { WebView, WebContents };
  96     void dumpPixelsAndCompareWithExpected(SnapshotResultType, WKArrayRef repaintRects, WKImageRef = nullptr);
  97     void dumpAudio(WKDataRef);
  98     bool compareActualHashToExpectedAndDumpResults(const char[33]);
  99
 100     static void forceRepaintDoneCallback(WKErrorRef, void* context);
 101
 102     struct UIScriptInvocationData {
 103         unsigned callbackID;
 104         WebKit::WKRetainPtr<WKStringRef> scriptString;
 105         TestInvocation* testInvocation;
 106     };
 107     static void runUISideScriptAfterUpdateCallback(WKErrorRef, void* context);
 108
 109     bool shouldLogHistoryClientCallbacks() const;
 110
 111     void runUISideScript(WKStringRef, unsigned callbackID);
 112     // UIScriptContextDelegate
 113     void uiScriptDidComplete(const String& result, unsigned callbackID) override;
 114
 115     const TestOptions m_options;
 116
 117     WKRetainPtr<WKURLRef> m_url;
 118     WTF::String m_urlString;
 119
 120     std::string m_expectedPixelHash;
 121
 122     WTF::Seconds m_timeout;
 123     bool m_dumpJSConsoleLogInStdErr { false };
 124
 125     // Invocation state
 126     bool m_startedTesting { false };
 127     bool m_gotInitialResponse { false };
 128     bool m_gotFinalMessage { false };
 129     bool m_gotRepaint { false };
 130     bool m_error { false };
 131
 132     bool m_waitUntilDone { false };
 133     bool m_dumpFrameLoadCallbacks { false };
 134     bool m_dumpPixels { false };
 135     bool m_pixelResultIsPending { false };
 136     bool m_shouldDumpResourceLoadStatistics { false };
 137     bool m_canOpenWindows { false };
 138     WhatToDump m_whatToDump { WhatToDump::RenderTree };
 139
 140     StringBuilder m_textOutput;
 141     String m_savedResourceLoadStatistics;
 142     WKRetainPtr<WKDataRef> m_audioResult;
 143     WKRetainPtr<WKImageRef> m_pixelResult;
 144     WKRetainPtr<WKArrayRef> m_repaintRects;
 145
 146     std::unique_ptr<UIScriptContext> m_UIScriptContext;
 147     UIScriptInvocationData* m_pendingUIScriptInvocationData { nullptr };
 148 };
 149
 150 } // namespace WTR
 151
 152 #endif // TestInvocation_h