Ensure old tab state is cleared between iterations of run-benchmark
[WebKit-https.git] / Tools / Scripts / compare-webkit-configurations
1 #!/usr/bin/env python
2
3 # Copyright (C) 2013 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 # 1. Redistributions of source code must retain the above copyright
9 #    notice, this list of conditions and the following disclaimer.
10 # 2. Redistributions in binary form must reproduce the above copyright
11 #    notice, this list of conditions and the following disclaimer in the
12 #    documentation and/or other materials provided with the distribution.
13 #
14 # THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
15 # AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
16 # THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17 # PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
18 # BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
19 # CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
20 # SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
21 # INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
22 # CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
23 # ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
24 # THE POSSIBILITY OF SUCH DAMAGE.
25
26 import argparse
27 import subprocess
28 import sys
29 import tempfile
30
31 def main():
32     parser = argparse.ArgumentParser(description="Compare layout test results between two configurations of WebKit.")
33
34     parser.add_argument("--comparison", action="store", choices=["remote-layer-tree", "accelerated-drawing", "webkit2"], required=True, help="configuration to test")
35     parser.add_argument("-2", "--webkit2", action="store_true", default=False, help="use WebKit2 always (some configurations may force this)")
36     parser.add_argument('tests', metavar='TESTS', type=str, help='list of LayoutTest subdirectories to run', default=None, nargs="*")
37
38     args = parser.parse_args()
39
40     force_webkit2 = args.webkit2
41     if args.comparison == "remote-layer-tree":
42         print "Forcing use of WebKit2, as the remote layer tree depends on WebKit2."
43         force_webkit2 = True
44
45     if args.comparison == "webkit2" and force_webkit2:
46         print "It doesn't make sense to test WebKit1 vs. WebKit2 *and* force WebKit2 on."
47         sys.exit(1)
48
49     configuration_flag = flag_for_comparison(args.comparison)
50
51     results_directory = tempfile.mkdtemp(prefix="webkit-comparison-results-", suffix="-" + args.comparison)
52
53     # Run first in the default configuration, generating new baselines, then run
54     # again against those results in the configuration being tested.
55     run_webkit_tests(tests=args.tests, results_directory=results_directory, use_webkit2=force_webkit2, additional_arguments=["--no-show-results", "--new-baseline"])
56     run_webkit_tests(tests=args.tests, results_directory=results_directory, additional_arguments=[configuration_flag], use_webkit2=force_webkit2)
57
58 def flag_for_comparison(comparison_name):
59     if comparison_name == "remote-layer-tree":
60         return "--remote-layer-tree"
61     if comparison_name == "accelerated-drawing":
62         return "--accelerated-drawing"
63     if comparison_name == "webkit2":
64         return "-2"
65
66     print "Unknown comparison:", comparison_name
67     sys.exit(1)
68
69 def run_webkit_tests(tests, results_directory, use_webkit2, additional_arguments=[]):
70     if use_webkit2:
71         use_webkit2_arguments = ["-2"]
72     else:
73         use_webkit2_arguments = []
74
75     subprocess.call(["run-webkit-tests", "-p", "--force", "--treat-ref-tests-as-pixel-tests", "--additional-platform-directory=" + results_directory, "--run-singly", "--no-retry-failures"] + use_webkit2_arguments + additional_arguments + tests)
76
77 if __name__ == '__main__':
78     main()