4bf7f44ca1bd5ab1b36b0468e7606298ff35115a
[WebKit-https.git] / Tools / Scripts / webkitpy / layout_tests / run_webkit_tests.py
1 # Copyright (C) 2010 Google Inc. All rights reserved.
2 # Copyright (C) 2010 Gabor Rapcsanyi (rgabor@inf.u-szeged.hu), University of Szeged
3 # Copyright (C) 2011, 2016 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions are
7 # met:
8 #
9 #     * Redistributions of source code must retain the above copyright
10 # notice, this list of conditions and the following disclaimer.
11 #     * Redistributions in binary form must reproduce the above
12 # copyright notice, this list of conditions and the following disclaimer
13 # in the documentation and/or other materials provided with the
14 # distribution.
15 #     * Neither the name of Google Inc. nor the names of its
16 # contributors may be used to endorse or promote products derived from
17 # this software without specific prior written permission.
18 #
19 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30
31 from __future__ import print_function
32 import logging
33 import optparse
34 import os
35 import sys
36 import traceback
37
38 from webkitpy.common.host import Host
39 from webkitpy.layout_tests.controllers.manager import Manager
40 from webkitpy.layout_tests.models.test_run_results import INTERRUPTED_EXIT_STATUS
41 from webkitpy.port import configuration_options, platform_options
42 from webkitpy.layout_tests.views import buildbot_results
43 from webkitpy.layout_tests.views import printing
44
45
46 _log = logging.getLogger(__name__)
47
48
49 # This is a randomly chosen exit code that can be tested against to
50 # indicate that an unexpected exception occurred.
51 EXCEPTIONAL_EXIT_STATUS = 254
52
53
54 def main(argv, stdout, stderr):
55     options, args = parse_args(argv)
56
57     if options.platform and 'test' in options.platform:
58         # It's a bit lame to import mocks into real code, but this allows the user
59         # to run tests against the test platform interactively, which is useful for
60         # debugging test failures.
61         from webkitpy.common.host_mock import MockHost
62         host = MockHost()
63     else:
64         host = Host()
65
66     if options.lint_test_files:
67         from webkitpy.layout_tests.lint_test_expectations import lint
68         return lint(host, options, stderr)
69
70     try:
71         port = host.port_factory.get(options.platform, options)
72     except NotImplementedError as e:
73         # FIXME: is this the best way to handle unsupported port names?
74         print(str(e), file=stderr)
75         return EXCEPTIONAL_EXIT_STATUS
76
77     if options.print_expectations:
78         return _print_expectations(port, options, args, stderr)
79
80     try:
81         # Force all tests to use a smaller stack so that stack overflow tests can run faster.
82         stackSizeInBytes = int(1.5 * 1024 * 1024)
83         options.additional_env_var.append('JSC_maxPerThreadStackUsage=' + str(stackSizeInBytes))
84         options.additional_env_var.append('__XPC_JSC_maxPerThreadStackUsage=' + str(stackSizeInBytes))
85         run_details = run(port, options, args, stderr)
86         if run_details.exit_code != -1 and not run_details.initial_results.keyboard_interrupted:
87             bot_printer = buildbot_results.BuildBotPrinter(stdout, options.debug_rwt_logging)
88             bot_printer.print_results(run_details)
89
90         return run_details.exit_code
91     # We still need to handle KeyboardInterrupt, at least for webkitpy unittest cases.
92     except KeyboardInterrupt:
93         return INTERRUPTED_EXIT_STATUS
94     except BaseException as e:
95         if isinstance(e, Exception):
96             print('\n%s raised: %s' % (e.__class__.__name__, str(e)), file=stderr)
97             traceback.print_exc(file=stderr)
98         return EXCEPTIONAL_EXIT_STATUS
99
100
101 def parse_args(args):
102     option_group_definitions = []
103
104     option_group_definitions.append(("Platform options", platform_options()))
105     option_group_definitions.append(("Configuration options", configuration_options()))
106     option_group_definitions.append(("Printing Options", printing.print_options()))
107
108     option_group_definitions.append(("Feature Switches", [
109         optparse.make_option("--complex-text", action="store_true", default=False,
110             help="Use the complex text code path for all text (OS X and Windows only)"),
111         optparse.make_option("--accelerated-drawing", action="store_true", default=False,
112             help="Use accelerated drawing (OS X only)"),
113         optparse.make_option("--remote-layer-tree", action="store_true", default=False,
114             help="Use the remote layer tree drawing model (OS X WebKit2 only)"),
115     ]))
116
117     option_group_definitions.append(("WebKit Options", [
118         optparse.make_option("--gc-between-tests", action="store_true", default=False,
119             help="Force garbage collection between each test"),
120         optparse.make_option("-l", "--leaks", action="store_true", default=False,
121             help="Enable leaks checking (OS X and Gtk+ only)"),
122         optparse.make_option("-g", "--guard-malloc", action="store_true", default=False,
123             help="Enable Guard Malloc (OS X only)"),
124         optparse.make_option("--threaded", action="store_true", default=False,
125             help="Run a concurrent JavaScript thread with each test"),
126         optparse.make_option("--dump-render-tree", "-1", action="store_false", default=True, dest="webkit_test_runner",
127             help="Use DumpRenderTree rather than WebKitTestRunner."),
128         # FIXME: We should merge this w/ --build-directory and only have one flag.
129         optparse.make_option("--root", action="store",
130             help="Path to a directory containing the executables needed to run tests."),
131     ]))
132
133     option_group_definitions.append(("Results Options", [
134         optparse.make_option("-p", "--pixel", "--pixel-tests", action="store_true",
135             dest="pixel_tests", help="Enable pixel-to-pixel PNG comparisons"),
136         optparse.make_option("--no-pixel", "--no-pixel-tests", action="store_false",
137             dest="pixel_tests", help="Disable pixel-to-pixel PNG comparisons"),
138         optparse.make_option("--no-sample-on-timeout", action="store_false", default=True,
139             dest="sample_on_timeout", help="Don't run sample on timeout (OS X only)"),
140         optparse.make_option("--no-ref-tests", action="store_true",
141             dest="no_ref_tests", help="Skip all ref tests"),
142         optparse.make_option("--tolerance",
143             help="Ignore image differences less than this percentage (some "
144                 "ports may ignore this option)", type="float"),
145         optparse.make_option("--results-directory", help="Location of test results"),
146         optparse.make_option("--build-directory",
147             help="Path to the directory under which build files are kept (should not include configuration)"),
148         optparse.make_option("--add-platform-exceptions", action="store_true", default=False,
149             help="Save generated results into the *most-specific-platform* directory rather than the *generic-platform* directory"),
150         optparse.make_option("--new-baseline", action="store_true",
151             default=False, help="Save generated results as new baselines "
152                  "into the *most-specific-platform* directory, overwriting whatever's "
153                  "already there. Equivalent to --reset-results --add-platform-exceptions"),
154         optparse.make_option("--reset-results", action="store_true",
155             default=False, help="Reset expectations to the "
156                  "generated results in their existing location."),
157         optparse.make_option("--no-new-test-results", action="store_false",
158             dest="new_test_results", default=True,
159             help="Don't create new baselines when no expected results exist"),
160         optparse.make_option("--treat-ref-tests-as-pixel-tests", action="store_true", default=False,
161             help="Run ref tests, but treat them as if they were traditional pixel tests"),
162
163         #FIXME: we should support a comma separated list with --pixel-test-directory as well.
164         optparse.make_option("--pixel-test-directory", action="append", default=[], dest="pixel_test_directories",
165             help="A directory where it is allowed to execute tests as pixel tests. "
166                  "Specify multiple times to add multiple directories. "
167                  "This option implies --pixel-tests. If specified, only those tests "
168                  "will be executed as pixel tests that are located in one of the "
169                  "directories enumerated with the option. Some ports may ignore this "
170                  "option while others can have a default value that can be overridden here."),
171
172         optparse.make_option("--skip-failing-tests", action="store_true",
173             default=False, help="Skip tests that are expected to fail. "
174                  "Note: When using this option, you might miss new crashes "
175                  "in these tests."),
176         optparse.make_option("--additional-drt-flag", action="append",
177             default=[], help="Additional command line flag to pass to DumpRenderTree "
178                  "Specify multiple times to add multiple flags."),
179         optparse.make_option("--driver-name", type="string",
180             help="Alternative DumpRenderTree binary to use"),
181         optparse.make_option("--additional-platform-directory", action="append",
182             default=[], help="Additional directory where to look for test "
183                  "baselines (will take precendence over platform baselines). "
184                  "Specify multiple times to add multiple search path entries."),
185         optparse.make_option("--additional-expectations", action="append", default=[],
186             help="Path to a test_expectations file that will override previous expectations. "
187                  "Specify multiple times for multiple sets of overrides."),
188         optparse.make_option("--compare-port", action="store", default=None,
189             help="Use the specified port's baselines first"),
190         optparse.make_option("--no-show-results", action="store_false",
191             default=True, dest="show_results",
192             help="Don't launch a browser with results after the tests "
193                  "are done"),
194         optparse.make_option("--full-results-html", action="store_true",
195             default=False,
196             help="Show all failures in results.html, rather than only regressions"),
197         optparse.make_option("--clobber-old-results", action="store_true",
198             default=False, help="Clobbers test results from previous runs."),
199         optparse.make_option("--http", action="store_true", dest="http",
200             default=True, help="Run HTTP and WebSocket tests (default)"),
201         optparse.make_option("--no-http", action="store_false", dest="http",
202             help="Don't run HTTP and WebSocket tests"),
203         optparse.make_option("--no-http-servers", action="store_false", dest="start_http_servers_if_needed",
204             default=True, help="Don't start HTTP servers"),
205         optparse.make_option("--ignore-metrics", action="store_true", dest="ignore_metrics",
206             default=False, help="Ignore rendering metrics related information from test "
207             "output, only compare the structure of the rendertree."),
208         optparse.make_option("--nocheck-sys-deps", action="store_true",
209             default=False,
210             help="Don't check the system dependencies (themes)"),
211         optparse.make_option("--java", action="store_true",
212             default=False,
213             help="Build java support files"),
214         optparse.make_option("--layout-tests-directory", action="store", default=None,
215             help="Override the default layout test directory.", dest="layout_tests_dir")
216     ]))
217
218     option_group_definitions.append(("Testing Options", [
219         optparse.make_option("--build", dest="build",
220             action="store_true", default=True,
221             help="Check to ensure the DumpRenderTree build is up-to-date "
222                  "(default)."),
223         optparse.make_option("--no-build", dest="build",
224             action="store_false", help="Don't check to see if the "
225                                        "DumpRenderTree build is up-to-date."),
226         optparse.make_option("-n", "--dry-run", action="store_true",
227             default=False,
228             help="Do everything but actually run the tests or upload results."),
229         optparse.make_option("--wrapper",
230             help="wrapper command to insert before invocations of "
231                  "DumpRenderTree or WebKitTestRunner; option is split on whitespace before "
232                  "running. (Example: --wrapper='valgrind --smc-check=all')"),
233         optparse.make_option("-i", "--ignore-tests", action="append", default=[],
234             help="directories or test to ignore (may specify multiple times)"),
235         optparse.make_option("--test-list", action="append",
236             help="read list of tests to run from file", metavar="FILE"),
237         optparse.make_option("--skipped", action="store", default="default",
238             help=("control how tests marked SKIP are run. "
239                  "'default' == Skip tests unless explicitly listed on the command line, "
240                  "'ignore' == Run them anyway, "
241                  "'only' == only run the SKIP tests, "
242                  "'always' == always skip, even if listed on the command line.")),
243         optparse.make_option("--force", action="store_true", default=False,
244             help="Run all tests with PASS as expected result, even those marked SKIP in the test list or " + \
245                  "those which are device-specific (implies --skipped=ignore)"),
246         optparse.make_option("--time-out-ms",
247             help="Set the timeout for each test"),
248         optparse.make_option("--order", action="store", default="natural",
249             help=("determine the order in which the test cases will be run. "
250                   "'none' == use the order in which the tests were listed either in arguments or test list, "
251                   "'natural' == use the natural order (default), "
252                   "'random' == randomize the test order.")),
253         optparse.make_option("--run-chunk",
254             help=("Run a specified chunk (n:l), the nth of len l, "
255                  "of the layout tests")),
256         optparse.make_option("--run-part", help=("Run a specified part (n:m), "
257                   "the nth of m parts, of the layout tests")),
258         optparse.make_option("--batch-size",
259             help=("Run a the tests in batches (n), after every n tests, "
260                   "DumpRenderTree is relaunched."), type="int", default=None),
261         optparse.make_option("--run-singly", action="store_true",
262             default=False, help="run a separate DumpRenderTree for each test (implies --verbose)"),
263         optparse.make_option("--child-processes",
264             help="Number of DumpRenderTrees to run in parallel."),
265         # FIXME: Display default number of child processes that will run.
266         optparse.make_option("-f", "--fully-parallel", action="store_true",
267             help="run all tests in parallel"),
268         optparse.make_option("--exit-after-n-failures", type="int", default=None,
269             help="Exit after the first N failures instead of running all "
270             "tests"),
271         optparse.make_option("--exit-after-n-crashes-or-timeouts", type="int",
272             default=None, help="Exit after the first N crashes instead of "
273             "running all tests"),
274         optparse.make_option("--iterations", type="int", default=1, help="Number of times to run the set of tests (e.g. ABCABCABC)"),
275         optparse.make_option("--repeat-each", type="int", default=1, help="Number of times to run each test (e.g. AAABBBCCC)"),
276         optparse.make_option("--retry-failures", action="store_true",
277             default=True,
278             help="Re-try any tests that produce unexpected results (default)"),
279         optparse.make_option("--no-retry-failures", action="store_false",
280             dest="retry_failures",
281             help="Don't re-try any tests that produce unexpected results."),
282         optparse.make_option("--max-locked-shards", type="int", default=0,
283             help="Set the maximum number of locked shards"),
284         optparse.make_option("--additional-env-var", type="string", action="append", default=[],
285             help="Passes that environment variable to the tests (--additional-env-var=NAME=VALUE)"),
286         optparse.make_option("--profile", action="store_true",
287             help="Output per-test profile information."),
288         optparse.make_option("--profiler", action="store",
289             help="Output per-test profile information, using the specified profiler."),
290         optparse.make_option("--no-timeout", action="store_true", default=False, help="Disable test timeouts"),
291         optparse.make_option('--display-server', choices=['xvfb', 'xorg', 'weston', 'wayland'], default='xvfb',
292             help='"xvfb": Use a virtualized X11 server. "xorg": Use the current X11 session. '
293                  '"weston": Use a virtualized Weston server. "wayland": Use the current wayland session.'),
294         optparse.make_option("--world-leaks", action="store_true", default=False, help="Check for world leaks (currently, only documents). Differs from --leaks in that this uses internal instrumentation, rather than external tools."),
295     ]))
296
297     option_group_definitions.append(("iOS Options", [
298         optparse.make_option('--no-install', action='store_const', const=False, default=True, dest='install',
299             help='Skip install step for device and simulator testing'),
300         optparse.make_option('--version', help='Specify the version of iOS to be used. By default, this will adopt the runtime for iOS Simulator.'),
301         optparse.make_option('--device-type', help='iOS Simulator device type identifier (default: i386 -> iPhone 5, x86_64 -> iPhone SE)'),
302         optparse.make_option('--dedicated-simulators', action="store_true", default=False,
303             help="If set, dedicated iOS simulators will always be created.  If not set, the script will attempt to use any currently running simulator."),
304         optparse.make_option('--show-touches', action="store_true", default=False, help="If set, a small dot will be shown where the generated touches are. Helpful for debugging touch tests."),
305     ]))
306
307     option_group_definitions.append(("Miscellaneous Options", [
308         optparse.make_option("--lint-test-files", action="store_true",
309         default=False, help=("Makes sure the test files parse for all "
310                             "configurations. Does not run any tests.")),
311         optparse.make_option("--print-expectations", action="store_true",
312         default=False, help=("Print the expected outcome for the given test, or all tests listed in TestExpectations. "
313                             "Does not run any tests.")),
314     ]))
315
316     option_group_definitions.append(("Web Platform Test Server Options", [
317         optparse.make_option("--wptserver-doc-root", type="string", help=("Set web platform server document root, relative to LayoutTests directory")),
318     ]))
319
320     # FIXME: Move these into json_results_generator.py
321     option_group_definitions.append(("Result JSON Options", [
322         optparse.make_option("--master-name", help="The name of the buildbot master."),
323         optparse.make_option("--builder-name", default="",
324             help=("The name of the builder shown on the waterfall running this script. e.g. Apple MountainLion Release WK2 (Tests).")),
325         optparse.make_option("--build-name", default="DUMMY_BUILD_NAME",
326             help=("The name of the builder used in its path, e.g. webkit-rel.")),
327         optparse.make_option("--build-slave", default="DUMMY_BUILD_SLAVE",
328             help=("The name of the buildslave used. e.g. apple-macpro-6.")),
329         optparse.make_option("--build-number", default="DUMMY_BUILD_NUMBER",
330             help=("The build number of the builder running this script.")),
331         optparse.make_option("--test-results-server", action="append", default=[],
332             help=("If specified, upload results json files to this appengine server.")),
333         optparse.make_option("--results-server-host", action="append", default=[],
334             help=("If specified, upload results JSON file to this results server.")),
335         optparse.make_option("--additional-repository-name",
336             help=("The name of an additional subversion or git checkout")),
337         optparse.make_option("--additional-repository-path",
338             help=("The path to an additional subversion or git checkout (requires --additional-repository-name)")),
339         optparse.make_option("--allowed-host", type="string", action="append", default=[],
340             help=("If specified, tests are allowed to make requests to the specified hostname."))
341     ]))
342
343     option_parser = optparse.OptionParser(usage="%prog [options] [<path>...]")
344
345     for group_name, group_options in option_group_definitions:
346         option_group = optparse.OptionGroup(option_parser, group_name)
347         option_group.add_options(group_options)
348         option_parser.add_option_group(option_group)
349
350     return option_parser.parse_args(args)
351
352
353 def _print_expectations(port, options, args, logging_stream):
354     logger = logging.getLogger()
355     logger.setLevel(logging.DEBUG if options.debug_rwt_logging else logging.INFO)
356     try:
357         printer = printing.Printer(port, options, logging_stream, logger=logger)
358
359         _set_up_derived_options(port, options)
360         manager = Manager(port, options, printer)
361
362         exit_code = manager.print_expectations(args)
363         _log.debug("Printing expectations completed, Exit status: %d", exit_code)
364         return exit_code
365     except Exception as error:
366         _log.error('Error printing expectations: {}'.format(error))
367     finally:
368         printer.cleanup()
369         return -1
370
371
372 def _set_up_derived_options(port, options):
373     """Sets the options values that depend on other options values."""
374     if not options.child_processes:
375         options.child_processes = os.environ.get('WEBKIT_TEST_CHILD_PROCESSES')
376
377     if not options.configuration:
378         options.configuration = port.default_configuration()
379
380     if options.pixel_tests is None:
381         options.pixel_tests = port.default_pixel_tests()
382
383     if not options.time_out_ms:
384         options.time_out_ms = str(port.default_timeout_ms())
385
386     options.slow_time_out_ms = str(5 * int(options.time_out_ms))
387
388     if options.additional_platform_directory:
389         additional_platform_directories = []
390         for path in options.additional_platform_directory:
391             additional_platform_directories.append(port.host.filesystem.abspath(path))
392         options.additional_platform_directory = additional_platform_directories
393
394     if options.force:
395         if options.skipped not in ('ignore', 'default'):
396             _log.warning("--force overrides --skipped=%s" % (options.skipped))
397         options.skipped = 'ignore'
398
399     if not options.http and options.skipped in ('ignore', 'only'):
400         _log.warning("--force/--skipped=%s overrides --no-http." % (options.skipped))
401         options.http = True
402
403     if options.ignore_metrics and (options.new_baseline or options.reset_results):
404         _log.warning("--ignore-metrics has no effect with --new-baselines or with --reset-results")
405
406     if options.new_baseline:
407         options.reset_results = True
408         options.add_platform_exceptions = True
409
410     if options.pixel_test_directories:
411         options.pixel_tests = True
412         varified_dirs = set()
413         pixel_test_directories = options.pixel_test_directories
414         for directory in pixel_test_directories:
415             # FIXME: we should support specifying the directories all the ways we support it for additional
416             # arguments specifying which tests and directories to run. We should also move the logic for that
417             # to Port.
418             filesystem = port.host.filesystem
419             if not filesystem.isdir(filesystem.join(port.layout_tests_dir(), directory)):
420                 _log.warning("'%s' was passed to --pixel-test-directories, which doesn't seem to be a directory" % str(directory))
421             else:
422                 varified_dirs.add(directory)
423
424         options.pixel_test_directories = list(varified_dirs)
425
426     if options.run_singly:
427         options.verbose = True
428
429     # The GTK+ and WPE ports only support WebKit2 so they always use WKTR.
430     if options.platform in ["gtk", "wpe"]:
431         options.webkit_test_runner = True
432
433     if options.leaks:
434         options.additional_env_var.append("JSC_usePoisoning=0")
435         options.additional_env_var.append("__XPC_JSC_usePoisoning=0")
436
437 def run(port, options, args, logging_stream):
438     logger = logging.getLogger()
439     logger.setLevel(logging.DEBUG if options.debug_rwt_logging else logging.INFO)
440
441     try:
442         printer = printing.Printer(port, options, logging_stream, logger=logger)
443
444         _set_up_derived_options(port, options)
445         manager = Manager(port, options, printer)
446         printer.print_config(port.results_directory())
447
448         run_details = manager.run(args)
449         _log.debug("Testing completed, Exit status: %d" % run_details.exit_code)
450         return run_details
451     finally:
452         printer.cleanup()
453
454 if __name__ == '__main__':
455     sys.exit(main(sys.argv[1:], sys.stdout, sys.stderr))