WebDriver: add timeout option to run-webdriver-tests script
[WebKit-https.git] / Tools / Scripts / webkitpy / webdriver_tests / webdriver_test_runner_w3c.py
1 # Copyright (C) 2017 Igalia S.L.
2 #
3 # Redistribution and use in source and binary forms, with or without
4 # modification, are permitted provided that the following conditions
5 # are met:
6 # 1.  Redistributions of source code must retain the above copyright
7 #     notice, this list of conditions and the following disclaimer.
8 # 2.  Redistributions in binary form must reproduce the above copyright
9 #     notice, this list of conditions and the following disclaimer in the
10 #     documentation and/or other materials provided with the distribution.
11 #
12 # THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS'' AND ANY
13 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
14 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
15 # DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR ANY
16 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
17 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
18 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
19 # ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
20 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
21 # SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
22
23 import logging
24 import os
25 import sys
26 import time
27
28 from webkitpy.common.system.filesystem import FileSystem
29 from webkitpy.common.webkit_finder import WebKitFinder
30 from webkitpy.webdriver_tests.webdriver_w3c_executor import WebDriverW3CExecutor
31 from webkitpy.webdriver_tests.webdriver_driver import create_driver
32 from webkitpy.webdriver_tests.webdriver_test_result import WebDriverTestResult
33 from webkitpy.webdriver_tests.webdriver_w3c_web_server import WebDriverW3CWebServer
34
35 _log = logging.getLogger(__name__)
36
37
38 class WebDriverTestRunnerW3C(object):
39
40     def __init__(self, port, display_driver):
41         self._port = port
42         self._display_driver = display_driver
43         self._driver = create_driver(self._port)
44         _log.info('Using driver at %s' % (self._driver.binary_path()))
45         _log.info('Browser: %s' % (self._driver.browser_name()))
46
47         timeout = self._port.get_option('timeout')
48         if timeout > 0:
49             os.environ['PYTEST_TIMEOUT'] = str(timeout)
50
51         self._results = []
52         self._server = WebDriverW3CWebServer(self._port)
53
54     def _tests_dir(self):
55         return WebKitFinder(self._port.host.filesystem).path_from_webkit_base('WebDriverTests')
56
57     def collect_tests(self, tests=[]):
58         relative_tests_dir = os.path.join('imported', 'w3c', 'webdriver', 'tests')
59         w3c_tests = []
60         if not tests:
61             tests = [relative_tests_dir]
62         for test in tests:
63             if not test.startswith(relative_tests_dir):
64                 continue
65             test_path = os.path.join(self._tests_dir(), test)
66             if os.path.isdir(test_path):
67                 w3c_tests.extend(self._scan_directory(test_path))
68             elif self._is_test(test_path):
69                 w3c_tests.append(test_path)
70         return w3c_tests
71
72     def _is_test(self, test):
73         if not os.path.isfile(test):
74             return False
75         if os.path.splitext(test)[1] != '.py':
76             return False
77         if os.path.basename(test) in ['conftest.py', '__init__.py']:
78             return False
79         if os.path.dirname(test) == 'support':
80             return False
81         return True
82
83     def _scan_directory(self, directory):
84         tests = []
85         for path in self._port.host.filesystem.files_under(directory):
86             if self._is_test(path):
87                 tests.append(path)
88         return tests
89
90     def run(self, tests=[]):
91         self._server.start()
92
93         executor = WebDriverW3CExecutor(self._driver, self._server, self._display_driver)
94         executor.setup()
95         try:
96             for test in tests:
97                 test_name = os.path.relpath(test, self._tests_dir())
98                 harness_result, test_results = executor.run(test)
99                 if harness_result[0] != 'OK':
100                     _log.error("Failed to run test %s: %s" % (test_name, harness_result[1]))
101                 else:
102                     self._add_results(os.path.dirname(test_name), test_results)
103         finally:
104             executor.teardown()
105             self._server.stop()
106
107         return len(self._results)
108
109     def _add_results(self, test_prefix, results):
110         self._results.extend([WebDriverTestResult(test_prefix, *result) for result in results])
111
112     def results(self):
113         return self._results