d3f57643c8a19db1221020fc08e2e86b10279377
[WebKit-https.git] / Tools / Scripts / webkitpy / test / runner.py
1 # Copyright (C) 2012 Google, Inc.
2 #
3 # Redistribution and use in source and binary forms, with or without
4 # modification, are permitted provided that the following conditions
5 # are met:
6 # 1.  Redistributions of source code must retain the above copyright
7 #     notice, this list of conditions and the following disclaimer.
8 # 2.  Redistributions in binary form must reproduce the above copyright
9 #     notice, this list of conditions and the following disclaimer in the
10 #     documentation and/or other materials provided with the distribution.
11 #
12 # THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS'' AND
13 # ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
14 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
15 # DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR
16 # ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
17 # DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
18 # SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
19 # CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
20 # OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
21 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
22
23 """code to actually run a list of python tests."""
24
25 import re
26 import time
27 import unittest
28
29 from webkitpy.common import message_pool
30
31 _test_description = re.compile("(\w+) \(([\w.]+)\)")
32
33
34 def unit_test_name(test):
35     m = _test_description.match(str(test))
36     return "%s.%s" % (m.group(2), m.group(1))
37
38
39 class Runner(object):
40     def __init__(self, printer, loader):
41         self.printer = printer
42         self.loader = loader
43         self.tests_run = 0
44         self.errors = []
45         self.failures = []
46         self.worker_factory = lambda caller: _Worker(caller, self.loader)
47
48     def run(self, test_names, num_workers):
49         if not test_names:
50             return
51         num_workers = min(num_workers, len(test_names))
52         with message_pool.get(self, self.worker_factory, num_workers) as pool:
53             pool.run(('test', test_name) for test_name in test_names)
54
55     def handle(self, message_name, source, test_name, delay=None, failures=None, errors=None):
56         if message_name == 'started_test':
57             self.printer.print_started_test(source, test_name)
58             return
59
60         self.tests_run += 1
61         if failures:
62             self.failures.append((test_name, failures))
63         if errors:
64             self.errors.append((test_name, errors))
65         self.printer.print_finished_test(source, test_name, delay, failures, errors)
66
67
68 class _Worker(object):
69     def __init__(self, caller, loader):
70         self._caller = caller
71         self._loader = loader
72
73     def handle(self, message_name, source, test_name):
74         assert message_name == 'test'
75         result = unittest.TestResult()
76         start = time.time()
77         self._caller.post('started_test', test_name)
78
79         # We will need to rework this if a test_name results in multiple tests.
80         self._loader.loadTestsFromName(test_name, None).run(result)
81         self._caller.post('finished_test', test_name, time.time() - start,
82             [failure[1] for failure in result.failures], [error[1] for error in result.errors])