NRWT: Add the ability to upload test results to new test results server
[WebKit-https.git] / Tools / Scripts / webkitpy / layout_tests / lint_test_expectations.py
1 # Copyright (C) 2012 Google Inc. All rights reserved.
2 #
3 # Redistribution and use in source and binary forms, with or without
4 # modification, are permitted provided that the following conditions are
5 # met:
6 #
7 #     * Redistributions of source code must retain the above copyright
8 # notice, this list of conditions and the following disclaimer.
9 #     * Redistributions in binary form must reproduce the above
10 # copyright notice, this list of conditions and the following disclaimer
11 # in the documentation and/or other materials provided with the
12 # distribution.
13 #     * Neither the name of Google Inc. nor the names of its
14 # contributors may be used to endorse or promote products derived from
15 # this software without specific prior written permission.
16 #
17 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 import logging
30 import optparse
31 import signal
32 import traceback
33
34 from webkitpy.common.host import Host
35 from webkitpy.layout_tests.models import test_expectations
36 from webkitpy.port import platform_options
37
38
39 # This mirrors what the shell normally does.
40 INTERRUPTED_EXIT_STATUS = signal.SIGINT + 128
41
42 # This is a randomly chosen exit code that can be tested against to
43 # indicate that an unexpected exception occurred.
44 EXCEPTIONAL_EXIT_STATUS = 254
45
46 _log = logging.getLogger(__name__)
47
48
49 def lint(host, options, logging_stream):
50     logger = logging.getLogger()
51     logger.setLevel(logging.INFO)
52     handler = logging.StreamHandler(logging_stream)
53     logger.addHandler(handler)
54
55     try:
56         ports_to_lint = [host.port_factory.get(name) for name in host.port_factory.all_port_names(options.platform)]
57         files_linted = set()
58         lint_failed = False
59
60         for port_to_lint in ports_to_lint:
61             expectations_dict = port_to_lint.expectations_dict()
62
63             # FIXME: This won't work if multiple ports share a TestExpectations file but support different modifiers in the file.
64             for expectations_file in expectations_dict.keys():
65                 if expectations_file in files_linted:
66                     continue
67
68                 try:
69                     test_expectations.TestExpectations(port_to_lint,
70                         expectations_to_lint={expectations_file: expectations_dict[expectations_file]})
71                 except test_expectations.ParseError as e:
72                     lint_failed = True
73                     _log.error('')
74                     for warning in e.warnings:
75                         _log.error(warning)
76                     _log.error('')
77                 files_linted.add(expectations_file)
78
79         if lint_failed:
80             _log.error('Lint failed.')
81             return -1
82
83         _log.info('Lint succeeded.')
84         return 0
85     finally:
86         logger.removeHandler(handler)
87
88
89 def main(argv, _, stderr):
90     parser = optparse.OptionParser(option_list=platform_options(use_globs=True))
91     options, _ = parser.parse_args(argv)
92
93     if options.platform and 'test' in options.platform:
94         # It's a bit lame to import mocks into real code, but this allows the user
95         # to run tests against the test platform interactively, which is useful for
96         # debugging test failures.
97         from webkitpy.common.host_mock import MockHost
98         host = MockHost()
99     else:
100         host = Host()
101
102     try:
103         exit_status = lint(host, options, stderr)
104     except KeyboardInterrupt:
105         exit_status = INTERRUPTED_EXIT_STATUS
106     except Exception as e:
107         print >> stderr, '\n%s raised: %s' % (e.__class__.__name__, str(e))
108         traceback.print_exc(file=stderr)
109         exit_status = EXCEPTIONAL_EXIT_STATUS
110
111     return exit_status