webkitpy: Implement device type specific expected results (Part 2)
[WebKit-https.git] / Tools / Scripts / webkitpy / layout_tests / lint_test_expectations_unittest.py
1 # Copyright (C) 2012 Google Inc. All rights reserved.
2 #
3 # Redistribution and use in source and binary forms, with or without
4 # modification, are permitted provided that the following conditions are
5 # met:
6 #
7 #     * Redistributions of source code must retain the above copyright
8 # notice, this list of conditions and the following disclaimer.
9 #     * Redistributions in binary form must reproduce the above
10 # copyright notice, this list of conditions and the following disclaimer
11 # in the documentation and/or other materials provided with the
12 # distribution.
13 #     * Neither the name of Google Inc. nor the names of its
14 # contributors may be used to endorse or promote products derived from
15 # this software without specific prior written permission.
16 #
17 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 import StringIO
30 import optparse
31 import unittest
32
33 from webkitpy.common.host_mock import MockHost
34 from webkitpy.layout_tests import lint_test_expectations
35
36
37 class FakePort(object):
38     def __init__(self, host, name, path):
39         self.host = host
40         self.name = name
41         self.path = path
42
43     def test_configuration(self):
44         return None
45
46     def expectations_dict(self):
47         self.host.ports_parsed.append(self.name)
48         return {self.path: ''}
49
50     def skipped_layout_tests(self, _, **kwargs):
51         return set([])
52
53     def all_test_configurations(self):
54         return []
55
56     def configuration_specifier_macros(self):
57         return []
58
59     def get_option(self, _, val):
60         return val
61
62     def path_to_generic_test_expectations_file(self):
63         return ''
64
65
66 class FakeFactory(object):
67     def __init__(self, host, ports):
68         self.host = host
69         self.ports = {}
70         for port in ports:
71             self.ports[port.name] = port
72
73     def get(self, port_name, *args, **kwargs):  # pylint: disable=W0613,E0202
74         return self.ports[port_name]
75
76     def all_port_names(self, platform=None):  # pylint: disable=W0613,E0202
77         return sorted(self.ports.keys())
78
79
80 class LintTest(unittest.TestCase):
81     def test_all_configurations(self):
82         host = MockHost()
83         host.ports_parsed = []
84         host.port_factory = FakeFactory(host, (FakePort(host, 'a', 'path-to-a'),
85                                                FakePort(host, 'b', 'path-to-b'),
86                                                FakePort(host, 'b-win', 'path-to-b')))
87
88         logging_stream = StringIO.StringIO()
89         options = optparse.Values({'platform': None})
90         res = lint_test_expectations.lint(host, options, logging_stream)
91         self.assertEqual(res, 0)
92         self.assertEqual(host.ports_parsed, ['a', 'b', 'b-win'])
93
94     def test_lint_test_files(self):
95         logging_stream = StringIO.StringIO()
96         options = optparse.Values({'platform': 'test-mac-leopard'})
97         host = MockHost()
98
99         # pylint appears to complain incorrectly about the method overrides pylint: disable=E0202,C0322
100         # FIXME: incorrect complaints about spacing pylint: disable=C0322
101         host.port_factory.all_port_names = lambda platform=None: [platform]
102
103         res = lint_test_expectations.lint(host, options, logging_stream)
104
105         self.assertEqual(res, 0)
106         self.assertIn('Lint succeeded', logging_stream.getvalue())
107
108     def test_lint_test_files__errors(self):
109         options = optparse.Values({'platform': 'test', 'debug_rwt_logging': False})
110         host = MockHost()
111
112         # FIXME: incorrect complaints about spacing pylint: disable=C0322
113         port = host.port_factory.get(options.platform, options=options)
114         port.expectations_dict = lambda: {'foo': '-- syntax error1', 'bar': '-- syntax error2'}
115
116         host.port_factory.get = lambda platform, options=None: port
117         host.port_factory.all_port_names = lambda platform=None: [port.name()]
118
119         logging_stream = StringIO.StringIO()
120
121         res = lint_test_expectations.lint(host, options, logging_stream)
122
123         self.assertEqual(res, -1)
124         self.assertIn('Lint failed', logging_stream.getvalue())
125         self.assertIn('foo:1', logging_stream.getvalue())
126         self.assertIn('bar:1', logging_stream.getvalue())
127
128
129 class MainTest(unittest.TestCase):
130     def test_success(self):
131         orig_lint_fn = lint_test_expectations.lint
132
133         # unused args pylint: disable=W0613
134         def interrupting_lint(host, options, logging_stream):
135             raise KeyboardInterrupt
136
137         def successful_lint(host, options, logging_stream):
138             return 0
139
140         def exception_raising_lint(host, options, logging_stream):
141             assert False
142
143         stdout = StringIO.StringIO()
144         stderr = StringIO.StringIO()
145         try:
146             lint_test_expectations.lint = interrupting_lint
147             res = lint_test_expectations.main([], stdout, stderr)
148             self.assertEqual(res, lint_test_expectations.INTERRUPTED_EXIT_STATUS)
149
150             lint_test_expectations.lint = successful_lint
151             res = lint_test_expectations.main(['--platform', 'test'], stdout, stderr)
152             self.assertEqual(res, 0)
153
154             lint_test_expectations.lint = exception_raising_lint
155             res = lint_test_expectations.main([], stdout, stderr)
156             self.assertEqual(res, lint_test_expectations.EXCEPTIONAL_EXIT_STATUS)
157         finally:
158             lint_test_expectations.lint = orig_lint_fn