2011-03-24 Dirk Pranke <dpranke@chromium.org>
[WebKit.git] / Tools / Scripts / webkitpy / layout_tests / port / port_testcase.py
1 # Copyright (C) 2010 Google Inc. All rights reserved.
2 #
3 # Redistribution and use in source and binary forms, with or without
4 # modification, are permitted provided that the following conditions are
5 # met:
6 #
7 #    * Redistributions of source code must retain the above copyright
8 # notice, this list of conditions and the following disclaimer.
9 #    * Redistributions in binary form must reproduce the above
10 # copyright notice, this list of conditions and the following disclaimer
11 # in the documentation and/or other materials provided with the
12 # distribution.
13 #    * Neither the name of Google Inc. nor the names of its
14 # contributors may be used to endorse or promote products derived from
15 # this software without specific prior written permission.
16 #
17 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 """Unit testing base class for Port implementations."""
30
31 import sys
32 import unittest
33
34 # Handle Python < 2.6 where multiprocessing isn't available.
35 try:
36     import multiprocessing
37 except ImportError:
38     multiprocessing = None
39
40 from webkitpy.tool import mocktool
41 mock_options = mocktool.MockOptions(results_directory='layout-test-results',
42                                     use_apache=True,
43                                     configuration='Release')
44
45 # FIXME: This should be used for all ports, not just WebKit Mac. See
46 # https://bugs.webkit.org/show_bug.cgi?id=50043 .
47
48 class PortTestCase(unittest.TestCase):
49     """Tests the WebKit port implementation."""
50     def port_maker(self, platform):
51         """Override to return the class object of the port to be tested,
52         or None if a valid port object cannot be constructed on the specified
53         platform."""
54         raise NotImplementedError()
55
56     def make_port(self, options=mock_options):
57         """This routine should be used for tests that should only be run
58         when we can create a full, valid port object."""
59         maker = self.port_maker(sys.platform)
60         if not maker:
61             return None
62
63         port = maker(options=options)
64         if hasattr(options, "results_directory"):
65             port._options.results_directory = port.results_directory()
66         return port
67
68     def test_default_worker_model(self):
69         port = self.make_port()
70         if not port:
71             return
72
73         if multiprocessing:
74             self.assertEqual(port.default_worker_model(), 'processes')
75         else:
76             self.assertEqual(port.default_worker_model(), 'threads')
77
78     def test_driver_cmd_line(self):
79         port = self.make_port()
80         if not port:
81             return
82         self.assertTrue(len(port.driver_cmd_line()))
83
84     def disabled_test_http_server(self):
85         port = self.make_port()
86         if not port:
87             return
88         port.start_http_server()
89         port.stop_http_server()
90
91     def disabled_test_image_diff(self):
92         port = self.make_port()
93         if not port:
94             return
95
96         if not port.check_image_diff():
97             # The port hasn't been built - don't run the tests.
98             return
99
100         dir = port.layout_tests_dir()
101         file1 = port._filesystem.join(dir, 'fast', 'css', 'button_center.png')
102         contents1 = port._filesystem.read_binary_file(file1)
103         file2 = port._filesystem.join(dir, 'fast', 'css',
104                                       'remove-shorthand-expected.png')
105         contents2 = port._filesystem.read_binary_file(file2)
106         tmpfd, tmpfile = port._filesystem.open_binary_tempfile('')
107         tmpfd.close()
108
109         self.assertFalse(port.diff_image(contents1, contents1))
110         self.assertTrue(port.diff_image(contents1, contents2))
111
112         self.assertTrue(port.diff_image(contents1, contents2, tmpfile))
113
114         port._filesystem.remove(tmpfile)
115
116     def disabled_test_websocket_server(self):
117         port = self.make_port()
118         if not port:
119             return
120         port.start_websocket_server()
121         port.stop_websocket_server()
122
123     def test_test_configuration(self):
124         port = self.make_port()
125         if not port:
126             return
127         self.assertTrue(port.test_configuration())
128
129     def test_all_test_configurations(self):
130         port = self.make_port()
131         if not port:
132             return
133         self.assertTrue(len(port.all_test_configurations()) > 0)
134
135     def test_baseline_search_path(self):
136         port = self.make_port()
137         if not port:
138             return
139         self.assertTrue(port.baseline_path() in port.baseline_search_path())