8a6af56c8420e450c41897afe543e66706f9ae76
[WebKit-https.git] / WebKitTools / Scripts / webkitpy / layout_tests / port / dryrun.py
1 #!/usr/bin/env python
2 # Copyright (C) 2010 Google Inc. All rights reserved.
3 #
4 # Redistribution and use in source and binary forms, with or without
5 # modification, are permitted provided that the following conditions are
6 # met:
7 #
8 #     * Redistributions of source code must retain the above copyright
9 # notice, this list of conditions and the following disclaimer.
10 #     * Redistributions in binary form must reproduce the above
11 # copyright notice, this list of conditions and the following disclaimer
12 # in the documentation and/or other materials provided with the
13 # distribution.
14 #     * Neither the Google name nor the names of its
15 # contributors may be used to endorse or promote products derived from
16 # this software without specific prior written permission.
17 #
18 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29
30 """This is a test implementation of the Port interface that generates the
31    correct output for every test. It can be used for perf testing, because
32    it is pretty much a lower limit on how fast a port can possibly run.
33
34    This implementation acts as a wrapper around a real port (the real port
35    is held as a delegate object). To specify which port, use the port name
36    'dryrun-XXX' (e.g., 'dryrun-chromium-mac-leopard'). If you use just
37    'dryrun', it uses the default port.
38
39    Note that because this is really acting as a wrapper around the underlying
40    port, you must be able to run the underlying port as well
41    (check_build() and check_sys_deps() must pass and auxiliary binaries
42    like layout_test_helper and httpd must work).
43
44    This implementation also modifies the test expectations so that all
45    tests are either SKIPPED or expected to PASS."""
46
47 from __future__ import with_statement
48
49 import os
50 import sys
51
52 import base
53 import factory
54
55
56 class DryRunPort(object):
57     """DryRun implementation of the Port interface."""
58
59     def __init__(self, **kwargs):
60         pfx = 'dryrun-'
61         if 'port_name' in kwargs:
62             if kwargs['port_name'].startswith(pfx):
63                 kwargs['port_name'] = kwargs['port_name'][len(pfx):]
64             else:
65                 kwargs['port_name'] = None
66         self.__delegate = factory.get(**kwargs)
67
68     def __getattr__(self, name):
69         return getattr(self.__delegate, name)
70
71     def check_build(self, needs_http):
72         return True
73
74     def check_sys_deps(self, needs_http):
75         return True
76
77     def start_helper(self):
78         pass
79
80     def start_http_server(self):
81         pass
82
83     def start_websocket_server(self):
84         pass
85
86     def stop_helper(self):
87         pass
88
89     def stop_http_server(self):
90         pass
91
92     def stop_websocket_server(self):
93         pass
94
95     def create_driver(self, image_path, options):
96         return DryrunDriver(self, image_path, options, executive=None)
97
98
99 class DryrunDriver(base.Driver):
100     """Dryrun implementation of the DumpRenderTree / Driver interface."""
101
102     def __init__(self, port, image_path, options, executive):
103         self._port = port
104         self._image_path = image_path
105         self._executive = executive
106         self._layout_tests_dir = None
107
108     def poll(self):
109         return None
110
111     def run_test(self, uri, timeoutms, image_hash):
112         test_name = self._port.uri_to_test_name(uri)
113         path = os.path.join(self._port.layout_tests_dir(), test_name)
114         text_output = self._port.expected_text(path)
115
116         if image_hash is not None:
117             image = self._port.expected_image(path)
118             if image and self._image_path:
119                 with open(self._image_path, 'w') as f:
120                     f.write(image)
121             hash = self._port.expected_checksum(path)
122         else:
123             hash = None
124         return (False, False, hash, text_output, None)
125
126     def start(self):
127         pass
128
129     def stop(self):
130         pass