28caad405999daae2053b4ee4cb96b09b40e44dd
[WebKit.git] / Tools / Scripts / webkitpy / common / net / layouttestresults.py
1 # Copyright (c) 2010, Google Inc. All rights reserved.
2 #
3 # Redistribution and use in source and binary forms, with or without
4 # modification, are permitted provided that the following conditions are
5 # met:
6 #
7 #     * Redistributions of source code must retain the above copyright
8 # notice, this list of conditions and the following disclaimer.
9 #     * Redistributions in binary form must reproduce the above
10 # copyright notice, this list of conditions and the following disclaimer
11 # in the documentation and/or other materials provided with the
12 # distribution.
13 #     * Neither the name of Google Inc. nor the names of its
14 # contributors may be used to endorse or promote products derived from
15 # this software without specific prior written permission.
16 #
17 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28 #
29 # A module for parsing results.html files generated by old-run-webkit-tests
30 # This class is one big hack and only needs to exist until we transition to new-run-webkit-tests.
31
32 from webkitpy.common.system.deprecated_logging import log
33 from webkitpy.thirdparty.BeautifulSoup import BeautifulSoup, SoupStrainer
34 from webkitpy.layout_tests.layout_package import test_results
35 from webkitpy.layout_tests.layout_package import test_failures
36
37
38 # FIXME: This should be unified with all the layout test results code in the layout_tests package
39 # This doesn't belong in common.net, but we don't have a better place for it yet.
40 def path_for_layout_test(test_name):
41     return "LayoutTests/%s" % test_name
42
43
44 # FIXME: This should be unified with all the layout test results code in the layout_tests package
45 # This doesn't belong in common.net, but we don't have a better place for it yet.
46 class LayoutTestResults(object):
47     """This class knows how to parse old-run-webkit-tests results.html files."""
48
49     stderr_key = u'Tests that had stderr output:'
50     fail_key = u'Tests where results did not match expected results:'
51     timeout_key = u'Tests that timed out:'
52     crash_key = u'Tests that caused the DumpRenderTree tool to crash:'
53     missing_key = u'Tests that had no expected results (probably new):'
54
55     expected_keys = [
56         stderr_key,
57         fail_key,
58         crash_key,
59         timeout_key,
60         missing_key,
61     ]
62
63     @classmethod
64     def _failures_from_fail_row(self, row):
65         # Look at all anchors in this row, and guess what type
66         # of new-run-webkit-test failures they equate to.
67         failures = set()
68         test_name = None
69         for anchor in row.findAll("a"):
70             anchor_text = unicode(anchor.string)
71             if not test_name:
72                 test_name = anchor_text
73                 continue
74             if anchor_text in ["expected image", "image diffs"] or '%' in anchor_text:
75                 failures.add(test_failures.FailureImageHashMismatch())
76             elif anchor_text in ["expected", "actual", "diff", "pretty diff"]:
77                 failures.add(test_failures.FailureTextMismatch())
78             else:
79                 log("Unhandled link text in results.html parsing: %s.  Please file a bug against webkitpy." % anchor_text)
80         # FIXME: Its possible the row contained no links due to ORWT brokeness.
81         # We should probably assume some type of failure anyway.
82         return failures
83
84     @classmethod
85     def _failures_from_row(cls, row, table_title):
86         if table_title == cls.fail_key:
87             return cls._failures_from_fail_row(row)
88         if table_title == cls.crash_key:
89             return [test_failures.FailureCrash()]
90         if table_title == cls.timeout_key:
91             return [test_failures.FailureTimeout()]
92         if table_title == cls.missing_key:
93             return [test_failures.FailureMissingResult(), test_failures.FailureMissingImageHash(), test_failures.FailureMissingImage()]
94         return None
95
96     @classmethod
97     def _test_result_from_row(cls, row, table_title):
98         test_name = unicode(row.find("a").string)
99         failures = cls._failures_from_row(row, table_title)
100         # TestResult is a class designed to work with new-run-webkit-tests.
101         # old-run-webkit-tests does not save quite enough information in results.html for us to parse.
102         # FIXME: It's unclear if test_name should include LayoutTests or not.
103         return test_results.TestResult(test_name, failures)
104
105     @classmethod
106     def _parse_results_table(cls, table):
107         table_title = unicode(table.findPreviousSibling("p").string)
108         if table_title not in cls.expected_keys:
109             # This Exception should only ever be hit if run-webkit-tests changes its results.html format.
110             raise Exception("Unhandled title: %s" % table_title)
111         # Ignore stderr failures.  Everyone ignores them anyway.
112         if table_title == cls.stderr_key:
113             return []
114         # FIXME: We might end with two TestResults object for the same test if it appears in more than one row.
115         return [cls._test_result_from_row(row, table_title) for row in table.findAll("tr")]
116
117     @classmethod
118     def _parse_results_html(cls, page):
119         tables = BeautifulSoup(page).findAll("table")
120         return sum([cls._parse_results_table(table) for table in tables], [])
121
122     @classmethod
123     def results_from_string(cls, string):
124         if not string:
125             return None
126         test_results = cls._parse_results_html(string)
127         if not test_results:
128             return None
129         return cls(test_results)
130
131     def __init__(self, test_results):
132         self._test_results = test_results
133
134     def test_results(self):
135         return self._test_results
136
137     def results_matching_failure_types(self, failure_types):
138         return [result for result in self._test_results if result.has_failure_matching_types(failure_types)]
139
140     def tests_matching_failure_types(self, failure_types):
141         return [result.filename for result in self.results_matching_failure_types(failure_types)]
142
143     def failing_test_results(self):
144         # These should match the "fail", "crash", and "timeout" keys.
145         failure_types = [test_failures.FailureTextMismatch, test_failures.FailureImageHashMismatch, test_failures.FailureCrash, test_failures.FailureTimeout]
146         return self.results_matching_failure_types(failure_types)
147
148     def failing_tests(self):
149         return [result.filename for result in self.failing_test_results()]