Pixel difference in FEMorphology effect
[WebKit-https.git] / Tools / BuildSlaveSupport / build.webkit.org-config / public_html / TestFailures / TestFailureBugForm_unittests.js
1 /*
2  * Copyright (C) 2011 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 (function() {
27
28 module('TestFailureBugForm');
29
30 function MockBuilder(name) {
31     this.name = name;
32 }
33
34 function createTestForm(testerName, failingBuildName, passingBuildName, failingTests) {
35     var mockBugzilla = {};
36     mockBugzilla.baseURL = '[BUGZILLA BASE URL]';
37
38     var mockTrac = {};
39     mockTrac.changesetURL = function(revisionNumber) {
40         return '[CHANGESET URL r' + revisionNumber + ']';
41     }
42     mockTrac.logURL = function(path, startRevision, endRevision) {
43         return '[LOG URL ' + path + ', r' + startRevision + ', r' + endRevision + ']';
44     }
45
46     var mockBuildbot = {};
47     mockBuildbot.parseBuildName = function(buildName) {
48         var match = /(\d+)/.exec(buildName);
49         return {
50             revision: parseInt(match[1], 10),
51             buildNumber: parseInt(match[2], 10),
52         };
53     };
54
55     var mockBuilder = {};
56     mockBuilder.name = testerName;
57     mockBuilder.buildbot = mockBuildbot;
58     mockBuilder.resultsPageURL = function(buildName) {
59         return '[RESULTS PAGE URL ' + this.name + ', ' + buildName + ']';
60     }
61
62     return new TestFailureBugForm(mockBugzilla, mockTrac, mockBuilder, failingBuildName, passingBuildName, failingTests);
63 }
64
65 test('component and keywords are set', 2, function() {
66     var form = createTestForm('Windows 7 Release (Tests)', 'r10 (5)', 'r8 (2)', ['css1/basic/class_as_selector.html']);
67
68     equal(form.component, BugzillaConstants.Component.ToolsTests);
69     deepEqual(form.keywords.split(', '), [BugzillaConstants.Keyword.LayoutTestFailure, BugzillaConstants.Keyword.MakingBotsRed, BugzillaConstants.Keyword.Regression]);
70 });
71
72 const testers = {
73     'GTK Linux 32-bit Release': {
74         operatingSystem: '',
75         platform: '',
76     },
77     'Leopard Intel Release (Tests)': {
78         operatingSystem: BugzillaConstants.OperatingSystem.Leopard,
79         platform: BugzillaConstants.Platform.Macintosh,
80     },
81     'SnowLeopard Intel Release (Tests)': {
82         operatingSystem: BugzillaConstants.OperatingSystem.SnowLeopard,
83         platform: BugzillaConstants.Platform.Macintosh,
84     },
85     'Windows 7 Release (Tests)': {
86         operatingSystem: BugzillaConstants.OperatingSystem.Windows7,
87         platform: BugzillaConstants.Platform.PC,
88     },
89     'Windows XP Debug (Tests)': {
90         operatingSystem: BugzillaConstants.OperatingSystem.WindowsXP,
91         platform: BugzillaConstants.Platform.PC,
92     },
93 };
94
95 test('operating system is deduced', 5, function() {
96     for (var name in testers) {
97         var form = createTestForm(name, 'r10 (5)', 'r8 (2)', ['css1/basic/class_as_selector.html']);
98         equal(form.operatingSystem, testers[name].operatingSystem);
99     }
100 });
101
102 test('platform is deduced', 5, function() {
103     for (var name in testers) {
104         var form = createTestForm(name, 'r10 (5)', 'r8 (2)', ['css1/basic/class_as_selector.html']);
105         equal(form.platform, testers[name].platform);
106     }
107 });
108
109 const testCases = [
110     {
111         failingBuildName: 'r10 (5)',
112         failingTests: [
113             'css1/basic/class_as_selector.html',
114         ],
115         expectedDescription: 'css1/basic/class_as_selector.html has been failing on Windows 7 Release (Tests) since at least r10 <[CHANGESET URL r10]>.\n\n[RESULTS PAGE URL Windows 7 Release (Tests), r10 (5)] failed\n',
116         expectedTitle: 'REGRESSION (r10): css1/basic/class_as_selector.html failing on Windows 7 Release (Tests)',
117     },
118     {
119         failingBuildName: 'r10 (5)',
120         passingBuildName: 'r9 (3)',
121         failingTests: [
122             'css1/basic/class_as_selector.html',
123         ],
124         expectedDescription: 'css1/basic/class_as_selector.html started failing on Windows 7 Release (Tests) in r10 <[CHANGESET URL r10]>.\n\n[RESULTS PAGE URL Windows 7 Release (Tests), r9 (3)] passed\n[RESULTS PAGE URL Windows 7 Release (Tests), r10 (5)] failed\n',
125         expectedTitle: 'REGRESSION (r10): css1/basic/class_as_selector.html failing on Windows 7 Release (Tests)',
126     },
127     {
128         failingBuildName: 'r10 (5)',
129         passingBuildName: 'r8 (2)',
130         failingTests: [
131             'css1/basic/class_as_selector.html',
132         ],
133         expectedDescription: 'css1/basic/class_as_selector.html started failing on Windows 7 Release (Tests) between r9 and r10 (inclusive).\n\n[LOG URL trunk, r9, r10]\n\n[RESULTS PAGE URL Windows 7 Release (Tests), r8 (2)] passed\n[RESULTS PAGE URL Windows 7 Release (Tests), r10 (5)] failed\n',
134         expectedTitle: 'REGRESSION (r8-r10): css1/basic/class_as_selector.html failing on Windows 7 Release (Tests)',
135     },
136     {
137         failingBuildName: 'r10 (5)',
138         passingBuildName: 'r8 (2)',
139         failingTests: [
140             'css1/basic/class_as_selector.html',
141             'fast/css/ex-after-font-variant.html',
142         ],
143         expectedDescription: 'css1/basic/class_as_selector.html and fast/css/ex-after-font-variant.html started failing on Windows 7 Release (Tests) between r9 and r10 (inclusive).\n\n[LOG URL trunk, r9, r10]\n\n[RESULTS PAGE URL Windows 7 Release (Tests), r8 (2)] passed\n[RESULTS PAGE URL Windows 7 Release (Tests), r10 (5)] failed\n',
144         expectedTitle: 'REGRESSION (r8-r10): css1/basic/class_as_selector.html, fast/css/ex-after-font-variant.html failing on Windows 7 Release (Tests)',
145     },
146     {
147         failingBuildName: 'r10 (5)',
148         passingBuildName: 'r8 (2)',
149         failingTests: [
150             'css1/basic/class_as_selector1.html',
151             'css1/basic/class_as_selector2.html',
152             'css1/basic/class_as_selector3.html',
153             'css1/basic/class_as_selector4.html',
154             'css1/basic/class_as_selector5.html',
155             'css1/basic/class_as_selector6.html',
156             'css1/basic/class_as_selector7.html',
157             'css1/basic/class_as_selector8.html',
158         ],
159         expectedDescription: 'The following tests started failing on Windows 7 Release (Tests) between r9 and r10 (inclusive):\n\n    css1/basic/class_as_selector1.html\n    css1/basic/class_as_selector2.html\n    css1/basic/class_as_selector3.html\n    css1/basic/class_as_selector4.html\n    css1/basic/class_as_selector5.html\n    css1/basic/class_as_selector6.html\n    css1/basic/class_as_selector7.html\n    css1/basic/class_as_selector8.html\n\n[LOG URL trunk, r9, r10]\n\n[RESULTS PAGE URL Windows 7 Release (Tests), r8 (2)] passed\n[RESULTS PAGE URL Windows 7 Release (Tests), r10 (5)] failed\n',
160         expectedTitle: 'REGRESSION (r8-r10): 8 css1/basic tests failing on Windows 7 Release (Tests)',
161     },
162     {
163         failingBuildName: 'r10 (5)',
164         passingBuildName: 'r8 (2)',
165         failingTests: [
166             'css1/basic/class_as_selector1.html',
167             'css1/basic/class_as_selector2.html',
168             'css1/basic/class_as_selector3.html',
169             'css1/basic/class_as_selector4.html',
170             'css1/basic/class_as_selector5.html',
171             'css1/basic/class_as_selector6.html',
172             'css1/basic/class_as_selector7.html',
173             'css1/basic/class_as_selector8.html',
174             'css1/class_as_selector9.html',
175         ],
176         expectedTitle: 'REGRESSION (r8-r10): 9 css1 tests failing on Windows 7 Release (Tests)',
177     },
178     {
179         failingBuildName: 'r10 (5)',
180         passingBuildName: 'r8 (2)',
181         failingTests: [
182             'css1/basic/class_as_selector1.html',
183             'css1/basic/class_as_selector2.html',
184             'css1/basic/class_as_selector3.html',
185             'css1/basic/class_as_selector4.html',
186             'css1/basic/class_as_selector5.html',
187             'css1/basic/class_as_selector6.html',
188             'css1/basic/class_as_selector7.html',
189             'css1/basic/class_as_selector8.html',
190             'css1/class_as_selector9.html',
191             'fast/css/ex-after-font-variant.html',
192         ],
193         expectedTitle: 'REGRESSION (r8-r10): 10 tests failing on Windows 7 Release (Tests)',
194     },
195 ];
196
197 test('titles', 7, function() {
198     for (var i = 0; i < testCases.length; ++i) {
199         var form = createTestForm('Windows 7 Release (Tests)', testCases[i].failingBuildName, testCases[i].passingBuildName, testCases[i].failingTests);
200         equal(form.title, testCases[i].expectedTitle);
201     }
202 });
203
204 test('descriptions', 5, function() {
205     for (var i = 0; i < testCases.length; ++i) {
206         if (!('expectedDescription' in testCases[i]))
207             continue;
208         var form = createTestForm('Windows 7 Release (Tests)', testCases[i].failingBuildName, testCases[i].passingBuildName, testCases[i].failingTests);
209         equal(form.description, testCases[i].expectedDescription);
210     }
211 });
212
213 })();