[Dashboard] The revision rows for aggregate results should no longer include Chromium...
[WebKit-https.git] / Tools / TestResultServer / static-dashboards / aggregate_results.js
1 // Copyright (C) 2013 Google Inc. All rights reserved.
2 //
3 // Redistribution and use in source and binary forms, with or without
4 // modification, are permitted provided that the following conditions are
5 // met:
6 //
7 //     * Redistributions of source code must retain the above copyright
8 // notice, this list of conditions and the following disclaimer.
9 //     * Redistributions in binary form must reproduce the above
10 // copyright notice, this list of conditions and the following disclaimer
11 // in the documentation and/or other materials provided with the
12 // distribution.
13 //     * Neither the name of Google Inc. nor the names of its
14 // contributors may be used to endorse or promote products derived from
15 // this software without specific prior written permission.
16 //
17 // THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 // "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 // LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 // A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 // OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 // SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 // LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 // DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 // THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 // (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 // OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28 //
29 // @fileoverview Creates a dashboard for tracking number of passes/failures per run.
30 //
31 // Currently, only webkit tests are supported, but adding other test types
32 // should just require the following steps:
33 //     -generate results.json for these tests
34 //     -copy them to the appropriate location
35 //     -add the builder name to the list of builders in dashboard_base.js.
36
37 function generatePage(historyInstance)
38 {
39     var html = ui.html.testTypeSwitcher(true) + '<br>';
40     for (var builder in currentBuilders())
41         html += htmlForBuilder(builder);
42     document.body.innerHTML = html;
43 }
44
45 function handleValidHashParameter(historyInstance, key, value)
46 {
47     switch(key) {
48     case 'rawValues':
49         historyInstance.dashboardSpecificState[key] = value == 'true';
50         return true;
51
52     default:
53         return false;
54     }
55 }
56
57 var defaultDashboardSpecificStateValues = {
58     rawValues: false
59 };
60
61
62 var aggregateResultsConfig = {
63     defaultStateValues: defaultDashboardSpecificStateValues,
64     generatePage: generatePage,
65     handleValidHashParameter: handleValidHashParameter,
66 };
67
68 // FIXME(jparent): Eventually remove all usage of global history object.
69 var g_history = new history.History(aggregateResultsConfig);
70 g_history.parseCrossDashboardParameters();
71
72 function htmlForBuilder(builder)
73 {
74     var results = g_resultsByBuilder[builder];
75     // Some keys were added later than others, so they don't have as many
76     // builds. Use the shortest.
77     // FIXME: Once 500 runs have finished, we can get rid of passing this
78     // around and just assume all keys have the same number of builders for a
79     // given builder.
80     var numColumns = results[ALL_FIXABLE_COUNT_KEY].length;
81     var html = '<div class=container><h2>' + builder + '</h2>';
82
83     if (g_history.dashboardSpecificState.rawValues)
84         html += rawValuesHTML(results, numColumns);
85     else {
86         html += '<a href="timeline_explorer.html' + (location.hash ? location.hash + '&' : '#') + 'builder=' + builder + '">' +
87             chartHTML(results, numColumns) + '</a>';
88     }
89
90     html += '</div>';
91     return html;
92 }
93
94 function rawValuesHTML(results, numColumns)
95 {
96     var html = htmlForSummaryTable(results, numColumns) +
97         htmlForTestType(results, FIXABLE_COUNTS_KEY, FIXABLE_DESCRIPTION, numColumns);
98     if (g_history.isLayoutTestResults()) {
99         html += htmlForTestType(results, DEFERRED_COUNTS_KEY, DEFERRED_DESCRIPTION, numColumns) +
100             htmlForTestType(results, WONTFIX_COUNTS_KEY, WONTFIX_DESCRIPTION, numColumns);
101     }
102     return html;
103 }
104
105 function chartHTML(results, numColumns)
106 {
107     var revisionKey = WEBKIT_REVISIONS_KEY;
108     var revisionLabel = "WebKit Revision";
109     var startRevision = results[revisionKey][numColumns - 1];
110     var endRevision = results[revisionKey][0];
111
112     var fixable = results[FIXABLE_COUNT_KEY].slice(0, numColumns);
113     var html = chart("Total failing", {"": fixable}, revisionLabel, startRevision, endRevision);
114
115     var values = valuesPerExpectation(results[FIXABLE_COUNTS_KEY], numColumns);
116     // Don't care about number of passes for the charts.
117     delete(values['P']);
118
119     return html + chart("Detailed breakdown", values, revisionLabel, startRevision, endRevision);
120 }
121
122 var LABEL_COLORS = ['FF0000', '00FF00', '0000FF', '000000', 'FF6EB4', 'FFA812', '9B30FF', '00FFCC'];
123
124 // FIXME: Find a better way to exclude outliers. This is just so we exclude
125 // runs where every test failed.
126 var MAX_VALUE = 10000;
127
128 function filteredValues(values, desiredNumberOfPoints)
129 {
130     // Filter out values to make the graph a bit more readable and to keep URLs
131     // from exceeding the browsers max length restriction.
132     var filterAmount = Math.floor(values.length / desiredNumberOfPoints);
133     if (filterAmount < 1)
134         return values;
135
136     return values.filter(function(element, index, array) {
137         // Include the most recent and oldest values and exclude outliers.
138         return (index % filterAmount == 0 || index == array.length - 1) && (array[index] < MAX_VALUE && array[index] != 0);
139     });
140 }
141
142 function chartUrl(title, values, revisionLabel, startRevision, endRevision, desiredNumberOfPoints) {
143     var maxValue = 0;
144     for (var expectation in values)
145         maxValue = Math.max(maxValue, Math.max.apply(null, filteredValues(values[expectation], desiredNumberOfPoints)));
146
147     var chartData = '';
148     var labels = '';
149     var numLabels = 0;
150
151     var first = true;
152     for (var expectation in values) {
153         chartData += (first ? 'e:' : ',') + extendedEncode(filteredValues(values[expectation], desiredNumberOfPoints).reverse(), maxValue);
154
155         if (expectation) {
156             numLabels++;
157             labels += (first ? '' : '|') + expectationsMap()[expectation];
158         }
159         first = false;
160     }
161
162     var url = "http://chart.apis.google.com/chart?cht=lc&chs=600x400&chd=" +
163             chartData + "&chg=15,15,1,3&chxt=x,x,y&chxl=1:||" + revisionLabel +
164             "|&chxr=0," + startRevision + "," + endRevision + "|2,0," + maxValue + "&chtt=" + title;
165
166
167     if (labels)
168         url += "&chdl=" + labels + "&chco=" + LABEL_COLORS.slice(0, numLabels).join(',');
169     return url;
170 }
171
172 function chart(title, values, revisionLabel, startRevision, endRevision)
173 {
174     var desiredNumberOfPoints = 400;
175     var url = chartUrl(title, values, revisionLabel, startRevision, endRevision, desiredNumberOfPoints);
176
177     while (url.length >= 2048) {
178         // Decrease the desired number of points gradually until we get a URL that
179         // doesn't exceed chartserver's max URL length.
180         desiredNumberOfPoints = 3 / 4 * desiredNumberOfPoints;
181         url = chartUrl(title, values, revisionLabel, startRevision, endRevision, desiredNumberOfPoints);
182     }
183
184     return '<img src="' + url + '">';
185 }
186
187 function wrapHTMLInTable(description, html)
188 {
189     return '<h3>' + description + '</h3><table><tbody>' + html + '</tbody></table>';
190 }
191
192 function htmlForSummaryTable(results, numColumns)
193 {
194     var percent = [];
195     var fixable = results[FIXABLE_COUNT_KEY].slice(0, numColumns);
196     var allFixable = results[ALL_FIXABLE_COUNT_KEY].slice(0, numColumns);
197     for (var i = 0; i < numColumns; i++) {
198         var percentage = 100 * (allFixable[i] - fixable[i]) / allFixable[i];
199         // Round to the nearest tenth of a percent.
200         percent.push(Math.round(percentage * 10) / 10 + '%');
201     }
202     var html = htmlForTableRow('WebKit Revision', results[WEBKIT_REVISIONS_KEY].slice(0, numColumns)) +
203         htmlForTableRow('Percent passed', percent) +
204         htmlForTableRow('Failures (deduped)', fixable) +
205         htmlForTableRow('Fixable Tests', allFixable);
206     return wrapHTMLInTable('Summary', html);
207 }
208
209 function valuesPerExpectation(counts, numColumns)
210 {
211     var values = {};
212     for (var i = 0; i < numColumns; i++) {
213         for (var expectation in expectationsMap()) {
214             if (expectation in counts[i]) {
215                 var count = counts[i][expectation];
216                 if (!values[expectation])
217                     values[expectation] = [];
218                 values[expectation].push(count);
219             }
220         }
221     }
222     return values;
223 }
224
225 function htmlForTestType(results, key, description, numColumns)
226 {
227     var counts = results[key];
228     var html = htmlForTableRow('WebKit Revision', results[WEBKIT_REVISIONS_KEY].slice(0, numColumns));
229     var values = valuesPerExpectation(counts, numColumns);
230     for (var expectation in values)
231         html += htmlForTableRow(expectationsMap()[expectation], values[expectation]);
232     return wrapHTMLInTable(description, html);
233 }
234
235 function htmlForTableRow(columnName, values)
236 {
237     return '<tr><td>' + columnName + '</td><td>' + values.join('</td><td>') + '</td></tr>';
238 }
239
240 // Taken from http://code.google.com/apis/chart/docs/data_formats.html.
241 function extendedEncode(arrVals, maxVal)
242 {
243     var map = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-.';
244     var mapLength = map.length;
245     var mapLengthSquared = mapLength * mapLength;
246
247     var chartData = '';
248
249     for (var i = 0, len = arrVals.length; i < len; i++) {
250         // In case the array vals were translated to strings.
251         var numericVal = new Number(arrVals[i]);
252         // Scale the value to maxVal.
253         var scaledVal = Math.floor(mapLengthSquared * numericVal / maxVal);
254
255         if(scaledVal > mapLengthSquared - 1)
256             chartData += "..";
257         else if (scaledVal < 0)
258             chartData += '__';
259         else {
260             // Calculate first and second digits and add them to the output.
261             var quotient = Math.floor(scaledVal / mapLength);
262             var remainder = scaledVal - mapLength * quotient;
263             chartData += map.charAt(quotient) + map.charAt(remainder);
264         }
265     }
266
267     return chartData;
268 }
269
270 window.addEventListener('load', function() {
271     var resourceLoader = new loader.Loader();
272     resourceLoader.load();
273 }, false);