7c443f8d16707d6353a2266cd81701977fadf58d
[WebKit-https.git] / Tools / TestResultServer / static-dashboards / dashboard_base.js
1 // Copyright (C) 2012 Google Inc. All rights reserved.
2 //
3 // Redistribution and use in source and binary forms, with or without
4 // modification, are permitted provided that the following conditions are
5 // met:
6 //
7 //         * Redistributions of source code must retain the above copyright
8 // notice, this list of conditions and the following disclaimer.
9 //         * Redistributions in binary form must reproduce the above
10 // copyright notice, this list of conditions and the following disclaimer
11 // in the documentation and/or other materials provided with the
12 // distribution.
13 //         * Neither the name of Google Inc. nor the names of its
14 // contributors may be used to endorse or promote products derived from
15 // this software without specific prior written permission.
16 //
17 // THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 // "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 // LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 // A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 // OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 // SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 // LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 // DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 // THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 // (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 // OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 // @fileoverview Base JS file for pages that want to parse the results JSON
30 // from the testing bots. This deals with generic utility functions, visible
31 // history, popups and appending the script elements for the JSON files.
32 //
33 // The calling page is expected to implement the following "abstract"
34 // functions/objects:
35 var g_resourceLoader;
36
37 // Generates the contents of the dashboard. The page should override this with
38 // a function that generates the page assuming all resources have loaded.
39 function generatePage() {}
40
41 // Takes a key and a value and sets the g_currentState[key] = value iff key is
42 // a valid hash parameter and the value is a valid value for that key.
43 //
44 // @return {boolean} Whether the key what inserted into the g_currentState.
45 function handleValidHashParameter(key, value)
46 {
47     return false;
48 }
49
50 // Default hash parameters for the page. The page should override this to create
51 // default states.
52 var g_defaultDashboardSpecificStateValues = {};
53
54
55 // The page should override this to modify page state due to
56 // changing query parameters.
57 // @param {Object} params New or modified query params as key: value.
58 // @return {boolean} Whether changing this parameter should cause generatePage to be called.
59 function handleQueryParameterChange(params)
60 {
61     return true;
62 }
63
64 //////////////////////////////////////////////////////////////////////////////
65 // CONSTANTS
66 //////////////////////////////////////////////////////////////////////////////
67 var GTEST_EXPECTATIONS_MAP_ = {
68     'P': 'PASS',
69     'F': 'FAIL',
70     'N': 'NO DATA',
71     'X': 'SKIPPED'
72 };
73
74 var LAYOUT_TEST_EXPECTATIONS_MAP_ = {
75     'P': 'PASS',
76     'N': 'NO DATA',
77     'X': 'SKIP',
78     'T': 'TIMEOUT',
79     'F': 'TEXT',
80     'C': 'CRASH',
81     'I': 'IMAGE',
82     'Z': 'IMAGE+TEXT',
83     // We used to glob a bunch of expectations into "O" as OTHER. Expectations
84     // are more precise now though and it just means MISSING.
85     'O': 'MISSING'
86 };
87
88 var FAILURE_EXPECTATIONS_ = {
89     'T': 1,
90     'F': 1,
91     'C': 1,
92     'I': 1,
93     'Z': 1
94 };
95
96 // Map of parameter to other parameter it invalidates.
97 var CROSS_DB_INVALIDATING_PARAMETERS = {
98     'testType': 'group'
99 };
100 var DB_SPECIFIC_INVALIDATING_PARAMETERS;
101
102 // Keys in the JSON files.
103 var WONTFIX_COUNTS_KEY = 'wontfixCounts';
104 var FIXABLE_COUNTS_KEY = 'fixableCounts';
105 var DEFERRED_COUNTS_KEY = 'deferredCounts';
106 var WONTFIX_DESCRIPTION = 'Tests never to be fixed (WONTFIX)';
107 var FIXABLE_DESCRIPTION = 'All tests for this release';
108 var DEFERRED_DESCRIPTION = 'All deferred tests (DEFER)';
109 var FIXABLE_COUNT_KEY = 'fixableCount';
110 var ALL_FIXABLE_COUNT_KEY = 'allFixableCount';
111 var CHROME_REVISIONS_KEY = 'chromeRevision';
112 var WEBKIT_REVISIONS_KEY = 'webkitRevision';
113 var TIMESTAMPS_KEY = 'secondsSinceEpoch';
114 var BUILD_NUMBERS_KEY = 'buildNumbers';
115 var TESTS_KEY = 'tests';
116 var ONE_DAY_SECONDS = 60 * 60 * 24;
117 var ONE_WEEK_SECONDS = ONE_DAY_SECONDS * 7;
118
119 // These should match the testtype uploaded to test-results.appspot.com.
120 // See http://test-results.appspot.com/testfile.
121 var TEST_TYPES = [
122     'base_unittests',
123     'browser_tests',
124     'cacheinvalidation_unittests',
125     'compositor_unittests',
126     'content_browsertests',
127     'content_unittests',
128     'courgette_unittests',
129     'crypto_unittests',
130     'googleurl_unittests',
131     'gfx_unittests',
132     'gl_tests',
133     'gpu_tests',
134     'gpu_unittests',
135     'installer_util_unittests',
136     'interactive_ui_tests',
137     'ipc_tests',
138     'jingle_unittests',
139     'layout-tests',
140     'media_unittests',
141     'mini_installer_test',
142     'net_unittests',
143     'printing_unittests',
144     'remoting_unittests',
145     'safe_browsing_tests',
146     'sql_unittests',
147     'sync_unit_tests',
148     'sync_integration_tests',
149     'test_shell_tests',
150     'ui_tests',
151     'unit_tests',
152     'views_unittests',
153     'webkit_unit_tests',
154     'androidwebview_instrumentation_tests',
155     'chromiumtestshell_instrumentation_tests',
156     'contentshell_instrumentation_tests',
157     'cc_unittests'
158 ];
159
160 var RELOAD_REQUIRING_PARAMETERS = ['showAllRuns', 'group', 'testType'];
161
162 // Enum for indexing into the run-length encoded results in the JSON files.
163 // 0 is where the count is length is stored. 1 is the value.
164 var RLE = {
165     LENGTH: 0,
166     VALUE: 1
167 }
168
169 function isFailingResult(value)
170 {
171     return 'FSTOCIZ'.indexOf(value) != -1;
172 }
173
174 // Takes a key and a value and sets the g_currentState[key] = value iff key is
175 // a valid hash parameter and the value is a valid value for that key. Handles
176 // cross-dashboard parameters then falls back to calling
177 // handleValidHashParameter for dashboard-specific parameters.
178 //
179 // @return {boolean} Whether the key what inserted into the g_currentState.
180 function handleValidHashParameterWrapper(key, value)
181 {
182     switch(key) {
183     case 'testType':
184         validateParameter(g_crossDashboardState, key, value,
185             function() { return TEST_TYPES.indexOf(value) != -1; });
186         return true;
187
188     case 'group':
189         validateParameter(g_crossDashboardState, key, value,
190             function() {
191               return value in LAYOUT_TESTS_BUILDER_GROUPS ||
192                   value in CHROMIUM_GPU_TESTS_BUILDER_GROUPS ||
193                   value in CHROMIUM_INSTRUMENTATION_TESTS_BUILDER_GROUPS ||
194                   value in CHROMIUM_GTESTS_BUILDER_GROUPS;
195             });
196         return true;
197
198     case 'useTestData':
199     case 'showAllRuns':
200         g_crossDashboardState[key] = value == 'true';
201         return true;
202
203     default:
204         return handleValidHashParameter(key, value);
205     }
206 }
207
208 var g_defaultCrossDashboardStateValues = {
209     group: null,
210     showAllRuns: false,
211     testType: 'layout-tests',
212     useTestData: false,
213 }
214
215 // Generic utility functions.
216 function $(id)
217 {
218     return document.getElementById(id);
219 }
220
221
222 function validateParameter(state, key, value, validateFn)
223 {
224     if (validateFn())
225         state[key] = value;
226     else
227         console.log(key + ' value is not valid: ' + value);
228 }
229
230 function queryHashAsMap()
231 {
232     var hash = window.location.hash;
233     var paramsList = hash ? hash.substring(1).split('&') : [];
234     var paramsMap = {};
235     var invalidKeys = [];
236     for (var i = 0; i < paramsList.length; i++) {
237         var thisParam = paramsList[i].split('=');
238         if (thisParam.length != 2) {
239             console.log('Invalid query parameter: ' + paramsList[i]);
240             continue;
241         }
242
243         paramsMap[thisParam[0]] = decodeURIComponent(thisParam[1]);
244     }
245
246     // FIXME: remove support for mapping from the master parameter to the group
247     // one once the waterfall starts to pass in the builder name instead.
248     if (paramsMap.master) {
249         paramsMap.group = LEGACY_BUILDER_MASTERS_TO_GROUPS[paramsMap.master];
250         if (!paramsMap.group)
251             console.log('ERROR: Unknown master name: ' + paramsMap.master);
252         window.location.hash = window.location.hash.replace('master=' + paramsMap.master, 'group=' + paramsMap.group);
253         delete paramsMap.master;
254     }
255
256     return paramsMap;
257 }
258
259 function parseParameter(parameters, key)
260 {
261     if (!(key in parameters))
262         return;
263     var value = parameters[key];
264     if (!handleValidHashParameterWrapper(key, value))
265         console.log("Invalid query parameter: " + key + '=' + value);
266 }
267
268 function parseCrossDashboardParameters()
269 {
270     g_crossDashboardState = {};
271     var parameters = queryHashAsMap();
272     for (parameterName in g_defaultCrossDashboardStateValues)
273         parseParameter(parameters, parameterName);
274
275     fillMissingValues(g_crossDashboardState, g_defaultCrossDashboardStateValues);
276 }
277
278 function parseDashboardSpecificParameters()
279 {
280     g_currentState = {};
281     var parameters = queryHashAsMap();
282     for (parameterName in g_defaultDashboardSpecificStateValues)
283         parseParameter(parameters, parameterName);
284 }
285
286 // @return {boolean} Whether to generate the page.
287 function parseParameters()
288 {
289     var oldCrossDashboardState = g_crossDashboardState;
290     var oldDashboardSpecificState = g_currentState;
291
292     parseCrossDashboardParameters();
293     
294     // Some parameters require loading different JSON files when the value changes. Do a reload.
295     if (Object.keys(oldCrossDashboardState).length) {
296         for (var key in g_crossDashboardState) {
297             if (oldCrossDashboardState[key] != g_crossDashboardState[key] && RELOAD_REQUIRING_PARAMETERS.indexOf(key) != -1) {
298                 window.location.reload();
299                 return false;
300             }
301         }
302     }
303
304     parseDashboardSpecificParameters();
305     var dashboardSpecificDiffState = diffStates(oldDashboardSpecificState, g_currentState);
306
307     fillMissingValues(g_currentState, g_defaultDashboardSpecificStateValues);
308
309     // FIXME: dashboard_base shouldn't know anything about specific dashboard specific keys.
310     if (dashboardSpecificDiffState.builder)
311         delete g_currentState.tests;
312     if (g_currentState.tests)
313         delete g_currentState.builder;
314
315     var shouldGeneratePage = true;
316     if (Object.keys(dashboardSpecificDiffState).length)
317         shouldGeneratePage = handleQueryParameterChange(dashboardSpecificDiffState);
318     return shouldGeneratePage;
319 }
320
321 function diffStates(oldState, newState)
322 {
323     // If there is no old state, everything in the current state is new.
324     if (!oldState)
325         return newState;
326
327     var changedParams = {};
328     for (curKey in newState) {
329         var oldVal = oldState[curKey];
330         var newVal = newState[curKey];
331         // Add new keys or changed values.
332         if (!oldVal || oldVal != newVal)
333             changedParams[curKey] = newVal;
334     }
335     return changedParams;
336 }
337
338 function defaultValue(key)
339 {
340     if (key in g_defaultDashboardSpecificStateValues)
341         return g_defaultDashboardSpecificStateValues[key];
342     return g_defaultCrossDashboardStateValues[key];
343 }
344
345 function fillMissingValues(to, from)
346 {
347     for (var state in from) {
348         if (!(state in to))
349             to[state] = from[state];
350     }
351 }
352
353 // FIXME: Rename this to g_dashboardSpecificState;
354 var g_currentState = {};
355 var g_crossDashboardState = {};
356 parseCrossDashboardParameters();
357
358 function isLayoutTestResults()
359 {
360     return g_crossDashboardState.testType == 'layout-tests';
361 }
362
363 function isGPUTestResults()
364 {
365     return g_crossDashboardState.testType == 'gpu_tests';
366 }
367
368 function currentBuilderGroupCategory()
369 {
370     switch (g_crossDashboardState.testType) {
371     case 'gl_tests':
372     case 'gpu_tests':
373         return CHROMIUM_GPU_TESTS_BUILDER_GROUPS;
374     case 'layout-tests':
375         return LAYOUT_TESTS_BUILDER_GROUPS;
376     case 'test_shell_tests':
377     case 'webkit_unit_tests':
378         return TEST_SHELL_TESTS_BUILDER_GROUPS;
379     case 'androidwebview_instrumentation_tests':
380     case 'chromiumtestshell_instrumentation_tests':
381     case 'contentshell_instrumentation_tests':
382         return CHROMIUM_INSTRUMENTATION_TESTS_BUILDER_GROUPS;
383     case 'cc_unittests':
384         return CC_UNITTEST_BUILDER_GROUPS;
385     default:
386         return CHROMIUM_GTESTS_BUILDER_GROUPS;
387     }
388 }
389
390 function currentBuilderGroupName()
391 {
392     return g_crossDashboardState.group || Object.keys(currentBuilderGroupCategory())[0];
393 }
394
395 function currentBuilderGroup()
396 {
397     return currentBuilderGroupCategory()[currentBuilderGroupName()];
398 }
399
400 function currentBuilders()
401 {
402     return currentBuilderGroup().builders;
403 }
404
405 function isTipOfTreeWebKitBuilder()
406 {
407     return currentBuilderGroup().isToTWebKit;
408 }
409
410 var g_resultsByBuilder = {};
411 var g_expectationsByPlatform = {};
412
413 // TODO(aboxhall): figure out whether this is a performance bottleneck and
414 // change calling code to understand the trie structure instead if necessary.
415 function flattenTrie(trie, prefix)
416 {
417     var result = {};
418     for (var name in trie) {
419         var fullName = prefix ? prefix + "/" + name : name;
420         var data = trie[name];
421         if ("results" in data)
422             result[fullName] = data;
423         else {
424             var partialResult = flattenTrie(data, fullName);
425             for (var key in partialResult) {
426                 result[key] = partialResult[key];
427             }
428         }
429     }
430     return result;
431 }
432
433 function isTreeMap()
434 {
435     return string.endsWith(window.location.pathname, 'treemap.html');
436 }
437
438 function isFlakinessDashboard()
439 {
440     return string.endsWith(window.location.pathname, 'flakiness_dashboard.html');
441 }
442
443 function handleLocationChange()
444 {
445     if (!g_resourceLoader.isLoadingComplete())
446         return;
447
448     if (parseParameters())
449         generatePage();
450 }
451
452 window.onhashchange = handleLocationChange;
453
454 function combinedDashboardState()
455 {
456     var combinedState = Object.create(g_currentState);
457     for (var key in g_crossDashboardState)
458         combinedState[key] = g_crossDashboardState[key];
459     return combinedState;    
460 }
461
462 function invalidateQueryParameters(queryParamsAsState) {
463     for (var key in queryParamsAsState) {
464         if (key in CROSS_DB_INVALIDATING_PARAMETERS)
465             delete g_crossDashboardState[CROSS_DB_INVALIDATING_PARAMETERS[key]];
466         if (DB_SPECIFIC_INVALIDATING_PARAMETERS && key in DB_SPECIFIC_INVALIDATING_PARAMETERS)
467             delete g_currentState[DB_SPECIFIC_INVALIDATING_PARAMETERS[key]];
468     }
469 }
470
471 // Sets the page state. Takes varargs of key, value pairs.
472 function setQueryParameter(var_args)
473 {
474     var queryParamsAsState = {};
475     for (var i = 0; i < arguments.length; i += 2) {
476         var key = arguments[i];
477         queryParamsAsState[key] = arguments[i + 1];
478     }
479
480     invalidateQueryParameters(queryParamsAsState);
481
482     var newState = combinedDashboardState();
483     for (var key in queryParamsAsState) {
484         newState[key] = queryParamsAsState[key];
485     }
486
487     // Note: We use window.location.hash rather that window.location.replace
488     // because of bugs in Chrome where extra entries were getting created
489     // when back button was pressed and full page navigation was occuring.
490     // FIXME: file those bugs.
491     window.location.hash = permaLinkURLHash(newState);
492 }
493
494 function permaLinkURLHash(opt_state)
495 {
496     var state = opt_state || combinedDashboardState();
497     return '#' + joinParameters(state);
498 }
499
500 function joinParameters(stateObject)
501 {
502     var state = [];
503     for (var key in stateObject) {
504         var value = stateObject[key];
505         if (value != defaultValue(key))
506             state.push(key + '=' + encodeURIComponent(value));
507     }
508     return state.join('&');
509 }
510
511 // Create a new function with some of its arguements
512 // pre-filled.
513 // Taken from goog.partial in the Closure library.
514 // @param {Function} fn A function to partially apply.
515 // @param {...*} var_args Additional arguments that are partially
516 //         applied to fn.
517 // @return {!Function} A partially-applied form of the function bind() was
518 //         invoked as a method of.
519 function partial(fn, var_args)
520 {
521     var args = Array.prototype.slice.call(arguments, 1);
522     return function() {
523         // Prepend the bound arguments to the current arguments.
524         var newArgs = Array.prototype.slice.call(arguments);
525         newArgs.unshift.apply(newArgs, args);
526         return fn.apply(this, newArgs);
527     };
528 };
529
530 // Returns the appropriate expectations map for the current testType.
531 function expectationsMap()
532 {
533     return isLayoutTestResults() ? LAYOUT_TEST_EXPECTATIONS_MAP_ : GTEST_EXPECTATIONS_MAP_;
534 }
535
536 function toggleQueryParameter(param)
537 {
538     setQueryParameter(param, !queryParameterValue(param));
539 }
540
541 function queryParameterValue(parameter)
542 {
543     return g_currentState[parameter] || g_crossDashboardState[parameter];
544 }
545
546 // "Decompresses" the RLE-encoding of test results so that we can query it
547 // by build index and test name.
548 //
549 // @param {Object} results results for the current builder
550 // @return Object with these properties:
551 //     - testNames: array mapping test index to test names.
552 //     - resultsByBuild: array of builds, for each build a (sparse) array of test results by test index.
553 //     - flakyTests: array with the boolean value true at test indices that are considered flaky (more than one single-build failure).
554 //     - flakyDeltasByBuild: array of builds, for each build a count of flaky test results by expectation, as well as a total.
555 function decompressResults(builderResults)
556 {
557     var builderTestResults = builderResults[TESTS_KEY];
558     var buildCount = builderResults[FIXABLE_COUNTS_KEY].length;
559     var resultsByBuild = new Array(buildCount);
560     var flakyDeltasByBuild = new Array(buildCount);
561
562     // Pre-sizing the test result arrays for each build saves us ~250ms
563     var testCount = 0;
564     for (var testName in builderTestResults)
565         testCount++;
566     for (var i = 0; i < buildCount; i++) {
567         resultsByBuild[i] = new Array(testCount);
568         resultsByBuild[i][testCount - 1] = undefined;
569         flakyDeltasByBuild[i] = {};
570     }
571
572     // Using indices instead of the full test names for each build saves us
573     // ~1500ms
574     var testIndex = 0;
575     var testNames = new Array(testCount);
576     var flakyTests = new Array(testCount);
577
578     // Decompress and "invert" test results (by build instead of by test) and
579     // determine which are flaky.
580     for (var testName in builderTestResults) {
581         var oneBuildFailureCount = 0;
582
583         testNames[testIndex] = testName;
584         var testResults = builderTestResults[testName].results;
585         for (var i = 0, rleResult, currentBuildIndex = 0; (rleResult = testResults[i]) && currentBuildIndex < buildCount; i++) {
586             var count = rleResult[RLE.LENGTH];
587             var value = rleResult[RLE.VALUE];
588
589             if (count == 1 && value in FAILURE_EXPECTATIONS_)
590                 oneBuildFailureCount++;
591
592             for (var j = 0; j < count; j++) {
593                 resultsByBuild[currentBuildIndex++][testIndex] = value;
594                 if (currentBuildIndex == buildCount)
595                     break;
596             }
597         }
598
599         if (oneBuildFailureCount > 2)
600             flakyTests[testIndex] = true;
601
602         testIndex++;
603     }
604
605     // Now that we know which tests are flaky, count the test results that are
606     // from flaky tests for each build.
607     testIndex = 0;
608     for (var testName in builderTestResults) {
609         if (!flakyTests[testIndex++])
610             continue;
611
612         var testResults = builderTestResults[testName].results;
613         for (var i = 0, rleResult, currentBuildIndex = 0; (rleResult = testResults[i]) && currentBuildIndex < buildCount; i++) {
614             var count = rleResult[RLE.LENGTH];
615             var value = rleResult[RLE.VALUE];
616
617             for (var j = 0; j < count; j++) {
618                 var buildTestResults = flakyDeltasByBuild[currentBuildIndex++];
619                 function addFlakyDelta(key)
620                 {
621                     if (!(key in buildTestResults))
622                         buildTestResults[key] = 0;
623                     buildTestResults[key]++;
624                 }
625                 addFlakyDelta(value);
626                 if (value != 'P' && value != 'N')
627                     addFlakyDelta('total');
628                 if (currentBuildIndex == buildCount)
629                     break;
630             }
631         }
632     }
633
634     return {
635         testNames: testNames,
636         resultsByBuild: resultsByBuild,
637         flakyTests: flakyTests,
638         flakyDeltasByBuild: flakyDeltasByBuild
639     };
640 }
641
642 window.addEventListener('load', function() {
643     g_resourceLoader = new loader.Loader(handleLocationChange);
644     g_resourceLoader.load();
645 }, false);