Cleanup: Move flatten-trie to loader.
[WebKit-https.git] / Tools / TestResultServer / static-dashboards / dashboard_base.js
1 // Copyright (C) 2012 Google Inc. All rights reserved.
2 //
3 // Redistribution and use in source and binary forms, with or without
4 // modification, are permitted provided that the following conditions are
5 // met:
6 //
7 //         * Redistributions of source code must retain the above copyright
8 // notice, this list of conditions and the following disclaimer.
9 //         * Redistributions in binary form must reproduce the above
10 // copyright notice, this list of conditions and the following disclaimer
11 // in the documentation and/or other materials provided with the
12 // distribution.
13 //         * Neither the name of Google Inc. nor the names of its
14 // contributors may be used to endorse or promote products derived from
15 // this software without specific prior written permission.
16 //
17 // THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 // "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 // LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 // A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 // OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 // SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 // LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 // DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 // THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 // (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 // OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 // @fileoverview Base JS file for pages that want to parse the results JSON
30 // from the testing bots. This deals with generic utility functions, visible
31 // history, popups and appending the script elements for the JSON files.
32 //
33 // The calling page is expected to implement the following "abstract"
34 // functions/objects:
35 var g_resourceLoader;
36
37 // Generates the contents of the dashboard. The page should override this with
38 // a function that generates the page assuming all resources have loaded.
39 function generatePage() {}
40
41 // Takes a key and a value and sets the g_currentState[key] = value iff key is
42 // a valid hash parameter and the value is a valid value for that key.
43 //
44 // @return {boolean} Whether the key what inserted into the g_currentState.
45 function handleValidHashParameter(key, value)
46 {
47     return false;
48 }
49
50 // Default hash parameters for the page. The page should override this to create
51 // default states.
52 var g_defaultDashboardSpecificStateValues = {};
53
54
55 // The page should override this to modify page state due to
56 // changing query parameters.
57 // @param {Object} params New or modified query params as key: value.
58 // @return {boolean} Whether changing this parameter should cause generatePage to be called.
59 function handleQueryParameterChange(params)
60 {
61     return true;
62 }
63
64 //////////////////////////////////////////////////////////////////////////////
65 // CONSTANTS
66 //////////////////////////////////////////////////////////////////////////////
67 var GTEST_EXPECTATIONS_MAP_ = {
68     'P': 'PASS',
69     'F': 'FAIL',
70     'N': 'NO DATA',
71     'X': 'SKIPPED'
72 };
73
74 var LAYOUT_TEST_EXPECTATIONS_MAP_ = {
75     'P': 'PASS',
76     'N': 'NO DATA',
77     'X': 'SKIP',
78     'T': 'TIMEOUT',
79     'F': 'TEXT',
80     'C': 'CRASH',
81     'I': 'IMAGE',
82     'Z': 'IMAGE+TEXT',
83     // We used to glob a bunch of expectations into "O" as OTHER. Expectations
84     // are more precise now though and it just means MISSING.
85     'O': 'MISSING'
86 };
87
88 var FAILURE_EXPECTATIONS_ = {
89     'T': 1,
90     'F': 1,
91     'C': 1,
92     'I': 1,
93     'Z': 1
94 };
95
96 // Map of parameter to other parameter it invalidates.
97 var CROSS_DB_INVALIDATING_PARAMETERS = {
98     'testType': 'group'
99 };
100 var DB_SPECIFIC_INVALIDATING_PARAMETERS;
101
102 // Keys in the JSON files.
103 var WONTFIX_COUNTS_KEY = 'wontfixCounts';
104 var FIXABLE_COUNTS_KEY = 'fixableCounts';
105 var DEFERRED_COUNTS_KEY = 'deferredCounts';
106 var WONTFIX_DESCRIPTION = 'Tests never to be fixed (WONTFIX)';
107 var FIXABLE_DESCRIPTION = 'All tests for this release';
108 var DEFERRED_DESCRIPTION = 'All deferred tests (DEFER)';
109 var FIXABLE_COUNT_KEY = 'fixableCount';
110 var ALL_FIXABLE_COUNT_KEY = 'allFixableCount';
111 var CHROME_REVISIONS_KEY = 'chromeRevision';
112 var WEBKIT_REVISIONS_KEY = 'webkitRevision';
113 var TIMESTAMPS_KEY = 'secondsSinceEpoch';
114 var BUILD_NUMBERS_KEY = 'buildNumbers';
115 var TESTS_KEY = 'tests';
116 var ONE_DAY_SECONDS = 60 * 60 * 24;
117 var ONE_WEEK_SECONDS = ONE_DAY_SECONDS * 7;
118
119 // These should match the testtype uploaded to test-results.appspot.com.
120 // See http://test-results.appspot.com/testfile.
121 var TEST_TYPES = [
122     'base_unittests',
123     'browser_tests',
124     'cacheinvalidation_unittests',
125     'compositor_unittests',
126     'content_browsertests',
127     'content_unittests',
128     'courgette_unittests',
129     'crypto_unittests',
130     'googleurl_unittests',
131     'gfx_unittests',
132     'gl_tests',
133     'gpu_tests',
134     'gpu_unittests',
135     'installer_util_unittests',
136     'interactive_ui_tests',
137     'ipc_tests',
138     'jingle_unittests',
139     'layout-tests',
140     'media_unittests',
141     'mini_installer_test',
142     'net_unittests',
143     'printing_unittests',
144     'remoting_unittests',
145     'safe_browsing_tests',
146     'sql_unittests',
147     'sync_unit_tests',
148     'sync_integration_tests',
149     'test_shell_tests',
150     'ui_tests',
151     'unit_tests',
152     'views_unittests',
153     'webkit_unit_tests',
154     'androidwebview_instrumentation_tests',
155     'chromiumtestshell_instrumentation_tests',
156     'contentshell_instrumentation_tests',
157     'cc_unittests'
158 ];
159
160 var RELOAD_REQUIRING_PARAMETERS = ['showAllRuns', 'group', 'testType'];
161
162 // Enum for indexing into the run-length encoded results in the JSON files.
163 // 0 is where the count is length is stored. 1 is the value.
164 var RLE = {
165     LENGTH: 0,
166     VALUE: 1
167 }
168
169 function isFailingResult(value)
170 {
171     return 'FSTOCIZ'.indexOf(value) != -1;
172 }
173
174 // Takes a key and a value and sets the g_currentState[key] = value iff key is
175 // a valid hash parameter and the value is a valid value for that key. Handles
176 // cross-dashboard parameters then falls back to calling
177 // handleValidHashParameter for dashboard-specific parameters.
178 //
179 // @return {boolean} Whether the key what inserted into the g_currentState.
180 function handleValidHashParameterWrapper(key, value)
181 {
182     switch(key) {
183     case 'testType':
184         validateParameter(g_crossDashboardState, key, value,
185             function() { return TEST_TYPES.indexOf(value) != -1; });
186         return true;
187
188     case 'group':
189         validateParameter(g_crossDashboardState, key, value,
190             function() {
191               return value in LAYOUT_TESTS_BUILDER_GROUPS ||
192                   value in CHROMIUM_GPU_TESTS_BUILDER_GROUPS ||
193                   value in CHROMIUM_INSTRUMENTATION_TESTS_BUILDER_GROUPS ||
194                   value in CHROMIUM_GTESTS_BUILDER_GROUPS;
195             });
196         return true;
197
198     case 'useTestData':
199     case 'showAllRuns':
200         g_crossDashboardState[key] = value == 'true';
201         return true;
202
203     default:
204         return handleValidHashParameter(key, value);
205     }
206 }
207
208 var g_defaultCrossDashboardStateValues = {
209     group: null,
210     showAllRuns: false,
211     testType: 'layout-tests',
212     useTestData: false,
213 }
214
215 // Generic utility functions.
216 function $(id)
217 {
218     return document.getElementById(id);
219 }
220
221
222 function validateParameter(state, key, value, validateFn)
223 {
224     if (validateFn())
225         state[key] = value;
226     else
227         console.log(key + ' value is not valid: ' + value);
228 }
229
230 function queryHashAsMap()
231 {
232     var hash = window.location.hash;
233     var paramsList = hash ? hash.substring(1).split('&') : [];
234     var paramsMap = {};
235     var invalidKeys = [];
236     for (var i = 0; i < paramsList.length; i++) {
237         var thisParam = paramsList[i].split('=');
238         if (thisParam.length != 2) {
239             console.log('Invalid query parameter: ' + paramsList[i]);
240             continue;
241         }
242
243         paramsMap[thisParam[0]] = decodeURIComponent(thisParam[1]);
244     }
245
246     // FIXME: remove support for mapping from the master parameter to the group
247     // one once the waterfall starts to pass in the builder name instead.
248     if (paramsMap.master) {
249         paramsMap.group = LEGACY_BUILDER_MASTERS_TO_GROUPS[paramsMap.master];
250         if (!paramsMap.group)
251             console.log('ERROR: Unknown master name: ' + paramsMap.master);
252         window.location.hash = window.location.hash.replace('master=' + paramsMap.master, 'group=' + paramsMap.group);
253         delete paramsMap.master;
254     }
255
256     return paramsMap;
257 }
258
259 function parseParameter(parameters, key)
260 {
261     if (!(key in parameters))
262         return;
263     var value = parameters[key];
264     if (!handleValidHashParameterWrapper(key, value))
265         console.log("Invalid query parameter: " + key + '=' + value);
266 }
267
268 function parseCrossDashboardParameters()
269 {
270     g_crossDashboardState = {};
271     var parameters = queryHashAsMap();
272     for (parameterName in g_defaultCrossDashboardStateValues)
273         parseParameter(parameters, parameterName);
274
275     fillMissingValues(g_crossDashboardState, g_defaultCrossDashboardStateValues);
276 }
277
278 function parseDashboardSpecificParameters()
279 {
280     g_currentState = {};
281     var parameters = queryHashAsMap();
282     for (parameterName in g_defaultDashboardSpecificStateValues)
283         parseParameter(parameters, parameterName);
284 }
285
286 // @return {boolean} Whether to generate the page.
287 function parseParameters()
288 {
289     var oldCrossDashboardState = g_crossDashboardState;
290     var oldDashboardSpecificState = g_currentState;
291
292     parseCrossDashboardParameters();
293     
294     // Some parameters require loading different JSON files when the value changes. Do a reload.
295     if (Object.keys(oldCrossDashboardState).length) {
296         for (var key in g_crossDashboardState) {
297             if (oldCrossDashboardState[key] != g_crossDashboardState[key] && RELOAD_REQUIRING_PARAMETERS.indexOf(key) != -1) {
298                 window.location.reload();
299                 return false;
300             }
301         }
302     }
303
304     parseDashboardSpecificParameters();
305     var dashboardSpecificDiffState = diffStates(oldDashboardSpecificState, g_currentState);
306
307     fillMissingValues(g_currentState, g_defaultDashboardSpecificStateValues);
308
309     // FIXME: dashboard_base shouldn't know anything about specific dashboard specific keys.
310     if (dashboardSpecificDiffState.builder)
311         delete g_currentState.tests;
312     if (g_currentState.tests)
313         delete g_currentState.builder;
314
315     var shouldGeneratePage = true;
316     if (Object.keys(dashboardSpecificDiffState).length)
317         shouldGeneratePage = handleQueryParameterChange(dashboardSpecificDiffState);
318     return shouldGeneratePage;
319 }
320
321 function diffStates(oldState, newState)
322 {
323     // If there is no old state, everything in the current state is new.
324     if (!oldState)
325         return newState;
326
327     var changedParams = {};
328     for (curKey in newState) {
329         var oldVal = oldState[curKey];
330         var newVal = newState[curKey];
331         // Add new keys or changed values.
332         if (!oldVal || oldVal != newVal)
333             changedParams[curKey] = newVal;
334     }
335     return changedParams;
336 }
337
338 function defaultValue(key)
339 {
340     if (key in g_defaultDashboardSpecificStateValues)
341         return g_defaultDashboardSpecificStateValues[key];
342     return g_defaultCrossDashboardStateValues[key];
343 }
344
345 function fillMissingValues(to, from)
346 {
347     for (var state in from) {
348         if (!(state in to))
349             to[state] = from[state];
350     }
351 }
352
353 // FIXME: Rename this to g_dashboardSpecificState;
354 var g_currentState = {};
355 var g_crossDashboardState = {};
356 parseCrossDashboardParameters();
357
358 function isLayoutTestResults()
359 {
360     return g_crossDashboardState.testType == 'layout-tests';
361 }
362
363 function isGPUTestResults()
364 {
365     return g_crossDashboardState.testType == 'gpu_tests';
366 }
367
368 function currentBuilderGroupCategory()
369 {
370     switch (g_crossDashboardState.testType) {
371     case 'gl_tests':
372     case 'gpu_tests':
373         return CHROMIUM_GPU_TESTS_BUILDER_GROUPS;
374     case 'layout-tests':
375         return LAYOUT_TESTS_BUILDER_GROUPS;
376     case 'test_shell_tests':
377     case 'webkit_unit_tests':
378         return TEST_SHELL_TESTS_BUILDER_GROUPS;
379     case 'androidwebview_instrumentation_tests':
380     case 'chromiumtestshell_instrumentation_tests':
381     case 'contentshell_instrumentation_tests':
382         return CHROMIUM_INSTRUMENTATION_TESTS_BUILDER_GROUPS;
383     case 'cc_unittests':
384         return CC_UNITTEST_BUILDER_GROUPS;
385     default:
386         return CHROMIUM_GTESTS_BUILDER_GROUPS;
387     }
388 }
389
390 function currentBuilderGroupName()
391 {
392     return g_crossDashboardState.group || Object.keys(currentBuilderGroupCategory())[0];
393 }
394
395 function currentBuilderGroup()
396 {
397     return currentBuilderGroupCategory()[currentBuilderGroupName()];
398 }
399
400 function currentBuilders()
401 {
402     return currentBuilderGroup().builders;
403 }
404
405 function isTipOfTreeWebKitBuilder()
406 {
407     return currentBuilderGroup().isToTWebKit;
408 }
409
410 var g_resultsByBuilder = {};
411 var g_expectationsByPlatform = {};
412
413 function isTreeMap()
414 {
415     return string.endsWith(window.location.pathname, 'treemap.html');
416 }
417
418 function isFlakinessDashboard()
419 {
420     return string.endsWith(window.location.pathname, 'flakiness_dashboard.html');
421 }
422
423 function handleLocationChange()
424 {
425     if (!g_resourceLoader.isLoadingComplete())
426         return;
427
428     if (parseParameters())
429         generatePage();
430 }
431
432 window.onhashchange = handleLocationChange;
433
434 function combinedDashboardState()
435 {
436     var combinedState = Object.create(g_currentState);
437     for (var key in g_crossDashboardState)
438         combinedState[key] = g_crossDashboardState[key];
439     return combinedState;    
440 }
441
442 function invalidateQueryParameters(queryParamsAsState) {
443     for (var key in queryParamsAsState) {
444         if (key in CROSS_DB_INVALIDATING_PARAMETERS)
445             delete g_crossDashboardState[CROSS_DB_INVALIDATING_PARAMETERS[key]];
446         if (DB_SPECIFIC_INVALIDATING_PARAMETERS && key in DB_SPECIFIC_INVALIDATING_PARAMETERS)
447             delete g_currentState[DB_SPECIFIC_INVALIDATING_PARAMETERS[key]];
448     }
449 }
450
451 // Sets the page state. Takes varargs of key, value pairs.
452 function setQueryParameter(var_args)
453 {
454     var queryParamsAsState = {};
455     for (var i = 0; i < arguments.length; i += 2) {
456         var key = arguments[i];
457         queryParamsAsState[key] = arguments[i + 1];
458     }
459
460     invalidateQueryParameters(queryParamsAsState);
461
462     var newState = combinedDashboardState();
463     for (var key in queryParamsAsState) {
464         newState[key] = queryParamsAsState[key];
465     }
466
467     // Note: We use window.location.hash rather that window.location.replace
468     // because of bugs in Chrome where extra entries were getting created
469     // when back button was pressed and full page navigation was occuring.
470     // FIXME: file those bugs.
471     window.location.hash = permaLinkURLHash(newState);
472 }
473
474 function permaLinkURLHash(opt_state)
475 {
476     var state = opt_state || combinedDashboardState();
477     return '#' + joinParameters(state);
478 }
479
480 function joinParameters(stateObject)
481 {
482     var state = [];
483     for (var key in stateObject) {
484         var value = stateObject[key];
485         if (value != defaultValue(key))
486             state.push(key + '=' + encodeURIComponent(value));
487     }
488     return state.join('&');
489 }
490
491 // Create a new function with some of its arguements
492 // pre-filled.
493 // Taken from goog.partial in the Closure library.
494 // @param {Function} fn A function to partially apply.
495 // @param {...*} var_args Additional arguments that are partially
496 //         applied to fn.
497 // @return {!Function} A partially-applied form of the function bind() was
498 //         invoked as a method of.
499 function partial(fn, var_args)
500 {
501     var args = Array.prototype.slice.call(arguments, 1);
502     return function() {
503         // Prepend the bound arguments to the current arguments.
504         var newArgs = Array.prototype.slice.call(arguments);
505         newArgs.unshift.apply(newArgs, args);
506         return fn.apply(this, newArgs);
507     };
508 };
509
510 // Returns the appropriate expectations map for the current testType.
511 function expectationsMap()
512 {
513     return isLayoutTestResults() ? LAYOUT_TEST_EXPECTATIONS_MAP_ : GTEST_EXPECTATIONS_MAP_;
514 }
515
516 function toggleQueryParameter(param)
517 {
518     setQueryParameter(param, !queryParameterValue(param));
519 }
520
521 function queryParameterValue(parameter)
522 {
523     return g_currentState[parameter] || g_crossDashboardState[parameter];
524 }
525
526 // "Decompresses" the RLE-encoding of test results so that we can query it
527 // by build index and test name.
528 //
529 // @param {Object} results results for the current builder
530 // @return Object with these properties:
531 //     - testNames: array mapping test index to test names.
532 //     - resultsByBuild: array of builds, for each build a (sparse) array of test results by test index.
533 //     - flakyTests: array with the boolean value true at test indices that are considered flaky (more than one single-build failure).
534 //     - flakyDeltasByBuild: array of builds, for each build a count of flaky test results by expectation, as well as a total.
535 function decompressResults(builderResults)
536 {
537     var builderTestResults = builderResults[TESTS_KEY];
538     var buildCount = builderResults[FIXABLE_COUNTS_KEY].length;
539     var resultsByBuild = new Array(buildCount);
540     var flakyDeltasByBuild = new Array(buildCount);
541
542     // Pre-sizing the test result arrays for each build saves us ~250ms
543     var testCount = 0;
544     for (var testName in builderTestResults)
545         testCount++;
546     for (var i = 0; i < buildCount; i++) {
547         resultsByBuild[i] = new Array(testCount);
548         resultsByBuild[i][testCount - 1] = undefined;
549         flakyDeltasByBuild[i] = {};
550     }
551
552     // Using indices instead of the full test names for each build saves us
553     // ~1500ms
554     var testIndex = 0;
555     var testNames = new Array(testCount);
556     var flakyTests = new Array(testCount);
557
558     // Decompress and "invert" test results (by build instead of by test) and
559     // determine which are flaky.
560     for (var testName in builderTestResults) {
561         var oneBuildFailureCount = 0;
562
563         testNames[testIndex] = testName;
564         var testResults = builderTestResults[testName].results;
565         for (var i = 0, rleResult, currentBuildIndex = 0; (rleResult = testResults[i]) && currentBuildIndex < buildCount; i++) {
566             var count = rleResult[RLE.LENGTH];
567             var value = rleResult[RLE.VALUE];
568
569             if (count == 1 && value in FAILURE_EXPECTATIONS_)
570                 oneBuildFailureCount++;
571
572             for (var j = 0; j < count; j++) {
573                 resultsByBuild[currentBuildIndex++][testIndex] = value;
574                 if (currentBuildIndex == buildCount)
575                     break;
576             }
577         }
578
579         if (oneBuildFailureCount > 2)
580             flakyTests[testIndex] = true;
581
582         testIndex++;
583     }
584
585     // Now that we know which tests are flaky, count the test results that are
586     // from flaky tests for each build.
587     testIndex = 0;
588     for (var testName in builderTestResults) {
589         if (!flakyTests[testIndex++])
590             continue;
591
592         var testResults = builderTestResults[testName].results;
593         for (var i = 0, rleResult, currentBuildIndex = 0; (rleResult = testResults[i]) && currentBuildIndex < buildCount; i++) {
594             var count = rleResult[RLE.LENGTH];
595             var value = rleResult[RLE.VALUE];
596
597             for (var j = 0; j < count; j++) {
598                 var buildTestResults = flakyDeltasByBuild[currentBuildIndex++];
599                 function addFlakyDelta(key)
600                 {
601                     if (!(key in buildTestResults))
602                         buildTestResults[key] = 0;
603                     buildTestResults[key]++;
604                 }
605                 addFlakyDelta(value);
606                 if (value != 'P' && value != 'N')
607                     addFlakyDelta('total');
608                 if (currentBuildIndex == buildCount)
609                     break;
610             }
611         }
612     }
613
614     return {
615         testNames: testNames,
616         resultsByBuild: resultsByBuild,
617         flakyTests: flakyTests,
618         flakyDeltasByBuild: flakyDeltasByBuild
619     };
620 }
621
622 window.addEventListener('load', function() {
623     g_resourceLoader = new loader.Loader(handleLocationChange);
624     g_resourceLoader.load();
625 }, false);