Flakiness dashboard assumes there must be ToT tests
[WebKit-https.git] / Tools / TestResultServer / static-dashboards / dashboard_base.js
1 // Copyright (C) 2012 Google Inc. All rights reserved.
2 //
3 // Redistribution and use in source and binary forms, with or without
4 // modification, are permitted provided that the following conditions are
5 // met:
6 //
7 //         * Redistributions of source code must retain the above copyright
8 // notice, this list of conditions and the following disclaimer.
9 //         * Redistributions in binary form must reproduce the above
10 // copyright notice, this list of conditions and the following disclaimer
11 // in the documentation and/or other materials provided with the
12 // distribution.
13 //         * Neither the name of Google Inc. nor the names of its
14 // contributors may be used to endorse or promote products derived from
15 // this software without specific prior written permission.
16 //
17 // THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18 // "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19 // LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20 // A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
21 // OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
22 // SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
23 // LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
24 // DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
25 // THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 // (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
27 // OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 // @fileoverview Base JS file for pages that want to parse the results JSON
30 // from the testing bots. This deals with generic utility functions, visible
31 // history, popups and appending the script elements for the JSON files.
32 //
33 // The calling page is expected to implement the following "abstract"
34 // functions/objects:
35 var g_pageLoadStartTime = Date.now();
36 var g_resourceLoader;
37
38 // Generates the contents of the dashboard. The page should override this with
39 // a function that generates the page assuming all resources have loaded.
40 function generatePage() {}
41
42 // Takes a key and a value and sets the g_currentState[key] = value iff key is
43 // a valid hash parameter and the value is a valid value for that key.
44 //
45 // @return {boolean} Whether the key what inserted into the g_currentState.
46 function handleValidHashParameter(key, value)
47 {
48     return false;
49 }
50
51 // Default hash parameters for the page. The page should override this to create
52 // default states.
53 var g_defaultDashboardSpecificStateValues = {};
54
55
56 // The page should override this to modify page state due to
57 // changing query parameters.
58 // @param {Object} params New or modified query params as key: value.
59 // @return {boolean} Whether changing this parameter should cause generatePage to be called.
60 function handleQueryParameterChange(params)
61 {
62     return true;
63 }
64
65 //////////////////////////////////////////////////////////////////////////////
66 // CONSTANTS
67 //////////////////////////////////////////////////////////////////////////////
68 var GTEST_EXPECTATIONS_MAP_ = {
69     'P': 'PASS',
70     'F': 'FAIL',
71     'N': 'NO DATA',
72     'X': 'SKIPPED'
73 };
74
75 var LAYOUT_TEST_EXPECTATIONS_MAP_ = {
76     'P': 'PASS',
77     'N': 'NO DATA',
78     'X': 'SKIP',
79     'T': 'TIMEOUT',
80     'F': 'TEXT',
81     'C': 'CRASH',
82     'I': 'IMAGE',
83     'Z': 'IMAGE+TEXT',
84     // We used to glob a bunch of expectations into "O" as OTHER. Expectations
85     // are more precise now though and it just means MISSING.
86     'O': 'MISSING'
87 };
88
89 var FAILURE_EXPECTATIONS_ = {
90     'T': 1,
91     'F': 1,
92     'C': 1,
93     'I': 1,
94     'Z': 1
95 };
96
97 // Keys in the JSON files.
98 var WONTFIX_COUNTS_KEY = 'wontfixCounts';
99 var FIXABLE_COUNTS_KEY = 'fixableCounts';
100 var DEFERRED_COUNTS_KEY = 'deferredCounts';
101 var WONTFIX_DESCRIPTION = 'Tests never to be fixed (WONTFIX)';
102 var FIXABLE_DESCRIPTION = 'All tests for this release';
103 var DEFERRED_DESCRIPTION = 'All deferred tests (DEFER)';
104 var FIXABLE_COUNT_KEY = 'fixableCount';
105 var ALL_FIXABLE_COUNT_KEY = 'allFixableCount';
106 var CHROME_REVISIONS_KEY = 'chromeRevision';
107 var WEBKIT_REVISIONS_KEY = 'webkitRevision';
108 var TIMESTAMPS_KEY = 'secondsSinceEpoch';
109 var BUILD_NUMBERS_KEY = 'buildNumbers';
110 var TESTS_KEY = 'tests';
111 var ONE_DAY_SECONDS = 60 * 60 * 24;
112 var ONE_WEEK_SECONDS = ONE_DAY_SECONDS * 7;
113
114 // These should match the testtype uploaded to test-results.appspot.com.
115 // See http://test-results.appspot.com/testfile.
116 var TEST_TYPES = [
117     'base_unittests',
118     'browser_tests',
119     'cacheinvalidation_unittests',
120     'compositor_unittests',
121     'content_browsertests',
122     'content_unittests',
123     'courgette_unittests',
124     'crypto_unittests',
125     'googleurl_unittests',
126     'gfx_unittests',
127     'gl_tests',
128     'gpu_tests',
129     'gpu_unittests',
130     'installer_util_unittests',
131     'interactive_ui_tests',
132     'ipc_tests',
133     'jingle_unittests',
134     'layout-tests',
135     'media_unittests',
136     'mini_installer_test',
137     'net_unittests',
138     'printing_unittests',
139     'remoting_unittests',
140     'safe_browsing_tests',
141     'sql_unittests',
142     'sync_unit_tests',
143     'sync_integration_tests',
144     'test_shell_tests',
145     'ui_tests',
146     'unit_tests',
147     'views_unittests',
148     'webkit_unit_tests',
149 ];
150
151 var RELOAD_REQUIRING_PARAMETERS = ['showAllRuns', 'group', 'testType'];
152
153 // Enum for indexing into the run-length encoded results in the JSON files.
154 // 0 is where the count is length is stored. 1 is the value.
155 var RLE = {
156     LENGTH: 0,
157     VALUE: 1
158 }
159
160 function isFailingResult(value)
161 {
162     return 'FSTOCIZ'.indexOf(value) != -1;
163 }
164
165 // Takes a key and a value and sets the g_currentState[key] = value iff key is
166 // a valid hash parameter and the value is a valid value for that key. Handles
167 // cross-dashboard parameters then falls back to calling
168 // handleValidHashParameter for dashboard-specific parameters.
169 //
170 // @return {boolean} Whether the key what inserted into the g_currentState.
171 function handleValidHashParameterWrapper(key, value)
172 {
173     switch(key) {
174     case 'testType':
175         validateParameter(g_crossDashboardState, key, value,
176             function() { return TEST_TYPES.indexOf(value) != -1; });
177         return true;
178
179     case 'group':
180         validateParameter(g_crossDashboardState, key, value,
181             function() {
182               return value in LAYOUT_TESTS_BUILDER_GROUPS ||
183                   value in CHROMIUM_GPU_TESTS_BUILDER_GROUPS ||
184                   value in CHROMIUM_GTESTS_BUILDER_GROUPS;
185             });
186         return true;
187
188     case 'useTestData':
189     case 'showAllRuns':
190         g_crossDashboardState[key] = value == 'true';
191         return true;
192
193     default:
194         return handleValidHashParameter(key, value);
195     }
196 }
197
198 var g_defaultCrossDashboardStateValues = {
199     showAllRuns: false,
200     testType: 'layout-tests',
201     useTestData: false,
202 }
203
204 // Generic utility functions.
205 function $(id)
206 {
207     return document.getElementById(id);
208 }
209
210 function stringContains(a, b)
211 {
212     return a.indexOf(b) != -1;
213 }
214
215 function caseInsensitiveContains(a, b)
216 {
217     return a.match(new RegExp(b, 'i'));
218 }
219
220 function startsWith(a, b)
221 {
222     return a.indexOf(b) == 0;
223 }
224
225 function endsWith(a, b)
226 {
227     return a.lastIndexOf(b) == a.length - b.length;
228 }
229
230 function isValidName(str)
231 {
232     return str.match(/[A-Za-z0-9\-\_,]/);
233 }
234
235 function trimString(str)
236 {
237     return str.replace(/^\s+|\s+$/g, '');
238 }
239
240 function collapseWhitespace(str)
241 {
242     return str.replace(/\s+/g, ' ');
243 }
244
245 function validateParameter(state, key, value, validateFn)
246 {
247     if (validateFn())
248         state[key] = value;
249     else
250         console.log(key + ' value is not valid: ' + value);
251 }
252
253 function queryHashAsMap()
254 {
255     var hash = window.location.hash;
256     var paramsList = hash ? hash.substring(1).split('&') : [];
257     var paramsMap = {};
258     var invalidKeys = [];
259     for (var i = 0; i < paramsList.length; i++) {
260         var thisParam = paramsList[i].split('=');
261         if (thisParam.length != 2) {
262             console.log('Invalid query parameter: ' + paramsList[i]);
263             continue;
264         }
265
266         paramsMap[thisParam[0]] = decodeURIComponent(thisParam[1]);
267     }
268
269     // FIXME: remove support for mapping from the master parameter to the group
270     // one once the waterfall starts to pass in the builder name instead.
271     if (paramsMap.master) {
272         paramsMap.group = LEGACY_BUILDER_MASTERS_TO_GROUPS[paramsMap.master];
273         if (!paramsMap.group)
274             console.log('ERROR: Unknown master name: ' + paramsMap.master);
275         window.location.hash = window.location.hash.replace('master=' + paramsMap.master, 'group=' + paramsMap.group);
276         delete paramsMap.master;
277     }
278
279     return paramsMap;
280 }
281
282 function parseParameter(parameters, key)
283 {
284     if (!(key in parameters))
285         return;
286     var value = parameters[key];
287     if (!handleValidHashParameterWrapper(key, value))
288         console.log("Invalid query parameter: " + key + '=' + value);
289 }
290
291 function parseCrossDashboardParameters()
292 {
293     g_crossDashboardState = {};
294     var parameters = queryHashAsMap();
295     for (parameterName in g_defaultCrossDashboardStateValues)
296         parseParameter(parameters, parameterName);
297
298     fillMissingValues(g_crossDashboardState, g_defaultCrossDashboardStateValues);
299 }
300
301 function parseDashboardSpecificParameters()
302 {
303     g_currentState = {};
304     var parameters = queryHashAsMap();
305     for (parameterName in g_defaultDashboardSpecificStateValues)
306         parseParameter(parameters, parameterName);
307 }
308
309 // @return {boolean} Whether to generate the page.
310 function parseParameters()
311 {
312     var oldCrossDashboardState = g_crossDashboardState;
313     var oldDashboardSpecificState = g_currentState;
314
315     parseCrossDashboardParameters();
316     
317     // Some parameters require loading different JSON files when the value changes. Do a reload.
318     if (Object.keys(oldCrossDashboardState).length) {
319         for (var key in g_crossDashboardState) {
320             if (oldCrossDashboardState[key] != g_crossDashboardState[key] && RELOAD_REQUIRING_PARAMETERS.indexOf(key) != -1) {
321                 window.location.reload();
322                 return false;
323             }
324         }
325     }
326
327     parseDashboardSpecificParameters();
328     parseParameter(queryHashAsMap(), 'builder');
329
330     var dashboardSpecificDiffState = diffStates(oldDashboardSpecificState, g_currentState);
331
332     fillMissingValues(g_currentState, g_defaultDashboardSpecificStateValues);
333
334     if (!g_crossDashboardState.useTestData)
335         fillMissingValues(g_currentState, {'builder': currentBuilderGroup().defaultBuilder()});
336
337     // FIXME: dashboard_base shouldn't know anything about specific dashboard specific keys.
338     if (dashboardSpecificDiffState.builder)
339         delete g_currentState.tests;
340     if (g_currentState.tests)
341         delete g_currentState.builder;
342
343     var shouldGeneratePage = true;
344     if (Object.keys(dashboardSpecificDiffState).length)
345         shouldGeneratePage = handleQueryParameterChange(dashboardSpecificDiffState);
346     return shouldGeneratePage;
347 }
348
349 function diffStates(oldState, newState)
350 {
351     // If there is no old state, everything in the current state is new.
352     if (!oldState)
353         return newState;
354
355     var changedParams = {};
356     for (curKey in newState) {
357         var oldVal = oldState[curKey];
358         var newVal = newState[curKey];
359         // Add new keys or changed values.
360         if (!oldVal || oldVal != newVal)
361             changedParams[curKey] = newVal;
362     }
363     return changedParams;
364 }
365
366 function defaultValue(key)
367 {
368     if (key in g_defaultDashboardSpecificStateValues)
369         return g_defaultDashboardSpecificStateValues[key];
370     return g_defaultCrossDashboardStateValues[key];
371 }
372
373 function fillMissingValues(to, from)
374 {
375     for (var state in from) {
376         if (!(state in to))
377             to[state] = from[state];
378     }
379 }
380
381 // FIXME: Rename this to g_dashboardSpecificState;
382 var g_currentState = {};
383 var g_crossDashboardState = {};
384 parseCrossDashboardParameters();
385
386 function isLayoutTestResults()
387 {
388     return g_crossDashboardState.testType == 'layout-tests';
389 }
390
391 function isGPUTestResults()
392 {
393     return g_crossDashboardState.testType == 'gpu_tests';
394 }
395
396 function currentBuilderGroupCategory()
397 {
398     switch (g_crossDashboardState.testType) {
399     case 'gl_tests':
400     case 'gpu_tests':
401         return CHROMIUM_GPU_TESTS_BUILDER_GROUPS;
402     case 'layout-tests':
403         return LAYOUT_TESTS_BUILDER_GROUPS;
404     case 'test_shell_tests':
405     case 'webkit_unit_tests':
406         return TEST_SHELL_TESTS_BUILDER_GROUPS;
407     default:
408         return CHROMIUM_GTESTS_BUILDER_GROUPS;
409     }
410 }
411
412 function currentBuilderGroupName()
413 {
414     return g_crossDashboardState.group || Object.keys(currentBuilderGroupCategory())[0];
415 }
416
417 function currentBuilderGroup()
418 {
419     return currentBuilderGroupCategory()[currentBuilderGroupName()];
420 }
421
422 function currentBuilders()
423 {
424     return currentBuilderGroup().builders;
425 }
426
427 function isTipOfTreeWebKitBuilder()
428 {
429     return currentBuilderGroup().isToTWebKit;
430 }
431
432 var g_resultsByBuilder = {};
433 var g_expectationsByPlatform = {};
434
435 // TODO(aboxhall): figure out whether this is a performance bottleneck and
436 // change calling code to understand the trie structure instead if necessary.
437 function flattenTrie(trie, prefix)
438 {
439     var result = {};
440     for (var name in trie) {
441         var fullName = prefix ? prefix + "/" + name : name;
442         var data = trie[name];
443         if ("results" in data)
444             result[fullName] = data;
445         else {
446             var partialResult = flattenTrie(data, fullName);
447             for (var key in partialResult) {
448                 result[key] = partialResult[key];
449             }
450         }
451     }
452     return result;
453 }
454
455 function isTreeMap()
456 {
457     return endsWith(window.location.pathname, 'treemap.html');
458 }
459
460 function isFlakinessDashboard()
461 {
462     return endsWith(window.location.pathname, 'flakiness_dashboard.html');
463 }
464
465 // String of error messages to display to the user.
466 var g_errorMessages = '';
467
468 // Record a new error message.
469 // @param {string} errorMsg The message to show to the user.
470 function addError(errorMsg)
471 {
472     g_errorMessages += errorMsg + '<br>';
473 }
474
475
476 // If there are errors, show big and red UI for errors so as to be noticed.
477 function showErrors()
478 {
479     var errors = $('errors');
480
481     if (!g_errorMessages) {
482         if (errors)
483             errors.parentNode.removeChild(errors);
484         return;
485     }
486
487     if (!errors) {
488         errors = document.createElement('H2');
489         errors.style.color = 'red';
490         errors.id = 'errors';
491         document.body.appendChild(errors);
492     }
493
494     errors.innerHTML = g_errorMessages;
495 }
496
497 function resourceLoadingComplete(errorMsgs)
498 {
499     if (errorMsgs)
500         addError(errorMsgs)
501
502     handleLocationChange();
503 }
504
505 function handleLocationChange()
506 {
507     if (!g_resourceLoader.isLoadingComplete())
508         return;
509
510     if (parseParameters())
511         generatePage();
512 }
513
514 window.onhashchange = handleLocationChange;
515
516 function combinedDashboardState()
517 {
518     var combinedState = Object.create(g_currentState);
519     for (var key in g_crossDashboardState)
520         combinedState[key] = g_crossDashboardState[key];
521     return combinedState;    
522 }
523
524 // Sets the page state. Takes varargs of key, value pairs.
525 function setQueryParameter(var_args)
526 {
527     var state = combinedDashboardState();
528     for (var i = 0; i < arguments.length; i += 2) {
529         var key = arguments[i];
530         state[key] = arguments[i + 1];
531     }
532     // Note: We use window.location.hash rather that window.location.replace
533     // because of bugs in Chrome where extra entries were getting created
534     // when back button was pressed and full page navigation was occuring.
535     // FIXME: file those bugs.
536     window.location.hash = permaLinkURLHash(state);
537 }
538
539 function permaLinkURLHash(opt_state)
540 {
541     var state = opt_state || combinedDashboardState();
542     return '#' + joinParameters(state);
543 }
544
545 function joinParameters(stateObject)
546 {
547     var state = [];
548     for (var key in stateObject) {
549         var value = stateObject[key];
550         if (value != defaultValue(key))
551             state.push(key + '=' + encodeURIComponent(value));
552     }
553     return state.join('&');
554 }
555
556 function logTime(msg, startTime)
557 {
558     console.log(msg + ': ' + (Date.now() - startTime));
559 }
560
561 function hidePopup()
562 {
563     var popup = $('popup');
564     if (popup)
565         popup.parentNode.removeChild(popup);
566 }
567
568 function showPopup(target, html)
569 {
570     var popup = $('popup');
571     if (!popup) {
572         popup = document.createElement('div');
573         popup.id = 'popup';
574         document.body.appendChild(popup);
575     }
576
577     // Set html first so that we can get accurate size metrics on the popup.
578     popup.innerHTML = html;
579
580     var targetRect = target.getBoundingClientRect();
581
582     var x = Math.min(targetRect.left - 10, document.documentElement.clientWidth - popup.offsetWidth);
583     x = Math.max(0, x);
584     popup.style.left = x + document.body.scrollLeft + 'px';
585
586     var y = targetRect.top + targetRect.height;
587     if (y + popup.offsetHeight > document.documentElement.clientHeight)
588         y = targetRect.top - popup.offsetHeight;
589     y = Math.max(0, y);
590     popup.style.top = y + document.body.scrollTop + 'px';
591 }
592
593 // Create a new function with some of its arguements
594 // pre-filled.
595 // Taken from goog.partial in the Closure library.
596 // @param {Function} fn A function to partially apply.
597 // @param {...*} var_args Additional arguments that are partially
598 //         applied to fn.
599 // @return {!Function} A partially-applied form of the function bind() was
600 //         invoked as a method of.
601 function partial(fn, var_args)
602 {
603     var args = Array.prototype.slice.call(arguments, 1);
604     return function() {
605         // Prepend the bound arguments to the current arguments.
606         var newArgs = Array.prototype.slice.call(arguments);
607         newArgs.unshift.apply(newArgs, args);
608         return fn.apply(this, newArgs);
609     };
610 };
611
612 // Returns the appropriate expectatiosn map for the current testType.
613 function expectationsMap()
614 {
615     return isLayoutTestResults() ? LAYOUT_TEST_EXPECTATIONS_MAP_ : GTEST_EXPECTATIONS_MAP_;
616 }
617
618 function toggleQueryParameter(param)
619 {
620     setQueryParameter(param, !queryParameterValue(param));
621 }
622
623 function queryParameterValue(parameter)
624 {
625     return g_currentState[parameter] || g_crossDashboardState[parameter];
626 }
627
628 function checkboxHTML(queryParameter, label, isChecked, opt_extraJavaScript)
629 {
630     var js = opt_extraJavaScript || '';
631     return '<label style="padding-left: 2em">' +
632         '<input type="checkbox" onchange="toggleQueryParameter(\'' + queryParameter + '\');' + js + '" ' +
633             (isChecked ? 'checked' : '') + '>' + label +
634         '</label> ';
635 }
636
637 function selectHTML(label, queryParameter, options)
638 {
639     var html = '<label style="padding-left: 2em">' + label + ': ' +
640         '<select onchange="setQueryParameter(\'' + queryParameter + '\', this[this.selectedIndex].value)">';
641
642     for (var i = 0; i < options.length; i++) {
643         var value = options[i];
644         html += '<option value="' + value + '" ' +
645             (queryParameterValue(queryParameter) == value ? 'selected' : '') +
646             '>' + value + '</option>'
647     }
648     html += '</select></label> ';
649     return html;
650 }
651
652 // Returns the HTML for the select element to switch to different testTypes.
653 function htmlForTestTypeSwitcher(opt_noBuilderMenu, opt_extraHtml, opt_includeNoneBuilder)
654 {
655     var html = '<div style="border-bottom:1px dashed">';
656     html += '' +
657         htmlForDashboardLink('Stats', 'aggregate_results.html') +
658         htmlForDashboardLink('Timeline', 'timeline_explorer.html') +
659         htmlForDashboardLink('Results', 'flakiness_dashboard.html') +
660         htmlForDashboardLink('Treemap', 'treemap.html');
661
662     html += selectHTML('Test type', 'testType', TEST_TYPES);
663
664     if (!opt_noBuilderMenu) {
665         var buildersForMenu = Object.keys(currentBuilders());
666         if (opt_includeNoneBuilder)
667             buildersForMenu.unshift('--------------');
668         html += selectHTML('Builder', 'builder', buildersForMenu);
669     }
670
671     html += selectHTML('Group', 'group',
672         Object.keys(currentBuilderGroupCategory()));
673
674     if (!isTreeMap())
675         html += checkboxHTML('showAllRuns', 'Show all runs', g_crossDashboardState.showAllRuns);
676
677     if (opt_extraHtml)
678         html += opt_extraHtml;
679     return html + '</div>';
680 }
681
682 function selectBuilder(builder)
683 {
684     setQueryParameter('builder', builder);
685 }
686
687 function loadDashboard(fileName)
688 {
689     var pathName = window.location.pathname;
690     pathName = pathName.substring(0, pathName.lastIndexOf('/') + 1);
691     window.location = pathName + fileName + window.location.hash;
692 }
693
694 function htmlForTopLink(html, onClick, isSelected)
695 {
696     var cssText = isSelected ? 'font-weight: bold;' : 'color:blue;text-decoration:underline;cursor:pointer;';
697     cssText += 'margin: 0 5px;';
698     return '<span style="' + cssText + '" onclick="' + onClick + '">' + html + '</span>';
699 }
700
701 function htmlForDashboardLink(html, fileName)
702 {
703     var pathName = window.location.pathname;
704     var currentFileName = pathName.substring(pathName.lastIndexOf('/') + 1);
705     var isSelected = currentFileName == fileName;
706     var onClick = 'loadDashboard(\'' + fileName + '\')';
707     return htmlForTopLink(html, onClick, isSelected);
708 }
709
710 function revisionLink(results, index, key, singleUrlTemplate, rangeUrlTemplate)
711 {
712     var currentRevision = parseInt(results[key][index], 10);
713     var previousRevision = parseInt(results[key][index + 1], 10);
714
715     function singleUrl()
716     {
717         return singleUrlTemplate.replace('<rev>', currentRevision);
718     }
719
720     function rangeUrl()
721     {
722         return rangeUrlTemplate.replace('<rev1>', currentRevision).replace('<rev2>', previousRevision + 1);
723     }
724
725     if (currentRevision == previousRevision)
726         return 'At <a href="' + singleUrl() + '">r' + currentRevision    + '</a>';
727     else if (currentRevision - previousRevision == 1)
728         return '<a href="' + singleUrl() + '">r' + currentRevision    + '</a>';
729     else
730         return '<a href="' + rangeUrl() + '">r' + (previousRevision + 1) + ' to r' + currentRevision + '</a>';
731 }
732
733 function chromiumRevisionLink(results, index)
734 {
735     return revisionLink(
736         results,
737         index,
738         CHROME_REVISIONS_KEY,
739         'http://src.chromium.org/viewvc/chrome?view=rev&revision=<rev>',
740         'http://build.chromium.org/f/chromium/perf/dashboard/ui/changelog.html?url=/trunk/src&range=<rev2>:<rev1>&mode=html');
741 }
742
743 function webKitRevisionLink(results, index)
744 {
745     return revisionLink(
746         results,
747         index,
748         WEBKIT_REVISIONS_KEY,
749         'http://trac.webkit.org/changeset/<rev>',
750         'http://trac.webkit.org/log/trunk/?rev=<rev1>&stop_rev=<rev2>&limit=100&verbose=on');
751 }
752
753 // "Decompresses" the RLE-encoding of test results so that we can query it
754 // by build index and test name.
755 //
756 // @param {Object} results results for the current builder
757 // @return Object with these properties:
758 //     - testNames: array mapping test index to test names.
759 //     - resultsByBuild: array of builds, for each build a (sparse) array of test results by test index.
760 //     - flakyTests: array with the boolean value true at test indices that are considered flaky (more than one single-build failure).
761 //     - flakyDeltasByBuild: array of builds, for each build a count of flaky test results by expectation, as well as a total.
762 function decompressResults(builderResults)
763 {
764     var builderTestResults = builderResults[TESTS_KEY];
765     var buildCount = builderResults[FIXABLE_COUNTS_KEY].length;
766     var resultsByBuild = new Array(buildCount);
767     var flakyDeltasByBuild = new Array(buildCount);
768
769     // Pre-sizing the test result arrays for each build saves us ~250ms
770     var testCount = 0;
771     for (var testName in builderTestResults)
772         testCount++;
773     for (var i = 0; i < buildCount; i++) {
774         resultsByBuild[i] = new Array(testCount);
775         resultsByBuild[i][testCount - 1] = undefined;
776         flakyDeltasByBuild[i] = {};
777     }
778
779     // Using indices instead of the full test names for each build saves us
780     // ~1500ms
781     var testIndex = 0;
782     var testNames = new Array(testCount);
783     var flakyTests = new Array(testCount);
784
785     // Decompress and "invert" test results (by build instead of by test) and
786     // determine which are flaky.
787     for (var testName in builderTestResults) {
788         var oneBuildFailureCount = 0;
789
790         testNames[testIndex] = testName;
791         var testResults = builderTestResults[testName].results;
792         for (var i = 0, rleResult, currentBuildIndex = 0; (rleResult = testResults[i]) && currentBuildIndex < buildCount; i++) {
793             var count = rleResult[RLE.LENGTH];
794             var value = rleResult[RLE.VALUE];
795
796             if (count == 1 && value in FAILURE_EXPECTATIONS_)
797                 oneBuildFailureCount++;
798
799             for (var j = 0; j < count; j++) {
800                 resultsByBuild[currentBuildIndex++][testIndex] = value;
801                 if (currentBuildIndex == buildCount)
802                     break;
803             }
804         }
805
806         if (oneBuildFailureCount > 2)
807             flakyTests[testIndex] = true;
808
809         testIndex++;
810     }
811
812     // Now that we know which tests are flaky, count the test results that are
813     // from flaky tests for each build.
814     testIndex = 0;
815     for (var testName in builderTestResults) {
816         if (!flakyTests[testIndex++])
817             continue;
818
819         var testResults = builderTestResults[testName].results;
820         for (var i = 0, rleResult, currentBuildIndex = 0; (rleResult = testResults[i]) && currentBuildIndex < buildCount; i++) {
821             var count = rleResult[RLE.LENGTH];
822             var value = rleResult[RLE.VALUE];
823
824             for (var j = 0; j < count; j++) {
825                 var buildTestResults = flakyDeltasByBuild[currentBuildIndex++];
826                 function addFlakyDelta(key)
827                 {
828                     if (!(key in buildTestResults))
829                         buildTestResults[key] = 0;
830                     buildTestResults[key]++;
831                 }
832                 addFlakyDelta(value);
833                 if (value != 'P' && value != 'N')
834                     addFlakyDelta('total');
835                 if (currentBuildIndex == buildCount)
836                     break;
837             }
838         }
839     }
840
841     return {
842         testNames: testNames,
843         resultsByBuild: resultsByBuild,
844         flakyTests: flakyTests,
845         flakyDeltasByBuild: flakyDeltasByBuild
846     };
847 }
848
849 document.addEventListener('mousedown', function(e) {
850     // Clear the open popup, unless the click was inside the popup.
851     var popup = $('popup');
852     if (popup && e.target != popup && !(popup.compareDocumentPosition(e.target) & 16))
853         hidePopup();
854 }, false);
855
856 window.addEventListener('load', function() {
857     // This doesn't seem totally accurate as there is a race between
858     // onload firing and the last script tag being executed.
859     logTime('Time to load JS', g_pageLoadStartTime);
860     g_resourceLoader = new loader.Loader();
861     g_resourceLoader.load();
862 }, false);