Perf dashboard should provide a way to associate bugs with a test run
[WebKit.git] / Websites / perf.webkit.org / public / index.html
1 <!DOCTYPE html>
2 <html>
3 <head>
4 <title>WebKit Perf Monitor</title>
5 <script src="js/jquery.js" defer></script>
6 <script src="js/jquery.flot.js" defer></script>
7 <script src="js/jquery.flot.crosshair.js" defer></script>
8 <script src="js/jquery.flot.fillbetween.js" defer></script>
9 <script src="js/jquery.flot.resize.js" defer></script>
10 <script src="js/jquery.flot.selection.js" defer></script>
11 <script src="js/jquery.flot.time.js" defer></script>
12 <script src="js/helper-classes.js" defer></script>
13 <script src="js/shared.js" defer></script>
14 <script src="js/statistics.js" defer></script>
15 <link rel="stylesheet" href="common.css">
16 <style type="text/css">
17
18 #numberOfDaysPicker {
19     color: #666;
20 }
21
22 #numberOfDaysPicker input {
23     height: 0.9em;
24     margin-right: 1em;
25 }
26
27 td, th {
28     border: none;
29     border-collapse: collapse;
30     padding-top: 0.5em;
31 }
32
33 #dashboard > tbody > tr > td {
34     vertical-align: top;
35 }
36
37 #dashboard > thead th {
38     text-shadow: #bbb 1px 1px 2px;
39     font-size: large;
40     font-weight: normal;
41 }
42
43 .chart {
44     position: relative;
45     border: solid 1px #ccc;
46     border-radius: 5px;
47     margin: 0px 0px 10px 0px;
48 }
49
50 .chart.worse {
51     background: #fcc;
52 }
53
54 .chart.better {
55     background: #cfc;
56 }
57
58 #charts .pane {
59     position: absolute;
60     left: 10px;
61     top: 10px;
62     width: 230px;
63 }
64
65 .chart header {
66     height: 3em;
67     display: table-cell;
68     vertical-align: middle;
69 }
70
71 #dashboard header {
72     padding: 0px 10px;
73 }
74
75 .chart h2, .chart h3 {
76     margin: 0 0 0.3em 0;
77     padding: 0;
78     font-size: 1em;
79     font-weight: normal;
80     word-break: break-all;
81 }
82
83 .chart h2 {
84     font-size: normal;
85 }
86
87 .chart h3 {
88     font-size: normal;
89 }
90
91 #dashboard .chart h3 {
92     display: none;
93 }
94
95 #dashboard .chart .status {
96     margin: 0px 10px;
97 }
98
99 .chart .status {
100     font-size: small;
101     color: #666;
102 }
103
104 .plot {
105     margin: 5px 5px 10px 5px;
106 }
107
108 .closeButton svg {
109     position: absolute;
110     left: 8px;
111     bottom: 8px;
112     width: 15px;
113     height: 15px;
114 }
115
116 #dashboard .chart {
117     width: 410px;
118 }
119
120 #dashboard .plot {
121     width: 400px;
122     height: 100px;
123     cursor: pointer;
124     cursor: hand;
125 }
126
127 #charts .plot {
128     height: 320px;
129     margin-left: 250px;
130 }
131
132 #dashboard .overviewPlot {
133     display: none;
134 }
135
136 #charts .overviewPlot {
137     margin: 10px 0px 0px 0px;
138     padding: 0;
139     height: 70px;
140 }
141
142 .chart .summaryTable {
143     font-size: small;
144     color: #666;
145     border: 0;
146 }
147
148 .chart .meta {
149     position: relative;
150 }
151
152 .chart .meta table,
153 .chart .meta td,
154 .tooltip table,
155 .tooltip td {
156     margin: 0;
157     padding: 0;
158 }
159
160 .chart .meta th,
161 .tooltip th {
162     margin: 0;
163     padding: 0 0.2em 0 0;
164     text-align: right;
165     font-weight: normal;
166 }
167
168 .chart .meta td:not(:first-child):before,
169 .tooltip td:not(:first-child):before {
170     content: ": ";
171 }
172
173 #dashboard .chart .summaryTable {
174     position: absolute;
175     right: 10px;
176     top: 0px;
177 }
178
179 #charts .summaryTable {
180     margin-top: 0.3em;
181 }
182
183 #dashboard .arrow {
184     width: 20px;
185     height: 40px;
186     position: absolute;
187     bottom: 50px;
188     left: 5px;
189 }
190
191 #dashboard .unit {
192     display: none;
193 }
194
195 #charts .unit {
196     font-size: small;
197     width: 50px;
198     text-align: center;
199     position: absolute;
200     bottom: 10px;
201     left: 245px;
202 }
203
204 #charts .arrow {
205     width: 20px;
206     height: 40px;
207     position: absolute;
208     top: 10px;
209     left: 240px;
210 }
211
212 .chart svg {
213     stroke: #ccc;
214     fill: #ccc;
215     color: #ccc;
216 }
217
218 .chart.worse svg {
219     stroke: #c99;
220     fill: #c99;
221     color: #c99;
222 }
223
224 .chart.better svg {
225     stroke: #9c9;
226     fill: #9c9;
227     color: #9c9;
228 }
229
230 .chart .yaxistoggler {
231     position: absolute;
232     bottom: 10px;
233     left: 225px;
234     width: 10px;
235     height: 25px;
236 }
237
238 #dashboard  .yaxistoggler {
239     display: none;
240 }
241
242 .tooltip {
243     position: relative;
244     border-radius: 5px;
245     padding: 5px;
246     opacity: 0.8;
247     background: #333;
248     color: #eee;
249     font-size: small;
250     line-height: 130%;
251     white-space: nowrap;
252 }
253
254 .tooltip:before {
255     position: absolute;
256     width: 0;
257     height: 0;
258     left: 50%;
259     margin-left: -9px;
260     top: -19px;
261     content: "";
262     display: none;
263     border-style: solid;
264     border-width: 10px;
265     border-color: transparent transparent #333 transparent;
266 }
267
268 .tooltip.inverted:before {
269     display: block;
270 }
271
272 .tooltip.inverted:after {
273     display: none;
274 }
275
276 .tooltip:after {
277     position: absolute;
278     width: 0;
279     height: 0;
280     left: 50%;
281     margin-left: -9px;
282     bottom: -19px;
283     content: "";
284     display: block;
285     border-style: solid;
286     border-width: 10px;
287     border-color: #333 transparent transparent transparent;
288 }
289
290 .tooltip a {
291     text-decoration: underline;
292     color: #fff;
293     text-shadow: none;
294 }
295
296 .clickTooltip {
297     opacity: 0.6;
298 }
299
300 .hoverTooltip {
301     z-index: 99999;
302 }
303
304 #testPicker {
305     display: inline-block;
306     margin: 10px 0px;
307     border: solid 1px #ccc;
308     color: #666;
309     border-radius: 5px;
310     padding: 5px 8px;
311 }
312
313 </style>
314 <script>
315
316 (function () {
317     var charts = [];
318     var minTime;
319     var currentZoom;
320     var sharedPlotOptions = {
321         lines: { show: true, lineWidth: 1 },
322         xaxis: {
323             mode: "time",
324             timeformat: "%m/%d",
325             minTickSize: [1, 'day'],
326             max: Date.now(), // FIXME: This is likely broken for non-PST
327         },
328         yaxis: { tickLength: 0 },
329         series: { shadowSize: 0 },
330         points: { show: false },
331         grid: {
332             hoverable: true,
333             borderWidth: 1,
334             borderColor: '#999',
335             backgroundColor: '#fff',
336         }
337     };
338
339     function adjustedIntervalForRun(results, minTime, minRatioToFitInAdjustedInterval) {
340         if (!results)
341             return {min: Number.MAX_VALUE, max: Number.MIN_VALUE};
342         var degreeOfWeightingDecrease = 0.2;
343         var movingAverage = results.exponentialMovingArithmeticMean(minTime, degreeOfWeightingDecrease);
344         var resultsCount = results.countResults(minTime);
345         var adjustmentDelta = results.sampleStandardDeviation(minTime) / 4;
346         var adjustedMin = movingAverage;
347         var adjustedMax = movingAverage;
348         var adjustmentCount;
349         for (adjustmentCount = 0; adjustmentCount < 4 * 4; adjustmentCount++) { // Don't expand beyond 4 standard deviations.
350             adjustedMin -= adjustmentDelta;
351             adjustedMax += adjustmentDelta;
352             if (results.countResultsInInterval(minTime, adjustedMin, adjustedMax) / resultsCount >= minRatioToFitInAdjustedInterval)
353                 break;
354         }
355         for (var i = 0; i < adjustmentCount; i++) {
356             if (results.countResultsInInterval(minTime, adjustedMin + adjustmentDelta, adjustedMax) / resultsCount < minRatioToFitInAdjustedInterval)
357                 break;
358             adjustedMin += adjustmentDelta;
359         }
360         for (var i = 0; i < adjustmentCount; i++) {
361             if (results.countResultsInInterval(minTime, adjustedMin, adjustedMax - adjustmentDelta) / resultsCount < minRatioToFitInAdjustedInterval)
362                 break;
363             adjustedMax -= adjustmentDelta;
364         }
365         return {min: adjustedMin, max: adjustedMax};
366     }
367
368     function computeYAxisBoundsToFitLines(minTime, results, baseline, target) {
369         var minOfAllRuns = results.min(minTime);
370         var maxOfAllRuns = results.max(minTime);
371         if (baseline) {
372             minOfAllRuns = Math.min(minOfAllRuns, baseline.min(minTime));
373             maxOfAllRuns = Math.max(maxOfAllRuns, baseline.max(minTime));
374         }
375         if (target) {
376             minOfAllRuns = Math.min(minOfAllRuns, target.min(minTime));
377             maxOfAllRuns = Math.max(maxOfAllRuns, target.max(minTime));
378         }
379         var marginSize = (maxOfAllRuns - minOfAllRuns) * 0.1;
380
381         var minRatioToFitInAdjustedInterval = 0.9;
382         var intervalForResults = adjustedIntervalForRun(results, minTime, minRatioToFitInAdjustedInterval);
383         var intervalForBaseline = adjustedIntervalForRun(baseline, minTime, minRatioToFitInAdjustedInterval);
384         var intervalForTarget = adjustedIntervalForRun(target, minTime, minRatioToFitInAdjustedInterval);
385         var adjustedMin = Math.min(intervalForResults.min, intervalForBaseline.min, intervalForTarget.min);
386         var adjustedMax = Math.max(intervalForResults.max, intervalForBaseline.max, intervalForTarget.max);
387         var adjsutedMarginSize = (adjustedMax - adjustedMin) * 0.1;
388         return {min: minOfAllRuns - marginSize, max: maxOfAllRuns + marginSize,
389             adjustedMin: Math.max(minOfAllRuns - marginSize, adjustedMin - adjsutedMarginSize),
390             adjustedMax: Math.min(maxOfAllRuns + marginSize, adjustedMax + adjsutedMarginSize)};
391     }
392
393     function computeStatus(smallerIsBetter, lastResult, baseline, target) {
394         var relativeDifferenceWithBaseline = baseline ? lastResult.relativeDifference(baseline.lastResult()) : 0;
395         var relativeDifferenceWithTarget = target ? lastResult.relativeDifference(target.lastResult()) : 0;
396         var statusText = '';
397         var status = '';
398
399         if (relativeDifferenceWithBaseline && relativeDifferenceWithBaseline > 0 != smallerIsBetter) {
400             statusText = Math.abs(relativeDifferenceWithBaseline * 100).toFixed(2) + '% ' + (smallerIsBetter ? 'above' : 'below') + ' baseline';
401             status = 'worse';
402         } else if (relativeDifferenceWithTarget && relativeDifferenceWithTarget > 0 == smallerIsBetter) {
403             statusText = Math.abs(relativeDifferenceWithTarget * 100).toFixed(2) + '% ' + (smallerIsBetter ? 'below' : 'above') + ' target';
404             status = 'better';
405         } else if (relativeDifferenceWithTarget)
406             statusText = Math.abs(relativeDifferenceWithTarget * 100).toFixed(2) + '% until target';
407
408         return {class: status, text: statusText};
409     }
410
411     function addPlotDataForRun(plotData, name, runs, color, interactive) {
412         var entry = {color: color, data: runs.meanPlotData()};
413         if (!interactive) {
414             entry.clickable = false;
415             entry.hoverable = false;
416         }
417         if (runs.hasConfidenceInterval()) {
418             var lowerName = name.toLowerCase();
419             var confienceEntry = $.extend(true, {}, entry, {lines: {lineWidth: 0}, clickable: false, hoverable: false});
420             plotData.push($.extend(true, {}, confienceEntry, {id: lowerName, data: runs.upperConfidencePlotData()}));
421             plotData.push($.extend(true, {}, confienceEntry,
422                 {fillBetween: lowerName, lines: {fill: 0.3}, data: runs.lowerConfidencePlotData()}));
423         }
424         plotData.push(entry);
425     }
426
427     function createSummaryRowMarkup(name, runs) {
428         return '<tr><th>' + name + '</th><td>' + runs.lastResult().label() + '</td></tr>';
429     }
430
431     function buildLabelWithLinks(build, previousBuild) {
432         function linkifyIfNotNull(label, url) {
433             return url ? '<a href="' + url + '" target="_blank">' + label + '</a>' : label;
434         }
435
436         var formattedRevisions = build.formattedRevisions(previousBuild);
437         var buildInfo = {
438             'Commit': build.formattedTime(),
439             'Build': linkifyIfNotNull(build.buildNumber(), build.buildUrl()) + '(' + build.formattedBuildTime() + ')'
440         };
441         for (var repositoryName in formattedRevisions)
442             buildInfo[repositoryName] = linkifyIfNotNull(formattedRevisions[repositoryName].label, formattedRevisions[repositoryName].url);
443         var markup = '';
444         for (var key in buildInfo)
445             markup += '<tr><th>' + key + '</th><td>' + buildInfo[key] + '</td>';
446         return '<tr>' + markup + '</tr>';
447     }
448
449     function Chart(container, isDashboard, platform, metric, bugTrackers, onClose) {
450         var linkifiedFullName = metric.fullName;
451         if (metric.test.url)
452             linkifiedFullName = '<a href="' + metric.test.url + '">' + linkifiedFullName + '</a>';
453         var section = $('<section class="chart"><div class="pane"><header><h2>' + linkifiedFullName + '</h2>'
454             + '<h3 class="platform">' + platform.name + '</h3></header>'
455             + '<div class="meta"><table class="status"><tbody></tbody></table><table class="summaryTable"><tbody></tbody></table></div>'
456             + '<div class="overviewPlot"></div></div>'
457             + '<div class="plot"></div>'
458             + '<div class="unit"></div>'
459             + '<svg viewBox="0 0 20 100" class="arrow">'
460             + '<g stroke-width="10"><line x1="10" y1="8" x2="10" y2="92" />'
461             + '<polygon points="5,85 15,85 10,90" class="downwardArrowHead" />'
462             + '<polygon points="5,15 15,15 10,10" class="upwardArrowHead" />'
463             + '</g></svg>'
464             + '<a href="#" class="toggleYAxis"><svg viewBox="0 0 40 100" class="yaxistoggler"><g stroke-width="10">'
465             + '<line x1="20" y1="8" x2="20" y2="82" />'
466             + '<polygon points="15,15 25,15 20,10" />'
467             + '<polygon points="15,75 25,75 20,80" />'
468             + '<line x1="0" y1="92" x2="40" y2="92" />'
469             + '</g></svg></a>'
470             + '<a href="#" class="closeButton"><svg viewBox="0 0 100 100">'
471             + '<g stroke-width="10"><circle cx="50" cy="50" r="45" fill="transparent"/><polygon points="30,30 70,70" />'
472             + '<polygon points="30,70 70,30" /></g></svg></a></section>');
473
474         $(container).append(section);
475
476         var self = this;
477         if (onClose) {
478             section.find('.closeButton').bind('click', function (event) {
479                 event.preventDefault();
480                 section.remove();
481                 charts.splice(charts.indexOf(self), 1);
482                 onClose(self);
483                 return false;
484             });
485         } else
486             section.find('.closeButton').hide();
487
488         section.find('.yaxistoggler').bind('click', function (event) {
489             self.toggleYAxis();
490             event.preventDefault();
491             return false;
492         });
493
494         var plotData = [];
495         var results;
496         var baseline;
497         var target;
498
499         var tooltip = new Tooltip(container, 'tooltip hoverTooltip');
500         var bounds;
501         var plotContainer = section.find('.plot');
502         var mainPlot;
503         var overviewPlot;
504         var clickTooltips = [];
505         var shouldShowEntireYAxis = false;
506
507         this.platform = function () { return platform; }
508         this.metric = function () { return metric; }
509
510         this.populate = function (passedResults, passedBaseline, passedTarget) {
511             results = passedResults;
512             baseline = passedBaseline;
513             target = passedTarget;
514
515             var summaryRows = '';
516             if (target) {
517                 addPlotDataForRun(plotData, 'Target', target, '#039');
518                 summaryRows = createSummaryRowMarkup('Target', target) + summaryRows;
519             }
520             if (baseline) {
521                 addPlotDataForRun(plotData, 'Baseline', baseline, '#930');
522                 summaryRows = createSummaryRowMarkup('Baseline', baseline) + summaryRows;
523             }
524             addPlotDataForRun(plotData, 'Current', results, '#666', true);
525             summaryRows = createSummaryRowMarkup('Current', results) + summaryRows;
526
527             var status = computeStatus(results.smallerIsBetter(), results.lastResult(), baseline, target);
528             if (status.text)
529                 summaryRows = '<tr><td colspan="2">' + status.text + '</td></tr>' + summaryRows;
530             section.addClass(status.class);
531             section.find('.status tbody').html(buildLabelWithLinks(results.lastResult().build()));
532             section.find('.summaryTable tbody').html(summaryRows);
533             section.find('.unit').html(results.unit());
534             if (results.smallerIsBetter()) {
535                 section.find('.arrow .downwardArrowHead').show();
536                 section.find('.arrow .upwardArrowHead').hide();
537             } else {
538                 section.find('.arrow .downwardArrowHead').hide();
539                 section.find('.arrow .upwardArrowHead').show();
540             }
541         }
542
543         this.attachMainPlot = function (xMin, xMax) {
544             if (!bounds)
545                 return;
546
547             var mainPlotOptions = $.extend(true, {}, sharedPlotOptions, {
548                 xaxis: {
549                     min: xMin,
550                 },
551                 yaxis: {
552                     tickLength: null,
553                     min: shouldShowEntireYAxis ? 0 : bounds.adjustedMin,
554                     max: shouldShowEntireYAxis ? bounds.max : bounds.adjustedMax,
555                 },
556                 crosshair: {'mode': 'x', color: '#c90', lineWidth: 1},
557                 grid: {clickable: true},
558             });
559             if (xMax)
560                 mainPlotOptions.xaxis.max = xMax;
561             if (isDashboard) {
562                 mainPlotOptions.yaxis.labelWidth = 20;
563                 mainPlotOptions.yaxis.ticks = [mainPlotOptions.yaxis.min, mainPlotOptions.yaxis.max];
564                 mainPlotOptions.grid.autoHighlight = false;
565             } else {
566                 mainPlotOptions.yaxis.labelWidth = 30;
567                 mainPlotOptions.selection = {mode: "x"};
568                 plotData[plotData.length - 1].points = {show: true, radius: 1};
569             }
570             mainPlot = $.plot(plotContainer, plotData, mainPlotOptions);
571             plotData[plotData.length - 1].points = {};
572
573             for (var i = 0; i < clickTooltips.length; i++) {
574                 if (clickTooltips[i])
575                     clickTooltips[i].remove();
576             }
577             clickTooltips = [];
578         }
579
580         this.toggleYAxis = function () {
581             shouldShowEntireYAxis = !shouldShowEntireYAxis;
582             if (currentZoom)
583                 this.attachMainPlot(currentZoom.from, currentZoom.to);
584             else
585                 this.attachMainPlot(minTime);
586         }
587
588         this.zoom = function (from, to) {
589             this.attachMainPlot(from, to);
590             if (overviewPlot)
591                 overviewPlot.setSelection({xaxis: {from: from, to: to}}, true);
592         }
593
594         this.clearZoom = function () {
595             this.attachMainPlot(minTime);
596             if (overviewPlot)
597                 overviewPlot.clearSelection();
598         }
599         
600         this.setCrosshair = function (pos) {
601             if (mainPlot)
602                 mainPlot.setCrosshair(pos);
603         }
604
605         this.clearCrosshair = function () {
606             if (mainPlot)
607                 mainPlot.clearCrosshair();
608         }
609
610         this.hideTooltip = function() {
611             if (tooltip)
612                 tooltip.hide();
613         }
614
615         function toggleClickTooltip(index, pageX, pageY) {
616             if (clickTooltips[index])
617                 clickTooltips[index].toggle();
618             else {
619                 // FIXME: Put this on URLState.
620                 var newTooltip = new Tooltip(container, 'tooltip clickTooltip');
621                 showTooltipWithResults(newTooltip, pageX, pageY, results.resultAt(index), results.resultAt(index - 1));
622                 newTooltip.bindClick(function () { toggleClickTooltip(index, pageX, pageY); });
623                 newTooltip.bindMouseEnter(function () { tooltip.hide(); });
624                 clickTooltips[index] = newTooltip;
625             }
626             tooltip.hide();
627         }
628
629         function showTooltipWithResults(tooltip, x, y, result, resultToCompare) {
630             var newBugUrls = '';
631             if (resultToCompare) {
632                 var title = (resultToCompare.isBetterThan(result) ? 'REGRESSION: ' : '') + result.metric().fullName
633                     + ' got ' + result.formattedProgressionOrRegression(resultToCompare)
634                     + ' around ' + result.build().formattedTime();
635                 var revisions = result.build().formattedRevisions(resultToCompare.build());
636
637                 for (var trackerId in bugTrackers) {
638                     var tracker = bugTrackers[trackerId];
639                     var repositories = tracker.repositories;
640                     var description = 'Platform: ' + result.build().platform().name + '\n\n';
641                     for (var i = 0; i < repositories.length; ++i) {
642                         var repositoryName = repositories[i];
643                         var revision = revisions[repositoryName];
644                         if (!revision)
645                             continue;
646                         if (revision.url)
647                             description += repositoryName + ': ' + revision.url;
648                         else
649                             description += revision.label;
650                         description += '\n';
651                     }
652                     var url = tracker.newBugUrl
653                         .replace(/\$title/g, encodeURIComponent(title))
654                         .replace(/\$description/g, encodeURIComponent(description))
655                         .replace(/\$link/g, encodeURIComponent(location.href));
656                     if (newBugUrls)
657                         newBugUrls += ',';
658                     newBugUrls += ' <a href="' + url + '" target="_blank">' + tracker.name + '</a>';
659                 }
660                 newBugUrls = 'File:' + newBugUrls;
661             }
662             tooltip.show(x, y, result.label(resultToCompare) + '<table>'
663                 + buildLabelWithLinks(result.build(), resultToCompare ? resultToCompare.build() : null) + '</table>'
664                 + newBugUrls);
665         }
666
667         tooltip.bindClick(function () {
668             if (tooltip.currentItem)
669                 toggleClickTooltip(tooltip.currentItem.dataIndex, tooltip.currentItem.pageX, tooltip.currentItem.pageY);
670         });
671
672         function closestItemForPageXRespectingPlotOffset(item, plot, series, pageX) {
673             if (!series || !series.data.length)
674                 return null;
675
676             var offset = $(plotContainer).offset();
677             var points = series.datapoints.points;
678             var size = series.datapoints.pointsize;
679             var xInPlot = pageX - offset.left;
680
681             if (xInPlot < plot.getPlotOffset().left)
682                 return null;
683             if (item)
684                 return item;
685
686             var previousPoint;
687             var index = 0;
688             while (1) {
689                 var currentPoint = plot.pointOffset({x: points[index * size], y: points[index * size + 1]});
690                 if (xInPlot < currentPoint.left) {
691                     if (previousPoint && xInPlot < (previousPoint.left + currentPoint.left) / 2) {
692                         index -= 1;
693                         currentPoint = previousPoint;
694                     }
695                     break;
696                 }
697                 if (index + 1 >= series.data.length)
698                     break;
699                 previousPoint = currentPoint;
700                 index++;
701             }
702
703             // Ideally we want to return a real item object but flot doesn't provide an API to obtain one
704             // so create an object that contain properties we use.
705             return {dataIndex: index, pageX: offset.left + currentPoint.left, pageY: offset.top + currentPoint.top};
706         }
707
708         // Return a plot generator. This function is called when we change the number of days to show.
709         this.attach = function () {
710             if (!results)
711                 return;
712
713             bounds = computeYAxisBoundsToFitLines(minTime, results, baseline, target);
714
715             var overviewContainer = section.find('.overviewPlot');
716             if (!isDashboard) {
717                 overviewPlot = $.plot(overviewContainer, plotData,
718                     $.extend(true, {}, sharedPlotOptions, {
719                         xaxis: {
720                             min: minTime,
721                             // The maximum number of ticks we can fit on the overflow plot is 4.
722                             tickSize: [(TestBuild.now() - minTime) / 4 / 1000, 'second']
723                         },
724                         grid: { hoverable: false, clickable: false },
725                         selection: { mode: "x" },
726                         yaxis: {
727                             show: false,
728                             min: bounds.min,
729                             max: bounds.max,
730                         }
731                 }));
732
733                 $(plotContainer).bind("plotselected", function (event, ranges) { Chart.zoom(ranges.xaxis.from, ranges.xaxis.to); });
734                 $(overviewContainer).bind("plotselected", function (event, ranges) { Chart.zoom(ranges.xaxis.from, ranges.xaxis.to); });
735                 $(overviewContainer).bind("plotunselected", function () { Chart.clearZoom(minTime) });
736             }
737
738             if (currentZoom)
739                 this.zoom(currentZoom.from, currentZoom.to);
740             else
741                 this.attachMainPlot(minTime);
742
743             if (bindPlotEventHandlers)
744                 bindPlotEventHandlers(this);
745             bindPlotEventHandlers = null;
746         };
747
748         function bindPlotEventHandlers(chart) {
749             // FIXME: Crosshair should stay where it was between charts.
750             $(plotContainer).bind("plothover", function (event, pos, item) {
751                 for (var i = 0; i < charts.length; i++) {
752                     if (charts[i] !== chart) {
753                         charts[i].setCrosshair(pos);
754                         charts[i].hideTooltip();
755                     }
756                 }
757                 if (isDashboard)
758                     return;
759                 var data = mainPlot.getData();
760                 item = closestItemForPageXRespectingPlotOffset(item, mainPlot, data[data.length - 1], pos.pageX);
761                 if (!item)
762                     return;
763
764                 showTooltipWithResults(tooltip, item.pageX, item.pageY, results.resultAt(item.dataIndex), results.resultAt(item.dataIndex - 1));
765                 tooltip.currentItem = item;
766             });
767
768             $(plotContainer).bind("mouseleave", function (event) {
769                 var offset = $(plotContainer).offset();
770                 if (offset.left <= event.pageX && offset.top <= event.pageY && event.pageX <= offset.left + $(plotContainer).outerWidth()
771                     && event.pageY <= offset.top + $(plotContainer).outerHeight())
772                     return 0;
773                 for (var i = 0; i < charts.length; i++) {
774                     charts[i].clearCrosshair();
775                     charts[i].hideTooltip();
776                 }
777
778             });
779
780             if (isDashboard) { // FIXME: This code doesn't belong here.
781                 $(plotContainer).bind('click', function (event) {
782                     openChart(results.platform(), results.metric());
783                 });
784             } else {
785                 $(plotContainer).bind("plotclick", function (event, pos, item) {
786                     if (tooltip.currentItem)
787                         toggleClickTooltip(tooltip.currentItem.dataIndex, tooltip.currentItem.pageX, tooltip.currentItem.pageY);
788                 });
789             }
790         }
791
792         charts.push(this);
793     }
794
795     Chart.clear = function () {
796         charts = [];
797     }
798
799     Chart.setMinTime = function (newMinTime) {
800         minTime = newMinTime;
801         for (var i = 0; i < charts.length; i++)
802             charts[i].attach();
803     }
804
805     Chart.onzoomchange = function (from, to) { };
806
807     Chart.zoom = function (from, to) {
808         currentZoom = {from: from, to: to};
809         for (var i = 0; i < charts.length; i++)
810             charts[i].zoom(from, to);
811         this.onzoomchange(from, to);
812     }
813
814     Chart.clearZoom = function (minTime) {
815         currentZoom = undefined;
816         for (var i = 0; i < charts.length; i++)
817             charts[i].clearZoom();
818         this.onzoomchange();
819     }
820
821     window.Chart = Chart;
822 })();
823
824 // FIXME: We need to devise a way to fetch runs in multiple chunks so that
825 // we don't have to fetch the entire time series to just show the last 3 days.
826 // FIXME: We should do a mass-fetch where we fetch JSONs for multiple runs at once.
827 function fetchTest(repositories, builders, filename, platform, metric, callback) {
828
829     function createRunAndResults(rawRuns) {
830         if (!rawRuns)
831             return null;
832
833         var runs = new PerfTestRuns(metric, platform);
834         var results = rawRuns.map(function (rawRun) {
835             // FIXME: Creating PerfTestResult and keeping them alive in memory all the time seems like a terrible idea.
836             // We should create PerfTestResult on demand.
837             return new PerfTestResult(runs, rawRun, new TestBuild(repositories, builders, platform, rawRun));
838         });
839         runs.setResults(results.sort(function (a, b) { return a.build().time() - b.build().time(); }));
840         return runs;
841     }
842
843     $.getJSON('api/runs/' + filename, function (data) {
844         callback(createRunAndResults(data.current), createRunAndResults(data.baseline), createRunAndResults(data.target));
845     });
846 }
847
848 function init() {
849     var allPlatforms;
850     var tests = [];
851     var fullNameToMetric;
852     var dashboardPlatforms;
853     var runsCache = {}; // FIXME: We need to clear this cache at some point.
854     var repositories;
855     var builders;
856     var bugTrackers;
857
858     // FIXME: Show some error message when we get 404.
859     function getOrFetchTest(platform, metric, callback) {
860         var filename = fileNameFromPlatformAndTest(platform.id, metric.id);
861         var caches = runsCache[filename];
862
863         if (caches)
864             setTimeout(function () { callback(caches.current, caches.baseline, caches.target); }, 0);
865         else {
866             fetchTest(repositories, builders, filename, platform, metric, function (current, baseline, target) {
867                 runsCache[filename] = {current:current, baseline:baseline, target:target};
868                 callback(current, baseline, target);
869             });
870         }
871     }
872
873     function showDashboard() {
874         var dashboardTable = $('<table id="dashboard"></table>');
875         $('#mainContents').html(dashboardTable);
876
877         // Split dashboard platforms into groups of three so that it doesn't grow horizontally too much.
878         // FIXME: Make this adaptive.
879         for (var i = 0; i < Math.ceil(dashboardPlatforms.length / 3); i++)
880             addPlatformsToDashboard(dashboardTable, dashboardPlatforms.slice(i * 3, (i + 1) * 3));
881
882         URLState.remove('chartList');
883     }
884
885     function addPlatformsToDashboard(dashboardTable, selectedPlatforms) {
886         var header = document.createElement('thead');
887         selectedPlatforms.forEach(function (platform) {
888             var cell = document.createElement('th');
889             $(cell).text(platform.name);
890             header.appendChild(cell);
891         });
892         dashboardTable.append(header);
893
894         var tbody = $(document.createElement('tbody'));
895         dashboardTable.append(tbody);
896         var row = document.createElement('tr');
897         tbody.append(row);
898
899         selectedPlatforms.forEach(function (platform) {
900             var cell = document.createElement('td');
901             row.appendChild(cell);
902
903             platform.metrics.forEach(function (metric) {
904                 var chart = new Chart(cell, true, platform, metric, bugTrackers);
905                 getOrFetchTest(platform, metric, function (results, baseline, target) {
906                     // FIXME: We shouldn't rely on the order in which XHR finishes to order plots.
907                     if (dashboardTable.parent().length) {
908                         chart.populate(results, baseline, target);
909                         chart.attach();
910                     }
911                 });
912             });
913         });
914     }
915
916     function showCharts(lists) {
917         var chartsContainer = document.createElement('section');
918         chartsContainer.id = 'charts';
919         $('#mainContents').html(chartsContainer);
920
921         var testPicker = document.createElement('section');
922         testPicker.id = 'testPicker';
923
924         function addOption(select, label, value) {
925             var option = document.createElement('option');
926             option.appendChild(document.createTextNode(label));
927             if (value)
928                 option.value = value;
929             select.appendChild(option);
930         }
931
932         var testList = document.createElement('select');
933         testList.id = 'testList';
934         testPicker.appendChild(testList);
935         for (var i = 0; i < tests.length; ++i) {
936             if (tests[i].parentTest)
937                 continue;
938             addOption(testList, tests[i].fullName, tests[i].id);
939         }
940
941         var metricList = document.createElement('select');
942         metricList.id = 'metricList';
943         testPicker.appendChild(metricList);
944
945         var platformList = document.createElement('select');
946         platformList.id = 'platformList';
947         testPicker.appendChild(platformList);
948         const OPTION_VALUE_FOR_ALL = '-';
949         addOption(platformList, 'All platforms', OPTION_VALUE_FOR_ALL);
950         for (var i = 0; i < allPlatforms.length; ++i)
951             addOption(platformList, allPlatforms[i].name);
952
953         testList.onchange = function () {
954             while (metricList.firstChild)
955                 metricList.removeChild(metricList.firstChild);
956
957             var metricsGroup = document.createElement('optgroup');
958             metricsGroup.label = 'Metrics';
959             metricList.appendChild(metricsGroup);
960             addOption(metricsGroup, 'All metrics', OPTION_VALUE_FOR_ALL);
961             for (var i = 0; i < tests.length; ++i) {
962                 if (tests[i].id == testList.value) {
963                     var selectedTest = tests[i];
964                     for (var j = 0; j < selectedTest.metrics.length; ++j) {
965                         var fullName = selectedTest.metrics[j].fullName;
966                         var relativeName = fullName.replace(selectedTest.fullName, '').replace(/^[:/]/, '');
967                         addOption(metricsGroup, relativeName, fullName);
968                     }
969                 }
970             }
971             var subtestsGroup = document.createElement('optgroup');
972             subtestsGroup.label = 'Tests';
973             metricList.appendChild(subtestsGroup);
974             addOption(subtestsGroup, 'All subtests', OPTION_VALUE_FOR_ALL);
975             for (var i = 0; i < tests.length; ++i) {
976                 if (!tests[i].parentTest || tests[i].parentTest.id != testList.value)
977                     continue;
978                 var subtest = tests[i];
979                 var selectedTest = subtest.parentTest;
980                 for (var j = 0; j < subtest.metrics.length; ++j) {
981                     var fullName = subtest.metrics[j].fullName;
982                     var relativeName = fullName.replace(selectedTest.fullName, '').replace(/^[:/]/, '');
983                     addOption(subtestsGroup, relativeName, fullName);
984                 }
985             }
986         }
987         metricList.onchange = function () {
988             var metric = fullNameToMetric[metricList.value];
989             var shouldAddAllMetrics = metricList.value === OPTION_VALUE_FOR_ALL;
990             for (var i = 0; i < platformList.options.length; ++i) {
991                 var option = platformList.options[i];
992                 if (option.value === OPTION_VALUE_FOR_ALL) // Adding all metrics for all platforms will be too slow.
993                     option.disabled = shouldAddAllMetrics;
994                 else {
995                     var platform = nameToPlatform[option.value];
996                     var platformHasMetric = platform.metrics.indexOf(metric) >= 0;
997                     option.disabled = !shouldAddAllMetrics && !platformHasMetric;
998                 }
999             }
1000         }
1001         testList.onchange();
1002         metricList.onchange();
1003
1004         $(testPicker).append(' <a href="">Add Chart</a>');
1005
1006         function removeChart(chart) {
1007             for (var i = 0; i < chartList.length; i++) {
1008                 if (chartList[i][0] == chart.platform().name && chartList[i][1] == chart.metric().fullName) {
1009                     chartList.splice(i, 1);
1010                     break;
1011                 }
1012             }
1013             URLState.set('chartList', JSON.stringify(chartList));
1014         }
1015
1016         function createChartFromListPair(platformName, metricFullName) {
1017             var platform = nameToPlatform[platformName];
1018             var metric = fullNameToMetric[metricFullName]
1019             var chart = new Chart(chartsContainer, false, platform, metric, bugTrackers, removeChart);
1020
1021             getOrFetchTest(platform, metric, function (results, baseline, target) {
1022                 if (!chartsContainer.parentNode)
1023                     return;
1024                 chart.populate(results, baseline, target);
1025                 chart.attach();
1026             });
1027         }
1028
1029         $(testPicker).children('a').bind('click', function (event) {
1030             event.preventDefault();
1031
1032             var newChartList = [];
1033             if (platformList.value === OPTION_VALUE_FOR_ALL) {
1034                 for (var i = 0; i < allPlatforms.length; ++i) {
1035                     createChartFromListPair(allPlatforms[i].name, metricList.value);
1036                     newChartList.push([allPlatforms[i].name, metricList.value]);
1037                 }
1038             } else if (metricList.value === OPTION_VALUE_FOR_ALL) {
1039                 var group = metricList.selectedOptions[0].parentNode;
1040                 var metricsToAdd = [];
1041                 for (var i = 0; i < group.children.length; i++) {
1042                     var metric = group.children[i].value;
1043                     if (metric == OPTION_VALUE_FOR_ALL)
1044                         continue;
1045                     createChartFromListPair(platformList.value, metric);
1046                     newChartList.push([platformList.value, metric]);
1047                 }
1048             } else {
1049                 createChartFromListPair(platformList.value, metricList.value);
1050                 newChartList.push([platformList.value, metricList.value]);
1051             }
1052
1053             chartList = chartList.concat(newChartList);
1054             URLState.set('chartList', JSON.stringify(chartList));
1055
1056             return false;
1057         });
1058
1059         $('#mainContents').append(testPicker);
1060
1061         var chartList = [];
1062         try {
1063             chartList = JSON.parse(URLState.get('chartList', ''));
1064             // FIXME: Should we verify that platform and test names are valid here?
1065         } catch (exception) {
1066             // Ignore any exception thrown by parse.
1067         }
1068
1069         chartList.forEach(function (item) { createChartFromListPair(item[0], item[1]); });
1070     }
1071
1072     // FIXME: We should use exponential slider for charts page where we expect to have
1073     // the full JSON as opposed to the dashboard where we can't afford loading really big JSON files.
1074     var exponential = true;
1075     (function () {
1076         var input = $('#numberOfDays')[0];
1077         var updating = 0;
1078         function updateSpanAndCall(newNumberOfDays) {
1079             $('#numberOfDays').next().text(newNumberOfDays + ' days');
1080             // FIXME: This is likely broken for non-PST.
1081             Chart.setMinTime(Date.now() - newNumberOfDays * 24 * 3600 * 1000);
1082         }
1083         $('#numberOfDays').bind('change', function () {
1084             var newNumberOfDays = Math.round(exponential ? Math.exp(input.value) : input.value);
1085             URLState.remove('zoom');
1086             Chart.clearZoom();
1087             URLState.set('days', newNumberOfDays);
1088             updateSpanAndCall(newNumberOfDays);
1089         });
1090         function onchange() {
1091             var newNumberOfDays = URLState.get('days', Math.round(exponential ? Math.exp(input.defaultValue) : input.defaultValue));
1092             $('#numberOfDays').val(exponential ? Math.log(newNumberOfDays) : newNumberOfDays);
1093             updateSpanAndCall(newNumberOfDays);
1094         }
1095         URLState.watch('days', onchange);
1096         onchange();
1097     })();
1098
1099     URLState.watch('mode', function () { setMode(URLState.get('mode')); });
1100     URLState.watch('chartList', function (changedStates) {
1101         var modeChanged = changedStates.indexOf('mode') >= 0;
1102         if (URLState.get('mode') == 'charts' && !modeChanged)
1103             setMode('charts');
1104     });
1105
1106     function zoomChartsIfParsedCorrectly() {
1107         try {
1108             zoomValues = JSON.parse(URLState.get('zoom', '[]'));
1109             if (zoomValues.length != 2)
1110                 return false;
1111             Chart.zoom(parseFloat(zoomValues[0]), parseFloat(zoomValues[1]));
1112         } catch (exception) {
1113             // Ignore all exceptions thrown by JSON.parse.
1114         }
1115         return true;
1116     }
1117
1118     URLState.watch('zoom', function (changedStates) {
1119         var modeChanged = changedStates.indexOf('mode') >= 0;
1120         if (URLState.get('mode') == 'charts' && !modeChanged) {
1121             if (!zoomChartsIfParsedCorrectly())
1122                 return Chart.clearZoom();
1123         }
1124     });
1125
1126     Chart.onzoomchange = function (from, to) {
1127         if (from && to)
1128             URLState.set('zoom', JSON.stringify([from, to]));
1129         else
1130             URLState.remove('zoom');
1131     }
1132
1133     window.openChart = function (platform, metric) {
1134         URLState.set('chartList', JSON.stringify([[platform.name, metric.fullName]]));
1135         setMode('charts');
1136     }
1137
1138     window.setMode = function (newMode) {
1139         URLState.set('mode', newMode);
1140
1141         Chart.clear();
1142         if (newMode == 'dashboard') {
1143             URLState.remove('zoom');
1144             Chart.clearZoom();
1145             showDashboard();
1146         } else { // FIXME: Dynamically obtain the list of tests to show.
1147             showCharts();
1148             zoomChartsIfParsedCorrectly();
1149         }
1150     }
1151
1152     function fullName(test) {
1153         var names = [];
1154         do {
1155             names.push(test.name);
1156             test = test.parentTest;
1157         } while (test);
1158         names.reverse();
1159         return names.join('/');
1160     }
1161
1162     // Perhaps we want an ordered list of platforms.
1163     $.getJSON('data/manifest.json', function (data) {
1164         var manifest = data;
1165
1166         nameToTest = {};
1167         for (var testId in manifest.tests) {
1168             var test = manifest.tests[testId];
1169             test.parentTest = manifest.tests[manifest.tests[testId].parentId];
1170             test.id = testId;
1171             test.metrics = [];
1172             tests.push(test);
1173         }
1174         tests.forEach(function (test) {
1175             test.fullName = fullName(test);
1176             nameToTest[test.fullName] = test;
1177         });
1178         tests.sort(function (a, b) {
1179             if (a.fullName < b.fullName)
1180                 return -1;
1181             if (a.fullName > b.fullName)
1182                 return 1;
1183             return 0;
1184         });
1185
1186         fullNameToMetric = {};
1187         for (var metricId in manifest.metrics) {
1188             var entry = manifest.metrics[metricId];
1189             entry.id = metricId;
1190             entry.test = manifest.tests[entry.test];
1191             entry.fullName = entry.test.fullName + ':' + entry.name;
1192             if (entry.aggregator)
1193                 entry.fullName += ':' + entry.aggregator;
1194             entry.test.metrics.push(entry);
1195             fullNameToMetric[entry.fullName] = entry;
1196         }
1197
1198         tests.forEach(function (test) {
1199             test.metrics.sort(function (a, b) {
1200                 if (a.name < b.name)
1201                     return -1;
1202                 if (a.name > b.name)
1203                     return 1;
1204                 return 0;
1205             });
1206         });
1207
1208         allPlatforms = [];
1209         nameToPlatform = {};
1210         for (var platformId in manifest.all) {
1211             var platform = manifest.all[platformId];
1212             platform.id = platformId;
1213             allPlatforms.push(platform);
1214             nameToPlatform[platform.name] = platform;
1215             // FIXME: Sort tests
1216             for (var i = 0; i < platform.metrics.length; ++i)
1217                 platform.metrics[i] = manifest.metrics[platform.metrics[i]];
1218         }
1219         allPlatforms.sort(function (a, b) { return a.name < b.name ? -1 : (a.name > b.name ? 1 : 0); });
1220
1221         dashboardPlatforms = [];
1222         for (var platformId in manifest.dashboard) {
1223             var platform = manifest.dashboard[platformId];
1224             platform.id = platformId;
1225             for (var i = 0; i < platform.metrics.length; ++i)
1226                 platform.metrics[i] = manifest.metrics[platform.metrics[i]];
1227             platform.metrics.sort(function (a, b) { return a.fullName < b.fullName ? -1 : (a.fullName > b.fullName ? 1 : 0); });
1228             dashboardPlatforms.push(manifest.dashboard[platformId]);
1229         }
1230         dashboardPlatforms.sort(function (a, b) { return a.name < b.name ? -1 : (a.name > b.name ? 1 : 0); });
1231
1232         repositories = manifest.repositories;
1233         builders = manifest.builders;
1234         bugTrackers = manifest.bugTrackers;
1235
1236         setMode(URLState.get('mode', 'dashboard'));
1237     });
1238 }
1239
1240 window.addEventListener('DOMContentLoaded', init, false);
1241
1242 </script>
1243 </head>
1244 <body>
1245
1246 <header id="title">
1247 <h1><a href="/">WebKit Perf Monitor</a></h1>
1248 <ul>
1249     <li id="numberOfDaysPicker"><input id="numberOfDays" type="range" min="1" max="5.9" step="0.001" value="2.3"><span class="output"></span></li>
1250     <li><a href="javascript:setMode('dashboard');">Dashboard</a></li>
1251     <li><a href="javascript:setMode('charts');">Charts</a></li>
1252 </ul>
1253 </header>
1254
1255 <div id="mainContents"></div>
1256 </body>
1257 </html>