WebKitPerfMonitor: There should be a way to add all metrics of a suite without also...
[WebKit-https.git] / Websites / perf.webkit.org / public / index.html
index 1d322132a0415bd5e86bfa2f710ca434689f93c3..bb902b1a383d0f0d8ded68c61fa5f097f9f61292 100644 (file)
 <style type="text/css">
 
 #numberOfDaysPicker {
-    display: inline-block;
-    margin: 5px 0px;
-    border: solid 1px #ccc;
     color: #666;
-    border-radius: 5px;
-    padding: 5px 8px;
 }
 
 #numberOfDaysPicker input {
@@ -32,6 +27,7 @@
 td, th {
     border: none;
     border-collapse: collapse;
+    padding-top: 0.5em;
 }
 
 #dashboard > tbody > tr > td {
@@ -39,21 +35,16 @@ td, th {
 }
 
 #dashboard > thead th {
-    padding-top: 1.5em;
     text-shadow: #bbb 1px 1px 2px;
     font-size: large;
     font-weight: normal;
 }
 
-#dashboard td {
-    
-}
-
 .chart {
     position: relative;
     border: solid 1px #ccc;
     border-radius: 5px;
-    margin: 10px 10px 0px 0px;
+    margin: 0px 0px 10px 0px;
 }
 
 .chart.worse {
@@ -68,7 +59,7 @@ td, th {
     position: absolute;
     left: 10px;
     top: 10px;
-    width: 200px;
+    width: 220px;
 }
 
 .chart header {
@@ -78,8 +69,7 @@ td, th {
 }
 
 #dashboard header {
-    padding: 10px;
-    width: 200px;
+    padding: 0px 10px;
 }
 
 .chart h2, .chart h3 {
@@ -87,7 +77,6 @@ td, th {
     padding: 0;
     font-size: 1em;
     font-weight: normal;
-    width: 200px;
     word-break: break-all;
 }
 
@@ -103,6 +92,10 @@ td, th {
     display: none;
 }
 
+#dashboard .chart .status {
+    margin: 0px 10px;
+}
+
 .chart .status {
     font-size: small;
     color: #666;
@@ -120,6 +113,10 @@ td, th {
     height: 15px;
 }
 
+#dashboard .chart {
+    width: 410px;
+}
+
 #dashboard .plot {
     width: 400px;
     height: 100px;
@@ -128,7 +125,7 @@ td, th {
 }
 
 #charts .plot {
-    height: 300px;
+    height: 320px;
     margin-left: 250px;
 }
 
@@ -142,17 +139,45 @@ td, th {
     height: 70px;
 }
 
-.summaryTable {
+.chart .summaryTable {
     font-size: small;
     color: #666;
     border: 0;
 }
 
-#dashboard .summaryTable {
+.chart .meta {
+    position: relative;
+}
+
+.chart .meta table,
+.chart .meta td,
+.tooltip table,
+.tooltip td {
+    margin: 0;
+    padding: 0;
+}
+
+.chart .meta th,
+.tooltip th {
+    margin: 0;
+    padding: 0 0.2em 0 0;
+    text-align: right;
+    font-weight: normal;
+}
+
+.chart .meta td:not(:first-child):before,
+.tooltip td:not(:first-child):before {
+    content: ": ";
+}
+
+#dashboard .chart .summaryTable {
     position: absolute;
     right: 10px;
-    top: 10px;
-    width: 180px;
+    top: 0px;
+}
+
+#charts .summaryTable {
+    margin-top: 0.3em;
 }
 
 #dashboard .arrow {
@@ -223,7 +248,29 @@ td, th {
     color: #eee;
     font-size: small;
     line-height: 130%;
-    width: 30ex;
+    white-space: nowrap;
+}
+
+.tooltip:before {
+    position: absolute;
+    width: 0;
+    height: 0;
+    left: 50%;
+    margin-left: -9px;
+    top: -19px;
+    content: "";
+    display: none;
+    border-style: solid;
+    border-width: 10px;
+    border-color: transparent transparent #333 transparent;
+}
+
+.tooltip.inverted:before {
+    display: block;
+}
+
+.tooltip.inverted:after {
+    display: none;
 }
 
 .tooltip:after {
@@ -263,20 +310,6 @@ td, th {
     padding: 5px 8px;
 }
 
-#numberOfDaysPicker {
-    display: inline-block;
-    margin: 5px 0px;
-    border: solid 1px #ccc;
-    color: #666;
-    border-radius: 5px;
-    padding: 5px 8px;
-}
-
-#numberOfDaysPicker input {
-    height: 0.9em;
-    margin-right: 1em;
-}
-
 </style>
 <script>
 
@@ -303,25 +336,58 @@ td, th {
         }
     };
 
-    function computeYAxisBoundsToFitLines(minTime, results, baseline, target) {
-        var stdevOfAllRuns = results.sampleStandardDeviation(minTime);
-        var movingAverage = results.exponentialMovingArithmeticMean(minTime, /* alpha, the degree of weighting decrease */ 0.3);
-        var min = results.min(minTime);
-        var max = results.max(minTime);
+    function adjustedIntervalForRun(results, minTime, minRatioToFitInAdjustedInterval) {
+        if (!results)
+            return {min: Number.MAX_VALUE, max: Number.MIN_VALUE};
+        var degreeOfWeightingDecrease = 0.2;
+        var movingAverage = results.exponentialMovingArithmeticMean(minTime, degreeOfWeightingDecrease);
+        var resultsCount = results.countResults(minTime);
+        var adjustmentDelta = results.sampleStandardDeviation(minTime) / 4;
+        var adjustedMin = movingAverage;
+        var adjustedMax = movingAverage;
+        var adjustmentCount;
+        for (adjustmentCount = 0; adjustmentCount < 4 * 4; adjustmentCount++) { // Don't expand beyond 4 standard deviations.
+            adjustedMin -= adjustmentDelta;
+            adjustedMax += adjustmentDelta;
+            if (results.countResultsInInterval(minTime, adjustedMin, adjustedMax) / resultsCount >= minRatioToFitInAdjustedInterval)
+                break;
+        }
+        for (var i = 0; i < adjustmentCount; i++) {
+            if (results.countResultsInInterval(minTime, adjustedMin + adjustmentDelta, adjustedMax) / resultsCount < minRatioToFitInAdjustedInterval)
+                break;
+            adjustedMin += adjustmentDelta;
+        }
+        for (var i = 0; i < adjustmentCount; i++) {
+            if (results.countResultsInInterval(minTime, adjustedMin, adjustedMax - adjustmentDelta) / resultsCount < minRatioToFitInAdjustedInterval)
+                break;
+            adjustedMax -= adjustmentDelta;
+        }
+        return {min: adjustedMin, max: adjustedMax};
+    }
 
+    function computeYAxisBoundsToFitLines(minTime, results, baseline, target) {
+        var minOfAllRuns = results.min(minTime);
+        var maxOfAllRuns = results.max(minTime);
         if (baseline) {
-            min = Math.min(min, baseline.min(minTime));
-            max = Math.max(max, baseline.max(minTime));
+            minOfAllRuns = Math.min(minOfAllRuns, baseline.min(minTime));
+            maxOfAllRuns = Math.max(maxOfAllRuns, baseline.max(minTime));
         }
         if (target) {
-            min = Math.min(min, target.min(minTime));
-            max = Math.max(max, target.max(minTime));
+            minOfAllRuns = Math.min(minOfAllRuns, target.min(minTime));
+            maxOfAllRuns = Math.max(maxOfAllRuns, target.max(minTime));
         }
-
-        var marginSize = (max - min) * 0.1;
-        return {min: min - marginSize, max: max + marginSize,
-            adjustedMin: Math.min(results.lastResult().mean() - marginSize, Math.max(movingAverage - stdevOfAllRuns * 2, min) - marginSize),
-            adjustedMax: Math.max(results.lastResult().mean() + marginSize, Math.min(movingAverage + stdevOfAllRuns * 2, max) + marginSize) };
+        var marginSize = (maxOfAllRuns - minOfAllRuns) * 0.1;
+
+        var minRatioToFitInAdjustedInterval = 0.9;
+        var intervalForResults = adjustedIntervalForRun(results, minTime, minRatioToFitInAdjustedInterval);
+        var intervalForBaseline = adjustedIntervalForRun(baseline, minTime, minRatioToFitInAdjustedInterval);
+        var intervalForTarget = adjustedIntervalForRun(target, minTime, minRatioToFitInAdjustedInterval);
+        var adjustedMin = Math.min(intervalForResults.min, intervalForBaseline.min, intervalForTarget.min);
+        var adjustedMax = Math.max(intervalForResults.max, intervalForBaseline.max, intervalForTarget.max);
+        var adjsutedMarginSize = (adjustedMax - adjustedMin) * 0.1;
+        return {min: minOfAllRuns - marginSize, max: maxOfAllRuns + marginSize,
+            adjustedMin: Math.max(minOfAllRuns - marginSize, adjustedMin - adjsutedMarginSize),
+            adjustedMax: Math.min(maxOfAllRuns + marginSize, adjustedMax + adjsutedMarginSize)};
     }
 
     function computeStatus(smallerIsBetter, lastResult, baseline, target) {
@@ -339,10 +405,6 @@ td, th {
         } else if (relativeDifferenceWithTarget)
             statusText = Math.abs(relativeDifferenceWithTarget * 100).toFixed(2) + '% until target';
 
-        if (statusText)
-            statusText += '<br>';
-        statusText += buildLabelWithLinks(lastResult.build());
-
         return {class: status, text: statusText};
     }
 
@@ -363,7 +425,7 @@ td, th {
     }
 
     function createSummaryRowMarkup(name, runs) {
-        return '<tr><td>' + name + '</td><td>' + runs.lastResult().label() + '</td></tr>';
+        return '<tr><th>' + name + '</th><td>' + runs.lastResult().label() + '</td></tr>';
     }
 
     function buildLabelWithLinks(build, previousBuild) {
@@ -372,11 +434,16 @@ td, th {
         }
 
         var formattedRevisions = build.formattedRevisions(previousBuild);
-        var markup = ['Committed: ' + build.formattedTime(),
-            'Build: ' + linkifyIfNotNull(build.buildNumber(), build.buildUrl()) + ' (' + build.formattedBuildTime() + ')'];
+        var buildInfo = {
+            'Commit': build.formattedTime(),
+            'Build': linkifyIfNotNull(build.buildNumber(), build.buildUrl()) + '(' + build.formattedBuildTime() + ')'
+        };
         for (var repositoryName in formattedRevisions)
-            markup.push(linkifyIfNotNull(formattedRevisions[repositoryName].label, formattedRevisions[repositoryName].url));
-        return markup.join('<br>');
+            buildInfo[repositoryName] = linkifyIfNotNull(formattedRevisions[repositoryName].label, formattedRevisions[repositoryName].url);
+        var markup = '';
+        for (var key in buildInfo)
+            markup += '<tr><th>' + key + '</th><td>' + buildInfo[key] + '</td>';
+        return '<tr>' + markup + '</tr>';
     }
 
     function Chart(container, isDashboard, platform, metric, bugTrackers, onClose) {
@@ -384,9 +451,8 @@ td, th {
         if (metric.test.url)
             linkifiedFullName = '<a href="' + metric.test.url + '">' + linkifiedFullName + '</a>';
         var section = $('<section class="chart"><div class="pane"><header><h2>' + linkifiedFullName + '</h2>'
-            + '<h3 class="platform">' + platform.name + '</h3>'
-            + '<span class="status"></span></header>'
-            + '<table class="summaryTable"><tbody></tbody></table>'
+            + '<h3 class="platform">' + platform.name + '</h3></header>'
+            + '<div class="meta"><table class="status"><tbody></tbody></table><table class="summaryTable"><tbody></tbody></table></div>'
             + '<div class="overviewPlot"></div></div>'
             + '<div class="plot"></div>'
             + '<div class="unit"></div>'
@@ -459,8 +525,10 @@ td, th {
             summaryRows = createSummaryRowMarkup('Current', results) + summaryRows;
 
             var status = computeStatus(results.smallerIsBetter(), results.lastResult(), baseline, target);
+            if (status.text)
+                summaryRows = '<tr><td colspan="2">' + status.text + '</td></tr>' + summaryRows;
             section.addClass(status.class);
-            section.find('.status').html(status.text);
+            section.find('.status tbody').html(buildLabelWithLinks(results.lastResult().build()));
             section.find('.summaryTable tbody').html(summaryRows);
             section.find('.unit').html(results.unit());
             if (results.smallerIsBetter()) {
@@ -590,8 +658,8 @@ td, th {
                 }
                 newBugUrls = 'File:' + newBugUrls;
             }
-            tooltip.show(x, y, result.label(resultToCompare) + '<br>'
-                + buildLabelWithLinks(result.build(), resultToCompare ? resultToCompare.build() : null) + '<br>'
+            tooltip.show(x, y, result.label(resultToCompare) + '<table>'
+                + buildLabelWithLinks(result.build(), resultToCompare ? resultToCompare.build() : null) + '</table>'
                 + newBugUrls);
         }
 
@@ -671,12 +739,16 @@ td, th {
             else
                 this.attachMainPlot(minTime);
 
-            var self = this;
+            if (bindPlotEventHandlers)
+                bindPlotEventHandlers(this);
+            bindPlotEventHandlers = null;
+        };
 
+        function bindPlotEventHandlers(chart) {
             // FIXME: Crosshair should stay where it was between charts.
             $(plotContainer).bind("plothover", function (event, pos, item) {
                 for (var i = 0; i < charts.length; i++) {
-                    if (charts[i] !== self) {
+                    if (charts[i] !== chart) {
                         charts[i].setCrosshair(pos);
                         charts[i].hideTooltip();
                     }
@@ -714,8 +786,8 @@ td, th {
                         toggleClickTooltip(tooltip.currentItem.dataIndex, tooltip.currentItem.pageX, tooltip.currentItem.pageY);
                 });
             }
-        };
-        
+        }
+
         charts.push(this);
     }
 
@@ -882,15 +954,33 @@ function init() {
             while (metricList.firstChild)
                 metricList.removeChild(metricList.firstChild);
 
-            addOption(metricList, 'All metrics', OPTION_VALUE_FOR_ALL);
+            var metricsGroup = document.createElement('optgroup');
+            metricsGroup.label = 'Metrics';
+            metricList.appendChild(metricsGroup);
+            addOption(metricsGroup, 'All metrics', OPTION_VALUE_FOR_ALL);
             for (var i = 0; i < tests.length; ++i) {
-                if (tests[i].id != testList.value && (!tests[i].parentTest || tests[i].parentTest.id != testList.value))
+                if (tests[i].id == testList.value) {
+                    var selectedTest = tests[i];
+                    for (var j = 0; j < selectedTest.metrics.length; ++j) {
+                        var fullName = selectedTest.metrics[j].fullName;
+                        var relativeName = fullName.replace(selectedTest.fullName, '').replace(/^[:/]/, '');
+                        addOption(metricsGroup, relativeName, fullName);
+                    }
+                }
+            }
+            var subtestsGroup = document.createElement('optgroup');
+            subtestsGroup.label = 'Tests';
+            metricList.appendChild(subtestsGroup);
+            addOption(subtestsGroup, 'All subtests', OPTION_VALUE_FOR_ALL);
+            for (var i = 0; i < tests.length; ++i) {
+                if (!tests[i].parentTest || tests[i].parentTest.id != testList.value)
                     continue;
-                var selectedTest = tests[i].id == testList.value ? tests[i] : tests[i].parentTest;
-                for (var j = 0; j < tests[i].metrics.length; ++j) {
-                    var fullName = tests[i].metrics[j].fullName;
+                var subtest = tests[i];
+                var selectedTest = subtest.parentTest;
+                for (var j = 0; j < subtest.metrics.length; ++j) {
+                    var fullName = subtest.metrics[j].fullName;
                     var relativeName = fullName.replace(selectedTest.fullName, '').replace(/^[:/]/, '');
-                    addOption(metricList, relativeName, fullName);
+                    addOption(subtestsGroup, relativeName, fullName);
                 }
             }
         }
@@ -946,13 +1036,14 @@ function init() {
                     newChartList.push([allPlatforms[i].name, metricList.value]);
                 }
             } else if (metricList.value === OPTION_VALUE_FOR_ALL) {
-                for (var i = 0; i < tests.length; ++i) {
-                    if (tests[i].id != testList.value && (!tests[i].parentTest || tests[i].parentTest.id != testList.value))
+                var group = metricList.selectedOptions[0].parentNode;
+                var metricsToAdd = [];
+                for (var i = 0; i < group.children.length; i++) {
+                    var metric = group.children[i].value;
+                    if (metric == OPTION_VALUE_FOR_ALL)
                         continue;
-                    for (var j = 0; j < tests[i].metrics.length; ++j) {
-                        createChartFromListPair(platformList.value, tests[i].metrics[j].fullName);
-                        newChartList.push([platformList.value, tests[i].metrics[j].fullName]);
-                    }
+                    createChartFromListPair(platformList.value, metric);
+                    newChartList.push([platformList.value, metric]);
                 }
             } else {
                 createChartFromListPair(platformList.value, metricList.value);
@@ -1155,13 +1246,12 @@ window.addEventListener('DOMContentLoaded', init, false);
 <header id="title">
 <h1><a href="/">WebKit Perf Monitor</a></h1>
 <ul>
+    <li id="numberOfDaysPicker"><input id="numberOfDays" type="range" min="1" max="5.9" step="0.001" value="2.3"><span class="output"></span></li>
     <li><a href="javascript:setMode('dashboard');">Dashboard</a></li>
     <li><a href="javascript:setMode('charts');">Charts</a></li>
 </ul>
 </header>
 
-<div id="numberOfDaysPicker"><input id="numberOfDays" type="range" min="1" max="5.9" step="0.001" value="2.3"><span class="output"></span></div>
-
 <div id="mainContents"></div>
 </body>
 </html>