Websites/webkit.org/perf/sunspider-1.0.2/sunspider-compare-results.js

   1 /*
   2  * Copyright (C) 2007 Apple Inc.  All rights reserved.
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1. Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2. Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
  14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
  17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  24  */
  25
  26 function sunspiderCompareResults(output1, output2)
  27 {
  28     var count1 = output1.length;
  29     var count2 = output2.length;
  30
  31     var itemTotals1 = {};
  32     itemTotals1.length = count1;
  33
  34     var total1 = 0;
  35     var categoryTotals1 = {};
  36     var testTotalsByCategory1 = {};
  37
  38     var mean1 = 0;
  39     var categoryMeans1 = {};
  40     var testMeansByCategory1 = {};
  41
  42     var stdDev1 = 0;
  43     var categoryStdDevs1 = {};
  44     var testStdDevsByCategory1 = {};
  45
  46     var stdErr1 = 0;
  47     var categoryStdErrs1 = {};
  48     var testStdErrsByCategory1 = {};
  49
  50     var itemTotals2 = {};
  51     itemTotals2.length = count2;
  52
  53     var total2 = 0;
  54     var categoryTotals2 = {};
  55     var testTotalsByCategory2 = {};
  56
  57     var mean2 = 0;
  58     var categoryMeans2 = {};
  59     var testMeansByCategory2 = {};
  60
  61     var stdDev2 = 0;
  62     var categoryStdDevs2 = {};
  63     var testStdDevsByCategory2 = {};
  64
  65     var stdErr2 = 0;
  66     var categoryStdErrs2 = {};
  67     var testStdErrsByCategory2 = {};
  68
  69     function initialize()
  70     {
  71         itemTotals1 = {total: []};
  72
  73         for (var i = 0; i < categories.length; i++) {
  74             var category = categories[i];
  75             itemTotals1[category] = [];
  76             categoryTotals1[category] = 0;
  77             testTotalsByCategory1[category] = {};
  78             categoryMeans1[category] = 0;
  79             testMeansByCategory1[category] = {};
  80             categoryStdDevs1[category] = 0;
  81             testStdDevsByCategory1[category] = {};
  82             categoryStdErrs1[category] = 0;
  83             testStdErrsByCategory1[category] = {};
  84         }
  85
  86         for (var i = 0; i < tests.length; i++) {
  87             var test = tests[i];
  88             itemTotals1[test] = [];
  89             var category = test.replace(/-.*/, "");
  90             testTotalsByCategory1[category][test] = 0;
  91             testMeansByCategory1[category][test] = 0;
  92             testStdDevsByCategory1[category][test] = 0;
  93             testStdErrsByCategory1[category][test] = 0;
  94         }
  95
  96         for (var i = 0; i < count1; i++) {
  97             itemTotals1["total"][i] = 0;
  98             for (var category in categoryTotals1) {
  99                 itemTotals1[category][i] = 0;
 100                 for (var test in testTotalsByCategory1[category]) {
 101                     itemTotals1[test][i] = 0;
 102                 }
 103             }
 104         }
 105
 106         itemTotals2 = {total: []};
 107
 108         for (var i = 0; i < categories.length; i++) {
 109             var category = categories[i];
 110             itemTotals2[category] = [];
 111             categoryTotals2[category] = 0;
 112             testTotalsByCategory2[category] = {};
 113             categoryMeans2[category] = 0;
 114             testMeansByCategory2[category] = {};
 115             categoryStdDevs2[category] = 0;
 116             testStdDevsByCategory2[category] = {};
 117             categoryStdErrs2[category] = 0;
 118             testStdErrsByCategory2[category] = {};
 119         }
 120
 121         for (var i = 0; i < tests.length; i++) {
 122             var test = tests[i];
 123             itemTotals2[test] = [];
 124             var category = test.replace(/-.*/, "");
 125             testTotalsByCategory2[category][test] = 0;
 126             testMeansByCategory2[category][test] = 0;
 127             testStdDevsByCategory2[category][test] = 0;
 128             testStdErrsByCategory2[category][test] = 0;
 129         }
 130
 131         for (var i = 0; i < count2; i++) {
 132             itemTotals2["total"][i] = 0;
 133             for (var category in categoryTotals2) {
 134                 itemTotals2[category][i] = 0;
 135                 for (var test in testTotalsByCategory2[category]) {
 136                     itemTotals2[test][i] = 0;
 137                 }
 138             }
 139         }
 140
 141     }
 142
 143     function computeItemTotals(output, itemTotals)
 144     {
 145         for (var i = 0; i < output.length; i++) {
 146             var result = output[i];
 147             for (var test in result) {
 148                 var time = result[test];
 149                 var category = test.replace(/-.*/, "");
 150                 itemTotals["total"][i] += time;
 151                 itemTotals[category][i] += time;
 152                 itemTotals[test][i] += time;
 153             }
 154         }
 155     }
 156
 157     function computeTotals(output, categoryTotals, testTotalsByCategory)
 158     {
 159         var total = 0;
 160
 161         for (var i = 0; i < output.length; i++) {
 162             var result = output[i];
 163             for (var test in result) {
 164                 var time = result[test];
 165                 var category = test.replace(/-.*/, "");
 166                 total += time;
 167                 categoryTotals[category] += time;
 168                 testTotalsByCategory[category][test] += time;
 169             }
 170         }
 171
 172         return total;
 173     }
 174
 175     function computeMeans(count, total, categoryTotals, categoryMeans, testTotalsByCategory, testMeansByCategory)
 176     {
 177         var mean = total / count;
 178         for (var category in categoryTotals) {
 179             categoryMeans[category] = categoryTotals[category] / count;
 180             for (var test in testTotalsByCategory[category]) {
 181                 testMeansByCategory[category][test] = testTotalsByCategory[category][test] / count;
 182             }
 183         }
 184         return mean;
 185     }
 186
 187     function standardDeviation(mean, items)
 188     {
 189         var deltaSquaredSum = 0;
 190         for (var i = 0; i < items.length; i++) {
 191             var delta = items[i] - mean;
 192             deltaSquaredSum += delta * delta;
 193         }
 194         variance = deltaSquaredSum / (items.length - 1);
 195         return Math.sqrt(variance);
 196     }
 197
 198     function computeStdDevs(mean, itemTotals, categoryStdDevs, categoryMeans, testStdDevsByCategory, testMeansByCategory)
 199     {
 200         var stdDev = standardDeviation(mean, itemTotals["total"]);
 201         for (var category in categoryStdDevs) {
 202             categoryStdDevs[category] = standardDeviation(categoryMeans[category], itemTotals[category]);
 203         }
 204         for (var category in categoryStdDevs) {
 205             for (var test in testStdDevsByCategory[category]) {
 206                 testStdDevsByCategory[category][test] = standardDeviation(testMeansByCategory[category][test], itemTotals[test]);
 207             }
 208         }
 209         return stdDev;
 210     }
 211
 212     function computeStdErrors(count, stdDev, categoryStdErrs, categoryStdDevs, testStdErrsByCategory, testStdDevsByCategory)
 213     {
 214         var sqrtCount = Math.sqrt(count);
 215
 216         var stdErr = stdDev / sqrtCount;
 217         for (var category in categoryStdErrs) {
 218             categoryStdErrs[category] = categoryStdDevs[category] / sqrtCount;
 219         }
 220         for (var category in categoryStdDevs) {
 221             for (var test in testStdErrsByCategory[category]) {
 222                 testStdErrsByCategory[category][test] = testStdDevsByCategory[category][test] / sqrtCount;
 223             }
 224         }
 225
 226         return stdErr;
 227     }
 228
 229     var tDistribution = [NaN, NaN, 12.71, 4.30, 3.18, 2.78, 2.57, 2.45, 2.36, 2.31, 2.26, 2.23, 2.20, 2.18, 2.16, 2.14, 2.13, 2.12, 2.11, 2.10, 2.09, 2.09, 2.08, 2.07, 2.07, 2.06, 2.06, 2.06, 2.05, 2.05, 2.05, 2.04, 2.04, 2.04, 2.03, 2.03, 2.03, 2.03, 2.03, 2.02, 2.02, 2.02, 2.02, 2.02, 2.02, 2.02, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.96];
 230     var tMax = tDistribution.length;
 231     var tLimit = 1.96;
 232
 233     function tDist(n)
 234     {
 235         if (n > tMax)
 236             return tLimit;
 237         return tDistribution[n];
 238     }
 239
 240
 241     function formatMean(meanWidth, mean, stdErr, count)
 242     {
 243         if (mean != mean) {
 244             var result = "  ERROR      ";
 245             for (var i = 0; i < meanWidth; ++i)
 246                 result = " " + result;
 247             return result;
 248         }
 249
 250         var meanString = mean.toFixed(1).toString();
 251         while (meanString.length < meanWidth) {
 252             meanString = " " + meanString;
 253         }
 254
 255         var errString = ((tDist(count) * stdErr / mean) * 100).toFixed(1) + "%";
 256         while (errString.length < "99.9%".length)
 257             errString += " ";
 258
 259         var error = "+/- " + errString + " ";
 260
 261         return meanString + "ms " + error;
 262     }
 263
 264     function computeLabelWidth()
 265     {
 266         var width = "Total".length;
 267         for (var category in categoryMeans1) {
 268             if (category.length + 2 > width)
 269                 width = category.length + 2;
 270         }
 271         for (var i = 0; i < tests.length; i++) {
 272             var shortName = tests[i].replace(/^[^-]*-/, "");
 273             if (shortName.length + 4 > width)
 274                 width = shortName.length + 4;
 275         }
 276
 277         return width;
 278     }
 279
 280     function computeMeanWidth(mean, categoryMeans, testMeansByCategory)
 281     {
 282         var width = mean.toFixed(1).toString().length;
 283         for (var category in categoryMeans) {
 284             var candidate = categoryMeans[category].toFixed(1).toString().length;
 285             if (candidate > width)
 286                 width = candidate;
 287             for (var test in testMeansByCategory[category]) {
 288                 var candidate = testMeansByCategory[category][test].toFixed(1).toString().length;
 289                 if (candidate > width)
 290                     width = candidate;
 291             }
 292         }
 293
 294         return width;
 295     }
 296
 297     function pad(str, n)
 298     {
 299         while (str.length < n) {
 300             str += " ";
 301         }
 302         return str;
 303     }
 304
 305     function resultLine(labelWidth, indent, label, meanWidth1, mean1, stdErr1, meanWidth2, mean2, stdErr2)
 306     {
 307         result = pad("", indent);
 308         result += label + ": ";
 309         result = pad(result, labelWidth + 2);
 310
 311         var diffSummary;
 312         var diffDetail;
 313
 314         if (mean1 != mean1 || mean2 != mean2) {
 315             diffSummary = "??";
 316             diffDetail = "    invalid runs detected";
 317         } else {
 318             var t = (mean1 - mean2) / (Math.sqrt((stdErr1 * stdErr1) + (stdErr2 * stdErr2)));
 319             var df = count1 + count2 - 2;
 320
 321             var statisticallySignificant = (Math.abs(t) > tDist(df+1));
 322             var diff = mean2 - mean1;
 323             var percentage = 100 * diff / mean1;
 324             var isFaster = diff < 0;
 325             var probablySame = (percentage < 0.1) && !statisticallySignificant;
 326             var ratio = isFaster ? (mean1 / mean2) : (mean2 / mean1);
 327             var fixedRatio = (ratio < 1.2) ? ratio.toFixed(3).toString() : ((ratio < 10) ? ratio.toFixed(2).toString() : ratio.toFixed(1).toString());
 328             var formattedRatio = isFaster ? fixedRatio + "x as fast" : "*" + fixedRatio + "x as slow*";
 329
 330             if (probablySame) {
 331                 diffSummary = "-";
 332                 diffDetail = "";
 333             } else if (!statisticallySignificant) {
 334                 diffSummary = "??";
 335                 diffDetail =  "    not conclusive: might be " + formattedRatio;
 336             } else {
 337                 diffSummary = formattedRatio;
 338                 diffDetail = "    significant";
 339             }
 340         }
 341
 342         return result + pad(diffSummary, 18) + formatMean(meanWidth1, mean1, stdErr1, count1) + "  " + formatMean(meanWidth2, mean2, stdErr2, count2) + diffDetail;
 343     }
 344
 345     function printOutput()
 346     {
 347         var labelWidth = computeLabelWidth();
 348         var meanWidth1 = computeMeanWidth(mean1, categoryMeans1, testMeansByCategory1);
 349         var meanWidth2 = computeMeanWidth(mean2, categoryMeans2, testMeansByCategory2);
 350
 351         print("\n");
 352         var header = "TEST";
 353         while (header.length < labelWidth)
 354             header += " ";
 355         header += "  COMPARISON               FROM                 TO             DETAILS";
 356         print(header);
 357         print("");
 358         print("===============================================================================");
 359         print("");
 360         print(resultLine(labelWidth, 0, "** TOTAL **", meanWidth1, mean1, stdErr1, meanWidth2, mean2, stdErr2));
 361         print("");
 362         print("===============================================================================");
 363
 364         for (var category in categoryMeans1) {
 365             print("");
 366             print(resultLine(labelWidth, 2, category,
 367                              meanWidth1, categoryMeans1[category], categoryStdErrs1[category],
 368                              meanWidth2, categoryMeans2[category], categoryStdErrs2[category]));
 369             for (var test in testMeansByCategory1[category]) {
 370                 var shortName = test.replace(/^[^-]*-/, "");
 371                 print(resultLine(labelWidth, 4, shortName,
 372                                  meanWidth1, testMeansByCategory1[category][test], testStdErrsByCategory1[category][test],
 373                                  meanWidth2, testMeansByCategory2[category][test], testStdErrsByCategory2[category][test]));
 374             }
 375         }
 376     }
 377
 378     initialize();
 379
 380     computeItemTotals(output1, itemTotals1);
 381     computeItemTotals(output2, itemTotals2);
 382
 383     total1 = computeTotals(output1, categoryTotals1, testTotalsByCategory1);
 384     total2 = computeTotals(output2, categoryTotals2, testTotalsByCategory2);
 385
 386     mean1 = computeMeans(count1, total1, categoryTotals1, categoryMeans1, testTotalsByCategory1, testMeansByCategory1);
 387     mean2 = computeMeans(count2, total2, categoryTotals2, categoryMeans2, testTotalsByCategory2, testMeansByCategory2);
 388
 389     stdDev1 = computeStdDevs(mean1, itemTotals1, categoryStdDevs1, categoryMeans1, testStdDevsByCategory1, testMeansByCategory1);
 390     stdDev2 = computeStdDevs(mean2, itemTotals2, categoryStdDevs2, categoryMeans2, testStdDevsByCategory2, testMeansByCategory2);
 391
 392     stdErr1 = computeStdErrors(count1, stdDev1, categoryStdErrs1, categoryStdDevs1, testStdErrsByCategory1, testStdDevsByCategory1);
 393     stdErr2 = computeStdErrors(count2, stdDev2, categoryStdErrs2, categoryStdDevs2, testStdErrsByCategory2, testStdDevsByCategory2);
 394
 395     printOutput();
 396 }