SunSpider/resources/sunspider-compare-results.js

   1 /*
   2  * Copyright (C) 2007 Apple Inc.  All rights reserved.
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1. Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2. Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
  14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
  17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  24  */
  25
  26 var count1 = output1.length;
  27 var count2 = output2.length;
  28
  29 var itemTotals1 = {};
  30 itemTotals1.length = count1;
  31
  32 var total1 = 0;
  33 var categoryTotals1 = {};
  34 var testTotalsByCategory1 = {};
  35
  36 var mean1 = 0;
  37 var categoryMeans1 = {};
  38 var testMeansByCategory1 = {};
  39
  40 var stdDev1 = 0;
  41 var categoryStdDevs1 = {};
  42 var testStdDevsByCategory1 = {};
  43
  44 var stdErr1 = 0;
  45 var categoryStdErrs1 = {};
  46 var testStdErrsByCategory1 = {};
  47
  48 var itemTotals2 = {};
  49 itemTotals2.length = count2;
  50
  51 var total2 = 0;
  52 var categoryTotals2 = {};
  53 var testTotalsByCategory2 = {};
  54
  55 var mean2 = 0;
  56 var categoryMeans2 = {};
  57 var testMeansByCategory2 = {};
  58
  59 var stdDev2 = 0;
  60 var categoryStdDevs2 = {};
  61 var testStdDevsByCategory2 = {};
  62
  63 var stdErr2 = 0;
  64 var categoryStdErrs2 = {};
  65 var testStdErrsByCategory2 = {};
  66
  67 function initialize()
  68 {
  69     itemTotals1 = {total: []};
  70
  71     for (var i = 0; i < categories.length; i++) {
  72         var category = categories[i];
  73         itemTotals1[category] = [];
  74         categoryTotals1[category] = 0;
  75         testTotalsByCategory1[category] = {};
  76         categoryMeans1[category] = 0;
  77         testMeansByCategory1[category] = {};
  78         categoryStdDevs1[category] = 0;
  79         testStdDevsByCategory1[category] = {};
  80         categoryStdErrs1[category] = 0;
  81         testStdErrsByCategory1[category] = {};
  82     }
  83
  84     for (var i = 0; i < tests.length; i++) {
  85         var test = tests[i];
  86         itemTotals1[test] = [];
  87         var category = test.replace(/-.*/, "");
  88         testTotalsByCategory1[category][test] = 0;
  89         testMeansByCategory1[category][test] = 0;
  90         testStdDevsByCategory1[category][test] = 0;
  91         testStdErrsByCategory1[category][test] = 0;
  92     }
  93
  94     for (var i = 0; i < count1; i++) {
  95         itemTotals1["total"][i] = 0;
  96         for (var category in categoryTotals1) {
  97             itemTotals1[category][i] = 0;
  98             for (var test in testTotalsByCategory1[category]) {
  99                 itemTotals1[test][i] = 0;
 100             }
 101         }
 102     }
 103
 104     itemTotals2 = {total: []};
 105
 106     for (var i = 0; i < categories.length; i++) {
 107         var category = categories[i];
 108         itemTotals2[category] = [];
 109         categoryTotals2[category] = 0;
 110         testTotalsByCategory2[category] = {};
 111         categoryMeans2[category] = 0;
 112         testMeansByCategory2[category] = {};
 113         categoryStdDevs2[category] = 0;
 114         testStdDevsByCategory2[category] = {};
 115         categoryStdErrs2[category] = 0;
 116         testStdErrsByCategory2[category] = {};
 117     }
 118
 119     for (var i = 0; i < tests.length; i++) {
 120         var test = tests[i];
 121         itemTotals2[test] = [];
 122         var category = test.replace(/-.*/, "");
 123         testTotalsByCategory2[category][test] = 0;
 124         testMeansByCategory2[category][test] = 0;
 125         testStdDevsByCategory2[category][test] = 0;
 126         testStdErrsByCategory2[category][test] = 0;
 127     }
 128
 129     for (var i = 0; i < count2; i++) {
 130         itemTotals2["total"][i] = 0;
 131         for (var category in categoryTotals2) {
 132             itemTotals2[category][i] = 0;
 133             for (var test in testTotalsByCategory2[category]) {
 134                 itemTotals2[test][i] = 0;
 135             }
 136         }
 137     }
 138
 139 }
 140
 141 function computeItemTotals(output, itemTotals)
 142 {
 143     for (var i = 0; i < output.length; i++) {
 144         var result = output[i];
 145         for (var test in result) {
 146             var time = result[test];
 147             var category = test.replace(/-.*/, "");
 148             itemTotals["total"][i] += time;
 149             itemTotals[category][i] += time;
 150             itemTotals[test][i] += time;
 151         }
 152     }
 153 }
 154
 155 function computeTotals(output, categoryTotals, testTotalsByCategory)
 156 {
 157     var total = 0;
 158
 159     for (var i = 0; i < output.length; i++) {
 160         var result = output[i];
 161         for (var test in result) {
 162             var time = result[test];
 163             var category = test.replace(/-.*/, "");
 164             total += time;
 165             categoryTotals[category] += time;
 166             testTotalsByCategory[category][test] += time;
 167         }
 168     }
 169
 170     return total;
 171 }
 172
 173 function computeMeans(count, total, categoryTotals, categoryMeans, testTotalsByCategory, testMeansByCategory)
 174 {
 175     var mean = total / count;
 176     for (var category in categoryTotals) {
 177         categoryMeans[category] = categoryTotals[category] / count;
 178         for (var test in testTotalsByCategory[category]) {
 179             testMeansByCategory[category][test] = testTotalsByCategory[category][test] / count;
 180         }
 181     }
 182     return mean;
 183 }
 184
 185 function standardDeviation(mean, items)
 186 {
 187     var deltaSquaredSum = 0;
 188     for (var i = 0; i < items.length; i++) {
 189         var delta = items[i] - mean;
 190         deltaSquaredSum += delta * delta;
 191     }
 192     variance = deltaSquaredSum / (items.length - 1);
 193     return Math.sqrt(variance);
 194 }
 195
 196 function computeStdDevs(mean, itemTotals, categoryStdDevs, categoryMeans, testStdDevsByCategory, testMeansByCategory)
 197 {
 198     var stdDev = standardDeviation(mean, itemTotals["total"]);
 199     for (var category in categoryStdDevs) {
 200         categoryStdDevs[category] = standardDeviation(categoryMeans[category], itemTotals[category]);
 201     }
 202     for (var category in categoryStdDevs) {
 203         for (var test in testStdDevsByCategory[category]) {
 204             testStdDevsByCategory[category][test] = standardDeviation(testMeansByCategory[category][test], itemTotals[test]);
 205         }
 206     }
 207     return stdDev;
 208 }
 209
 210 function computeStdErrors(count, stdDev, categoryStdErrs, categoryStdDevs, testStdErrsByCategory, testStdDevsByCategory)
 211 {
 212     var sqrtCount = Math.sqrt(count);
 213
 214     var stdErr = stdDev / sqrtCount;
 215     for (var category in categoryStdErrs) {
 216         categoryStdErrs[category] = categoryStdDevs[category] / sqrtCount;
 217     }
 218     for (var category in categoryStdDevs) {
 219         for (var test in testStdErrsByCategory[category]) {
 220             testStdErrsByCategory[category][test] = testStdDevsByCategory[category][test] / sqrtCount;
 221         }
 222     }
 223
 224     return stdErr;
 225 }
 226
 227 var tDistribution = [NaN, NaN, 12.71, 4.30, 3.18, 2.78, 2.57, 2.45, 2.36, 2.31, 2.26, 2.23, 2.20, 2.18, 2.16, 2.14, 2.13, 2.12, 2.11, 2.10, 2.09, 2.09, 2.08, 2.07, 2.07, 2.06, 2.06, 2.06, 2.05, 2.05, 2.05, 2.04, 2.04, 2.04, 2.03, 2.03, 2.03, 2.03, 2.03, 2.02, 2.02, 2.02, 2.02, 2.02, 2.02, 2.02, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.96];
 228 var tMax = tDistribution.length;
 229 var tLimit = 1.96;
 230
 231 function tDist(n)
 232 {
 233     if (n > tMax)
 234         return tLimit;
 235     return tDistribution[n];
 236 }
 237
 238
 239 function formatMean(meanWidth, mean, stdErr, count)
 240 {
 241     var meanString = mean.toFixed(1).toString();
 242     while (meanString.length < meanWidth) {
 243         meanString = " " + meanString;
 244     }
 245
 246     var error = "+/- " + ((tDist(count) * stdErr / mean) * 100).toFixed(1) + "% ";
 247
 248     return meanString + "ms " + error;
 249 }
 250
 251 function computeLabelWidth()
 252 {
 253     var width = "Total".length;
 254     for (var category in categoryMeans1) {
 255         if (category.length + 2 > width)
 256             width = category.length + 2;
 257     }
 258     for (var i = 0; i < tests.length; i++) {
 259         var shortName = tests[i].replace(/^[^-]*-/, "");
 260         if (shortName.length + 4 > width)
 261             width = shortName.length + 4;
 262     }
 263
 264     return width;
 265 }
 266
 267 function computeMeanWidth(mean, categoryMeans, testMeansByCategory)
 268 {
 269     var width = mean.toFixed(1).toString().length;
 270     for (var category in categoryMeans) {
 271         var candidate = categoryMeans[category].toFixed(1).toString().length;
 272         if (candidate > width)
 273             width = candidate;
 274         for (var test in testMeansByCategory[category]) {
 275             var candidate = testMeansByCategory[category][test].toFixed(1).toString().length;
 276             if (candidate > width)
 277                 width = candidate;
 278         }
 279     }
 280
 281     return width;
 282 }
 283
 284 function pad(str, n)
 285 {
 286     while (str.length < n) {
 287         str += " ";
 288     }
 289     return str;
 290 }
 291
 292 function resultLine(labelWidth, indent, label, meanWidth1, mean1, stdErr1, meanWidth2, mean2, stdErr2)
 293 {
 294     result = pad("", indent);
 295     result += label + ": ";
 296     result = pad(result, labelWidth + 2);
 297
 298     var t = (mean1 - mean2) / (Math.sqrt((stdErr1 * stdErr1) + (stdErr1 * stdErr2)));
 299     var df = count1 + count2 - 2;
 300
 301     var statisticallySignificant = (Math.abs(t) > tDist(df+1));
 302     var diff = mean2 - mean1;
 303     var percentage = 100 * diff / mean1;
 304     var isFaster = diff < 0;
 305     var probablySame = (percentage < 0.1) && !statisticallySignificant;
 306
 307     var diffSummary;
 308     var diffDetail;
 309
 310     if (probablySame) {
 311         diffSummary = "-";
 312         diffDetail = "";
 313     } else if (!statisticallySignificant) {
 314         diffSummary = "??";
 315         diffDetail =  "    not conclusive: might be " + Math.abs(percentage).toFixed(1).toString() + "% ";
 316         diffDetail += (isFaster ? "faster" : "*slower*");
 317     } else {
 318         diffSummary = Math.abs(percentage).toFixed(1).toString() + "% " + (isFaster ? "faster" : "*slower*");
 319         diffDetail = "    significant";
 320     }
 321
 322     return result + pad(diffSummary, 16) + formatMean(meanWidth1, mean1, stdErr1, count1) + "  " + formatMean(meanWidth2, mean2, stdErr2, count2) + diffDetail;
 323 }
 324
 325 function printOutput()
 326 {
 327     var labelWidth = computeLabelWidth();
 328     var meanWidth1 = computeMeanWidth(mean1, categoryMeans1, testMeansByCategory1);
 329     var meanWidth2 = computeMeanWidth(mean2, categoryMeans2, testMeansByCategory2);
 330
 331     print("\n");
 332     var header = "TEST";
 333     while (header.length < labelWidth)
 334         header += " ";
 335     header += "  COMPARISON            FROM                 TO             DETAILS";
 336     print(header);
 337     print("");
 338     print("=============================================================================");
 339     print("");
 340     print(resultLine(labelWidth, 0, "** TOTAL **", meanWidth1, mean1, stdErr1, meanWidth2, mean2, stdErr2));
 341     print("");
 342     print("=============================================================================");
 343
 344     for (var category in categoryMeans1) {
 345         print("");
 346         print(resultLine(labelWidth, 2, category,
 347                          meanWidth1, categoryMeans1[category], categoryStdErrs1[category],
 348                          meanWidth2, categoryMeans2[category], categoryStdErrs2[category]));
 349         for (var test in testMeansByCategory1[category]) {
 350             var shortName = test.replace(/^[^-]*-/, "");
 351             print(resultLine(labelWidth, 4, shortName,
 352                              meanWidth1, testMeansByCategory1[category][test], testStdErrsByCategory1[category][test],
 353                              meanWidth2, testMeansByCategory2[category][test], testStdErrsByCategory2[category][test]));
 354         }
 355     }
 356 }
 357
 358 initialize();
 359
 360 computeItemTotals(output1, itemTotals1);
 361 computeItemTotals(output2, itemTotals2);
 362
 363 total1 = computeTotals(output1, categoryTotals1, testTotalsByCategory1);
 364 total2 = computeTotals(output2, categoryTotals2, testTotalsByCategory2);
 365
 366 mean1 = computeMeans(count1, total1, categoryTotals1, categoryMeans1, testTotalsByCategory1, testMeansByCategory1);
 367 mean2 = computeMeans(count2, total2, categoryTotals2, categoryMeans2, testTotalsByCategory2, testMeansByCategory2);
 368
 369 stdDev1 = computeStdDevs(mean1, itemTotals1, categoryStdDevs1, categoryMeans1, testStdDevsByCategory1, testMeansByCategory1);
 370 stdDev2 = computeStdDevs(mean2, itemTotals2, categoryStdDevs2, categoryMeans2, testStdDevsByCategory2, testMeansByCategory2);
 371
 372 stdErr1 = computeStdErrors(count1, stdDev1, categoryStdErrs1, categoryStdDevs1, testStdErrsByCategory1, testStdDevsByCategory1);
 373 stdErr2 = computeStdErrors(count2, stdDev2, categoryStdErrs2, categoryStdDevs2, testStdErrsByCategory2, testStdDevsByCategory2);
 374
 375 printOutput();