Reviewed by Adam.
[WebKit-https.git] / SunSpider / resources / sunspider-compare-results.js
1 /*
2  * Copyright (C) 2007 Apple Inc.  All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 var count1 = output1.length;
27 var count2 = output2.length;
28
29 var itemTotals1 = {};
30 itemTotals1.length = count1;
31
32 var total1 = 0;
33 var categoryTotals1 = {};
34 var testTotalsByCategory1 = {};
35
36 var mean1 = 0;
37 var categoryMeans1 = {};
38 var testMeansByCategory1 = {};
39
40 var stdDev1 = 0;
41 var categoryStdDevs1 = {};
42 var testStdDevsByCategory1 = {};
43
44 var stdErr1 = 0;
45 var categoryStdErrs1 = {};
46 var testStdErrsByCategory1 = {};
47
48 var itemTotals2 = {};
49 itemTotals2.length = count2;
50
51 var total2 = 0;
52 var categoryTotals2 = {};
53 var testTotalsByCategory2 = {};
54
55 var mean2 = 0;
56 var categoryMeans2 = {};
57 var testMeansByCategory2 = {};
58
59 var stdDev2 = 0;
60 var categoryStdDevs2 = {};
61 var testStdDevsByCategory2 = {};
62
63 var stdErr2 = 0;
64 var categoryStdErrs2 = {};
65 var testStdErrsByCategory2 = {};
66
67 function initialize()
68 {
69     itemTotals1 = {total: []};
70
71     for (var i = 0; i < categories.length; i++) {
72         var category = categories[i];
73         itemTotals1[category] = [];
74         categoryTotals1[category] = 0;
75         testTotalsByCategory1[category] = {};
76         categoryMeans1[category] = 0;
77         testMeansByCategory1[category] = {};
78         categoryStdDevs1[category] = 0;
79         testStdDevsByCategory1[category] = {};
80         categoryStdErrs1[category] = 0;
81         testStdErrsByCategory1[category] = {};
82     }
83
84     for (var i = 0; i < tests.length; i++) {
85         var test = tests[i];
86         itemTotals1[test] = [];
87         var category = test.replace(/-.*/, "");
88         testTotalsByCategory1[category][test] = 0;
89         testMeansByCategory1[category][test] = 0;
90         testStdDevsByCategory1[category][test] = 0;
91         testStdErrsByCategory1[category][test] = 0;
92     }
93
94     for (var i = 0; i < count1; i++) {
95         itemTotals1["total"][i] = 0;
96         for (var category in categoryTotals1) {
97             itemTotals1[category][i] = 0;
98             for (var test in testTotalsByCategory1[category]) {
99                 itemTotals1[test][i] = 0;
100             }
101         }
102     }
103
104     itemTotals2 = {total: []};
105
106     for (var i = 0; i < categories.length; i++) {
107         var category = categories[i];
108         itemTotals2[category] = [];
109         categoryTotals2[category] = 0;
110         testTotalsByCategory2[category] = {};
111         categoryMeans2[category] = 0;
112         testMeansByCategory2[category] = {};
113         categoryStdDevs2[category] = 0;
114         testStdDevsByCategory2[category] = {};
115         categoryStdErrs2[category] = 0;
116         testStdErrsByCategory2[category] = {};
117     }
118
119     for (var i = 0; i < tests.length; i++) {
120         var test = tests[i];
121         itemTotals2[test] = [];
122         var category = test.replace(/-.*/, "");
123         testTotalsByCategory2[category][test] = 0;
124         testMeansByCategory2[category][test] = 0;
125         testStdDevsByCategory2[category][test] = 0;
126         testStdErrsByCategory2[category][test] = 0;
127     }
128
129     for (var i = 0; i < count2; i++) {
130         itemTotals2["total"][i] = 0;
131         for (var category in categoryTotals2) {
132             itemTotals2[category][i] = 0;
133             for (var test in testTotalsByCategory2[category]) {
134                 itemTotals2[test][i] = 0;
135             }
136         }
137     }
138
139 }
140
141 function computeItemTotals(output, itemTotals)
142 {
143     for (var i = 0; i < output.length; i++) {
144         var result = output[i];
145         for (var test in result) {
146             var time = result[test];
147             var category = test.replace(/-.*/, "");
148             itemTotals["total"][i] += time;
149             itemTotals[category][i] += time;
150             itemTotals[test][i] += time;
151         }
152     }
153 }
154
155 function computeTotals(output, categoryTotals, testTotalsByCategory)
156 {
157     var total = 0;
158
159     for (var i = 0; i < output.length; i++) {
160         var result = output[i];
161         for (var test in result) {
162             var time = result[test];
163             var category = test.replace(/-.*/, "");
164             total += time;
165             categoryTotals[category] += time;
166             testTotalsByCategory[category][test] += time;
167         }
168     }
169
170     return total;
171 }
172
173 function computeMeans(count, total, categoryTotals, categoryMeans, testTotalsByCategory, testMeansByCategory)
174 {
175     var mean = total / count;
176     for (var category in categoryTotals) {
177         categoryMeans[category] = categoryTotals[category] / count;
178         for (var test in testTotalsByCategory[category]) {
179             testMeansByCategory[category][test] = testTotalsByCategory[category][test] / count;
180         }
181     }
182     return mean;
183 }
184
185 function standardDeviation(mean, items)
186 {
187     var deltaSquaredSum = 0;
188     for (var i = 0; i < items.length; i++) {
189         var delta = items[i] - mean;
190         deltaSquaredSum += delta * delta;
191     }
192     variance = deltaSquaredSum / (items.length - 1);
193     return Math.sqrt(variance);
194 }
195
196 function computeStdDevs(mean, itemTotals, categoryStdDevs, categoryMeans, testStdDevsByCategory, testMeansByCategory)
197 {
198     var stdDev = standardDeviation(mean, itemTotals["total"]);
199     for (var category in categoryStdDevs) {
200         categoryStdDevs[category] = standardDeviation(categoryMeans[category], itemTotals[category]);
201     }
202     for (var category in categoryStdDevs) {
203         for (var test in testStdDevsByCategory[category]) {
204             testStdDevsByCategory[category][test] = standardDeviation(testMeansByCategory[category][test], itemTotals[test]);
205         }
206     }
207     return stdDev;
208 }
209
210 function computeStdErrors(count, stdDev, categoryStdErrs, categoryStdDevs, testStdErrsByCategory, testStdDevsByCategory)
211 {
212     var sqrtCount = Math.sqrt(count);
213     
214     var stdErr = stdDev / sqrtCount;
215     for (var category in categoryStdErrs) {
216         categoryStdErrs[category] = categoryStdDevs[category] / sqrtCount;
217     }
218     for (var category in categoryStdDevs) {
219         for (var test in testStdErrsByCategory[category]) {
220             testStdErrsByCategory[category][test] = testStdDevsByCategory[category][test] / sqrtCount;
221         }
222     }
223
224     return stdErr;
225 }
226
227 var tDistribution = [NaN, NaN, 12.71, 4.30, 3.18, 2.78, 2.57, 2.45, 2.36, 2.31, 2.26, 2.23, 2.20, 2.18, 2.16, 2.14, 2.13, 2.12, 2.11, 2.10, 2.09, 2.09, 2.08, 2.07, 2.07, 2.06, 2.06, 2.06, 2.05, 2.05, 2.05, 2.04, 2.04, 2.04, 2.03, 2.03, 2.03, 2.03, 2.03, 2.02, 2.02, 2.02, 2.02, 2.02, 2.02, 2.02, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.01, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 2.00, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.99, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.98, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.97, 1.96];
228 var tMax = tDistribution.length;
229 var tLimit = 1.96;
230
231 function tDist(n)
232 {
233     if (n > tMax)
234         return tLimit;
235     return tDistribution[n];
236 }
237
238
239 function formatMean(meanWidth, mean, stdErr, count)
240 {
241     var meanString = mean.toFixed(1).toString();
242     while (meanString.length < meanWidth) {
243         meanString = " " + meanString;
244     }
245
246     var error = "+/- " + ((tDist(count) * stdErr / mean) * 100).toFixed(1) + "% ";
247
248     return meanString + "ms " + error;
249 }
250
251 function computeLabelWidth()
252 {
253     var width = "Total".length;
254     for (var category in categoryMeans1) {
255         if (category.length + 2 > width)
256             width = category.length + 2;
257     }
258     for (var i = 0; i < tests.length; i++) {
259         var shortName = tests[i].replace(/^[^-]*-/, "");
260         if (shortName.length + 4 > width)
261             width = shortName.length + 4;
262     }
263
264     return width;
265 }
266
267 function computeMeanWidth(mean, categoryMeans, testMeansByCategory)
268 {
269     var width = mean.toFixed(1).toString().length;
270     for (var category in categoryMeans) {
271         var candidate = categoryMeans[category].toFixed(1).toString().length;
272         if (candidate > width)
273             width = candidate;
274         for (var test in testMeansByCategory[category]) {
275             var candidate = testMeansByCategory[category][test].toFixed(1).toString().length;
276             if (candidate > width)
277                 width = candidate;
278         }
279     }
280
281     return width;
282 }
283
284 function pad(str, n)
285 {
286     while (str.length < n) {
287         str += " ";
288     }
289     return str;
290 }
291
292 function resultLine(labelWidth, indent, label, meanWidth1, mean1, stdErr1, meanWidth2, mean2, stdErr2)
293 {
294     result = pad("", indent);    
295     result += label + ": ";
296     result = pad(result, labelWidth + 2);
297
298     var t = (mean1 - mean2) / (Math.sqrt((stdErr1 * stdErr1) + (stdErr1 * stdErr2))); 
299     var df = count1 + count2 - 2;
300
301     var statisticallySignificant = (Math.abs(t) > tDist(df+1));
302     var diff = mean2 - mean1;
303     var percentage = 100 * diff / mean1;
304     var isFaster = diff < 0;
305     var probablySame = (percentage < 0.1) && !statisticallySignificant;
306
307     var diffSummary;
308     var diffDetail;
309
310     if (probablySame) {
311         diffSummary = "-";
312         diffDetail = "";
313     } else if (!statisticallySignificant) {
314         diffSummary = "??";
315         diffDetail =  "    not conclusive: might be " + Math.abs(percentage).toFixed(1).toString() + "% ";
316         diffDetail += (isFaster ? "faster" : "*slower*");
317     } else {
318         diffSummary = Math.abs(percentage).toFixed(1).toString() + "% " + (isFaster ? "faster" : "*slower*");
319         diffDetail = "    significant"; 
320     }
321
322     return result + pad(diffSummary, 16) + formatMean(meanWidth1, mean1, stdErr1, count1) + "  " + formatMean(meanWidth2, mean2, stdErr2, count2) + diffDetail;
323 }
324
325 function printOutput()
326 {
327     var labelWidth = computeLabelWidth();
328     var meanWidth1 = computeMeanWidth(mean1, categoryMeans1, testMeansByCategory1);
329     var meanWidth2 = computeMeanWidth(mean2, categoryMeans2, testMeansByCategory2);
330
331     print("\n");
332     var header = "TEST";
333     while (header.length < labelWidth)
334         header += " ";
335     header += "  COMPARISON            FROM                 TO             DETAILS";
336     print(header);
337     print("");
338     print("=============================================================================");
339     print("");
340     print(resultLine(labelWidth, 0, "** TOTAL **", meanWidth1, mean1, stdErr1, meanWidth2, mean2, stdErr2));
341     print("");
342     print("=============================================================================");
343
344     for (var category in categoryMeans1) {
345         print("");
346         print(resultLine(labelWidth, 2, category,
347                          meanWidth1, categoryMeans1[category], categoryStdErrs1[category],
348                          meanWidth2, categoryMeans2[category], categoryStdErrs2[category]));
349         for (var test in testMeansByCategory1[category]) {
350             var shortName = test.replace(/^[^-]*-/, "");
351             print(resultLine(labelWidth, 4, shortName, 
352                              meanWidth1, testMeansByCategory1[category][test], testStdErrsByCategory1[category][test],
353                              meanWidth2, testMeansByCategory2[category][test], testStdErrsByCategory2[category][test]));
354         }
355     }
356 }
357
358 initialize();
359
360 computeItemTotals(output1, itemTotals1);
361 computeItemTotals(output2, itemTotals2);
362
363 total1 = computeTotals(output1, categoryTotals1, testTotalsByCategory1);
364 total2 = computeTotals(output2, categoryTotals2, testTotalsByCategory2);
365
366 mean1 = computeMeans(count1, total1, categoryTotals1, categoryMeans1, testTotalsByCategory1, testMeansByCategory1);
367 mean2 = computeMeans(count2, total2, categoryTotals2, categoryMeans2, testTotalsByCategory2, testMeansByCategory2);
368
369 stdDev1 = computeStdDevs(mean1, itemTotals1, categoryStdDevs1, categoryMeans1, testStdDevsByCategory1, testMeansByCategory1);
370 stdDev2 = computeStdDevs(mean2, itemTotals2, categoryStdDevs2, categoryMeans2, testStdDevsByCategory2, testMeansByCategory2);
371
372 stdErr1 = computeStdErrors(count1, stdDev1, categoryStdErrs1, categoryStdDevs1, testStdErrsByCategory1, testStdDevsByCategory1);
373 stdErr2 = computeStdErrors(count2, stdDev2, categoryStdErrs2, categoryStdDevs2, testStdErrsByCategory2, testStdDevsByCategory2);
374
375 printOutput();