PerformanceTests/ARES-6/results.js

   1 /*
   2  * Copyright (C) 2016 Apple Inc. All rights reserved.
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1. Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2. Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
  14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
  17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  24  */
  25 "use strict";
  26
  27 class Results {
  28     constructor(benchmark)
  29     {
  30         this._benchmark = benchmark;
  31         for (let subResult of Results.subResults)
  32             this[subResult] = new Stats(benchmark.cells[subResult], subResult);
  33     }
  34
  35     get benchmark() { return this._benchmark; }
  36
  37     reset()
  38     {
  39         for (let subResult of Results.subResults)
  40             this[subResult].reset();
  41     }
  42
  43     reportRunning()
  44     {
  45         if (isInBrowser)
  46             this._benchmark.cells.message.classList.add('running');
  47     }
  48
  49     reportDone()
  50     {
  51         if (isInBrowser)
  52             this._benchmark.cells.message.classList.remove('running');
  53     }
  54
  55     reportResult(times)
  56     {
  57         function averageAbovePercentile(numbers, percentile) {
  58             // Don't change the original array.
  59             numbers = numbers.slice();
  60
  61             // Sort in ascending order.
  62             numbers.sort(function(a, b) { return a - b; });
  63
  64             // Now the elements we want are at the end. Keep removing them until the array size shrinks too much.
  65             // Examples assuming percentile = 99:
  66             //
  67             // - numbers.length starts at 100: we will remove just the worst entry and then not remove anymore,
  68             //   since then numbers.length / originalLength = 0.99.
  69             //
  70             // - numbers.length starts at 1000: we will remove the ten worst.
  71             //
  72             // - numbers.length starts at 10: we will remove just the worst.
  73             var numbersWeWant = [];
  74             var originalLength = numbers.length;
  75             while (numbers.length / originalLength > percentile / 100)
  76                 numbersWeWant.push(numbers.pop());
  77
  78             var sum = 0;
  79             for (var i = 0; i < numbersWeWant.length; ++i)
  80                 sum += numbersWeWant[i];
  81
  82             var result = sum / numbersWeWant.length;
  83
  84             // Do a sanity check.
  85             if (numbers.length && result < numbers[numbers.length - 1]) {
  86                 throw "Sanity check fail: the worst case result is " + result +
  87                     " but we didn't take into account " + numbers;
  88             }
  89
  90             return result;
  91         }
  92
  93         this.firstIteration.add(times[0]);
  94         let steadyTimes = times.slice(1);
  95         this.averageWorstCase.add(averageAbovePercentile(steadyTimes, 98));
  96         this.steadyState.add(steadyTimes.reduce((previous, current) => previous + current) / steadyTimes.length);
  97         this.reportDone();
  98     }
  99
 100     reportError(message, url, lineNumber)
 101     {
 102         for (let subResult of Results.subResults)
 103             this[subResult].reportResult(Stats.error);
 104         if (isInBrowser)
 105             this._benchmark.cells.message.innerHTML = url + ":" + lineNumber + ": " + message;
 106     }
 107 }
 108
 109 Results.subResults = ["firstIteration", "averageWorstCase", "steadyState"];