Fix ambiguous description text in ARES-6 about the data the benchmark measures
authorsbarati@apple.com <sbarati@apple.com@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Fri, 14 Jul 2017 17:47:28 +0000 (17:47 +0000)
committersbarati@apple.com <sbarati@apple.com@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Fri, 14 Jul 2017 17:47:28 +0000 (17:47 +0000)
https://bugs.webkit.org/show_bug.cgi?id=174510

Rubber stamped by Filip Pizlo.

* ARES-6/about.html:

git-svn-id: https://svn.webkit.org/repository/webkit/trunk@219512 268f45cc-cd09-0410-ab3c-d52691b4dbfc

PerformanceTests/ARES-6/about.html
PerformanceTests/ChangeLog
Websites/browserbench.org/ARES-6/about.html
Websites/browserbench.org/ChangeLog

index b92d8498b72e0e7d96947be04dec4190101fa7ac..9e5472f8513e86dca3c18c26f23106f73acb4e4b 100644 (file)
@@ -36,7 +36,7 @@
             and does non-trivial matrix math.
         </p>
 
-        <p>ARES-6 rewards browsers that start up quickly and run smoothly. It's not enough to just measure the total running time of a workload. Browsers may perform differently for the same workload depending on how many times it has run. Garbage collection runs periodically, making some iterations take longer than others. Code that runs repeatedly gets optimized by the browser, so the first iteration of any workload is more expensive than the rest. ARES-6 runs Air, Basic, and Babylon for 200 iterations, and ML for 60 iterations, and reports the execution time of the first iteration, the average of the 4 worst iterations, and the overall geometric mean. Each of these values is given an equal weight when computing the ovarall time. ARES-6 equally rewards fast start-up, low jank, and sophisticated adaptive optimizations for long-running code.</p>
+        <p>ARES-6 rewards browsers that start up quickly and run smoothly. It's not enough to just measure the total running time of a workload. Browsers may perform differently for the same workload depending on how many times it has run. Garbage collection runs periodically, making some iterations take longer than others. Code that runs repeatedly gets optimized by the browser, so the first iteration of any workload is more expensive than the rest. ARES-6 runs Air, Basic, and Babylon for 200 iterations, and ML for 60 iterations. For each benchmark, ARES-6 reports the time of the first iteration, the average of the 4 worst iterations, and the average of all but the first iteration. ARES-6 also reports an overall score which is the geometric mean of all twelve of these numbers. ARES-6 equally rewards fast start-up, low jank, and sophisticated adaptive optimizations for long-running code.</p>
         
         <p>Each ARES-6 sample has 200 iterations of Air, Basic, and Babylon, and 60 iterations of ML. ARES-6 runs 6 samples, and reports the average with 95% confidence intervals. Each sample runs in a fresh <code>iframe</code> to simulate some of the effects of page navigation.</p>
 
index 4bc82b040b7889746ff4e5fe631d10dc723e5321..087152d53aaed2394d859938e2192cf35cef5011 100644 (file)
@@ -1,3 +1,12 @@
+2017-07-14  Saam Barati  <sbarati@apple.com>
+
+        Fix ambiguous description text in ARES-6 about the data the benchmark measures
+        https://bugs.webkit.org/show_bug.cgi?id=174510
+
+        Rubber stamped by Filip Pizlo.
+
+        * ARES-6/about.html:
+
 2017-07-07  Mathias Bynens  <mathias@qiwi.be>
 
         Speedometer 2.0: Fix vanilla JS example
index b92d8498b72e0e7d96947be04dec4190101fa7ac..9e5472f8513e86dca3c18c26f23106f73acb4e4b 100644 (file)
@@ -36,7 +36,7 @@
             and does non-trivial matrix math.
         </p>
 
-        <p>ARES-6 rewards browsers that start up quickly and run smoothly. It's not enough to just measure the total running time of a workload. Browsers may perform differently for the same workload depending on how many times it has run. Garbage collection runs periodically, making some iterations take longer than others. Code that runs repeatedly gets optimized by the browser, so the first iteration of any workload is more expensive than the rest. ARES-6 runs Air, Basic, and Babylon for 200 iterations, and ML for 60 iterations, and reports the execution time of the first iteration, the average of the 4 worst iterations, and the overall geometric mean. Each of these values is given an equal weight when computing the ovarall time. ARES-6 equally rewards fast start-up, low jank, and sophisticated adaptive optimizations for long-running code.</p>
+        <p>ARES-6 rewards browsers that start up quickly and run smoothly. It's not enough to just measure the total running time of a workload. Browsers may perform differently for the same workload depending on how many times it has run. Garbage collection runs periodically, making some iterations take longer than others. Code that runs repeatedly gets optimized by the browser, so the first iteration of any workload is more expensive than the rest. ARES-6 runs Air, Basic, and Babylon for 200 iterations, and ML for 60 iterations. For each benchmark, ARES-6 reports the time of the first iteration, the average of the 4 worst iterations, and the average of all but the first iteration. ARES-6 also reports an overall score which is the geometric mean of all twelve of these numbers. ARES-6 equally rewards fast start-up, low jank, and sophisticated adaptive optimizations for long-running code.</p>
         
         <p>Each ARES-6 sample has 200 iterations of Air, Basic, and Babylon, and 60 iterations of ML. ARES-6 runs 6 samples, and reports the average with 95% confidence intervals. Each sample runs in a fresh <code>iframe</code> to simulate some of the effects of page navigation.</p>
 
index 14bab74ee0c06accf15f3d41c6e13039d1d77a20..cf8a05a09e89e68ab814f9697ef1fc637e3932ca 100644 (file)
@@ -1,3 +1,12 @@
+2017-07-14  Saam Barati  <sbarati@apple.com>
+
+        Fix ambiguous description text in ARES-6 about the data the benchmark measures
+        https://bugs.webkit.org/show_bug.cgi?id=174510
+
+        Rubber stamped by Filip Pizlo.
+
+        * ARES-6/about.html:
+
 2017-06-07  Saam Barati  <sbarati@apple.com>
 
         ARES-6 incorrectly measures Worst 4 Iterations