Unreviewed, rolling out r209672.
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-12-12  Commit Queue  <commit-queue@webkit.org>
2
3         Unreviewed, rolling out r209672.
4         https://bugs.webkit.org/show_bug.cgi?id=165766
5
6         IndexedDB/objectstore-cursor.html perf test always times out
7         (Requested by ap on #webkit).
8
9         Reverted changeset:
10
11         "More IndexedDB perf tests."
12         https://bugs.webkit.org/show_bug.cgi?id=165634
13         http://trac.webkit.org/changeset/209672
14
15 2016-12-10  Brady Eidson  <beidson@apple.com>
16
17         More IndexedDB perf tests.
18         https://bugs.webkit.org/show_bug.cgi?id=165634
19
20         Reviewed by Sam Weinig.
21
22         * IndexedDB/index-multientry.html:
23         * IndexedDB/large-number-of-inserts-responsiveness.html: Added.
24         * IndexedDB/large-number-of-inserts.html: Added.
25         * IndexedDB/objectstore-cursor.html: Added.
26         
27         * resources/runner.js: Add "track responsiveness" functionality to PerfTestRunner.
28
29 2016-12-06  Filip Pizlo  <fpizlo@apple.com>
30
31         Concurrent GC should be stable enough to land enabled
32         https://bugs.webkit.org/show_bug.cgi?id=164990
33
34         Reviewed by Geoffrey Garen.
35         
36         Made CDjs more configurable and refined the "large.js" configuration. I was using that one and
37         the new "long.js" configuration to tune concurrent eden GCs.
38         
39         Added a new way of running Splay in browser, which using chartjs to plot the execution times of
40         2000 iterations. This includes the minified chartjs.
41
42         * JetStream/Octane2/splay-detail.html: Added.
43         * JetStream/cdjs/benchmark.js:
44         (benchmarkImpl):
45         (benchmark):
46         * JetStream/cdjs/long.js: Added.
47
48 2016-12-07  Brady Eidson  <beidson@apple.com>
49
50         Add IDB perf tests stressing key size.
51         https://bugs.webkit.org/show_bug.cgi?id=165567
52
53         Reviewed by Alex Christensen.
54
55         * IndexedDB/large-array-keys.html: Added.
56         * IndexedDB/large-binary-keys.html: Added.
57         * IndexedDB/large-string-keys.html: Added.
58
59 2016-12-05  Brady Eidson  <beidson@apple.com>
60
61         Add an IndexedDB perf test to PerformanceTests.
62         https://bugs.webkit.org/show_bug.cgi?id=165430
63
64         Reviewed by Alex Christensen.
65
66         * IndexedDB/index-multientry.html: Added.
67
68 2016-12-02  Filip Pizlo  <fpizlo@apple.com>
69
70         ES6SampleBench should report an average for Steady State so that all of the numbers are comparable
71         https://bugs.webkit.org/show_bug.cgi?id=165325
72
73         Reviewed by Saam Barati.
74
75         This makes all of the numbers that ES6SampleBench reports comparable to each other: they all speak of the time
76         it took to run an iteration of something.
77
78         * ES6SampleBench/results.js:
79         (Results.prototype.reportResult):
80
81 2016-11-18  Jer Noble  <jer.noble@apple.com>
82
83         Add some performance tests for various aspects of media loading and playback.
84         https://bugs.webkit.org/show_bug.cgi?id=164977
85
86         Reviewed by Darin Adler.
87
88         Add new tests for a few aspects of media playback; namely: how quickly  media elements fire
89         the "canplaythrough" event when all data is immediately available, how quickly HLS playback
90         switches resolutions, and at what playback rate MSE-backed video can play without dropping
91         frames. Skip these tests by default, as they're not runnable on all ports, and they require
92         a webserver (run-webkit-httpd) to complete on macOS.
93
94         * Media/HLSCanPlayThrough.html: Added.
95         * Media/HLSGearChange.html: Added.
96         * Media/MSECanPlayThrough.html: Added.
97         * Media/MSEPlaybackRate.html: Added.
98         * Media/StandardCanPlayThrough.html: Added.
99         * Media/hls/1080p/iframe_index.m3u8: Added.
100         * Media/hls/1080p/prog_index.m3u8: Added.
101         * Media/hls/1080p/test.ts: Added.
102         * Media/hls/480p/iframe_index.m3u8: Added.
103         * Media/hls/480p/prog_index.m3u8: Added.
104         * Media/hls/480p/test.ts: Added.
105         * Media/hls/720p/iframe_index.m3u8: Added.
106         * Media/hls/720p/prog_index.m3u8: Added.
107         * Media/hls/720p/test.ts: Added.
108         * Media/hls/720p/test.ts.back: Added.
109         * Media/hls/index.m3u8: Added.
110         * Media/media-source-loader.js: Added.
111         (MediaSourceLoader):
112         (MediaSourceLoader.prototype.loadManifest):
113         (MediaSourceLoader.prototype.loadManifestSucceeded):
114         (MediaSourceLoader.prototype.loadManifestFailed):
115         (MediaSourceLoader.prototype.loadMediaData):
116         (MediaSourceLoader.prototype.loadMediaDataSucceeded):
117         (MediaSourceLoader.prototype.loadMediaDataFailed):
118         (MediaSourceLoader.prototype.get type):
119         (MediaSourceLoader.prototype.get duration):
120         (MediaSourceLoader.prototype.get initSegment):
121         (MediaSourceLoader.prototype.get mediaSegmentsLength):
122         (MediaSourceLoader.prototype.mediaSegments):
123         (MediaSourceLoader.prototype.get everyMediaSegment):
124         * Media/test-fragmented-video.json: Added.
125         * Media/test-fragmented-video.mp4: Added.
126         * Media/test.mp4: Added.
127         * Skipped:
128
129 2016-11-18  Filip Pizlo  <fpizlo@apple.com>
130
131         Concurrent GC should be able to run splay in debug mode and earley/raytrace in release mode with no perf regression
132         https://bugs.webkit.org/show_bug.cgi?id=164282
133
134         Reviewed by Geoffrey Garen and Oliver Hunt.
135         
136         CDjs is a fun benchmark for stressing concurrent GCs, but to really give the GC a good
137         workout you need to increase the amount of work that the test does. This adds a second
138         configuration of the benchmark that has more aircraft. It uses much more memory and causes us
139         to do more GCs and those GCs take longer.
140
141         * JetStream/cdjs/benchmark.js:
142         (benchmarkImpl):
143         (benchmark):
144         * JetStream/cdjs/large.js: Added.
145
146 2016-11-14  Filip Pizlo  <fpizlo@apple.com>
147
148         Unreviewed, revert unintended change.
149
150         * ES6SampleBench/Air/benchmark.js:
151
152 2016-10-03  Saam Barati  <sbarati@apple.com>
153
154         MapHash should speculate on the type of its child node
155         https://bugs.webkit.org/show_bug.cgi?id=161922
156
157         Reviewed by Filip Pizlo.
158
159         I gave the main generator a name so it's easier to see what
160         it is when using the sampling profiler.
161
162         * ES6SampleBench/Basic/ast.js:
163         (Basic.Program):
164
165 2016-09-19  Sergio Villar Senin  <svillar@igalia.com>
166
167         [css-grid] Remove the x2 computation of row sizes with indefinite heights
168         https://bugs.webkit.org/show_bug.cgi?id=162150
169
170         Reviewed by Darin Adler.
171
172         Added a new test case which checks the layout performance of grids inside other grids, i.e,
173         grids acting both as grid container and grid item.
174
175         * Layout/nested-grid.html: Added.
176
177 2016-09-09  Simon Fraser  <simon.fraser@apple.com>
178
179         Perf test Animation/css-accelerated-animation.html failing
180         https://bugs.webkit.org/show_bug.cgi?id=161795
181
182         Skip Animation/css-accelerated-animation.html since this only works as a MobileSafari
183         perf test.
184
185         * Skipped:
186
187 2016-09-08  Simon Fraser  <simon.fraser@apple.com>
188
189         Add a content-animation test with accelerated CSS animations
190         https://bugs.webkit.org/show_bug.cgi?id=161776
191
192         Reviewed by Dean Jackson.
193
194         Add a test that measures the frame rate of accelerated CSS animations.
195
196         This is like css-animation.html (which animates 'left' and 'top') but animates
197         transforms instead. In order to get animation in X and Y we make two nested elements
198         and set transformX() on one, and transformY() on the other.
199
200         * Animation/css-accelerated-animation.html: Added.
201
202 2016-08-23  Saam Barati  <sbarati@apple.com>
203
204         It should be easy to run ES6SampleBench from the jsc shell
205         https://bugs.webkit.org/show_bug.cgi?id=161085
206
207         Reviewed by Yusuke Suzuki.
208
209         This patch makes ES6 sample bench runnable through the `jsc` shell.
210         To do that, you need to be in the PerformanceTests/ES6SampleBench
211         directory and run `jsc cli.js`. To make this work, the benchmark
212         is now aware of being run in two modes: via the browser, and via
213         the shell. Each entry point will set a variable `isInBrowser`,
214         and the benchmark will do different things based on if that
215         variable is true or false.
216
217         * ES6SampleBench/Air/benchmark.js:
218         * ES6SampleBench/Air/stress-test.js:
219         * ES6SampleBench/Basic/benchmark.js:
220         (runBenchmark):
221         * ES6SampleBench/Basic/stress-test.js:
222         * ES6SampleBench/air_benchmark.js:
223         * ES6SampleBench/basic_benchmark.js:
224         * ES6SampleBench/cli.js: Added.
225         (return.doRun):
226         (makeBenchmarkRunner):
227         * ES6SampleBench/driver.js:
228         (Driver):
229         (Driver.prototype._recomputeSummary):
230         (Driver.prototype._iterate.window.setTimeout):
231         (Driver.prototype._iterate):
232         (Driver.prototype._updateIterations):
233         * ES6SampleBench/glue.js:
234         (reportResult):
235         * ES6SampleBench/index.html:
236         * ES6SampleBench/results.js:
237         (Results):
238         (Results.prototype.reportRunning):
239         (Results.prototype.reportDone):
240         (Results.prototype.reportError):
241         * ES6SampleBench/stats.js:
242         (Stats):
243         (Stats.prototype.toString):
244         (Stats.prototype._update):
245
246 2016-08-01  Said Abou-Hallawa  <sabouhallawa@apple.com>
247
248         Add an option to run the MotionMark tests with classic tile size (512x512)
249         https://bugs.webkit.org/show_bug.cgi?id=160371
250
251         Reviewed by Darin Adler.
252
253         Setting the body to large size (3000x3000) and overflow to scroll forces
254         the classic tile size (512x512). This option does not affect the canvas
255         tests because the canvas is displayed on one tile regardless of its size.
256
257         * Animometer/developer.html:
258         * Animometer/resources/debug-runner/animometer.css:
259         (body.showing-test-container.tiles-big):
260         (body.showing-test-container.tiles-classic):
261         * Animometer/resources/debug-runner/animometer.js:
262         * Animometer/resources/runner/animometer.js:
263         (window.benchmarkController.startBenchmark):
264
265 2016-06-29  Filip Pizlo  <fpizlo@apple.com>
266
267         Generators violate bytecode liveness validation
268         https://bugs.webkit.org/show_bug.cgi?id=159279
269
270         Reviewed by Yusuke Suzuki.
271
272         Add Basic to our test harness.
273
274         Also made some cosmetic changes to the benchmark harness.
275
276         * ES6SampleBench/Basic/basic-tests.yaml: Added.
277         * ES6SampleBench/Basic/stress-test.js: Added.
278         (preciseTime):
279         * ES6SampleBench/driver.js:
280         (Driver):
281         (Driver.prototype.start):
282         (Driver.prototype.reportError):
283         * ES6SampleBench/glue.js:
284         * ES6SampleBench/index.html:
285
286 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
287
288         ES6SampleBench should have a harness
289         https://bugs.webkit.org/show_bug.cgi?id=159246
290
291         Reviewed by Saam Barati.
292         
293         This adds a simple web harness for ES6SampleBench. It runs Air and Basic 10 times for 200
294         iterations each and reports three metrics:
295         
296         First iteration: the time it takes for the first iteration to run. This is the first
297         iteration after the benchmark is loaded into the iframe, so it's representative of what
298         would happen if one of these workloads only ran for a short time.
299         
300         Worst 2%: of the last 199 iterations, the average of the worst 2% iterations. If code like
301         any of these workloads was used in an important event handler, you'd want that code to run
302         well in the worst case in addition to having great throughput.
303         
304         Steady state: the total of the last 199 iterations. This is representative of what would
305         happen if you ran code like this for a long time.
306         
307         The total score is the geomean of the firstIteration/worstCase/steadyState numbers of the
308         two benchmarks.
309         
310         The harness does statistics using Student's T-distribution confidence intervals.
311
312         * ES6SampleBench/Basic/benchmark.js:
313         (Benchmark):
314         * ES6SampleBench/air_benchmark.js: Added.
315         * ES6SampleBench/basic_benchmark.js: Added.
316         * ES6SampleBench/driver.js: Added.
317         (Driver):
318         (Driver.prototype.addBenchmark):
319         (Driver.prototype.start):
320         (Driver.prototype.reportResult):
321         (Driver.prototype.reportError):
322         (Driver.prototype._recomputeSummary.Geomean):
323         (Driver.prototype._recomputeSummary.Geomean.prototype.add):
324         (Driver.prototype._recomputeSummary.Geomean.prototype.get result):
325         (Driver.prototype._recomputeSummary):
326         (Driver.prototype._iterate):
327         (Driver.prototype._updateIterations):
328         * ES6SampleBench/glue.js: Added.
329         * ES6SampleBench/index.html: Added.
330         * ES6SampleBench/results.js: Added.
331         (Results):
332         (Results.prototype.get benchmark):
333         (Results.prototype.reset):
334         (Results.prototype.reportRunning):
335         (Results.prototype.reportDone):
336         (Results.prototype.reportResult.averageAbovePercentile):
337         (Results.prototype.reportResult):
338         (Results.prototype.reportError):
339         * ES6SampleBench/stats.js: Added.
340         (Stats):
341         (Stats.prototype.reset):
342         (Stats.prototype.add):
343         (Stats.prototype.get numIterations):
344         (Stats.prototype.valueForIteration):
345         (Stats.get result.tDist):
346         (Stats.prototype.get result):
347         (Stats.prototype.toString):
348         (Stats.prototype._update):
349         * ES6SampleBench/style.css: Added.
350         (body):
351         (body, th, tr):
352         (h1, h2, h3, h4):
353         (h1):
354         (h2):
355         (h3):
356         (hr):
357         (address):
358         (img):
359         (.underline):
360         (ol.loweralpha):
361         (ol.upperalpha):
362         (ol.lowerroman):
363         (ol.upperroman):
364         (ol.arabic):
365         (.banner-link:link, .banner-link:visited):
366         (:link, :visited):
367         (h4 :link, h4 :visited, h5 :link, h5 :visited, h6 :link, h6 :visited):
368         (.anchor:link, .anchor:visited):
369         (* > .anchor:link, * > .anchor:visited):
370         (span:hover .anchor):
371         (a.forbidden, span.forbidden):
372         (a.missing:hover):
373         (a.closed:link, a.closed:visited, span.closed):
374         (pre):
375         (div.code):
376         (div.code pre):
377         (dt):
378         (dd):
379         (dd:last-child):
380         (.site-logo):
381         (.site-logo .tagline):
382         (table):
383         (#contents):
384         (p):
385         (p:last-child):
386         (th):
387         (td):
388
389 2016-06-28  Jon Lee  <jonlee@apple.com>
390
391         Update focus test
392         https://bugs.webkit.org/show_bug.cgi?id=159242
393         rdar://problem/27070007
394
395         Reviewed by Dean Jackson.
396         Provisionally reviewed by Said Abou-Hallawa.
397
398         Move previous test to dom suite, and update the test for better reporting of frame rate, although
399         it uses a different rendering path.
400
401         * Animometer/resources/debug-runner/tests.js: Add to dom suite.
402         * Animometer/tests/dom/focus.html: Copied from PerformanceTests/Animometer/tests/master/focus.html.
403         * Animometer/tests/dom/resources/focus.js: Copied from PerformanceTests/Animometer/tests/master/resources/focus.js.
404         * Animometer/tests/master/focus.html: Remove center element.
405         * Animometer/tests/master/resources/focus.js: Use narrower size range with smaller particles. Remove the
406         container elements. Inline getBlurValue and getOpacityValue since they are only called once.
407
408 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
409
410         Move Air.js and Basic into ES6SampleBench
411
412         Rubber stamped by Geoffrey Garen.
413         
414         We want to group our ES6 benchmarks together, and eventually, we want to give them a
415         common harness.
416
417         * Air.js: Removed.
418         * Air.js/README.md: Removed.
419         * Air.js/airjs-tests.yaml: Removed.
420         * Air.js/all.js: Removed.
421         * Air.js/allocate_stack.js: Removed.
422         * Air.js/arg.js: Removed.
423         * Air.js/basic_block.js: Removed.
424         * Air.js/benchmark.js: Removed.
425         * Air.js/code.js: Removed.
426         * Air.js/custom.js: Removed.
427         * Air.js/frequented_block.js: Removed.
428         * Air.js/insertion_set.js: Removed.
429         * Air.js/inst.js: Removed.
430         * Air.js/liveness.js: Removed.
431         * Air.js/make_dist.sh: Removed.
432         * Air.js/opcode.js: Removed.
433         * Air.js/payload-airjs-ACLj8C.js: Removed.
434         * Air.js/payload-gbemu-executeIteration.js: Removed.
435         * Air.js/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
436         * Air.js/payload-typescript-scanIdentifier.js: Removed.
437         * Air.js/reg.js: Removed.
438         * Air.js/stack_slot.js: Removed.
439         * Air.js/stress-test.js: Removed.
440         * Air.js/strip-hash.rb: Removed.
441         * Air.js/symbols.js: Removed.
442         * Air.js/test.html: Removed.
443         * Air.js/test.js: Removed.
444         * Air.js/tmp.js: Removed.
445         * Air.js/tmp_base.js: Removed.
446         * Air.js/util.js: Removed.
447         * Basic: Removed.
448         * Basic/ast.js: Removed.
449         * Basic/basic.js: Removed.
450         * Basic/benchmark.js: Removed.
451         * Basic/caseless_map.js: Removed.
452         * Basic/lexer.js: Removed.
453         * Basic/number.js: Removed.
454         * Basic/parser.js: Removed.
455         * Basic/random.js: Removed.
456         * Basic/state.js: Removed.
457         * Basic/test.html: Removed.
458         * Basic/test.js: Removed.
459         * Basic/util.js: Removed.
460         * ES6SampleBench: Added.
461         * ES6SampleBench/Air: Copied from PerformanceTests/Air.js.
462         * ES6SampleBench/Basic: Copied from PerformanceTests/Basic.
463         * Skipped:
464
465 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
466
467         Add a ES6 generator benchmark
468         https://bugs.webkit.org/show_bug.cgi?id=159101
469
470         Rubber stamped by Keith Miller.
471         
472         This adds a Basic interpreter loosely based on ECMA-55:
473         
474         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
475         
476         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
477         walk interpreter where the walking functions for statements are generators that call each
478         other with yield*. This enables the interpreter to look like an AST walk even though it can
479         yield at INPUT and PRINT statements.
480         
481         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
482         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
483         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
484         parser.rb for example.
485         
486         The benchmark runs a handful of simple Basic programs. The longest-running one computes
487         prime numbers.
488         
489         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
490
491         * Basic: Added.
492         * Basic/ast.js: Added.
493         (Basic.NumberApply):
494         (Basic.Variable):
495         (Basic.Const):
496         (Basic.NumberPow):
497         (Basic.NumberMul):
498         (Basic.NumberDiv):
499         (Basic.NumberNeg):
500         (Basic.NumberAdd):
501         (Basic.NumberSub):
502         (Basic.StringVar):
503         (Basic.Equals):
504         (Basic.NotEquals):
505         (Basic.LessThan):
506         (Basic.GreaterThan):
507         (Basic.LessEqual):
508         (Basic.GreaterEqual):
509         (Basic.GoTo):
510         (Basic.GoSub):
511         (Basic.Def):
512         (Basic.Let):
513         (Basic.If):
514         (Basic.Return):
515         (Basic.Stop):
516         (Basic.On):
517         (sideState.shouldStop):
518         (Basic.For):
519         (Basic.Next):
520         (Basic.Print):
521         (Basic.Input):
522         (Basic.Read):
523         (Basic.Restore):
524         (Basic.Dim):
525         (Basic.Randomize):
526         (Basic.End):
527         (Basic.Program):
528         * Basic/basic.js: Added.
529         (prepare):
530         (simulate):
531         * Basic/benchmark.js: Added.
532         (Benchmark):
533         (Benchmark.prototype.runIteration.expect):
534         (Benchmark.prototype.runIteration):
535         (runBenchmark):
536         * Basic/caseless_map.js: Added.
537         (CaselessMap):
538         * Basic/lexer.js: Added.
539         (lex.consumeWhitespace):
540         (lex.consume):
541         (lex):
542         * Basic/lexer_test.js: Added.
543         * Basic/number.js: Added.
544         (NumberValue):
545         (NumberValue.prototype.get value):
546         (NumberValue.prototype.apply):
547         (NumberValue.prototype.leftApply):
548         (NumberValue.prototype.assign):
549         (NumberArray.):
550         (NumberArray):
551         (NumberArray.prototype.apply):
552         (NumberArray.prototype.leftApply):
553         (NumberFunction):
554         (NumberFunction.prototype.apply):
555         (NumberFunction.prototype.leftApply):
556         (NativeFunction):
557         (NativeFunction.prototype.apply):
558         (NativeFunction.prototype.leftApply):
559         * Basic/parser.js: Added.
560         (parse):
561         (parse.pushToken):
562         (parse.peekToken):
563         (parse.consumeKind):
564         (parse.consumeToken):
565         (parse.parseVariable):
566         (parse.parseNumericExpression.parsePrimary):
567         (parse.parseNumericExpression.parseFactor):
568         (parse.parseNumericExpression.parseTerm):
569         (parse.parseNumericExpression):
570         (parse.parseConstant):
571         (parse.parseStringExpression):
572         (parse.isStringExpression):
573         (parse.parseRelationalExpression):
574         (parse.parseNonNegativeInteger):
575         (parse.parseGoToStatement):
576         (parse.parseGoSubStatement):
577         (parse.parseStatement):
578         (parse.parseStatements):
579         * Basic/random.js: Added.
580         (createRNG):
581         (createRNGWithFixedSeed):
582         (createRNGWithRandomSeed):
583         * Basic/state.js: Added.
584         (State):
585         (State.prototype.getValue):
586         (State.prototype.getSideState):
587         (State.prototype.abort):
588         (State.prototype.validate):
589         * Basic/test.html: Added.
590         * Basic/test.js: Added.
591         * Basic/util.js: Added.
592         (this.performance.performance.now.currentTime):
593         (else.this.preciseTime.currentTime):
594         (else.currentTime):
595         * Skipped: Make sure that we don't run Basic yet.
596
597 2016-06-21  Jon Lee  <jonlee@apple.com>
598
599         Update canvas size when benchmark begins
600         https://bugs.webkit.org/show_bug.cgi?id=159010
601
602         Reviewed by Dean Jackson.
603
604         Previously we would evaluate the media queries and assign the canvas size to the test
605         on body.onload. Instead, do it once the user starts the benchmark.
606
607         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
608         to benchmarkController._startBenchmark.
609         * Animometer/resources/runner/animometer.js: Ditto.
610
611 2016-06-21  Jon Lee  <jonlee@apple.com>
612
613         Add new timestamp option
614         https://bugs.webkit.org/show_bug.cgi?id=159006
615
616         Reviewed by Dean Jackson.
617
618         Add a new option to take timestamps from the rAF callback.
619
620         * Animometer/developer.html: Added option.
621         * Animometer/tests/resources/main.js:
622         (Benchmark): Fall back to using the rAF timestamp if performance.now()
623         is not available.
624         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
625         local var instead of accessing private var.
626
627 2016-06-21  Jon Lee  <jonlee@apple.com>
628
629         Improvements to Animometer benchmark
630         https://bugs.webkit.org/show_bug.cgi?id=157738
631
632         Reviewed by Dean Jackson.
633         Provisionally reviewed by Said Abou-Hallawa.
634
635         Update tests.
636
637         * Animometer/tests/master/text.html: Ensure only three text sizes for
638         the three canvases.
639         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
640         particle sizes.
641         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
642         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
643         reduce some calculations per frame. Fix the placement of the particles which might
644         otherwise be culled.
645         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
646         to encourage larger scores.
647
648 2016-06-21  Jon Lee  <jonlee@apple.com>
649
650         Improvements to Animometer benchmark
651         https://bugs.webkit.org/show_bug.cgi?id=157738
652
653         Reviewed by Dean Jackson.
654         Provisionally reviewed by Said Abou-Hallawa.
655
656         Include confidence interval for the final score, and store the canvas
657         size in the serialization so that it is accurately shown in results.
658
659         * Animometer/developer.html: Add a "confidence" div.
660         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
661         * Animometer/resources/debug-runner/animometer.js: Look at options, and
662         if the configuration is included, update the body class based on it
663         (similar to what we do when we first load the page). That way, if you
664         drag-and-drop previous results in, that configuration is reflected in
665         the dashboard. Show the full confidence interval.
666
667         * Animometer/resources/debug-runner/animometer.css:
668         * Animometer/resources/debug-runner/animometer.js: Style update.
669         * Animometer/resources/runner/animometer.css:
670
671         * Animometer/resources/runner/animometer.js:
672         (_processData): Propagate the confidence interval values out and calculate
673         the lower and upper bounds. For now, shortcut the aggregate calculation,
674         since we only go through one iteration.
675         (this._processData.calculateScore): Propagate the confidence interval out
676         to be next to the score. Depending on the controller these values are
677         calculated differently.
678         (this._processData._getResultsProperty): Convenience function.
679         (this._processData.get score): Refactor.
680         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
681         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
682         (window.sectionsManager.setSectionScore):
683         (window.benchmarkController._startBenchmark): When the benchmark starts, note
684         the canvas size and add it to options. That way it will be automatically be
685         serialized.
686         (window.benchmarkController.showResults): Include the maximum deviation
687         percentage.
688         * Animometer/resources/runner/lines.svg: Make the background line up with the
689         skew.
690         * Animometer/resources/runner/tests.js:
691         (Headers.details.text): Refactor.
692         * Animometer/resources/statistics.js:
693         (Statistics.largestDeviationPercentage): Convenience function to calculate
694         the deviation percentage on either end and return the largest deviation.
695         * Animometer/resources/strings.js:
696
697         Allow specifying a regression profile to use instead of taking the one
698         with the lowest error.
699
700         Address an issue in the focus test when the regression calculated ends
701         up overestimating the change point, causing a cascade of tougher
702         ramps. The reason behind this is that at max complexity of an initial
703         ramp, the frame length is very high, and it influences the second
704         segment of the piecewise regression strongly, causing it to be very
705         steep. As a result, the first segment, expected to be flat, ends up
706         covering a higher range of complexity. That makes the change point
707         much higher than it should be. To avoid this, we will add a sanity
708         check on the maximum value of the ramp. If the regression's projected
709         value at the maximum complexity of the current ramp is very slow (less
710         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
711         include the regression's change point in the change point estimator.
712         That estimator is used as the midpoint of the next ramp, and including
713         the change point from a poor regression can bake in the error. The
714         controller already knows how to adjust for ramps that are too easy for
715         the system.
716
717         * Animometer/resources/runner/animometer.js:
718         (this._processData.findRegression): Takes a preferred profile and gives that to
719         Regression.
720         (this._processData.calculateScore): With the ramp controller, take the profile
721         of the ramp that was used the most when calculating the ramp's regression. That
722         profile is what is used for the test's score.
723         * Animometer/resources/statistics.js:
724         (Regression.Utilities.createClass): Update to take an options object which can
725         specify a profile to calculate with. Otherwise it will continue to use both and
726         select the one with the lower error.
727         (_calculateRegression): Fix an issue where we claim 0 error if the regression
728         calculation fails due to divide-by-zero. Instead reject that regression calculation
729         by giving it Number.MAX_VALUE.
730         * Animometer/resources/strings.js: New strings for marking a regression as flat
731         or slope.
732         * Animometer/tests/resources/main.js:
733         (RampController): Rename the thresholds for clarity. Add a threshold that, if
734         exceeded, will lower the maximum complexity of the next ramp.
735         (tune): Relax the cdf check to consider whether the interval definitely falls in
736         the desired frame length threshold.
737         (processSamples): Include the profile in the ramp.
738
739         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
740         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
741
742         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
743         by default.
744         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
745         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
746         the order in which they appear in the patch:
747
748         - With a longer test length use longer ramps with longer intervals to get more data at each
749         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
750         spend more time there to find the right order of magnitude, but increase it during the
751         ramps to 120 ms.
752         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
753         never sample the minimum complexity. Instead of lerping max to min complexity from time
754         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
755         we can have at least one interval sample at the min complexity for that ramp.
756         - Some regression calculations only come out with one line segment rather than the two
757         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
758         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
759         we ensure that at least part of the ramp is covering a complexity range that the system can
760         handle at full 60.
761         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
762
763         Update the format used to serialize the results for analysis.
764
765         Each data point used to have named properties for fields like complexity and frame rate.
766         In addition the serialized numbers had rounding errors that took up many characters.
767         Update the format by introducing a new data container called SampleData, which contains a
768         field map. The map maps a string to an array index. Each data point is an array, so, to
769         get a stat, use the field map to get the array index into the data point. This allows future
770         versions to track other data, and reduces the size of the output string by two-thirds.
771
772         * Animometer/resources/extensions.js:
773         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
774         precision, and converts it back to a number.
775         (SampleData): New class that contains sample data and a field map that maps properties to
776         an array index.
777         (get length): Number of data points.
778         (addField): Add a field to the field map.
779         (push): Add a data point.
780         (sort): Sort the data.
781         (slice): Return new SampleData object with sliced data.
782         (forEach): Iterate over the data with provided function.
783         (createDatum):
784         (getFieldInDatum): Returns the data point associated with the field name by looking it up
785         in the field map in the datum provided, which can be the datum object itself (an array) or
786         an index into the data member variable.
787         (setFieldInDatum): Sets the data point associated with the field name.
788         (at): Returns the data point at the provided index.
789         (toArray): Serializes the data where the field map serves as property names for each point.
790
791         * Animometer/resources/debug-runner/graph.js:
792         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
793         graph to use, since the old format was much easier to work with when displaying the graphs.
794         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
795         * Animometer/resources/runner/animometer.css:
796         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
797         to only go to 3 digits of precision for purposes of reducing the data size.
798         * Animometer/resources/strings.js: Add new strings to put into the field maps.
799         * Animometer/tests/resources/main.js: Refactor to use SampleData.
800
801         * Animometer/developer.html:
802         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
803         tests.js include.
804         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
805         * Animometer/resources/debug-runner/graph.js:
806         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
807         controller, since not all controllers do bootstrapping.
808         * Animometer/resources/debug-runner/tests.js: Update header text.
809         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
810         * Animometer/resources/runner/animometer.js:
811         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
812         (ResultsTable._addBody): Add tbody element.
813         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
814         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
815         * Animometer/resources/runner/tests.js:
816         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
817         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
818         on either side of the bootstrap median.
819         * Animometer/resources/statistics.js:
820         (bootstrap): Include the confidence percentage in the return object.
821
822         Report canvas size in results.
823
824         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
825         canvas was used.
826         * Animometer/index.html: Ditto.
827         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
828         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
829         body class size.
830         * Animometer/resources/runner/animometer.js:
831         (window.benchmarkController.initialize): Update styles to set the canvas based on the
832         body class size.
833         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
834         class based on the size of the device.
835
836         * Animometer/developer.html: Refactor to include the main CSS file, and redo
837         the layout so that it doesn't rely on flexbox.
838         * Animometer/resources/debug-runner/animometer.css:
839         * Animometer/resources/debug-runner/animometer.js:
840         (updateDisplay): Since various parts of the script alter the body class, we can't
841         replace the className directly. Instead, remove all display-based values and then add
842         the one that was selected.
843         * Animometer/resources/debug-runner/graph.js:
844         (updateGraphData): To set the size of the graph, use window.innerHeight.
845         * Animometer/resources/runner/animometer.js:
846         (window.sectionsManager.showSection): Since various parts of the script alter the body
847         class, we can't replace the className directly. Remove all of the section classes
848         individually and then add the one desired.
849         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
850         stage.
851
852 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
853
854         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
855         https://bugs.webkit.org/show_bug.cgi?id=158674
856
857         Reviewed by Michael Saboff.
858         
859         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
860         Math.floor(x / 3) * 3 instead.
861         
862         This is a benign change, because having extra arguments to a Shuffle is not something we
863         actually take advantage of yet. But I think it's best to match the original C++ code's
864         intent.
865
866         * Air.js/custom.js:
867         (const.ShuffleCustom.forEachArg):
868
869 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
870
871         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
872
873         * Skipped:
874
875 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
876
877         Make it easy to package Air.js
878         https://bugs.webkit.org/show_bug.cgi?id=158652
879
880         Reviewed by Benjamin Poulain.
881         
882         If you want to give Air.js to someone, you can now do:
883         
884         cd PerformanceTests/Air.js
885         ./make_dist.sh
886         
887         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
888         the benchmark, just send either of those things and tell them to look at index.html.
889         
890         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
891         https://daringfireball.net/projects/markdown/
892
893         * Air.js/make_dist.sh: Added.
894         * Air.js/test.html:
895
896 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
897
898         Unreviewed, make the link to test.html into an actual link.
899
900         * Air.js/README.md:
901
902 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
903
904         Fix some text in Air.js/README.md
905         https://bugs.webkit.org/show_bug.cgi?id=158650
906
907         Reviewed by Benjamin Poulain.
908         
909         I read the text again and found bugs:
910         
911         - We never actually say how to run the benchmark. This change adds a blurb about how to run
912           it.
913
914         - We both say that allocateStack is responsible for the bulk of the running time and that
915           we haven't measured where the bulk of the time is spent. This changes the text to say that
916           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
917           not measure this.
918
919         * Air.js/README.md:
920
921 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
922
923         Air.js should have some documentation
924         https://bugs.webkit.org/show_bug.cgi?id=158648
925
926         Reviewed by Keith Miller.
927         
928         I want to be able to point people at a document if they want to know more about this
929         benchmark.
930
931         * Air.js/README.md: Added.
932
933 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
934
935         Rename JSAir to Air.js.
936
937         Rubber stamped by Mark Lam.
938
939         * Air.js: Copied from PerformanceTests/JSAir.
940         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
941         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
942         (Benchmark):
943         * Air.js/jsair-tests.yaml: Removed.
944         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
945         * Air.js/payload-jsair-ACLj8C.js: Removed.
946         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
947         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
948         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
949         * JSAir: Removed.
950         * JSAir/all.js: Removed.
951         * JSAir/allocate_stack.js: Removed.
952         * JSAir/arg.js: Removed.
953         * JSAir/basic_block.js: Removed.
954         * JSAir/benchmark.js: Removed.
955         * JSAir/code.js: Removed.
956         * JSAir/custom.js: Removed.
957         * JSAir/frequented_block.js: Removed.
958         * JSAir/insertion_set.js: Removed.
959         * JSAir/inst.js: Removed.
960         * JSAir/jsair-tests.yaml: Removed.
961         * JSAir/liveness.js: Removed.
962         * JSAir/opcode.js: Removed.
963         * JSAir/payload-gbemu-executeIteration.js: Removed.
964         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
965         * JSAir/payload-jsair-ACLj8C.js: Removed.
966         * JSAir/payload-typescript-scanIdentifier.js: Removed.
967         * JSAir/reg.js: Removed.
968         * JSAir/stack_slot.js: Removed.
969         * JSAir/stress-test.js: Removed.
970         * JSAir/strip-hash.rb: Removed.
971         * JSAir/symbols.js: Removed.
972         * JSAir/test.html: Removed.
973         * JSAir/test.js: Removed.
974         * JSAir/tmp.js: Removed.
975         * JSAir/tmp_base.js: Removed.
976         * JSAir/util.js: Removed.
977
978 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
979
980         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
981         https://bugs.webkit.org/show_bug.cgi?id=158571
982
983         Reviewed by Keith Miller.
984         
985         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
986         iterations and then tries to do any number of "bonus" iterations until it's been running for
987         two seconds. Since this is the sort of test that isn't really meant to stress anything in
988         particular, I think it's OK if it is time-limited in this way. The worst case is that some
989         of its failures will be flaky, but I think that they would have been flaky anyway given the
990         complexity of the test.
991
992         * JSAir/benchmark.js:
993         (Benchmark):
994         (Benchmark.prototype.runIteration):
995         (benchmark): Deleted.
996         * JSAir/jsair-tests.yaml:
997         * JSAir/stress-test.js: Added.
998         (preciseTime):
999         * JSAir/test.html:
1000         * JSAir/test.js:
1001
1002 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
1003
1004         Unreviewed, teach the perf bots not to run JSAir.
1005
1006         * Skipped:
1007
1008 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
1009
1010         Use more ES6 features in JSAir
1011         https://bugs.webkit.org/show_bug.cgi?id=158497
1012
1013         Reviewed by Keith Miller.
1014         
1015         This improves JSAir with the following ES6 features suggested by JoePeck:
1016         
1017         - String interpolation.
1018         - Destructuring inside PatchCustom.
1019         - Default arguments.
1020         
1021         All of these things are on hot paths.
1022         
1023         Note that I didn't use string interpolation everywhere that I could, only in those places
1024         where it made the code more readable. In Ruby, I used the style that if the interpolation
1025         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
1026         strings) then it's better to use regular strcat. I think that's what I carried over to here.
1027         
1028         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
1029         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
1030         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
1031         that function from being optimized then it will hurt so good.
1032         
1033         I also reenabled tail calls in a few places.
1034         
1035         This change doesn't seem to change the performance of the benchmark for us. That's expected
1036         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
1037         added in a separate change and that change did make the benchmark overall more expensive.
1038
1039         * JSAir/allocate_stack.js:
1040         (allocateStack):
1041         * JSAir/arg.js:
1042         (Arg.createBitImm64):
1043         (Arg.createAddr):
1044         (Arg.createStack):
1045         (Arg.logScale):
1046         (Arg.createIndex):
1047         * JSAir/basic_block.js:
1048         (BasicBlock.get headerString):
1049         (BasicBlock.prototype.get if):
1050         (BasicBlock):
1051         * JSAir/benchmark.js:
1052         (benchmark):
1053         * JSAir/code.js:
1054         (Code):
1055         (Code.prototype.addBlock):
1056         (Code.prototype.addStackSlot):
1057         (Code.prototype.newTmp):
1058         (Code.prototype.get size):
1059         (Code.prototype.get blocks):
1060         (Code.prototype.get stackSlots):
1061         (Code.prototype.tmps):
1062         (Code.prototype.get callArgAreaSize):
1063         (Code.prototype.toString):
1064         * JSAir/custom.js:
1065         (const.PatchCustom.forEachArg):
1066         * JSAir/inst.js:
1067         (Inst):
1068         * JSAir/reg.js:
1069         (Reg.prototype.toString):
1070         * JSAir/util.js:
1071         (symbolName):
1072         (lowerSymbolName):
1073
1074 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1075
1076         Add result validation to JSAir
1077         https://bugs.webkit.org/show_bug.cgi?id=158493
1078
1079         Reviewed by Saam Barati.
1080         
1081         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
1082         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
1083         check the Code before and after allocateStack, and compare against hashes we got from C++.
1084         
1085         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
1086         allocating things correctly because I was concatting a Set to an Array, which doesn't really
1087         work. Now these bugs are fixed.
1088         
1089         The checking step adds to the running time so I reduced the number of iterations. The
1090         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
1091         total. This is probably OK. It's better to verify the results even if the running time is
1092         not all in the "core" of the algorithm.
1093         
1094         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
1095
1096         * JSAir/allocate_stack.js:
1097         * JSAir/arg.js:
1098         (Arg.createImm):
1099         (Arg.createBigImm):
1100         (Arg.createBitImm):
1101         (Arg.createBitImm64):
1102         (Arg.createWidth):
1103         (Arg.createSpecial):
1104         (Arg.prototype.get kind):
1105         (Arg.prototype.get isTmp):
1106         (Arg.prototype.get isImm):
1107         (Arg.prototype.get isSomeImm):
1108         (Arg.prototype.get isSomeBigImm):
1109         (Arg.prototype.get isCondition):
1110         (Arg.prototype.get isWidth):
1111         (Arg.prototype.get isSpecial):
1112         (Arg.prototype.get isAlive):
1113         (Arg.prototype.get tmp):
1114         (Arg.prototype.get value):
1115         (Arg.prototype.get lowValue):
1116         (Arg.prototype.get highValue):
1117         (Arg.prototype.get base):
1118         (Arg.prototype.get isGP):
1119         (Arg.prototype.get isFP):
1120         (Arg.prototype.isValidForm):
1121         (Arg.prototype.get isInvertible):
1122         (Arg.kindCode):
1123         (Arg.prototype.hash):
1124         (Arg.prototype.toString):
1125         (Arg):
1126         * JSAir/basic_block.js:
1127         (BasicBlock.get successorBlocks):
1128         * JSAir/benchmark.js:
1129         (benchmark):
1130         * JSAir/code.js:
1131         (Code.prototype.setFrameSize):
1132         (Code.prototype.hash):
1133         (Code.prototype.toString):
1134         (Code):
1135         * JSAir/inst.js:
1136         (Inst.prototype.get hasNonArgEffects):
1137         (Inst.prototype.hash):
1138         (Inst.prototype.toString):
1139         (Inst):
1140         * JSAir/jsair-tests.yaml: Added.
1141         * JSAir/opcode.js:
1142         (Inst_forEachArg):
1143         (Inst_hasNonArgEffects):
1144         (opcodeCode):
1145         * JSAir/payload-gbemu-executeIteration.js:
1146         (createPayloadGbemuExecuteIteration):
1147         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
1148         (createPayloadImagingGaussianBlurGaussianBlur):
1149         * JSAir/payload-jsair-ACLj8C.js:
1150         (createPayloadJSAirACLj8C):
1151         * JSAir/payload-typescript-scanIdentifier.js:
1152         (createPayloadTypescriptScanIdentifier):
1153         * JSAir/reg.js:
1154         (Reg.prototype.get isReg):
1155         (Reg.prototype.hash):
1156         (Reg.prototype.toString):
1157         * JSAir/stack_slot.js:
1158         (StackSlot.prototype.setOffsetFromFP):
1159         (StackSlot.prototype.hash):
1160         (StackSlot.prototype.toString):
1161         * JSAir/symbols.js:
1162         (relCondCode):
1163         (resCondCode):
1164         (doubleCondCode):
1165         * JSAir/test.html:
1166         * JSAir/tmp.js:
1167         (Tmp.prototype.get isReg):
1168         (Tmp.prototype.hash):
1169         (Tmp.prototype.toString):
1170         * JSAir/util.js:
1171         (roundUpToMultipleOf):
1172         (symbolName):
1173
1174 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1175
1176         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
1177         https://bugs.webkit.org/show_bug.cgi?id=158318
1178
1179         Reviewed by Saam Barati.
1180         
1181         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
1182         implementation of Air's allocateStack() phase along with all of Air needed to run that
1183         phase. This includes things like stack slots, registers, temporaries, basic blocks,
1184         instructions, and all of the code for iterating over, inspecting, and modifying those
1185         things.
1186         
1187         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
1188         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
1189         four Air IRs:
1190         
1191         - Octane/gbemu's largest function, executeIteration.
1192         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
1193         - Octane/typescript's largest function that is actually hot, scanIdentifier.
1194         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
1195         
1196         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
1197         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
1198         C++ Air::allocateStack() phase on which it is based.
1199         
1200         JSAir uses the following ES6 features:
1201         
1202         - Symbol.
1203         - for-of.
1204         - arrow functions.
1205         - Map/Set.
1206         - let/const.
1207         - classes.
1208         
1209         All of these things are used in anger and should end up on the hot path. There is also code
1210         that uses Proxies, but it ends up being dead.
1211         
1212         We can improve this even more:
1213         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
1214         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
1215         
1216         * JSAir: Added.
1217         * JSAir/all.js: Added.
1218         * JSAir/allocate_stack.js: Added.
1219         (allocateStack.attemptAssignment):
1220         (allocateStack.assign):
1221         (allocateStack.interfere):
1222         (allocateStack.):
1223         (allocateStack):
1224         * JSAir/arg.js: Added.
1225         (Arg):
1226         (Arg.isAnyUse):
1227         (Arg.isColdUse):
1228         (Arg.isWarmUse):
1229         (Arg.cooled):
1230         (Arg.isEarlyUse):
1231         (Arg.isLateUse):
1232         (Arg.isAnyDef):
1233         (Arg.isEarlyDef):
1234         (Arg.isLateDef):
1235         (Arg.isZDef):
1236         (Arg.typeForB3Type):
1237         (Arg.widthForB3Type):
1238         (Arg.conservativeWidth):
1239         (Arg.minimumWidth):
1240         (Arg.bytes):
1241         (Arg.widthForBytes):
1242         (Arg.createTmp):
1243         (Arg.fromReg):
1244         (Arg.createImm):
1245         (Arg.createBigImm):
1246         (Arg.createBitImm):
1247         (Arg.createBitImm64):
1248         (Arg.createAddr):
1249         (Arg.createStack):
1250         (Arg.createCallArg):
1251         (Arg.createStackAddr):
1252         (Arg.isValidScale):
1253         (Arg.logScale):
1254         (Arg.createIndex):
1255         (Arg.createRelCond):
1256         (Arg.createResCond):
1257         (Arg.createDoubleCond):
1258         (Arg.createWidth):
1259         (Arg.prototype.get kind):
1260         (Arg.prototype.get isTmp):
1261         (Arg.prototype.get isImm):
1262         (Arg.prototype.get isBigImm):
1263         (Arg.prototype.get isBitImm):
1264         (Arg.prototype.get isBitImm64):
1265         (Arg.prototype.get isSomeImm):
1266         (Arg.prototype.get isAddr):
1267         (Arg.prototype.get isStack):
1268         (Arg.prototype.get isCallArg):
1269         (Arg.prototype.get isIndex):
1270         (Arg.prototype.get isMemory):
1271         (Arg.prototype.get isStackMemory):
1272         (Arg.prototype.get isRelCond):
1273         (Arg.prototype.get isResCond):
1274         (Arg.prototype.get isDoubleCond):
1275         (Arg.prototype.get isCondition):
1276         (Arg.prototype.get isWidth):
1277         (Arg.prototype.get isAlive):
1278         (Arg.prototype.get tmp):
1279         (Arg.prototype.get value):
1280         (Arg.prototype.get base):
1281         (Arg.prototype.get hasOffset):
1282         (Arg.prototype.get offset):
1283         (Arg.prototype.get stackSlot):
1284         (Arg.prototype.get index):
1285         (Arg.prototype.get scale):
1286         (Arg.prototype.get logScale):
1287         (Arg.prototype.get width):
1288         (Arg.prototype.get isGPTmp):
1289         (Arg.prototype.get isFPTmp):
1290         (Arg.prototype.get isGP):
1291         (Arg.prototype.get isFP):
1292         (Arg.prototype.get hasType):
1293         (Arg.prototype.get type):
1294         (Arg.prototype.isType):
1295         (Arg.prototype.isCompatibleType):
1296         (Arg.prototype.get isGPR):
1297         (Arg.prototype.get gpr):
1298         (Arg.prototype.get isFPR):
1299         (Arg.prototype.get fpr):
1300         (Arg.prototype.get isReg):
1301         (Arg.prototype.get reg):
1302         (Arg.isValidImmForm):
1303         (Arg.isValidBitImmForm):
1304         (Arg.isValidBitImm64Form):
1305         (Arg.isValidAddrForm):
1306         (Arg.isValidIndexForm):
1307         (Arg.prototype.isValidForm):
1308         (Arg.prototype.forEachTmpFast):
1309         (Arg.prototype.usesTmp):
1310         (Arg.prototype.forEachTmp):
1311         (Arg.prototype.is):
1312         (Arg.prototype.as):
1313         (Arg.prototype.forEachFast):
1314         (Arg.prototype.forEach):
1315         (Arg.extract):
1316         (Arg.forEachFast):
1317         (Arg.forEach):
1318         (Arg.prototype.get condition):
1319         (Arg.prototype.get isInvertible):
1320         (Arg.prototype.toString):
1321         * JSAir/basic_block.js: Added.
1322         (BasicBlock):
1323         (BasicBlock.prototype.get index):
1324         (BasicBlock.prototype.get size):
1325         (BasicBlock.prototype.Symbol.iterator):
1326         (BasicBlock.prototype.at):
1327         (BasicBlock.get last):
1328         (BasicBlock.get insts):
1329         (BasicBlock.get numSuccessors):
1330         (BasicBlock.get successors):
1331         (BasicBlock.get successorBlocks.):
1332         (BasicBlock.get successorBlocks):
1333         (BasicBlock.set get numPredecessors):
1334         (BasicBlock.get predecessors):
1335         (BasicBlock.get frequency):
1336         (BasicBlock.get headerString):
1337         (BasicBlock.get footerString):
1338         * JSAir/benchmark.js: Added.
1339         (benchmark):
1340         * JSAir/code.js: Added.
1341         (Code):
1342         (Code.prototype.addBlock):
1343         (Code.prototype.addStackSlot):
1344         (Code.prototype.newTmp):
1345         (Code.prototype.get size):
1346         (Code.prototype.at):
1347         (Code.prototype.Symbol.iterator):
1348         (Code.prototype.get blocks):
1349         (Code.prototype.get stackSlots):
1350         (Code.prototype.tmps):
1351         (Code.prototype.get callArgAreaSize):
1352         (Code.prototype.requestCallArgAreaSize):
1353         (Code.prototype.get frameSize):
1354         (Code.prototype.setFrameSize):
1355         (Code.prototype.toString):
1356         * JSAir/custom.js: Added.
1357         (const.ShuffleCustom.forEachArg):
1358         (const.ShuffleCustom.hasNonArgNonControlEffects):
1359         (const.PatchCustom.forEachArg):
1360         (const.PatchCustom.hasNonArgNonControlEffects):
1361         (const.CCallCustom.forEachArg):
1362         (const.CCallCustom.hasNonArgNonControlEffects):
1363         (const.ColdCCallCustom.forEachArg):
1364         (const.ColdCCallCustom.hasNonArgNonControlEffects):
1365         * JSAir/frequented_block.js: Added.
1366         (FrequentedBlock):
1367         (FrequentedBlock.prototype.toString):
1368         * JSAir/insertion_set.js: Added.
1369         (Insertion):
1370         (Insertion.prototype.get index):
1371         (Insertion.prototype.get element):
1372         (Insertion.prototype.lessThan):
1373         (InsertionSet):
1374         (InsertionSet.prototype.appendInsertion):
1375         (InsertionSet.prototype.append):
1376         (InsertionSet.prototype.execute):
1377         * JSAir/inst.js: Added.
1378         (Inst):
1379         (Inst.prototype.append):
1380         (Inst.prototype.clear):
1381         (Inst.prototype.get opcode):
1382         (Inst.prototype.get args):
1383         (Inst.prototype.visitArg):
1384         (Inst.prototype.forEachTmpFast):
1385         (Inst.prototype.forEachArg):
1386         (Inst.prototype.forEachTmp):
1387         (Inst.prototype.forEach):
1388         (Inst.forEachDef):
1389         (Inst.forEachDefWithExtraClobberedRegs):
1390         (Inst.prototype.get hasNonArgEffects):
1391         (Inst.prototype.toString):
1392         * JSAir/liveness.js: Added.
1393         (Liveness):
1394         (Liveness.prototype.get thing):
1395         (Liveness.prototype.get code):
1396         (Liveness.prototype.get liveAtHead):
1397         (Liveness.prototype.get liveAtTail):
1398         (Liveness.prototype.localCalc.LocalCalc):
1399         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
1400         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
1401         (Liveness.prototype.localCalc):
1402         * JSAir/opcode.js: Added.
1403         (Inst_forEachArg):
1404         (Inst_hasNonArgEffects):
1405         * JSAir/payload-gbemu-executeIteration.js: Added.
1406         (createPayloadGbemuExecuteIteration):
1407         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
1408         (createPayloadImagingGaussianBlurGaussianBlur):
1409         * JSAir/payload-jsair-ACLj8C.js: Added.
1410         (createPayloadJSAirACLj8C):
1411         * JSAir/payload-typescript-scanIdentifier.js: Added.
1412         (createPayloadTypescriptScanIdentifier):
1413         * JSAir/reg.js: Added.
1414         (Reg):
1415         (Reg.fromReg):
1416         (Reg.prototype.get index):
1417         (Reg.prototype.get type):
1418         (Reg.prototype.get name):
1419         (Reg.prototype.get isCalleeSave):
1420         (Reg.prototype.get isReg):
1421         (Reg.prototype.toString):
1422         (Reg.extract):
1423         (Reg.forEachFast):
1424         (Reg.forEach):
1425         (newGPR):
1426         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
1427         * JSAir/stack_slot.js: Added.
1428         (StackSlot):
1429         (StackSlot.prototype.get byteSize):
1430         (StackSlot.prototype.get kind):
1431         (StackSlot.prototype.get isLocked):
1432         (StackSlot.prototype.get isSpill):
1433         (StackSlot.prototype.get index):
1434         (StackSlot.prototype.ensureSize):
1435         (StackSlot.prototype.get alignment):
1436         (StackSlot.prototype.get offsetFromFP):
1437         (StackSlot.prototype.setOffsetFromFP):
1438         (StackSlot.prototype.toString):
1439         (StackSlot.extract):
1440         (StackSlot.forEachFast):
1441         (StackSlot.forEach):
1442         * JSAir/symbols.js: Added.
1443         * JSAir/test.html: Added.
1444         * JSAir/test.js: Added.
1445         * JSAir/tmp.js: Added.
1446         (Tmp):
1447         (Tmp.fromReg):
1448         (Tmp.prototype.get index):
1449         (Tmp.prototype.get type):
1450         (Tmp.prototype.get isReg):
1451         (Tmp.prototype.toString):
1452         (Tmp.extract):
1453         (Tmp.forEachFast):
1454         (Tmp.forEach):
1455         * JSAir/tmp_base.js: Added.
1456         (TmpBase.prototype.get isGP):
1457         (TmpBase.prototype.get isFP):
1458         (TmpBase.prototype.get isGPR):
1459         (TmpBase.prototype.get isFPR):
1460         (TmpBase.prototype.get reg):
1461         (TmpBase.prototype.get gpr):
1462         (TmpBase.prototype.get fpr):
1463         (TmpBase):
1464         * JSAir/util.js: Added.
1465         (isRepresentableAsInt32):
1466         (addIndexed):
1467         (roundUpToMultipleOf):
1468         (symbolName):
1469         (mergeIntoSet):
1470         (nonEmptyRangesOverlap):
1471         (rangesOverlap):
1472         (removeAllMatching):
1473         (swap):
1474         (bubble):
1475         (bubbleSort):
1476         (currentTime):
1477         (else.currentTime):
1478
1479 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1480
1481         [JSC] Allow JSBench to use precise time
1482         https://bugs.webkit.org/show_bug.cgi?id=158050
1483
1484         Reviewed by Geoffrey Garen.
1485
1486         * JSBench/amazon-chrome-win/urem.js:
1487         (else.window.performance.window.performance.now.currentTimeInMS):
1488         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1489         (else.else.currentTimeInMS):
1490         (onload.cb):
1491         (onload):
1492         * JSBench/amazon-chrome/urem.js:
1493         (else.window.performance.window.performance.now.currentTimeInMS):
1494         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1495         (else.else.currentTimeInMS):
1496         (onload.cb):
1497         (onload):
1498         * JSBench/amazon-firefox-win/urm.js:
1499         (else.window.performance.window.performance.now.currentTimeInMS):
1500         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1501         (else.else.currentTimeInMS):
1502         (onload.cb):
1503         (onload):
1504         * JSBench/amazon-firefox/urm.js:
1505         (else.window.performance.window.performance.now.currentTimeInMS):
1506         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1507         (else.else.currentTimeInMS):
1508         (onload.cb):
1509         (onload):
1510         * JSBench/amazon-safari/urem.js:
1511         (else.window.performance.window.performance.now.currentTimeInMS):
1512         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1513         (else.else.currentTimeInMS):
1514         (onload.cb):
1515         (onload):
1516         * JSBench/facebook-chrome-win/urem.js:
1517         (else.window.performance.window.performance.now.currentTimeInMS):
1518         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1519         (else.else.currentTimeInMS):
1520         (onload.cb):
1521         (onload):
1522         * JSBench/facebook-chrome/urem.js:
1523         (else.window.performance.window.performance.now.currentTimeInMS):
1524         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1525         (else.else.currentTimeInMS):
1526         (onload.cb):
1527         (onload):
1528         * JSBench/facebook-firefox-win/urem.js:
1529         (else.window.performance.window.performance.now.currentTimeInMS):
1530         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1531         (else.else.currentTimeInMS):
1532         (onload.cb):
1533         (onload):
1534         * JSBench/facebook-firefox/urem.js:
1535         (else.window.performance.window.performance.now.currentTimeInMS):
1536         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1537         (else.else.currentTimeInMS):
1538         (onload.cb):
1539         (onload):
1540         * JSBench/facebook-safari/urem.js:
1541         (else.window.performance.window.performance.now.currentTimeInMS):
1542         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1543         (else.else.currentTimeInMS):
1544         (onload.cb):
1545         (onload):
1546         * JSBench/google-chrome-win/urem.js:
1547         (else.window.performance.window.performance.now.currentTimeInMS):
1548         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1549         (else.else.currentTimeInMS):
1550         (onload.cb):
1551         (onload):
1552         * JSBench/google-chrome/urem.js:
1553         (else.window.performance.window.performance.now.currentTimeInMS):
1554         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1555         (else.else.currentTimeInMS):
1556         (onload.cb):
1557         (onload):
1558         * JSBench/google-firefox-win/urem.js:
1559         (else.window.performance.window.performance.now.currentTimeInMS):
1560         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1561         (else.else.currentTimeInMS):
1562         (onload.cb):
1563         (onload):
1564         * JSBench/google-firefox/uem.js:
1565         (else.window.performance.window.performance.now.currentTimeInMS):
1566         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1567         (else.else.currentTimeInMS):
1568         (onload.cb):
1569         (onload):
1570         * JSBench/google-safari/urem.js:
1571         (else.window.performance.window.performance.now.currentTimeInMS):
1572         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1573         (else.else.currentTimeInMS):
1574         (onload.cb):
1575         (onload):
1576         * JSBench/harness.js:
1577         (runBenchmark.window.currentTimeInMS):
1578         (runBenchmark.else.window.currentTimeInMS):
1579         * JSBench/twitter-chrome-win/rem.js:
1580         (else.window.performance.window.performance.now.currentTimeInMS):
1581         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1582         (else.else.currentTimeInMS):
1583         (onload.cb):
1584         (onload):
1585         * JSBench/twitter-chrome/urem.js:
1586         (else.window.performance.window.performance.now.currentTimeInMS):
1587         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1588         (else.else.currentTimeInMS):
1589         (onload.cb):
1590         (onload):
1591         * JSBench/twitter-firefox-win/urem.js:
1592         (else.window.performance.window.performance.now.currentTimeInMS):
1593         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1594         (else.else.currentTimeInMS):
1595         (onload.cb):
1596         (onload):
1597         * JSBench/twitter-firefox/urem.js:
1598         (else.window.performance.window.performance.now.currentTimeInMS):
1599         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1600         (else.else.currentTimeInMS):
1601         (onload.cb):
1602         (onload):
1603         * JSBench/twitter-safari/urem.js:
1604         (else.window.performance.window.performance.now.currentTimeInMS):
1605         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1606         (else.else.currentTimeInMS):
1607         (onload.cb):
1608         (onload):
1609         * JSBench/yahoo-chrome-win/urem.js:
1610         (else.window.performance.window.performance.now.currentTimeInMS):
1611         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1612         (else.else.currentTimeInMS):
1613         (onload.cb):
1614         (onload):
1615         * JSBench/yahoo-chrome/urem.js:
1616         (else.window.performance.window.performance.now.currentTimeInMS):
1617         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1618         (else.else.currentTimeInMS):
1619         (onload.cb):
1620         (onload):
1621         * JSBench/yahoo-firefox-win/urem.js:
1622         (else.window.performance.window.performance.now.currentTimeInMS):
1623         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1624         (else.else.currentTimeInMS):
1625         (onload.cb):
1626         (onload):
1627         * JSBench/yahoo-firefox/urem.js:
1628         (else.window.performance.window.performance.now.currentTimeInMS):
1629         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1630         (else.else.currentTimeInMS):
1631         (onload.cb):
1632         (onload):
1633         * JSBench/yahoo-safari/urem.js:
1634         (else.window.performance.window.performance.now.currentTimeInMS):
1635         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1636         (else.else.currentTimeInMS):
1637         (onload.cb):
1638         (onload):
1639
1640 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1641
1642         replaceable own properties seem to ignore replacement after property caching
1643         https://bugs.webkit.org/show_bug.cgi?id=158091
1644
1645         Reviewed by Darin Adler.
1646
1647         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1648         * MallocBench/MallocBench/Benchmark.cpp:
1649         * MallocBench/MallocBench/Interpreter.cpp:
1650         (Interpreter::doMallocOp):
1651         * MallocBench/MallocBench/Interpreter.h:
1652         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1653         * MallocBench/MallocBench/jetstream.cpp: Added.
1654         (benchmark_jetstream):
1655         * MallocBench/MallocBench/jetstream.h: Added.
1656
1657 2016-05-25  Keith Miller  <keith_miller@apple.com>
1658
1659         Unreviewed, add JSBench to the skipped list for now since it doesn't
1660         work currently.
1661
1662         * Skipped:
1663
1664 2016-05-17  Keith Miller  <keith_miller@apple.com>
1665         We should have JSBench in PerformanceTests
1666         https://bugs.webkit.org/show_bug.cgi?id=157952
1667
1668         Rubber-stamped by Saam Barati.
1669
1670         There are some slight changes to the layout of the test directory
1671         to make it work nicely with run-jsc-benchmarks. Before JSBench
1672         had each of the browser specific sub-tests in a sub-directory.
1673         These have been flattened e.g. amazon/safari/ has become
1674         amazon-safari/.
1675
1676         * JSBench/amazon-chrome-win/urem.html: Added.
1677         * JSBench/amazon-chrome-win/urem.js: Added.
1678         * JSBench/amazon-chrome/urem.html: Added.
1679         * JSBench/amazon-chrome/urem.js: Added.
1680         * JSBench/amazon-firefox-win/urm.html: Added.
1681         * JSBench/amazon-firefox-win/urm.js: Added.
1682         * JSBench/amazon-firefox/urm.html: Added.
1683         * JSBench/amazon-firefox/urm.js: Added.
1684         * JSBench/amazon-safari/urem.html: Added.
1685         * JSBench/amazon-safari/urem.js: Added.
1686         * JSBench/browsercheck.js: Added.
1687         * JSBench/facebook-chrome-win/urem.html: Added.
1688         * JSBench/facebook-chrome-win/urem.js: Added.
1689         * JSBench/facebook-chrome/urem.html: Added.
1690         * JSBench/facebook-chrome/urem.js: Added.
1691         * JSBench/facebook-firefox-win/urem.html: Added.
1692         * JSBench/facebook-firefox-win/urem.js: Added.
1693         * JSBench/facebook-firefox/urem.html: Added.
1694         * JSBench/facebook-firefox/urem.js: Added.
1695         * JSBench/facebook-safari/urem.html: Added.
1696         * JSBench/facebook-safari/urem.js: Added.
1697         * JSBench/google-chrome-win/urem.html: Added.
1698         * JSBench/google-chrome-win/urem.js: Added.
1699         * JSBench/google-chrome/urem.html: Added.
1700         * JSBench/google-chrome/urem.js: Added.
1701         * JSBench/google-firefox-win/urem.html: Added.
1702         * JSBench/google-firefox-win/urem.js: Added.
1703         * JSBench/google-firefox/uem.html: Added.
1704         * JSBench/google-firefox/uem.js: Added.
1705         * JSBench/google-safari/urem.html: Added.
1706         * JSBench/google-safari/urem.js: Added.
1707         * JSBench/harness.html: Added.
1708         * JSBench/harness.js: Added.
1709         * JSBench/harness.py: Added.
1710         * JSBench/index.html: Added.
1711         * JSBench/reload.html: Added.
1712         * JSBench/twitter-chrome-win/rem.html: Added.
1713         * JSBench/twitter-chrome-win/rem.js: Added.
1714         * JSBench/twitter-chrome/urem.html: Added.
1715         * JSBench/twitter-chrome/urem.js: Added.
1716         * JSBench/twitter-firefox-win/urem.html: Added.
1717         * JSBench/twitter-firefox-win/urem.js: Added.
1718         * JSBench/twitter-firefox/urem.html: Added.
1719         * JSBench/twitter-firefox/urem.js: Added.
1720         * JSBench/twitter-safari/urem.html: Added.
1721         * JSBench/twitter-safari/urem.js: Added.
1722         * JSBench/yahoo-chrome-win/urem.html: Added.
1723         * JSBench/yahoo-chrome-win/urem.js: Added.
1724         * JSBench/yahoo-chrome/urem.html: Added.
1725         * JSBench/yahoo-chrome/urem.js: Added.
1726         * JSBench/yahoo-firefox-win/urem.html: Added.
1727         * JSBench/yahoo-firefox-win/urem.js: Added.
1728         * JSBench/yahoo-firefox/urem.html: Added.
1729         * JSBench/yahoo-firefox/urem.js: Added.
1730         * JSBench/yahoo-safari/urem.html: Added.
1731         * JSBench/yahoo-safari/urem.js: Added.
1732
1733 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1734
1735         run-benchmark's results should contain Animometer's debug output
1736         https://bugs.webkit.org/show_bug.cgi?id=157941
1737
1738         Reviewed by Stephanie Lewis.
1739
1740         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1741
1742         * Animometer/resources/debug-runner/animometer.js:
1743         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1744
1745 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1746
1747         Make Animometer work in all browsers
1748         https://bugs.webkit.org/show_bug.cgi?id=157855
1749         rdar://problem/26338521
1750
1751         Reviewed by Jon Lee.
1752
1753         * Animometer/resources/runner/logo.svg: Use a symbol instead
1754         of putting the id on the root svg. This works in all browsers.
1755
1756 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1757
1758         Update Animometer design
1759         https://bugs.webkit.org/show_bug.cgi?id=157449
1760
1761         Reviewed by Darin Adler.
1762
1763         * Animometer/developer.html: Stop including runner/animometer.css.
1764         * Animometer/index.html: Udpated elements to fit new styles.
1765
1766         * Animometer/resources/debug-runner/animometer.css:
1767         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1768
1769         * Animometer/resources/runner/animometer.css:
1770         New styles for the design. Drop flex box for broad browser support.
1771
1772         * Animometer/resources/runner/animometer.js:
1773         (ResultsTable.clear): Use textContent.
1774         (window.sectionsManager.showSection): Add class to the body.
1775         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1776
1777         * Animometer/resources/runner/crystal.svg: Added.
1778         * Animometer/resources/runner/lines.svg: Added.
1779         * Animometer/resources/runner/logo.svg: Added.
1780
1781         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1782
1783 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1784
1785         [css-grid] Unprefix CSS Grid Layout properties
1786         https://bugs.webkit.org/show_bug.cgi?id=157137
1787
1788         Reviewed by Simon Fraser.
1789
1790         Remove "-webkit" prefix from all the grid layout properties,
1791         including the display value.
1792         Update the source code to remove the prefix where it was used too.
1793
1794         * Layout/auto-grid-lots-of-data.html:
1795         * Layout/fixed-grid-lots-of-data.html:
1796         * Layout/fixed-grid-lots-of-stretched-data.html:
1797
1798 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1799
1800         bmalloc: Misc improvements to MallocBench
1801         https://bugs.webkit.org/show_bug.cgi?id=157004
1802
1803         Reviewed by Darin Adler.
1804
1805         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1806         modes for focused memory testing.
1807
1808         * MallocBench/MallocBench/Benchmark.cpp:
1809         (Benchmark::printReport): Clarified output.
1810
1811         (Benchmark::currentMemoryBytes): Added compressed memory because top
1812         does the same. (It always happens to zero in the benchmarks we run. But
1813         this is good for sanity.)
1814
1815         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1816         variance.
1817
1818         * MallocBench/MallocBench/alloc_free.cpp:
1819         (benchmark_alloc_free): Cycle a single allocation in order to stress
1820         the effect of merging on calls to madvise.
1821
1822         * MallocBench/MallocBench/big.cpp:
1823         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1824         our large allocator doesn't kick in until 64kB.
1825
1826         * MallocBench/MallocBench/medium.cpp:
1827         (benchmark_medium): Test all the way down to 1kB because our large
1828         allocator used to service 1kB allocations and 1kB is an interesting
1829         middle size where memory is unusually large but allocation throughput
1830         still matters.
1831
1832         * MallocBench/MallocBench/stress.cpp:
1833         (benchmark_stress): Reduced the churn count to match stress_aligned
1834         because this test was taking too long to complete.
1835
1836         * MallocBench/MallocBench/stress_aligned.cpp:
1837         (benchmark_stress_aligned): Our new large allocator can handle even
1838         more absurdly large values.
1839
1840 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1841
1842         Add a content animation test that uses SVG animation.
1843         https://bugs.webkit.org/show_bug.cgi?id=156827
1844
1845         * Animation/svg-animation.html: Added.
1846         * Skipped:
1847
1848 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1849
1850         Skip two content animation tests which are only meant for iOS testing.
1851
1852         * Animation/css-animation.html: Added.
1853         * Animation/raf-animation.html: Added.
1854
1855         * Skipped:
1856
1857 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1858
1859         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1860         https://bugs.webkit.org/show_bug.cgi?id=156827
1861
1862         Add two files missing from the previous commit.
1863
1864         * Animation/css-animation.html: Added.
1865         * Animation/raf-animation.html: Added.
1866
1867 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1868
1869         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1870         https://bugs.webkit.org/show_bug.cgi?id=156827
1871
1872         Reviewed by Stephanie Lewis.
1873
1874         Two new files for the content-animation suite.
1875
1876         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1877         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1878         result with a placeholder for framerate, which is collected in native code.
1879
1880         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1881         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1882         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1883         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1884         complete.
1885
1886         * Animation/css-animation.html: Added.
1887         * Animation/raf-animation.html: Added.
1888
1889 2016-04-15  Jon Lee  <jonlee@apple.com>
1890
1891         Animometer test could report a NaN
1892         https://bugs.webkit.org/show_bug.cgi?id=156646
1893
1894         Reviewed by Darin Adler.
1895         Provisionally reviewed by Said Abou-Hallawa.
1896
1897         * Animometer/tests/resources/main.js:
1898         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1899         reacts based on how well the system handles the load. The assumption was that it would handle at least
1900         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1901         end up setting an upper bound of NaN.
1902
1903         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1904         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1905         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1906         1 particle, set it to currentComplexity.
1907
1908 2016-04-09  Jon Lee  <jonlee@apple.com>
1909
1910         Update Animometer to accommodate different screens
1911         https://bugs.webkit.org/show_bug.cgi?id=156449
1912
1913         Reviewed by Darin Adler.
1914         Provisionally reviewed by Said Abou-Hallawa.
1915
1916         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1917         * Animometer/resources/debug-runner/animometer.css:
1918         (@media screen and (min-device-width: 1800px)): Deleted.
1919         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1920         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1921         and height with orientation change.
1922         * Animometer/resources/runner/animometer.css: Similar.
1923         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1924         (screen and (max-device-height: 414px) and (orientation: landscape)):
1925         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1926         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1927         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1928         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1929         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1930         (#results footer): Add padding below the button for testing again.
1931         * Animometer/tests/master/multiply.html: Remove the center text.
1932         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1933         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1934
1935 2016-04-08  Jon Lee  <jonlee@apple.com>
1936
1937         Have Animometer benchmark always start with complexity of 1
1938         https://bugs.webkit.org/show_bug.cgi?id=156432
1939
1940         Reviewed by Ryosuke Niwa.
1941
1942         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1943         set its minimum complexities to 1 instead of 0.
1944
1945 2016-04-08  Jon Lee  <jonlee@apple.com>
1946
1947         Fix SVG benchmark test
1948         https://bugs.webkit.org/show_bug.cgi?id=156410
1949
1950         Reviewed by Dean Jackson.
1951
1952         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1953         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1954         (Stage.call._setupTiles): Refactor.
1955         * Animometer/tests/master/resources/particles.js:
1956         (Particle.prototype.reset): Use Point.center.
1957         (complexity): We are not using a gradient background anymore, so remove the +1.
1958         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1959         instead of CSS transform.
1960
1961 2016-04-06  Jon Lee  <jonlee@apple.com>
1962
1963         Update master benchmark with SVG test
1964         https://bugs.webkit.org/show_bug.cgi?id=156273
1965
1966         Reviewed by Dean Jackson.
1967         Provisionally reviewed by Said Abou-Hallawa.
1968
1969         Switch masks tests for SVG path test.
1970
1971         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1972         * Animometer/resources/runner/tests.js: Add SVG test here.
1973         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1974         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1975
1976         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1977         partially obscured.
1978         * Animometer/tests/master/resources/svg-particles.js: Added.
1979         (Particle): The particle is either a path object or a rect using a path as a clip. The
1980         same path is used either way. For each particle create a linear gradient with a random
1981         rotation.
1982         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1983         This makes the test more generic in case other shapes need to be tested.
1984         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1985         particle's gradient, and one that holds the shape templates.
1986
1987 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1988
1989         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1990         https://bugs.webkit.org/show_bug.cgi?id=148470 
1991
1992         Reviewed by Darin Adler.
1993
1994         * Skipped: Unskip the Bindings/event-target-wrapper test.
1995
1996 2016-03-23  Jon Lee  <jonlee@apple.com>
1997
1998         Update focus and leaves tests
1999         https://bugs.webkit.org/show_bug.cgi?id=155825
2000
2001         Reviewed by Simon Fraser.
2002
2003         Particles would improperly disappear, before they were fully off stage. Update the calculation.
2004         * Animometer/tests/dom/resources/leaves.js:
2005         * Animometer/tests/master/resources/leaves.js:
2006
2007         * Animometer/tests/master/focus.html: Update the center element styling.
2008         * Animometer/tests/master/resources/focus.js:
2009         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
2010         to spread. It should be about 3x more space than the blur radius on each side.
2011         (Stage.call.initialize): Ditto for the center element.
2012
2013 2016-03-23  Jon Lee  <jonlee@apple.com>
2014
2015         Update support for other platforms
2016         https://bugs.webkit.org/show_bug.cgi?id=155824
2017
2018         Reviewed by Simon Fraser.
2019
2020         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
2021         be handled in the release stylesheet.
2022         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
2023         when retrieving radio elements with a name, instead of the selected value.
2024         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
2025         (.frame-container): Move overflow:hidden to #stage.
2026         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
2027         * Animometer/tests/resources/stage.css:
2028         (body): Remove overflow:hidden.
2029         (#stage): Set overflow:hidden here.
2030         (#center-text): Moved from master/resources/stage.css.
2031
2032         Update stylesheet hrefs.
2033         * Animometer/tests/master/canvas-stage.html:
2034         * Animometer/tests/master/focus.html:
2035         * Animometer/tests/master/leaves.html:
2036         * Animometer/tests/master/multiply.html:
2037         * Animometer/tests/master/particles.html:
2038         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
2039
2040 2016-03-23  Jon Lee  <jonlee@apple.com>
2041
2042         Make the benchmark require device to be in landscape orientation
2043         https://bugs.webkit.org/show_bug.cgi?id=155822
2044         rdar://problem/25258650
2045
2046         Reviewed by Ryosuke Niwa.
2047
2048         Check that the device is in landscape orientation. If not, disable the button to start it,
2049         and show a warning message.
2050
2051         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
2052         warning message that appears if the orientation is incorrect on mobile devices.
2053         * Animometer/index.html: Ditto.
2054
2055         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
2056         stylesheet. Update the style to accommodate the new UI.
2057         * Animometer/resources/runner/animometer.css:
2058
2059         * Animometer/resources/runner/animometer.js:
2060         (window.benchmarkController.initialize): Add the orientation listener is needed.
2061         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
2062         to see for support of window.orientation.
2063         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
2064         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
2065         (window.benchmarkController.updateStartButtonState):
2066         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
2067         a boolean about whether at least one test is selected. That will be used in
2068         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
2069         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
2070         that at least one test is selected.
2071
2072 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
2073
2074         MallocBench: consolidate regression testing for aligned allocation
2075         https://bugs.webkit.org/show_bug.cgi?id=155762
2076
2077         Reviewed by Michael Saboff.
2078
2079         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2080         * MallocBench/MallocBench/Benchmark.cpp:
2081         * MallocBench/MallocBench/memalign.cpp: Removed.
2082         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
2083         covers this and much more.
2084
2085         * MallocBench/MallocBench/stress_aligned.cpp:
2086         (benchmark_stress_aligned): Include specific tests for extreme sizes
2087         and alignments.
2088
2089 2016-03-21  Jon Lee  <jonlee@apple.com>
2090
2091         Update benchmark tests
2092         https://bugs.webkit.org/show_bug.cgi?id=155723
2093
2094         Reviewed by Darin Adler.
2095         Provisionally reviewed by Said Abou-Hallawa.
2096
2097         Add quadratic and bezier segments to the canvas path test.
2098
2099         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
2100         Rename the test.
2101         * Animometer/tests/master/resources/canvas-stage.js:
2102         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
2103         * Animometer/tests/master/resources/canvas-tests.js:
2104         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
2105         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
2106         class definition.
2107         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
2108         canvas are not cut off when the stroke size is thick.
2109         (CanvasQuadraticSegment): Added.
2110         (CanvasBezierSegment): Added.
2111         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
2112         are short compared to the curved ones, make it twice as likely to render a line segment.
2113         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
2114
2115         Add a helper method that selects a random element from an array.
2116
2117         * Animometer/tests/resources/main.js:
2118         (Stage.randomElementInArray): Select a random element from the provided array.
2119
2120         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
2121         * Animometer/tests/dom/resources/leaves.js: Ditto.
2122         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2123         * Animometer/tests/master/resources/image-data.js: Ditto.
2124         * Animometer/tests/master/resources/leaves.js: Ditto.
2125         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
2126
2127         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
2128         include the full simple canvas suite for perf testing.
2129
2130         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
2131         suite.
2132         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
2133         that random selects an object to render.
2134
2135         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
2136         When updating the perf bot script, we will include the suites up to this one, but exclude
2137         the basic canvas suite.
2138
2139         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
2140
2141         * Animometer/resources/debug-runner/tests.js:
2142         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
2143         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
2144
2145         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
2146         canvas tests.
2147
2148         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
2149         * Animometer/tests/misc/canvas-electrons.html: Removed.
2150         * Animometer/tests/misc/canvas-stars.html: Removed.
2151         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
2152         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
2153         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
2154
2155         Merge text tests together into one.
2156
2157         * Animometer/resources/runner/tests.js: Remove international.html.
2158         * Animometer/tests/master/international.html: Removed.
2159         * Animometer/tests/master/resources/text.js:
2160         (animate): Update styling. Manually calculate gradients for the shadow particles.
2161         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
2162         step for x since there will be a little more room.
2163         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
2164
2165 2016-03-20  Jon Lee  <jonlee@apple.com>
2166
2167         Add a link to show debug data
2168         https://bugs.webkit.org/show_bug.cgi?id=155724
2169
2170         Reviewed by Simon Fraser.
2171
2172         * Animometer/developer.html: Attach the onclick handler to the score.
2173         * Animometer/index.html: Ditto.
2174
2175 2016-03-18  Dean Jackson  <dino@apple.com>
2176
2177         Add a basic WebGL test to Animometer
2178         https://bugs.webkit.org/show_bug.cgi?id=155475
2179         <rdar://problem/25156860>
2180
2181         Reviewed by Simon Fraser and Jon Lee.
2182
2183         Add a pretty simple WebGL test to Animometer
2184         which tries to draw a number of animated triangles.
2185         The result still needs a bit of tuning.
2186
2187         * Animometer/resources/debug-runner/tests.js: Add a new
2188         Suite for "3D" tests.
2189         * Animometer/tests/3d/resources/webgl.js: Added.
2190         * Animometer/tests/3d/webgl.html: Added.
2191
2192 2016-03-18  Jon Lee  <jonlee@apple.com>
2193
2194         Add support for statically linking to a specific test
2195         https://bugs.webkit.org/show_bug.cgi?id=155631
2196
2197         Rubber-stamped by Darin Adler.
2198
2199         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
2200         both the preset and the manually set test sessions.
2201         * Animometer/resources/debug-runner/animometer.css:
2202         (.tree .link): Style the "link" UI.
2203         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
2204         to optionsManager since this is a visual option and has nothing to do with the suites
2205         settings. Update the construction of the test UI by including a "link" after each test.
2206         Clicking on that link brings up a JS prompt with a URL and a query string with the current
2207         parameters of the controller, and selected test. Pasting this URL into the location bar will
2208         automatically start running the selected test.
2209         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
2210         that matches the provided parameters. Returns an object similar to the form in
2211         suitesManager.updateLocalStorageFromUI.
2212         (benchmarkController.initialize): After settings up the events and options, try parsing the
2213         query string and running the benchmark immediately. Otherwise, fall back to the form.
2214         (benchmarkController.startBenchmark): Store the options and suites into member variables for
2215         reuse in restartBenchmark.
2216         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
2217         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
2218         the search for the test succeeded.
2219         * Animometer/resources/extensions.js:
2220         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
2221         into a query-string-friendly version.
2222         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
2223         format.
2224         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
2225         with properties and values.
2226
2227 2016-03-16  Jon Lee  <jonlee@apple.com>
2228
2229         Add a new benchmark test
2230         https://bugs.webkit.org/show_bug.cgi?id=155570
2231
2232         Reviewed by Simon Fraser.
2233
2234         New Leaves test includes various image sizes and opacity.
2235
2236         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
2237         * Animometer/tests/dom/leaves.html: Added.
2238         * Animometer/tests/dom/resources/leaves.js: Added. Override the
2239         (Particle.call.reset): Uses a range of sizes, and opacity.
2240         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
2241         (Particle.call.move): Set transform and opacity.
2242         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
2243         can be used in this test. Update the relative path so that it works in both the master
2244         and dom test suite.
2245
2246 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
2247
2248         Add developer Animometer test that bounces P3-tagged images
2249         https://bugs.webkit.org/show_bug.cgi?id=155511
2250
2251         Reviewed by Tim Horton.
2252         
2253         Add a test for rendering performance of tagged images. The 5 images are tagged
2254         with the Display P3 colorspace.
2255
2256         * Animometer/resources/debug-runner/tests.js:
2257         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
2258         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
2259         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
2260         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
2261         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
2262         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
2263         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
2264
2265 2016-03-09  Jon Lee  <jonlee@apple.com>
2266
2267         Enhance existing Animometer tests
2268         https://bugs.webkit.org/show_bug.cgi?id=155261
2269
2270         Reviewed by Simon Fraser.
2271
2272         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
2273         the filled circles. To expose more of the gradient, add another circle.
2274         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
2275         undulating stop points and colors. Fill the circles twice; once with
2276         the solid color, and once with the gradient.
2277
2278         * Animometer/tests/master/resources/dom-particles.js: Refactor the
2279         emission variables into a separate stage for this test. Add a colorOffset
2280         variable to make the colors of each particle slightly different, since
2281         the ramp controller can add large numbers of particles all at once, which
2282         would otherwise get all the same color.
2283         * Animometer/tests/master/resources/particles.js:
2284         (initialize): Remove the code specific to the SVG mask test.
2285
2286         * Animometer/tests/master/resources/image-data.js:
2287         (initialize): Remove unused local variable.
2288         * Animometer/tests/master/resources/multiply.js:
2289         (initialize): Make the test harder by adding more total particles.
2290
2291 2016-03-09  Jon Lee  <jonlee@apple.com>
2292
2293         Add text tests
2294         https://bugs.webkit.org/show_bug.cgi?id=155257
2295
2296         Reviewed by Simon Fraser.
2297
2298         * Animometer/resources/extensions.js:
2299         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
2300         assuming that two of the control points are at (0,0) and (1,1). Taken from
2301         WebCore/platform/graphics/UnitBezier.h
2302         * Animometer/resources/runner/tests.js: Add a test for English text and one
2303         for international text.
2304         * Animometer/tests/master/international.html: Added.
2305         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
2306         #template div which it will copy. The copies are placed behind the template, and
2307         are set with different colors each frame. They are moved around with CSS transform.
2308         * Animometer/tests/master/text.html: Added.
2309
2310         Remove the other text tests, since these ones cover the same techniques.
2311         * Animometer/tests/text/layering-text.html: Removed.
2312         * Animometer/tests/text/resources/layering-text.js: Removed.
2313         * Animometer/tests/text/resources/text-boxes.js: Removed.
2314         * Animometer/tests/text/text-boxes.html: Removed.
2315         * Animometer/resources/debug-runner/tests.js:
2316
2317 2016-03-09  Jon Lee  <jonlee@apple.com>
2318
2319         Add a new image test
2320         https://bugs.webkit.org/show_bug.cgi?id=155232
2321
2322         Reviewed by Dean Jackson.
2323         Provisionally reviewed by Said Abou-Hallawa.
2324
2325         The image test renders PNGs and moves them with translate and rotate
2326         transforms. Each particle has a lifetime, and when the lifetime ends or
2327         the particle goes offscreen, it resets itself somewhere on the stage.
2328
2329         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
2330         images test, because this one tests the same technique.
2331         * Animometer/resources/runner/tests.js: Added here as "Leaves".
2332         * Animometer/tests/master/leaves.html: Added.
2333         * Animometer/tests/master/resources/particles.js: Refactor out the parts
2334         specific to the DOM particles test. Consequently make velocity a public
2335         member.
2336         (initialize): The options parameter is never used, so remove it.
2337         (animate): Remove unused local variable.
2338         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
2339         moves back and forth across the canvas. That point affects the velocity
2340         of the particles. When the focal point is on the leftmost side, it is
2341         between [-6, -2], and set in reset(). When the focal point is on the rightmost
2342         side, it will be from [2, 6].
2343         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
2344         this test here from particles.js.
2345
2346         New images.
2347         * Animometer/tests/master/resources/compass100.png: Added.
2348         * Animometer/tests/master/resources/console100.png: Added.
2349         * Animometer/tests/master/resources/contribute100.png: Added.
2350         * Animometer/tests/master/resources/debugger100.png: Added.
2351         * Animometer/tests/master/resources/inspector100.png: Added.
2352         * Animometer/tests/master/resources/layout100.png: Added.
2353         * Animometer/tests/master/resources/performance100.png: Added.
2354         * Animometer/tests/master/resources/script100.png: Added.
2355         * Animometer/tests/master/resources/shortcuts100.png: Added.
2356         * Animometer/tests/master/resources/standards100.png: Added.
2357         * Animometer/tests/master/resources/storage100.png: Added.
2358         * Animometer/tests/master/resources/styles100.png: Added.
2359         * Animometer/tests/master/resources/timeline100.png: Added.
2360
2361 2016-03-03  Jon Lee  <jonlee@apple.com>
2362
2363         Add ability to retrieve raw data from release harness
2364         https://bugs.webkit.org/show_bug.cgi?id=155026
2365
2366         Reviewed by Simon Fraser.
2367
2368         * Animometer/developer.html: Remove the special UI in the debug
2369         harness.
2370         * Animometer/resources/runner/animometer.css: Add styles for the
2371         overlay.
2372         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
2373         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
2374         the overlay.
2375         (window.benchmarkController.selectResults): Cycle the cases around
2376         so that the first 's' press selects both the benchmark score and
2377         the individual test scores.
2378         * Animometer/resources/debug-runner/animometer.css: Remove
2379         unneeded rules.
2380         * Animometer/resources/debug-runner/animometer.js: Make the same
2381         call to handleKeyPress.
2382
2383 2016-03-03  Jon Lee  <jonlee@apple.com>
2384
2385         Make sure multiply test particles have at least some opacity
2386         https://bugs.webkit.org/show_bug.cgi?id=155027
2387
2388         Reviewed by Simon Fraser.
2389
2390         * Animometer/tests/master/resources/multiply.js:
2391         (initialize): Have the elements spin a little faster to make it
2392         more obvious when the system is being stressed.
2393         (_addTile):
2394         (animate): Make sure each element being animated has at least 1%
2395         opacity.
2396
2397 2016-03-03  Jon Lee  <jonlee@apple.com>
2398
2399         Update image test
2400         https://bugs.webkit.org/show_bug.cgi?id=154962
2401
2402         Rubber-stamped by Darin Adler.
2403
2404         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
2405         * Animometer/tests/master/resources/image-data.js:
2406         (initialize): Update to load multiple images serially.
2407         (_loadImage):
2408         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
2409         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
2410         (_refreshElement): Place element in a tile grid.
2411         (animate):
2412         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
2413         * Animometer/tests/master/resources/compass.svg: Added.
2414         * Animometer/tests/master/resources/console.svg: Added.
2415         * Animometer/tests/master/resources/contribute.svg: Added.
2416         * Animometer/tests/master/resources/debugger.svg: Added.
2417         * Animometer/tests/master/resources/inspector.svg: Added.
2418         * Animometer/tests/master/resources/layout.svg: Added.
2419         * Animometer/tests/master/resources/performance.svg: Added.
2420         * Animometer/tests/master/resources/script.svg: Added.
2421         * Animometer/tests/master/resources/shortcuts.svg: Added.
2422         * Animometer/tests/master/resources/standards.svg: Added.
2423         * Animometer/tests/master/resources/storage.svg: Added.
2424         * Animometer/tests/master/resources/styles.svg: Added.
2425         * Animometer/tests/master/resources/timeline.svg: Added.
2426
2427 2016-03-02  Jon Lee  <jonlee@apple.com>
2428
2429         Add some new controllers, and refine tests
2430         https://bugs.webkit.org/show_bug.cgi?id=154914
2431
2432         Reviewed by Simon Fraser.
2433
2434         Improve tests.
2435
2436         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
2437         in a container element. Expand the container element by the max blur radius, and clip
2438         overflow. This way, when the blur is applied, it avoids causing layer resizes.
2439         * Animometer/tests/master/resources/focus.js:
2440         (FocusElement.Utilities.createClass): Create a container element, and put the particle
2441         inside.
2442         (hide): Set display:none.
2443         (show): Set display:block.
2444         (animate): Apply filters to the container element.
2445         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
2446         keep them in the stage, but set the display style instead. Use this._offsetIndex to
2447         keep track of which elements are displayed.
2448         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
2449         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
2450         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
2451         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
2452         stage appear less black when the complexity gets large enough.
2453         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
2454         frame.
2455
2456 2016-03-02  Jon Lee  <jonlee@apple.com>
2457
2458         Add some new controllers, and refine tests
2459         https://bugs.webkit.org/show_bug.cgi?id=154914
2460
2461         Reviewed by Simon Fraser.
2462
2463         Add a controller that centers around 30 fps instead of 60 fps.
2464
2465         * Animometer/developer.html: Add a new option.
2466         * Animometer/resources/debug-runner/animometer.js:
2467         * Animometer/resources/runner/animometer.js:
2468         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2469         check the controller, and use a 30 fps baseline if needed.
2470         * Animometer/resources/statistics.js:
2471         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2472         frame length.
2473         * Animometer/tests/resources/main.js:
2474         (tune): Override some of the constants in RampController. Move those constants out for
2475         easier reading.
2476
2477         Add a fixed controller, with no step.
2478
2479         * Animometer/developer.html: Add a controller that takes no step.
2480         * Animometer/resources/debug-runner/animometer.js:
2481         * Animometer/tests/resources/main.js:
2482         (Rotater.Utilities.createClass):
2483
2484         Switch to ramp controller as default.
2485
2486         * Animometer/developer.html: Increase the test length to 20 seconds.
2487         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2488         since that is a more accurate description.
2489         * Animometer/resources/debug-runner/graph.js:
2490         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2491
2492 2016-02-26  Jon Lee  <jonlee@apple.com>
2493
2494         Address Dean's comments in 154673.
2495
2496         * Animometer/developer.html:
2497         * Animometer/resources/debug-runner/animometer.js:
2498         * Animometer/resources/debug-runner/graph.js:
2499
2500 2016-02-25  Jon Lee  <jonlee@apple.com>
2501
2502         Update animation benchmark and tests
2503         https://bugs.webkit.org/show_bug.cgi?id=154673
2504
2505         Reviewed by Dean Jackson.
2506
2507         Update test visuals.
2508
2509         * Animometer/tests/master/resources/canvas-tests.js:
2510         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2511         Update circle position and radius to minimize impact.
2512         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2513         have 3 locations for emitting particles.
2514         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2515         more color.
2516         (initialize): Fix some of the math for laying out the tiles.
2517         (animate): When a tile isn't used, set visibility: hidden.
2518
2519 2016-02-24  Jon Lee  <jonlee@apple.com>
2520
2521         Update animation benchmark and tests
2522         https://bugs.webkit.org/show_bug.cgi?id=154673
2523
2524         Reviewed by Dean Jackson.
2525
2526         Update the ramp controller.
2527
2528         The controller refines the complexity interval to test across.
2529
2530         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2531         (Regression): For the flat regression, force the first segment to be at 60 fps.
2532         (valueAt): Add convenience function to return interpolated value based on the regression used.
2533         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2534         errors.
2535         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2536         to be reset.
2537
2538         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2539         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2540         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2541         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2542         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2543         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2544         parameters.
2545         (update): During the tier phase, it is possible that the highest complexity possible for a test
2546         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2547         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2548         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2549         FPS at each tier.
2550         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2551         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2552         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2553         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2554         FPS to drop, we reset the minimum complexity.
2555
2556         Have the bootstrap calculation occur between tests. Clean up harness.
2557
2558         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2559         completed to avoid doing all of it at the end before showing the results. Clean up
2560         parameters being passed around.
2561         * Animometer/resources/debug-runner/tests.js:
2562         (text):
2563         * Animometer/resources/runner/animometer.js:
2564         (this._processData.calculateScore): Save the results to the same object holding the data.
2565         (this._processData._processData): In the case where a file is dragged, calculate the score
2566         serially. Grab the results object and move it to the results variable and remove it from
2567         the data object. This avoids serializing the results into the JSON.
2568         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2569         resample size to shorten the wait.
2570         * Animometer/resources/runner/benchmark-runner.js:
2571         * Animometer/resources/statistics.js:
2572         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2573         floats and integers causes an alphabetical sort to occur.
2574         * Animometer/resources/strings.js:
2575
2576         Add meta charset so that encodings between harness and test match.
2577
2578         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2579         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2580         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2581         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2582         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2583         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2584         * Animometer/tests/master/canvas-stage.html:
2585         * Animometer/tests/master/focus.html:
2586         * Animometer/tests/master/image-data.html:
2587         * Animometer/tests/master/multiply.html:
2588         * Animometer/tests/master/particles.html:
2589         * Animometer/tests/misc/canvas-electrons.html:
2590         * Animometer/tests/misc/canvas-stars.html:
2591         * Animometer/tests/misc/compositing-transforms.html:
2592         * Animometer/tests/simple/simple-canvas-paths.html:
2593         * Animometer/tests/simple/tiled-canvas-image.html:
2594         * Animometer/tests/template/template-canvas.html:
2595         * Animometer/tests/template/template-css.html:
2596         * Animometer/tests/template/template-svg.html:
2597         * Animometer/tests/text/layering-text.html:
2598         * Animometer/tests/text/text-boxes.html:
2599
2600         Update test harness reporting.
2601
2602         * Animometer/developer.html: Add missing meta charset.
2603         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2604         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2605         formatting the results table.
2606         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2607         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2608         * Animometer/resources/strings.js: Move strings not used by the release harness.
2609
2610         Switch to a pseudo-random number generator.
2611
2612         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2613         pseudo-random number generator.
2614         (_calculateRegression): Reset the generator before running bootstrap.
2615         (bootstrap): Deleted.
2616
2617         Replace Math.random with Pseudo.random.
2618         * Animometer/tests/master/resources/canvas-tests.js:
2619         * Animometer/tests/master/resources/focus.js:
2620         * Animometer/tests/master/resources/particles.js:
2621         * Animometer/tests/resources/main.js:
2622
2623         Use bootstrapping to get confidence interval in the breakpoint.
2624
2625         For the ramp controller, calculate the piecewise regression, and then use
2626         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2627
2628         * Animometer/developer.html: Default to the complexity graph. Add a legend
2629         checkbox to toggle visibility of the bootstrap score and histogram.
2630         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2631         the old raw and average scores in the legend. Add new styles for the data.
2632         * Animometer/resources/debug-runner/graph.js:
2633         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2634         regression line. Now |stdev| is |range|.
2635         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2636         the bootstrap samples. Switch raw samples from circles to X's.
2637         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2638         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2639         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2640         interval.
2641         * Animometer/resources/runner/animometer.js:
2642         (this._processData.findRegression): Factor out the code that determines which
2643         samples to include when calculating the piecewise regression. For series that have
2644         many samples, or a wider range of recorded complexities, throw away the 2.5%
2645         lowest and highest samples before calculating the regression. Keep all samples
2646         if the number of samples to regress is small or the range of complexities is
2647         narrow.
2648         (this._processData._calculateScore): Factor out regression calculation to
2649         findRegression(). Bootstrap the change point of the regression. The score is the
2650         median.
2651         * Animometer/resources/statistics.js:
2652         (_calculateRegression): Correct an issue in the calculation of the regression, where
2653         the denominator can be 0.
2654         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2655         re-samples by random selection with replacement. Return the 95% confidence samples,
2656         the bootstrap median, mean, and the data itself.
2657         * Animometer/resources/strings.js: Add bootstrap.
2658         * Animometer/tests/resources/main.js:
2659         (processSamples): Don't prematurely cut the sample data.
2660
2661         Fix graph drawing.
2662
2663         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2664         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2665         * Animometer/resources/debug-runner/animometer.css:
2666         (#complexity-graph .series.raw circle): Update the color.
2667         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2668         complexity axis, which can vary in domain. For determining the complexity domain,
2669         only use samples after samplingTimeOffset.
2670
2671         Allow dropping results JSON.
2672
2673         * Animometer/developer.html: Add a button.
2674         * Animometer/resources/debug-runner/animometer.css:
2675         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2676         to the dashboard. With JSON output, write out only the options and the raw data.
2677
2678         Teach the harness to evaluate the samples and determine the test score.
2679
2680         This will allow us to update how the score is calculated separately from the samples recorded.
2681         This also prepares the harness to be able to accept JSON of prior runs.
2682
2683         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2684         hierarchy.
2685         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2686
2687         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2688         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2689         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2690         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2691         Group them, and calculate distribution of samples within the same complexity, and add those as
2692         new entries into |complexityAverageSamples|.
2693         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2694         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2695
2696         {
2697             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2698             marks: [...],
2699             samples: {                    // all of the sample data
2700                 controller: [...],
2701                 complexity: [...],        // processed from controller samples
2702                 complexityAverage: [...], // processed from complexity samples
2703             }
2704         }
2705
2706         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2707         now pass the test options to the graph.
2708         (Regression): Move to statistics.js.
2709         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2710         only contains one sample, since we cannot calculate a regression from one sample point.
2711
2712         Teach the test harness to evaluate the data.
2713         * Animometer/resources/runner/animometer.js:
2714         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2715         from the data. The results are stored as:
2716
2717         {
2718             score: /* geomean of iteration score */,
2719             iterationsResults: [
2720                 {
2721                     score: /* geomean of tests */,
2722                     testsResults: {
2723                         suiteName: {
2724                             testName: {
2725                                 controller: {
2726                                     average:
2727                                     concern:
2728                                     stdev:
2729                                     percent:
2730                                 },
2731                                 frameLength: { ... },
2732                                 complexity: {
2733                                     complexity:
2734                                     stdev:
2735                                     segment1:
2736                                     segment2:
2737                                 },
2738                                 complexityAverage: { ... }
2739                             },
2740                             testName: { ... },
2741                         },
2742                         ... next suite ...
2743                     }
2744                 },
2745                 { ...next iteration... }
2746             ]
2747         }
2748
2749         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2750         on what was selected in the form. This will later allow for dropping previous results, and
2751         using those runs' options when calculating scores.
2752         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2753         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2754
2755         Consolidate JS files, and move statistics out to a separate JS.
2756
2757         Preparation for having the Controller only handle recording and storage of the samples,
2758         and leave the evaluation of the test score out to the harness. Move Experiment to
2759         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2760         and move it to utilities.js since the Heap is used only for Experiments.
2761
2762         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2763         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2764         Sampler in main.js.
2765         * Animometer/tests/resources/main.js: Move Sampler here.
2766         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2767         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2768         a max or min heap to Heap, instead of a new Algorithm object.
2769
2770         Update JS files.
2771         * Animometer/developer.html:
2772         * Animometer/index.html:
2773         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2774         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2775         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2776         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2777         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2778         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2779         * Animometer/tests/master/canvas-stage.html:
2780         * Animometer/tests/master/focus.html:
2781         * Animometer/tests/master/image-data.html:
2782         * Animometer/tests/master/multiply.html:
2783         * Animometer/tests/master/particles.html:
2784         * Animometer/tests/misc/canvas-electrons.html:
2785         * Animometer/tests/misc/canvas-stars.html:
2786         * Animometer/tests/misc/compositing-transforms.html:
2787         * Animometer/tests/simple/simple-canvas-paths.html:
2788         * Animometer/tests/simple/tiled-canvas-image.html:
2789         * Animometer/tests/template/template-canvas.html:
2790         * Animometer/tests/template/template-css.html:
2791         * Animometer/tests/template/template-svg.html:
2792         * Animometer/tests/text/layering-text.html:
2793         * Animometer/tests/text/text-boxes.html:
2794
2795         Fix the cursor in the graph analysis when the min
2796         complexity is not 0.
2797
2798         * Animometer/resources/debug-runner/graph.js:
2799         (_addRegression):
2800         (createComplexityGraph):
2801
2802 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2803
2804         Fix some issues in MallocBench
2805         https://bugs.webkit.org/show_bug.cgi?id=154600
2806
2807         Reviewed by Oliver Hunt.
2808
2809         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2810         a part of the build so that it copies to the right place for execution.
2811
2812         * MallocBench/MallocBench/Interpreter.cpp:
2813         (Interpreter::Interpreter): Don't try to open .ops files for writing
2814         because we're only going to read and we might need extra permissions to
2815         write.
2816
2817         (Interpreter::~Interpreter): Give more context when opening a file fails
2818         to help with debugging.
2819
2820         * MallocBench/MallocBench/stress.cpp:
2821         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2822
2823 2016-02-23  Michael Saboff  <msaboff@apple.com>
2824
2825         Unreviewed change to revert extraneous changes made part of change set 196955.
2826
2827         * MallocBench/MallocBench/Interpreter.cpp:
2828         (Interpreter::doMallocOp):
2829         (Interpreter::Thread::switchTo):
2830         (writeData): Deleted.
2831
2832 2016-02-19  Michael Saboff  <msaboff@apple.com>
2833
2834         MallocBench: Added recording for nimlang website, new recording details and added new options
2835         https://bugs.webkit.org/show_bug.cgi?id=154485
2836
2837         Reviewed by Geoff Garen.
2838
2839         Added new capabilities to MallocBench.  These include:
2840             Added a recording of http://nim-lang.org/docs/lib.html.
2841             Added thread id to the recording and the ability to playback switching threads in MallocBench
2842             Added aligned allocations to recordings and the ability to playback
2843             Added --use-thread-id option to honor recorded thread ids
2844             Added --detailed-report to output remaining allocations by size after playback
2845             Added --no-warmup to not run the warm up iteration
2846
2847         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2848         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2849         can access the options that are appropriate.  The Benchmark class also uses the options for
2850         is parallel, run counts and warm up.
2851
2852         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2853         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2854         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2855         without any incompatibilities.
2856
2857         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2858         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2859         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2860         assure that only one thread is really running at a time and a condition variable used to wait
2861         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2862         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2863
2864         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2865         * MallocBench/MallocBench/Benchmark.cpp:
2866         (deallocateHeap):
2867         (Benchmark::Benchmark):
2868         (Benchmark::runOnce):
2869         (Benchmark::run):
2870         * MallocBench/MallocBench/Benchmark.h:
2871         (Benchmark::isValid):
2872         * MallocBench/MallocBench/CommandLine.cpp:
2873         (CommandLine::printUsage):
2874         * MallocBench/MallocBench/CommandLine.h:
2875         (CommandLine::isValid):
2876         (CommandLine::benchmarkName):
2877         (CommandLine::isParallel):
2878         (CommandLine::useThreadID):
2879         (CommandLine::detailedReport):
2880         (CommandLine::warmUp):
2881         (CommandLine::heapSize):
2882         (CommandLine::runs):
2883         * MallocBench/MallocBench/Interpreter.cpp:
2884         (Interpreter::Interpreter):
2885         (Interpreter::run):
2886         (Interpreter::readOps):
2887         (Interpreter::doOnSameThread):
2888         (Interpreter::switchToThread):
2889         (Interpreter::detailedReport):
2890         (compute2toPower):
2891         (writeData):
2892         (Interpreter::doMallocOp):
2893         (Interpreter::Thread::Thread):
2894         (Interpreter::Thread::stop):
2895         (Interpreter::Thread::~Thread):
2896         (Interpreter::Thread::runThread):
2897         (Interpreter::Thread::waitToRun):
2898         (Interpreter::Thread::switchTo):
2899         * MallocBench/MallocBench/Interpreter.h:
2900         (Interpreter::Thread::isMainThread):
2901         * MallocBench/MallocBench/alloc_free.cpp: Added.
2902         (benchmark_alloc_free):
2903         * MallocBench/MallocBench/alloc_free.h: Added.
2904         * MallocBench/MallocBench/balloon.cpp:
2905         (benchmark_balloon):
2906         * MallocBench/MallocBench/balloon.h:
2907         * MallocBench/MallocBench/big.cpp:
2908         (benchmark_big):
2909         * MallocBench/MallocBench/big.h:
2910         * MallocBench/MallocBench/churn.cpp:
2911         (benchmark_churn):
2912         * MallocBench/MallocBench/churn.h:
2913         * MallocBench/MallocBench/facebook.cpp:
2914         (benchmark_facebook):
2915         * MallocBench/MallocBench/facebook.h:
2916         * MallocBench/MallocBench/flickr.cpp:
2917         (benchmark_flickr):
2918         (benchmark_flickr_memory_warning):
2919         * MallocBench/MallocBench/flickr.h:
2920         * MallocBench/MallocBench/fragment.cpp:
2921         (validate):
2922         (benchmark_fragment):
2923         (benchmark_fragment_iterate):
2924         * MallocBench/MallocBench/fragment.h:
2925         * MallocBench/MallocBench/list.cpp:
2926         (benchmark_list_allocate):
2927         (benchmark_list_traverse):
2928         * MallocBench/MallocBench/list.h:
2929         * MallocBench/MallocBench/main.cpp:
2930         (main):
2931         * MallocBench/MallocBench/medium.cpp:
2932         (benchmark_medium):
2933         * MallocBench/MallocBench/medium.h:
2934         * MallocBench/MallocBench/memalign.cpp:
2935         (test):
2936         (benchmark_memalign):
2937         * MallocBench/MallocBench/memalign.h:
2938         * MallocBench/MallocBench/message.cpp:
2939         (benchmark_message_one):
2940         (benchmark_message_many):
2941         * MallocBench/MallocBench/message.h:
2942         * MallocBench/MallocBench/nimlang.cpp: Added.
2943         (benchmark_nimlang):
2944         * MallocBench/MallocBench/nimlang.h: Added.
2945         * MallocBench/MallocBench/nimlang.ops: Added.
2946         * MallocBench/MallocBench/realloc.cpp:
2947         (benchmark_realloc):
2948         * MallocBench/MallocBench/realloc.h:
2949         * MallocBench/MallocBench/reddit.cpp:
2950         (benchmark_reddit):
2951         (benchmark_reddit_memory_warning):
2952         * MallocBench/MallocBench/reddit.h:
2953         * MallocBench/MallocBench/stress.cpp:
2954         (deallocate):
2955         (benchmark_stress):
2956         * MallocBench/MallocBench/stress.h:
2957         * MallocBench/MallocBench/stress_aligned.cpp:
2958         (benchmark_stress_aligned):
2959         * MallocBench/MallocBench/stress_aligned.h:
2960         * MallocBench/MallocBench/theverge.cpp:
2961         (benchmark_theverge):
2962         (benchmark_theverge_memory_warning):
2963         * MallocBench/MallocBench/theverge.h:
2964         * MallocBench/MallocBench/tree.cpp:
2965         (benchmark_tree_allocate):
2966         (benchmark_tree_traverse):
2967         (benchmark_tree_churn):
2968         * MallocBench/MallocBench/tree.h:
2969         * MallocBench/run-malloc-benchmarks:
2970
2971 2016-02-11  Jon Lee  <jonlee@apple.com>
2972
2973         Fix a missing refactoring.
2974
2975         * Animometer/tests/master/resources/multiply.js:
2976         (animate): Move to Utilities.lerp.
2977         (_lerp): Deleted.
2978
2979 2016-02-10  Jon Lee  <jonlee@apple.com>
2980
2981         Add new benchmark tests.
2982         https://bugs.webkit.org/show_bug.cgi?id=154063
2983
2984         Provisionally reviewed by Said Abou-Hallawa.
2985
2986         Add tests for get/put image data, filters, opacity, and css transforms.
2987
2988         * Animometer/resources/runner/benchmark-runner.js:
2989         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2990         the stage.
2991         (this._runNextIteration): Clear the background color style for the results page.
2992         * Animometer/resources/runner/tests.js:
2993         * Animometer/tests/master/focus.html: Added.
2994         * Animometer/tests/master/image-data.html: Added.
2995         * Animometer/tests/master/multiply.html: Added.
2996         * Animometer/tests/master/resources/focus.js: Added.
2997         * Animometer/tests/master/resources/image-data.js: Added.
2998         * Animometer/tests/master/resources/multiply.js: Added.
2999         * Animometer/tests/master/resources/stage.css: Move common styles out.
3000         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
3001         Add Stage.randomSign for randomly setting a direction. Add the notion of the
3002         current timestamp of the test to Benchmark, since some animations cycle through
3003         colors and rely on an incremental counter like the time.
3004
3005 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
3006
3007         Add internal benchmark tests for CSS mix-blend-modes and filters
3008         https://bugs.webkit.org/show_bug.cgi?id=154058
3009
3010         Provisionally reviewed by Jon Lee.
3011
3012         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
3013         "HTML suite" of the debug runner.
3014
3015         * Animometer/resources/extensions.js:
3016         (Utilities.browserPrefix):
3017         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
3018         prefixed style properties.
3019
3020         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3021         Set the mix-blend-mode and the filter to some random values if the options
3022         of the test requested that.
3023
3024         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3025         (parseShapeParameters): Parse the url options "blend" and "filter" and set
3026         the corresponding flags.
3027
3028         * Animometer/tests/resources/main.js:
3029         (randomStyleMixBlendMode):
3030         (randomStyleFilter): Return random mix-blend-mode and filter.
3031
3032 2016-02-08  Jon Lee  <jonlee@apple.com>
3033
3034         Add a ramp controller
3035         https://bugs.webkit.org/show_bug.cgi?id=154028
3036
3037         Provisionally reviewed by Said Abou-Hallawa.
3038
3039         Enhance the graph to include a complexity-fps graph, in addition
3040         to the time graph.
3041
3042         * Animometer/developer.html: Add a ramp option.
3043         * Animometer/resources/debug-runner/animometer.css: Update the style.
3044         * Animometer/resources/strings.js: Flatten the Strings.text constants.
3045         * Animometer/resources/debug-runner/animometer.js:
3046         (ResultsTable.call._addGraphButton): Refactor.
3047         (ResultsTable.call._addTest): Add regression data.
3048         (benchmarkController): Add a form that allows the user to switch between the two forms,
3049         Add a form that allows the user to toggle different data. Hide certain header columns
3050         depending on the selected controller.
3051         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
3052         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
3053         * Animometer/resources/runner/animometer.js:
3054         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
3055         * Animometer/tests/resources/main.js:
3056         (Controller): Allow options to specify the capacity for sample arrays.
3057         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
3058         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
3059         error. Sweep across the samples in time (which could be backward depending on the controller)
3060         and calculate the intersection point.
3061         (RampController): This controller assumes that the target frame rate is below
3062         58 FPS. It runs in two stages. The first stage quickly determines the order of
3063         magnitude of objects needed to stress the system by the setting the complexity
3064         to increasingly difficult tiers. Perform a series of ramps descending from a
3065         high-water mark of complexity. The complexity needed to reach the target frame
3066         length is done by performing a piecewise regression on each ramp, and track a
3067         running average of these values. For the next ramp, make that running average
3068         the center of the ramp. With a minimum complexity of 0, the high-water mark is
3069         twice that average. The score is based on the highest complexity that can
3070         reach 60 fps.
3071
3072 2016-02-08  Jon Lee  <jonlee@apple.com>
3073
3074         Address Said's comments on the benchmark, and do some clean up.
3075
3076         * Animometer/developer.html:
3077         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
3078         * Animometer/resources/debug-runner/animometer.js: Use the right
3079         Strings constants.
3080         * Animometer/resources/debug-runner/graph.js:
3081         (_addRegressionLine): Add missing code to draw the line and standard
3082         deviation highlight.
3083         (onGraphTypeChanged): Remove unneeded variables
3084         (onTimeGraphOptionsChanged):
3085         * Animometer/resources/runner/benchmark-runner.js:
3086         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
3087         _suitesSamplers to _suitesResults.
3088         * Animometer/tests/resources/main.js:
3089         (results): Call processSamples().
3090         (update): Change sampling timestamp comparison.
3091         (_animateLoop): Move shouldStop call to before the update.
3092         * Animometer/tests/resources/sampler.js:
3093         (process): Rename to processSamples().
3094
3095 2016-02-07  Jon Lee  <jonlee@apple.com>
3096
3097         Teach Controller to measure intervals, and turn off the frame length estimator.
3098
3099         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
3100         (start): Set the first interval.
3101         (_measureAndResetInterval): Reports the average frame length of the interval that just
3102         completed, and sets up the next interval.
3103         (update): If there is no length, then just use the estimator per frame, otherwise the
3104         estimator measures per interval. Add a didFinishInterval for subclasses to process
3105         prior to recording the sample. Update tune() to include whether an interval had
3106         finished.
3107         (StepController): Step controllers don't measure on an interval basis.
3108
3109 2016-02-07  Jon Lee  <jonlee@apple.com>
3110
3111         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
3112         and switch the parameters for start(), update(), and tune(), so that the timestamp
3113         is first and stage is second.
3114
3115         * Animometer/tests/resources/main.js:
3116
3117 2016-02-07  Jon Lee  <jonlee@apple.com>
3118
3119         Move ResultsTable functionality not needed for release tests out.
3120         Move reporting of score and mean to selection of the time-based graph.
3121
3122         * Animometer/developer.html: Rename graph-options to time-graph-options.
3123         * Animometer/resources/debug-runner/animometer.js:
3124         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
3125         values to "average" objects which can hold stdev. Move graph button and
3126         calculation of noisy measurements here. Sophisticated header processing
3127         is not needed in release suite.
3128         (populateTable): Use DeveloperResultsTable.
3129         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
3130         its own function, and add a new onGraphTypeChanged handler in preparation
3131         of a complexity graph to be added later.
3132         * Animometer/resources/runner/animometer.js:
3133         (ResultsTable): Simplify to just handle test names and scores.
3134
3135 2016-02-07  Jon Lee  <jonlee@apple.com>
3136
3137         Tests: reuse objects already made.
3138
3139         Avoid thrash of object creation and removal by maintaining an index that
3140         moves along the array as the adjust values change. If the tune value
3141         requires more objects than the maximum size of the object array, then create
3142         new objects. This means that the object array size never decreases.
3143
3144         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
3145         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
3146         so the scene will draw the object at offsetIndex to the end of the array.
3147         (tune): Reverse the logic since "removal" of objects is much simpler and
3148         involves simply changing the offsetIndex.
3149         (animate): Update the for loop to draw from offsetIndex to the end.
3150         (complexity): Update the definition.
3151         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
3152         offsetIndex. For these tests, we want to avoid drawing the newest objects,
3153         so the scene will draw the object at index 0 to the object at offsetIndex.
3154         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
3155         which is unneeded. Update the for loop to draw from offsetIndex to the end.
3156         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3157         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
3158         offsetIndex.
3159         * Animometer/tests/simple/resources/simple-canvas.js:
3160         (tune): Update logic. Here, offsetIndex represents the boundary of the last
3161         index to render.
3162         (animate): Update the for loop to draw from 0 to offsetIndex.
3163         (complexity): Update the definition.
3164
3165 2016-02-07  Jon Lee  <jonlee@apple.com>
3166
3167         Tests: refactor and update styles.
3168
3169         * Animometer/tests/resources/main.js: Add helper methods that return
3170         a color that hue rotates based on the date, and a counter value that
3171         increases based on the date. Fix randomInt() to not bias against the min and
3172         max values.
3173
3174         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
3175         * Animometer/tests/master/resources/dom-particles.js: Ditto.
3176         * Animometer/tests/master/resources/particles.js: Ditto.
3177         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
3178         use a rotating color instead of a random color. The fast switching of color
3179         is too vivid to watch.
3180
3181         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3182         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
3183         that the last stop is located at the end.
3184
3185 2016-02-07  Jon Lee  <jonlee@apple.com>
3186
3187         Refactor tune() to not return the complexity of the scene.
3188
3189         We have stage.complexity() now, so returning the complexity through tune
3190         is unnecessary.
3191
3192         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3193         * Animometer/tests/master/resources/canvas-stage.js:
3194         * Animometer/tests/master/resources/particles.js:
3195         * Animometer/tests/misc/resources/canvas-electrons.js:
3196         * Animometer/tests/misc/resources/canvas-stars.js:
3197         * Animometer/tests/resources/main.js:
3198         * Animometer/tests/simple/resources/simple-canvas.js:
3199         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3200         * Animometer/tests/template/resources/template-canvas.js:
3201         * Animometer/tests/template/resources/template-css.js:
3202         * Animometer/tests/template/resources/template-svg.js:
3203         * Animometer/tests/text/resources/layering-text.js:
3204
3205 2016-02-07  Jon Lee  <jonlee@apple.com>
3206
3207         Make the fixed controller a step controller instead. Halfway through the test
3208         it will bump up the complexity 4-fold. Calculate the step timestamp using options
3209         instead of a separate parameter to the Controller constructor.
3210
3211         * Animometer/developer.html: Change value to "step"
3212         * Animometer/resources/debug-runner/animometer.js:
3213         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
3214         * Animometer/tests/resources/main.js:
3215         (update): Provide a hook for subclasses to tune.
3216         (StepController): Maintain a flag determining whether we've stepped, and the time
3217         we should step.
3218         (Benchmark): Use the new StepController.
3219
3220 2016-02-07  Jon Lee  <jonlee@apple.com>
3221
3222         Adjust the FPS graph scale.
3223
3224         Instead of making the FPS graph linearly scale, scale it based on the frame length,
3225         but show the data in terms of FPS. Because it is inversely proportional, and most
3226         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
3227         over half of the available graph space ends up blank.
3228
3229         This means we should convert all of the FPS data to frame length data.
3230
3231         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
3232         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
3233         values being shown, and then pick the min and max values to represent the length of the
3234         cursor.
3235         * Animometer/resources/runner/animometer.js:
3236         * Animometer/resources/strings.js:
3237         * Animometer/tests/resources/main.js:
3238         (processSamples): Add the ability to only sample a range of the data instead of everything
3239         after an offset index. Update sampler to record the frame lengths instead of the frame
3240         rate.
3241
3242 2016-02-07  Jon Lee  <jonlee@apple.com>
3243
3244         Add option to use different methods for retrieving a timestamp.
3245
3246         * Animometer/developer.html: Add performance.now and Date.now options.
3247         * Animometer/resources/runner/animometer.js: Default to performance.now.
3248         (window.benchmarkController.startBenchmark):
3249         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
3250         (run): Use _getTimestamp.
3251         (_animateLoop): Ditto.
3252
3253 2016-02-07  Jon Lee  <jonlee@apple.com>
3254
3255         Allow adding any number of markers to the graph. The markers can be labeled
3256         and contain timestamp and sample index data. Make it a part of the controller
3257         rather than keeping it in the sampler.
3258
3259         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
3260         * Animometer/resources/debug-runner/graph.js: Create the markers and add
3261         text labels.
3262         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
3263         is just one of the marks provided.
3264         * Animometer/resources/strings.js: Add Strings.json.marks.
3265         * Animometer/tests/resources/main.js:
3266         (Controller): Keep marks here. They are keyed by the marker name, so no two
3267         markers should have the same name.
3268         (recordFirstSample): Refactor to use mark.
3269         (mark): Allows for arbitrary data if needed later. The timestamp maintained
3270         is relative to the absolute start timestamp.
3271         (containsMark): Checks whether a mark with a specific comment exists.
3272         (processSamples): Removes the _startTimestamp offset from the marks before
3273         setting it in results.
3274         * Animometer/tests/resources/sampler.js: Remove marks.
3275
3276 2016-02-07  Jon Lee  <jonlee@apple.com>
3277
3278         Get rid of options member variable in Benchmark.
3279
3280         Options are only needed when initializing the stage or benchmark, so there's no
3281         need to also keep a reference to it.
3282
3283         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
3284         Pass options to Controllers and Stages.
3285         (Controller.Utilities.createClass):
3286         (Benchmark.Utilities.createClass):
3287         (get options): Deleted.
3288
3289         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3290         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3291         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3292         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3293         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3294         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3295         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3296         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3297         * Animometer/tests/master/resources/canvas-stage.js:
3298         * Animometer/tests/master/resources/canvas-tests.js:
3299         * Animometer/tests/master/resources/particles.js:
3300         * Animometer/tests/misc/resources/canvas-electrons.js:
3301         * Animometer/tests/misc/resources/canvas-stars.js:
3302         * Animometer/tests/misc/resources/compositing-transforms.js:
3303         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3304         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3305         * Animometer/tests/template/resources/template-canvas.js:
3306         * Animometer/tests/template/resources/template-css.js:
3307         * Animometer/tests/template/resources/template-svg.js:
3308         * Animometer/tests/text/resources/layering-text.js:
3309
3310 2016-02-07  Jon Lee  <jonlee@apple.com>
3311
3312         Update how the benchmark is run
3313         https://bugs.webkit.org/show_bug.cgi?id=153960
3314
3315         Provisionally reviewed by Said Abou-Hallawa.
3316
3317         Introduce the notion of a Controller. It is responsible for recording, updating,
3318         and processing the statistics and complexity of the benchmark. This allows
3319         plugging in different Controllers.
3320
3321         This strips most of the functionality from Animator and BenchmarkState, so fold
3322         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
3323         are responsible for driving the animation loop.
3324
3325         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
3326         maintains a fixed complexity, and the other adapts the complexity to meet a
3327         fixed FPS.
3328
3329         Fix the Kalman estimator to be modeled on a scalar variable with no model.
3330
3331         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
3332         replace it with a Controller. Add a FixedController and refactor the previous controller
3333         to an AdaptiveController.
3334
3335         (Controller): Controllers own the estimator and the sampler. When a new frame is
3336         displayed, the animation loop calls update(). The estimator and sampler record
3337         stats, then tune. Samplers can track multiple series of data. The basic controller
3338         tracks timestamp, complexity, and estimated frame rate.
3339                 The Kalman estimation is based on the frame length rather than the frame
3340         rate. Because FPS is inverse proportional to frame length, in the case where the measured
3341         frame length is very small, the FPS ends up being a wildly large number (in the order of
3342         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
3343         for it to settle back down. Using frame length reduces the impact of these spikes.
3344                 Converging the estimation takes enough time to avoid initializing it immediately
3345         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
3346         before running it in earnest. Allow controllers an opportunity to set the complexity
3347         before starting recording.
3348                 When the benchmark is complete, the controller has an opportunity to process
3349         the samples. The default implementation calculates the raw FPS based on the time
3350         difference of the samples, and calculates the complexity score. This is moved from
3351         Benchmark.processSamples.
3352
3353         (Controller): Initialize timestamps. These are at first relative to the start of the
3354         benchmark, but are offset by the absolute start time during start(). By default maintain
3355         3 data series, but subclasses can override.
3356         (start): Calls recordFirstSample() for subclasses to override if needed.
3357         (recordFirstSample): For basic controller, start sampling at the beginning.
3358         (update): Update the frame length estimator and sample.
3359         (shouldStop): Checks that the time is before _endTimestamp.
3360         (results): Returns the processed samples.
3361         (processSamples): Iterate through the sample data and collate them. Include scores.
3362
3363         (FixedComplexityController): Controller that tunes the stage to the desired complexity
3364         prior to starting, and keeps it at that complexity.
3365
3366         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
3367         raw frame rate.
3368                 The previous version of this controller ignored the frame that came after the
3369         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
3370         compared to the noise of the system overall. Stop ignoring that frame and include all
3371         frames in the measurements.
3372
3373         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
3374         selected. Most of the loop's functionality is in Controller, so remove here.
3375         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
3376         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
3377         a brief period before calling Controller.start().
3378
3379         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates
3380         a scalar variable, and makes basic assumptions regarding the model. As a result
3381         none of the linear algebra classes are needed, so remove Matrix, Vector3, and Matrix3.
3382         (SimpleKalmanEstimator): Calculate the gain based on the provided process and
3383         measurement errors.
3384         (KalmanEstimator): Deleted.
3385         (IdentityEstimator): Deleted.
3386         (PIDController): Refactor to use the Utilities.createClass() helper.
3387
3388         The Kalman filter algorithm is explained here http://greg.czerniak.info/guides/kalman1/.
3389         The state, represented by a scalar, is the estimated frame length. There is no user
3390         transition of the state, and the state is the same as the measurement. With this model,
3391         the estimation error converges, so calculate the gain ahead of time.
3392
3393         * Animometer/developer.html: Remove fixed-after-warmup since it is not useful.
3394         Replace the option to toggle the estimator, and make it possible to customize the
3395         estimator's error parameters. Show raw FPS by default, and remove interval FPS,
3396         which will be shown instead of the filtered raw FPS.
3397         * Animometer/resources/debug-runner/animometer.css: Put the header behind the graph.
3398         Remove #intervalFPS rules; move the color to #filteredFPS.
3399         * Animometer/resources/debug-runner/graph.js:
3400         (updateGraphData): Update the hr style to force the layout to be calculated
3401         correctly. Change the tick format to be in terms of seconds, since the timestamps
3402         are in milliseconds. Remove interval data.
3403         * Animometer/resources/runner/animometer.js:
3404         (window.benchmarkController.startBenchmark): Set Kalman parameters.
3405         * Animometer/resources/runner/benchmark-runner.js:
3406         (_runBenchmarkAndRecordResults): When a benchmark completes, expect it to return
3407         the final data, rather than passing a sampler from the controller. This avoids
3408         needing to expose the sampler variable in the benchmark.
3409         * Animometer/tests/resources/sampler.js:
3410         (process): Move the setting of the target frame rate to AdaptiveController.
3411
3412 2016-02-06  Jon Lee  <jonlee@apple.com>
3413
3414         Code clean up: Move Rotater function closer to Stage static methods.
3415         The Rotater is used together with those methods; keep them close.
3416
3417         * Animometer/tests/resources/main.js:
3418
3419 2016-02-06  Jon Lee  <jonlee@apple.com>
3420
3421         Update the JS includes due to ResultsTable move.
3422
3423         * Animometer/developer.html:
3424         * Animometer/index.html:
3425
3426 2016-02-06  Jon Lee  <jonlee@apple.com>
3427
3428         Move createElement and createSVGElement to Utilities.
3429
3430         * Animometer/resources/extensions.js:
3431         (Utilities.createElement): Added.
3432         (Utilities.createSVGElement): Added.
3433         (DocumentExtension.createElement): Deleted.
3434         (DocumentExtension.createSvgElement): Deleted.
3435
3436         * Animometer/resources/debug-runner/animometer.js:
3437         * Animometer/resources/runner/animometer.js:
3438         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3439         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js:
3440         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3441
3442 2016-02-06  Jon Lee  <jonlee@apple.com>
3443
3444         Add a convenience function for creating a class.
3445
3446         The pattern for creating a class is common enough to add as a Utilities
3447         helper function. It also makes it easy to collapse class definitions when
3448         editing.
3449
3450         * Animometer/resources/debug-runner/animometer.js: Move ProgressBar definition,
3451         since it is only used here.
3452         * Animometer/resources/runner/animometer.js: Move ResultsDashboard and
3453         ResultsTable definition, since it is only used here.
3454         * Animometer/resources/extensions.js: Move Utilities definition to the top. Convert
3455         Point, Insets, SimplePromise.
3456         (ProgressBar): Moved to animometer.js.
3457         (ResultsDashboard): Moved to animometer.js.
3458         (ResultsTable): Moved to animometer.js.
3459         * Animometer/resources/runner/benchmark-runner.js: Convert BenchmarkRunnerState,
3460         BenchmarkRunner.
3461         * Animometer/tests/resources/main.js: Convert Rotater, Stage, Animator, Benchmark.
3462         * Animometer/tests/resources/sampler.js: Convert Experiment, Sampler.
3463
3464         Convert test primitives.
3465         * Animometer/tests/master/resources/canvas-tests.js: Convert CanvasLineSegment,
3466         CanvasArc, CanvasLinePoint.
3467         * Animometer/tests/simple/resources/simple-canvas-paths.js: Convert CanvasLineSegment,
3468         CanvasLinePoint, CanvasQuadraticSegment, CanvasQuadraticPoint, CanvasBezierSegment,
3469         CanvasBezierPoint, CanvasArcToSegment, CanvasArcToSegmentFill, CanvasArcSegment,
3470         CanvasArcSegmentFill, CanvasRect, CanvasRectFill.
3471         * Animometer/tests/simple/resources/tiled-canvas-image.js: Convert CanvasImageTile.
3472
3473 2016-02-06  Jon Lee  <jonlee@apple.com>
3474
3475         Minor improvements to debug harness.
3476
3477         * Animometer/developer.html:
3478         * Animometer/resources/debug-runner/animometer.css:
3479         (#suites): Put the complexity text boxes closer to the test names.
3480         (#options):
3481         (#rawFPS circle): Make the interval FPS appear as a separate data series, with a line.
3482         (#intervalFPS path):
3483         (#intervalFPS circle):
3484         * Animometer/resources/debug-runner/animometer.js:
3485         (window.optionsManager.updateLocalStorageFromUI): Convert number inputs from text.
3486         (window.suitesManager._onChangeTestCheckbox): Refactor to take a checkbox.
3487         (window.suitesManager._createTestElement): Enhance such that typing into the complexity
3488         input will automatically select that test for running.
3489         (window.suitesManager.updateLocalStorageFromJSON): Make the harness work for private
3490         browsing.
3491         * Animometer/resources/debug-runner/graph.js: Separate the intervalFPS data, and show
3492         more accuracy in timestamps.
3493
3494 2016-02-06  Jon Lee  <jonlee@apple.com>
3495
3496         Refactor helper methods for getting random values for a stage.
3497
3498         Instead of requiring a Stage instance, just attach it to the Stage object.
3499
3500         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3501         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3502         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3503         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3504         * Animometer/tests/master/resources/canvas-tests.js:
3505         * Animometer/tests/master/resources/particles.js:
3506         * Animometer/tests/misc/resources/canvas-electrons.js:
3507         * Animometer/tests/misc/resources/canvas-stars.js:
3508         * Animometer/tests/misc/resources/compositing-transforms.js:
3509         * Animometer/tests/resources/main.js:
3510         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3511
3512 2016-02-05  Said Abou-Hallawa  <sabouhallawa@apple.com>
3513
3514         Add a new graphics test for CanvasRenderingContext2D functions: getImageData and putImageData
3515         https://bugs.webkit.org/show_bug.cgi?id=151716
3516
3517         Reviewed by Darin Adler.
3518
3519         The purpose of this test is to measure the performance of getImageData
3520         and putImageData functions. This test draws a background on the canvas
3521         and then gets some random tiles from this background and draw them in
3522         destinations different from their original sources.
3523
3524         * Animometer/resources/debug-runner/tests.js: Adding the new test to the canvas simple tests suite.
3525
3526         * Animometer/resources/extensions.js:
3527         (Array.prototype.shuffle): Shuffles the elements of an array.
3528
3529         (Point.zero): Returns a new Point object whose x and y are equal zero.
3530         (Point.prototype.str): Used for debugging the Point object.
3531
3532         * Animometer/tests/simple/resources/tiled-canvas-image.js: Added.
3533         (CanvasImageTile):
3534         (CanvasImageTile.prototype.getImageData):
3535         (CanvasImageTile.prototype.putImageData):
3536         (Stage.call.initialize):
3537         (Stage.call._createTiles):
3538         (Stage.call._nextTilePosition):
3539         (Stage.call.tune):
3540         (Stage.call._drawBackground):
3541         (Stage.call.animate):
3542         (Stage.call.complexity):
3543         (Stage.call):
3544         * Animometer/tests/simple/tiled-canvas-image.html: Added.
3545
3546 2016-01-07  Jon Lee  <jonlee@apple.com>
3547
3548         Fix new test.
3549
3550         * Animometer/resources/runner/tests.js: Wrong URL from an
3551         old patch.
3552         * Animometer/tests/master/particles.html:
3553         * Animometer/tests/master/resources/dom-particles.js:
3554         (Particle.call.reset): Figured out a simpler way to set up
3555         the particles.
3556         (this.move.reset): Deleted.
3557         (this.move._applyAttributes): Deleted.
3558         * Animometer/tests/master/resources/particles.js:
3559         (Particle): Call move() after reset().
3560
3561 2016-01-07  Jon Lee  <jonlee@apple.com>
3562
3563         Update benchmark test suite
3564         https://bugs.webkit.org/show_bug.cgi?id=152679
3565
3566         Reviewed by Simon Fraser.
3567
3568         Add a new test. The test has a rotating background
3569         gradient, and does a better job physically simulating
3570         particles.
3571
3572         * Animometer/resources/extensions.js: Teach Point to take constants as well as other Points.
3573         (Point.prototype.length): Added.
3574         (Point.prototype.normalize): Added.
3575         * Animometer/resources/runner/tests.js: Add the test to the master suite.
3576         * Animometer/tests/master/particles.html: Added.
3577         * Animometer/tests/master/resources/particles.js: Added. Parent class for different kinds of particles.
3578         (Particle):
3579         (Particle.prototype.reset): If the particle starts slowing down in terms of its animation,
3580         reset it.
3581         (Particle.prototype.animate): Bounce off the walls elastically, and include gravity.
3582         (Particle.prototype.move): Subclasses should override.
3583         (ParticlesStage): Stage includes a rotating gradient background.
3584         * Animometer/tests/master/resources/dom-particles.js: Added. Creates a <div> and adds it to
3585         the stage.
3586         * Animometer/tests/resources/star.svg: Added.
3587
3588 2016-01-03  Jon Lee  <jonlee@apple.com>
3589
3590         Update benchmark test suite
3591         https://bugs.webkit.org/show_bug.cgi?id=152679
3592
3593         Reviewed by Simon Fraser.
3594
3595         Move algorithm.js and sampler.js to tests/ and benchmark-runner.js to runner/.
3596
3597         Needed by both harnesses.
3598         * Animometer/resources/runner/benchmark-runner.js: Renamed from PerformanceTests/Animometer/resources/debug-runner/benchmark-runner.js.
3599         * Animometer/developer.html:
3600         * Animometer/index.html:
3601
3602         Needed only by the tests. Move to tests/. Statistics, in sampler.js, is used by ResultsDashboard, so move that
3603         into extensions.js.
3604         * Animometer/resources/extensions.js:
3605         * Animometer/tests/resources/algorithm.js: Renamed from PerformanceTests/Animometer/resources/algorithm.js.
3606         * Animometer/tests/resources/sampler.js: Renamed from PerformanceTests/Animometer/resources/sampler.js.
3607         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
3608         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
3609         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3610         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3611         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
3612         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
3613         * Animometer/tests/master/canvas-stage.html:
3614         * Animometer/tests/misc/canvas-electrons.html:
3615         * Animometer/tests/misc/canvas-stars.html:
3616         * Animometer/tests/misc/compositing-transforms.html:
3617         * Animometer/tests/simple/simple-canvas-paths.html:
3618         * Animometer/tests/template/template-canvas.html:
3619         * Animometer/tests/template/template-css.html:
3620         * Animometer/tests/template/template-svg.html:
3621         * Animometer/tests/text/layering-text.html:
3622         * Animometer/tests/text/text-boxes.html:
3623
3624 2016-01-07  Jon Lee  <jonlee@apple.com>
3625
3626         Update benchmark test suite
3627         https://bugs.webkit.org/show_bug.cgi?id=152679
3628
3629         Reviewed by Simon Fraser.
3630
3631         Fix tests for other browsers.
3632
3633         * Animometer/resources/extensions.js:
3634         (Point.elementClientSize): Some browsers return 0 for SVG clientWidth and clientHeight.
3635         Use getBoundingClientRect() instead.
3636         * Animometer/tests/misc/resources/canvas-electrons.js:
3637         (CanvasElectron.prototype._draw): Some browsers don't support ellipse.
3638
3639 2016-01-07  Jon Lee  <jonlee@apple.com>
3640
3641         Add a waitUntilReady() step
3642         https://bugs.webkit.org/show_bug.cgi?id=152862
3643
3644         Reviewed by Simon Fraser.
3645
3646         Add a waitUntilReady() callback that lets the benchmark complete
3647         its setup before running the benchmark.
3648
3649         * Animometer/tests/resources/main.js:
3650         (Benchmark.prototype.run): First call waitUntilReady, which returns
3651         a promise. When the promise resolves, run everything that was in this
3652         function.
3653         (Benchmark.prototype.waitUntilReady): Default implementation returns
3654         a resolved promise.
3655         (Benchmark.prototype.resolveWhenFinished): Deleted.
3656         * Animometer/tests/template/resources/template-canvas.js:
3657         (new.TemplateCanvasStage.waitUntilReady): Example on how to override.
3658
3659 2016-01-03  Jon Lee  <jonlee@apple.com>
3660
3661         Update data reporting and analysis
3662         https://bugs.webkit.org/show_bug.cgi?id=152670
3663
3664         Reviewed by Simon Fraser.
3665
3666         Show new graph data. Provide controls to show different series data. Provide an
3667         interactive cursor that shows the data at a given sample.
3668
3669         * Animometer/developer.html: Add a nav section in #results. Each part of the graph
3670         has a checkbox for visual toggling, as well as companion spans to contain the data.
3671                 The numbers will always be shown even if the SVG isn't.
3672         * Animometer/resources/debug-runner/animometer.css:
3673         (#suites): Adjust spacing when doing fixed complexity.
3674         (#test-graph nav): Place the nav in the upper right corner.
3675         (#test-graph-data > svg): Fix the FPS scale from 0-60. It makes the raw FPS goes past
3676         that scale. Allow it to show.
3677         (.target-fps): Add a dotted line for where the benchmark is supposed to settle for FPS.
3678         (#cursor line): The cursor contains a line and highlight circles for the data being shown.
3679         (#cursor circle):
3680         (#complexity path): This and rules afterward are named by series type.
3681         (#complexity circle):
3682         (#filteredFPS path):
3683         (#filteredFPS circle):
3684         (#rawFPS path):
3685         (#intervalFPS circle):
3686         (.left-samples): Deleted.
3687         (.right-samples): Deleted.
3688         * Animometer/resources/debug-runner/animometer.js:
3689         (initialize): Add a "changed" listener when the checkboxes change in the nav.
3690         (onBenchmarkOptionsChanged): Renamed.
3691         (showTestGraph): All graph data is passed in as graphData instead of as arguments.
3692         * Animometer/resources/debug-runner/graph.js: Extend BenchmarkController. When showing
3693         a new graph, call updateGraphData(). It creates all of the d3 graphs. onGraphOptionsChanged()
3694         toggles the data on and off.
3695         (updateGraphData): Add the axes. Add the average lines and markers for sample time and
3696         target FPS. Add the cursor group. Use helper function addData() to add the data. On top of
3697         everything add a transparent area which will catch all of the mouse events. When the mouse
3698         moves in the graph, find the closest data point, show the data in the nav area, and highlight
3699         the data points.
3700         (addData): Adds a line and circle for each data point. Also adds a highlight cursor with a
3701         size a little larger than the circle radius for the data points.
3702         (onGraphOptionsChanged): Called when data is visually toggled.
3703         (showOrHideNodes): Helper function to toggle the .hidden class.
3704         * Animometer/resources/extensions.js:
3705         (ResultsDashboard.prototype.get data): Get rid of the arguments for _processData.
3706         (ResultsTable.prototype._addGraphButton): Shove all of the graph data into a singular object.
3707
3708         Producing the JSON can take a while with all of the data. Make it on-demand with a
3709         button.
3710
3711         * Animometer/resources/debug-runner/animometer.js:
3712         (showResults): When showing the results, don't serialize the JSON data. Move that to...
3713         (showJSONResults): ...here. Remove the button.
3714
3715         * Animometer/developer.html: Add a button. The button will remove itself and populate
3716         the textarea with the JSON data.
3717         * Animometer/resources/debug-runner/animometer.css:
3718         (.hidden): Add a universal hidden class.
3719         (#results button.small-button): Promote the small-button styles to the whole results
3720         section for use in the JSON button.
3721         (#results button.small-button:active):
3722         (#results-data button.small-button): Deleted.
3723         (#results-data button.small-button:active): Deleted.
3724
3725         Refactor how Animator does its recording.
3726
3727         * Animometer/tests/resources/math.js: Create a new, simple estimator that just returns
3728         the same interval frame rate for adjustment.
3729         * Animometer/tests/resources/main.js:
3730         (Animator): Remove _dropFrameCount, and make variables more accurate described.
3731         (Animator.prototype.initialize): Use the identity estimator instead of using a bool.
3732         (Animator.prototype._intervalTimeDelta): Rename, only used internally.
3733         (Animator.prototype._shouldRequestAnotherFrame): Assume we drop one frame for adjustment
3734         of the scene. If we are within the number of frames to measure for the interval, just
3735         record the timestamp. Otherwise we are ready to evaluate and adjust the scene. Record
3736         the interval frame rate and the estimator's frame rate.
3737
3738         Avoid processing the data through the Experiment while the test is running. Reconfigure
3739         the sampler to just record the raw samples. After the test is done, run the samples through
3740         the Experiment to get the score.
3741
3742         * Animometer/resources/sampler.js:
3743         (Experiment): Fold _init() into the constructor since nobody else will call it. This is not
3744         needed until the test concludes, so remove startSampling(). Clients should just call sample().
3745         (Sampler): Pre-allocate arrays given the number of data points being recorded, and a capacity
3746         of how many samples will be used. The processor is a called when it's time to process the data
3747         since that is the client also telling the Sampler what to record.
3748                 Introduce the notion of marks as well, which allows the client to mark when an
3749         event occurs. When we mark sample start, we can attach the timestamp there, instead of storing
3750         it separately.
3751         (Sampler.prototype.startSampling): Deleted. Clients should just call record().
3752         (Sampler.prototype.record): The data to record is passed in as variable arguments.
3753         (Sampler.prototype.mark): When adding a mark, a client needs to provide a unique string, and
3754         can provide extra data object for later retrieval.
3755         (Sampler.prototype.process): Renamed from toJSON. Trim the sampling arrays to what was used.
3756         Call the processor to process the samples.
3757         * Animometer/resources/debug-runner/benchmark-runner.js:
3758         (BenchmarkRunner.prototype._runBenchmarkAndRecordResults): Call process().
3759
3760         * Animometer/resources/strings.js: Add some new strings, remove the graph ones since they are
3761         not used.
3762         * Animometer/tests/resources/main.js:
3763         (Benchmark): Create a sampler with 4 series. The maximum number of points expected is the
3764         number of seconds multiplied by 60 fps. Benchmark, as a client of the Sampler, knows about all
3765         of the data being added to the Sampler. It is added through record(), and processed through
3766         processSamples().
3767         (Benchmark.prototype.update): Mark when we've passed warmup and are starting to sample. Include
3768         the timestamp in the custom data for the mark. This avoids the need to store is separately in
3769         the Sampler. Fold what was in record() here, since nothing else needs this functionality.
3770         record() now just relays the information to the sampler.
3771         (Benchmark.prototype.record): Called by Animator, which provides the data to the sampler.
3772         Animator's calls to this is part of a later patch. Requires each stage to return its complexity.
3773         (Benchmark.prototype.processSamples): If the sampling mark exists, add it to the results.
3774                 Go through all of the samples. All samples contain a timestamp and complexity. We
3775         calculate "raw FPS" which is the time differential from the previous sample. At regular intervals
3776         the Kalman-filtered FPS and the interval average FPS are also recorded. We also create two
3777         experiments, to get the scores for the complexity and smoothed FPS, and add those samples to
3778         the experiments. Grab those scores and add them into results also.
3779
3780         Add complexity() to the tests for Benchmark.record().
3781         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3782         * Animometer/tests/misc/resources/canvas-electrons.js:
3783         * Animometer/tests/misc/resources/canvas-stars.js:
3784         * Animometer/tests/text/resources/layering-text.js:
3785
3786 2015-12-27  Jon Lee  <jonlee@apple.com>
3787
3788         Simplify the test harness
3789         https://bugs.webkit.org/show_bug.cgi?id=152562
3790
3791         Reviewed by Simon Fraser.
3792
3793         Update the simple canvas tests. For the paths, start from the center instead of the
3794         top-left corner. Instead of using a coordinate limit, use a canonized factor, and
3795         use that along both the x and y axes, so that more capable tests use more of the
3796         canvas.
3797
3798         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3799         (CanvasLinePoint): Rewrite to use the coordinate maximum factor.
3800         (CanvasQuadraticPoint): Ditto.
3801         (CanvasBezierPoint): Ditto.
3802         * Animometer/tests/simple/resources/simple-canvas.js:
3803         (tune): Calculate a factor instead of a maximum coordinate.
3804
3805 2015-12-27  Jon Lee  <jonlee@apple.com>
3806
3807         Simplify the test harness
3808         https://bugs.webkit.org/show_bug.cgi?id=152562
3809
3810         Reviewed by Simon Fraser.
3811
3812         All of the benchmarks use the default Animator(). Don't require new tests
3813         to pass a new instance, and instead just make one in the Benchmark constructor.
3814
3815         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3816         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3817         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3818         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3819         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3820         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3821         * Animometer/tests/master/resources/canvas-tests.js:
3822         * Animometer/tests/misc/resources/canvas-electrons.js:
3823         * Animometer/tests/misc/resources/canvas-stars.js:
3824         * Animometer/tests/misc/resources/compositing-transforms.js:
3825         * Animometer/tests/resources/main.js:
3826         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3827         * Animometer/tests/template/resources/template-canvas.js:
3828         * Animometer/tests/template/resources/template-css.js:
3829         * Animometer/tests/template/resources/template-svg.js:
3830         * Animometer/tests/text/resources/layering-text.js:
3831         * Animometer/tests/text/resources/text-boxes.js:
3832
3833         Refactor the template.
3834
3835         * Animometer/tests/template/resources/template-canvas.js:
3836         * Animometer/tests/template/resources/template-css.js:
3837         * Animometer/tests/template/resources/template-svg.js: