More IndexedDB perf tests.
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-12-10  Brady Eidson  <beidson@apple.com>
2
3         More IndexedDB perf tests.
4         https://bugs.webkit.org/show_bug.cgi?id=165634
5
6         Reviewed by Sam Weinig.
7
8         * IndexedDB/index-multientry.html:
9         * IndexedDB/large-number-of-inserts-responsiveness.html: Added.
10         * IndexedDB/large-number-of-inserts.html: Added.
11         * IndexedDB/objectstore-cursor.html: Added.
12         
13         * resources/runner.js: Add "track responsiveness" functionality to PerfTestRunner.
14
15 2016-12-06  Filip Pizlo  <fpizlo@apple.com>
16
17         Concurrent GC should be stable enough to land enabled
18         https://bugs.webkit.org/show_bug.cgi?id=164990
19
20         Reviewed by Geoffrey Garen.
21         
22         Made CDjs more configurable and refined the "large.js" configuration. I was using that one and
23         the new "long.js" configuration to tune concurrent eden GCs.
24         
25         Added a new way of running Splay in browser, which using chartjs to plot the execution times of
26         2000 iterations. This includes the minified chartjs.
27
28         * JetStream/Octane2/splay-detail.html: Added.
29         * JetStream/cdjs/benchmark.js:
30         (benchmarkImpl):
31         (benchmark):
32         * JetStream/cdjs/long.js: Added.
33
34 2016-12-07  Brady Eidson  <beidson@apple.com>
35
36         Add IDB perf tests stressing key size.
37         https://bugs.webkit.org/show_bug.cgi?id=165567
38
39         Reviewed by Alex Christensen.
40
41         * IndexedDB/large-array-keys.html: Added.
42         * IndexedDB/large-binary-keys.html: Added.
43         * IndexedDB/large-string-keys.html: Added.
44
45 2016-12-05  Brady Eidson  <beidson@apple.com>
46
47         Add an IndexedDB perf test to PerformanceTests.
48         https://bugs.webkit.org/show_bug.cgi?id=165430
49
50         Reviewed by Alex Christensen.
51
52         * IndexedDB/index-multientry.html: Added.
53
54 2016-12-02  Filip Pizlo  <fpizlo@apple.com>
55
56         ES6SampleBench should report an average for Steady State so that all of the numbers are comparable
57         https://bugs.webkit.org/show_bug.cgi?id=165325
58
59         Reviewed by Saam Barati.
60
61         This makes all of the numbers that ES6SampleBench reports comparable to each other: they all speak of the time
62         it took to run an iteration of something.
63
64         * ES6SampleBench/results.js:
65         (Results.prototype.reportResult):
66
67 2016-11-18  Jer Noble  <jer.noble@apple.com>
68
69         Add some performance tests for various aspects of media loading and playback.
70         https://bugs.webkit.org/show_bug.cgi?id=164977
71
72         Reviewed by Darin Adler.
73
74         Add new tests for a few aspects of media playback; namely: how quickly  media elements fire
75         the "canplaythrough" event when all data is immediately available, how quickly HLS playback
76         switches resolutions, and at what playback rate MSE-backed video can play without dropping
77         frames. Skip these tests by default, as they're not runnable on all ports, and they require
78         a webserver (run-webkit-httpd) to complete on macOS.
79
80         * Media/HLSCanPlayThrough.html: Added.
81         * Media/HLSGearChange.html: Added.
82         * Media/MSECanPlayThrough.html: Added.
83         * Media/MSEPlaybackRate.html: Added.
84         * Media/StandardCanPlayThrough.html: Added.
85         * Media/hls/1080p/iframe_index.m3u8: Added.
86         * Media/hls/1080p/prog_index.m3u8: Added.
87         * Media/hls/1080p/test.ts: Added.
88         * Media/hls/480p/iframe_index.m3u8: Added.
89         * Media/hls/480p/prog_index.m3u8: Added.
90         * Media/hls/480p/test.ts: Added.
91         * Media/hls/720p/iframe_index.m3u8: Added.
92         * Media/hls/720p/prog_index.m3u8: Added.
93         * Media/hls/720p/test.ts: Added.
94         * Media/hls/720p/test.ts.back: Added.
95         * Media/hls/index.m3u8: Added.
96         * Media/media-source-loader.js: Added.
97         (MediaSourceLoader):
98         (MediaSourceLoader.prototype.loadManifest):
99         (MediaSourceLoader.prototype.loadManifestSucceeded):
100         (MediaSourceLoader.prototype.loadManifestFailed):
101         (MediaSourceLoader.prototype.loadMediaData):
102         (MediaSourceLoader.prototype.loadMediaDataSucceeded):
103         (MediaSourceLoader.prototype.loadMediaDataFailed):
104         (MediaSourceLoader.prototype.get type):
105         (MediaSourceLoader.prototype.get duration):
106         (MediaSourceLoader.prototype.get initSegment):
107         (MediaSourceLoader.prototype.get mediaSegmentsLength):
108         (MediaSourceLoader.prototype.mediaSegments):
109         (MediaSourceLoader.prototype.get everyMediaSegment):
110         * Media/test-fragmented-video.json: Added.
111         * Media/test-fragmented-video.mp4: Added.
112         * Media/test.mp4: Added.
113         * Skipped:
114
115 2016-11-18  Filip Pizlo  <fpizlo@apple.com>
116
117         Concurrent GC should be able to run splay in debug mode and earley/raytrace in release mode with no perf regression
118         https://bugs.webkit.org/show_bug.cgi?id=164282
119
120         Reviewed by Geoffrey Garen and Oliver Hunt.
121         
122         CDjs is a fun benchmark for stressing concurrent GCs, but to really give the GC a good
123         workout you need to increase the amount of work that the test does. This adds a second
124         configuration of the benchmark that has more aircraft. It uses much more memory and causes us
125         to do more GCs and those GCs take longer.
126
127         * JetStream/cdjs/benchmark.js:
128         (benchmarkImpl):
129         (benchmark):
130         * JetStream/cdjs/large.js: Added.
131
132 2016-11-14  Filip Pizlo  <fpizlo@apple.com>
133
134         Unreviewed, revert unintended change.
135
136         * ES6SampleBench/Air/benchmark.js:
137
138 2016-10-03  Saam Barati  <sbarati@apple.com>
139
140         MapHash should speculate on the type of its child node
141         https://bugs.webkit.org/show_bug.cgi?id=161922
142
143         Reviewed by Filip Pizlo.
144
145         I gave the main generator a name so it's easier to see what
146         it is when using the sampling profiler.
147
148         * ES6SampleBench/Basic/ast.js:
149         (Basic.Program):
150
151 2016-09-19  Sergio Villar Senin  <svillar@igalia.com>
152
153         [css-grid] Remove the x2 computation of row sizes with indefinite heights
154         https://bugs.webkit.org/show_bug.cgi?id=162150
155
156         Reviewed by Darin Adler.
157
158         Added a new test case which checks the layout performance of grids inside other grids, i.e,
159         grids acting both as grid container and grid item.
160
161         * Layout/nested-grid.html: Added.
162
163 2016-09-09  Simon Fraser  <simon.fraser@apple.com>
164
165         Perf test Animation/css-accelerated-animation.html failing
166         https://bugs.webkit.org/show_bug.cgi?id=161795
167
168         Skip Animation/css-accelerated-animation.html since this only works as a MobileSafari
169         perf test.
170
171         * Skipped:
172
173 2016-09-08  Simon Fraser  <simon.fraser@apple.com>
174
175         Add a content-animation test with accelerated CSS animations
176         https://bugs.webkit.org/show_bug.cgi?id=161776
177
178         Reviewed by Dean Jackson.
179
180         Add a test that measures the frame rate of accelerated CSS animations.
181
182         This is like css-animation.html (which animates 'left' and 'top') but animates
183         transforms instead. In order to get animation in X and Y we make two nested elements
184         and set transformX() on one, and transformY() on the other.
185
186         * Animation/css-accelerated-animation.html: Added.
187
188 2016-08-23  Saam Barati  <sbarati@apple.com>
189
190         It should be easy to run ES6SampleBench from the jsc shell
191         https://bugs.webkit.org/show_bug.cgi?id=161085
192
193         Reviewed by Yusuke Suzuki.
194
195         This patch makes ES6 sample bench runnable through the `jsc` shell.
196         To do that, you need to be in the PerformanceTests/ES6SampleBench
197         directory and run `jsc cli.js`. To make this work, the benchmark
198         is now aware of being run in two modes: via the browser, and via
199         the shell. Each entry point will set a variable `isInBrowser`,
200         and the benchmark will do different things based on if that
201         variable is true or false.
202
203         * ES6SampleBench/Air/benchmark.js:
204         * ES6SampleBench/Air/stress-test.js:
205         * ES6SampleBench/Basic/benchmark.js:
206         (runBenchmark):
207         * ES6SampleBench/Basic/stress-test.js:
208         * ES6SampleBench/air_benchmark.js:
209         * ES6SampleBench/basic_benchmark.js:
210         * ES6SampleBench/cli.js: Added.
211         (return.doRun):
212         (makeBenchmarkRunner):
213         * ES6SampleBench/driver.js:
214         (Driver):
215         (Driver.prototype._recomputeSummary):
216         (Driver.prototype._iterate.window.setTimeout):
217         (Driver.prototype._iterate):
218         (Driver.prototype._updateIterations):
219         * ES6SampleBench/glue.js:
220         (reportResult):
221         * ES6SampleBench/index.html:
222         * ES6SampleBench/results.js:
223         (Results):
224         (Results.prototype.reportRunning):
225         (Results.prototype.reportDone):
226         (Results.prototype.reportError):
227         * ES6SampleBench/stats.js:
228         (Stats):
229         (Stats.prototype.toString):
230         (Stats.prototype._update):
231
232 2016-08-01  Said Abou-Hallawa  <sabouhallawa@apple.com>
233
234         Add an option to run the MotionMark tests with classic tile size (512x512)
235         https://bugs.webkit.org/show_bug.cgi?id=160371
236
237         Reviewed by Darin Adler.
238
239         Setting the body to large size (3000x3000) and overflow to scroll forces
240         the classic tile size (512x512). This option does not affect the canvas
241         tests because the canvas is displayed on one tile regardless of its size.
242
243         * Animometer/developer.html:
244         * Animometer/resources/debug-runner/animometer.css:
245         (body.showing-test-container.tiles-big):
246         (body.showing-test-container.tiles-classic):
247         * Animometer/resources/debug-runner/animometer.js:
248         * Animometer/resources/runner/animometer.js:
249         (window.benchmarkController.startBenchmark):
250
251 2016-06-29  Filip Pizlo  <fpizlo@apple.com>
252
253         Generators violate bytecode liveness validation
254         https://bugs.webkit.org/show_bug.cgi?id=159279
255
256         Reviewed by Yusuke Suzuki.
257
258         Add Basic to our test harness.
259
260         Also made some cosmetic changes to the benchmark harness.
261
262         * ES6SampleBench/Basic/basic-tests.yaml: Added.
263         * ES6SampleBench/Basic/stress-test.js: Added.
264         (preciseTime):
265         * ES6SampleBench/driver.js:
266         (Driver):
267         (Driver.prototype.start):
268         (Driver.prototype.reportError):
269         * ES6SampleBench/glue.js:
270         * ES6SampleBench/index.html:
271
272 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
273
274         ES6SampleBench should have a harness
275         https://bugs.webkit.org/show_bug.cgi?id=159246
276
277         Reviewed by Saam Barati.
278         
279         This adds a simple web harness for ES6SampleBench. It runs Air and Basic 10 times for 200
280         iterations each and reports three metrics:
281         
282         First iteration: the time it takes for the first iteration to run. This is the first
283         iteration after the benchmark is loaded into the iframe, so it's representative of what
284         would happen if one of these workloads only ran for a short time.
285         
286         Worst 2%: of the last 199 iterations, the average of the worst 2% iterations. If code like
287         any of these workloads was used in an important event handler, you'd want that code to run
288         well in the worst case in addition to having great throughput.
289         
290         Steady state: the total of the last 199 iterations. This is representative of what would
291         happen if you ran code like this for a long time.
292         
293         The total score is the geomean of the firstIteration/worstCase/steadyState numbers of the
294         two benchmarks.
295         
296         The harness does statistics using Student's T-distribution confidence intervals.
297
298         * ES6SampleBench/Basic/benchmark.js:
299         (Benchmark):
300         * ES6SampleBench/air_benchmark.js: Added.
301         * ES6SampleBench/basic_benchmark.js: Added.
302         * ES6SampleBench/driver.js: Added.
303         (Driver):
304         (Driver.prototype.addBenchmark):
305         (Driver.prototype.start):
306         (Driver.prototype.reportResult):
307         (Driver.prototype.reportError):
308         (Driver.prototype._recomputeSummary.Geomean):
309         (Driver.prototype._recomputeSummary.Geomean.prototype.add):
310         (Driver.prototype._recomputeSummary.Geomean.prototype.get result):
311         (Driver.prototype._recomputeSummary):
312         (Driver.prototype._iterate):
313         (Driver.prototype._updateIterations):
314         * ES6SampleBench/glue.js: Added.
315         * ES6SampleBench/index.html: Added.
316         * ES6SampleBench/results.js: Added.
317         (Results):
318         (Results.prototype.get benchmark):
319         (Results.prototype.reset):
320         (Results.prototype.reportRunning):
321         (Results.prototype.reportDone):
322         (Results.prototype.reportResult.averageAbovePercentile):
323         (Results.prototype.reportResult):
324         (Results.prototype.reportError):
325         * ES6SampleBench/stats.js: Added.
326         (Stats):
327         (Stats.prototype.reset):
328         (Stats.prototype.add):
329         (Stats.prototype.get numIterations):
330         (Stats.prototype.valueForIteration):
331         (Stats.get result.tDist):
332         (Stats.prototype.get result):
333         (Stats.prototype.toString):
334         (Stats.prototype._update):
335         * ES6SampleBench/style.css: Added.
336         (body):
337         (body, th, tr):
338         (h1, h2, h3, h4):
339         (h1):
340         (h2):
341         (h3):
342         (hr):
343         (address):
344         (img):
345         (.underline):
346         (ol.loweralpha):
347         (ol.upperalpha):
348         (ol.lowerroman):
349         (ol.upperroman):
350         (ol.arabic):
351         (.banner-link:link, .banner-link:visited):
352         (:link, :visited):
353         (h4 :link, h4 :visited, h5 :link, h5 :visited, h6 :link, h6 :visited):
354         (.anchor:link, .anchor:visited):
355         (* > .anchor:link, * > .anchor:visited):
356         (span:hover .anchor):
357         (a.forbidden, span.forbidden):
358         (a.missing:hover):
359         (a.closed:link, a.closed:visited, span.closed):
360         (pre):
361         (div.code):
362         (div.code pre):
363         (dt):
364         (dd):
365         (dd:last-child):
366         (.site-logo):
367         (.site-logo .tagline):
368         (table):
369         (#contents):
370         (p):
371         (p:last-child):
372         (th):
373         (td):
374
375 2016-06-28  Jon Lee  <jonlee@apple.com>
376
377         Update focus test
378         https://bugs.webkit.org/show_bug.cgi?id=159242
379         rdar://problem/27070007
380
381         Reviewed by Dean Jackson.
382         Provisionally reviewed by Said Abou-Hallawa.
383
384         Move previous test to dom suite, and update the test for better reporting of frame rate, although
385         it uses a different rendering path.
386
387         * Animometer/resources/debug-runner/tests.js: Add to dom suite.
388         * Animometer/tests/dom/focus.html: Copied from PerformanceTests/Animometer/tests/master/focus.html.
389         * Animometer/tests/dom/resources/focus.js: Copied from PerformanceTests/Animometer/tests/master/resources/focus.js.
390         * Animometer/tests/master/focus.html: Remove center element.
391         * Animometer/tests/master/resources/focus.js: Use narrower size range with smaller particles. Remove the
392         container elements. Inline getBlurValue and getOpacityValue since they are only called once.
393
394 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
395
396         Move Air.js and Basic into ES6SampleBench
397
398         Rubber stamped by Geoffrey Garen.
399         
400         We want to group our ES6 benchmarks together, and eventually, we want to give them a
401         common harness.
402
403         * Air.js: Removed.
404         * Air.js/README.md: Removed.
405         * Air.js/airjs-tests.yaml: Removed.
406         * Air.js/all.js: Removed.
407         * Air.js/allocate_stack.js: Removed.
408         * Air.js/arg.js: Removed.
409         * Air.js/basic_block.js: Removed.
410         * Air.js/benchmark.js: Removed.
411         * Air.js/code.js: Removed.
412         * Air.js/custom.js: Removed.
413         * Air.js/frequented_block.js: Removed.
414         * Air.js/insertion_set.js: Removed.
415         * Air.js/inst.js: Removed.
416         * Air.js/liveness.js: Removed.
417         * Air.js/make_dist.sh: Removed.
418         * Air.js/opcode.js: Removed.
419         * Air.js/payload-airjs-ACLj8C.js: Removed.
420         * Air.js/payload-gbemu-executeIteration.js: Removed.
421         * Air.js/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
422         * Air.js/payload-typescript-scanIdentifier.js: Removed.
423         * Air.js/reg.js: Removed.
424         * Air.js/stack_slot.js: Removed.
425         * Air.js/stress-test.js: Removed.
426         * Air.js/strip-hash.rb: Removed.
427         * Air.js/symbols.js: Removed.
428         * Air.js/test.html: Removed.
429         * Air.js/test.js: Removed.
430         * Air.js/tmp.js: Removed.
431         * Air.js/tmp_base.js: Removed.
432         * Air.js/util.js: Removed.
433         * Basic: Removed.
434         * Basic/ast.js: Removed.
435         * Basic/basic.js: Removed.
436         * Basic/benchmark.js: Removed.
437         * Basic/caseless_map.js: Removed.
438         * Basic/lexer.js: Removed.
439         * Basic/number.js: Removed.
440         * Basic/parser.js: Removed.
441         * Basic/random.js: Removed.
442         * Basic/state.js: Removed.
443         * Basic/test.html: Removed.
444         * Basic/test.js: Removed.
445         * Basic/util.js: Removed.
446         * ES6SampleBench: Added.
447         * ES6SampleBench/Air: Copied from PerformanceTests/Air.js.
448         * ES6SampleBench/Basic: Copied from PerformanceTests/Basic.
449         * Skipped:
450
451 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
452
453         Add a ES6 generator benchmark
454         https://bugs.webkit.org/show_bug.cgi?id=159101
455
456         Rubber stamped by Keith Miller.
457         
458         This adds a Basic interpreter loosely based on ECMA-55:
459         
460         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
461         
462         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
463         walk interpreter where the walking functions for statements are generators that call each
464         other with yield*. This enables the interpreter to look like an AST walk even though it can
465         yield at INPUT and PRINT statements.
466         
467         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
468         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
469         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
470         parser.rb for example.
471         
472         The benchmark runs a handful of simple Basic programs. The longest-running one computes
473         prime numbers.
474         
475         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
476
477         * Basic: Added.
478         * Basic/ast.js: Added.
479         (Basic.NumberApply):
480         (Basic.Variable):
481         (Basic.Const):
482         (Basic.NumberPow):
483         (Basic.NumberMul):
484         (Basic.NumberDiv):
485         (Basic.NumberNeg):
486         (Basic.NumberAdd):
487         (Basic.NumberSub):
488         (Basic.StringVar):
489         (Basic.Equals):
490         (Basic.NotEquals):
491         (Basic.LessThan):
492         (Basic.GreaterThan):
493         (Basic.LessEqual):
494         (Basic.GreaterEqual):
495         (Basic.GoTo):
496         (Basic.GoSub):
497         (Basic.Def):
498         (Basic.Let):
499         (Basic.If):
500         (Basic.Return):
501         (Basic.Stop):
502         (Basic.On):
503         (sideState.shouldStop):
504         (Basic.For):
505         (Basic.Next):
506         (Basic.Print):
507         (Basic.Input):
508         (Basic.Read):
509         (Basic.Restore):
510         (Basic.Dim):
511         (Basic.Randomize):
512         (Basic.End):
513         (Basic.Program):
514         * Basic/basic.js: Added.
515         (prepare):
516         (simulate):
517         * Basic/benchmark.js: Added.
518         (Benchmark):
519         (Benchmark.prototype.runIteration.expect):
520         (Benchmark.prototype.runIteration):
521         (runBenchmark):
522         * Basic/caseless_map.js: Added.
523         (CaselessMap):
524         * Basic/lexer.js: Added.
525         (lex.consumeWhitespace):
526         (lex.consume):
527         (lex):
528         * Basic/lexer_test.js: Added.
529         * Basic/number.js: Added.
530         (NumberValue):
531         (NumberValue.prototype.get value):
532         (NumberValue.prototype.apply):
533         (NumberValue.prototype.leftApply):
534         (NumberValue.prototype.assign):
535         (NumberArray.):
536         (NumberArray):
537         (NumberArray.prototype.apply):
538         (NumberArray.prototype.leftApply):
539         (NumberFunction):
540         (NumberFunction.prototype.apply):
541         (NumberFunction.prototype.leftApply):
542         (NativeFunction):
543         (NativeFunction.prototype.apply):
544         (NativeFunction.prototype.leftApply):
545         * Basic/parser.js: Added.
546         (parse):
547         (parse.pushToken):
548         (parse.peekToken):
549         (parse.consumeKind):
550         (parse.consumeToken):
551         (parse.parseVariable):
552         (parse.parseNumericExpression.parsePrimary):
553         (parse.parseNumericExpression.parseFactor):
554         (parse.parseNumericExpression.parseTerm):
555         (parse.parseNumericExpression):
556         (parse.parseConstant):
557         (parse.parseStringExpression):
558         (parse.isStringExpression):
559         (parse.parseRelationalExpression):
560         (parse.parseNonNegativeInteger):
561         (parse.parseGoToStatement):
562         (parse.parseGoSubStatement):
563         (parse.parseStatement):
564         (parse.parseStatements):
565         * Basic/random.js: Added.
566         (createRNG):
567         (createRNGWithFixedSeed):
568         (createRNGWithRandomSeed):
569         * Basic/state.js: Added.
570         (State):
571         (State.prototype.getValue):
572         (State.prototype.getSideState):
573         (State.prototype.abort):
574         (State.prototype.validate):
575         * Basic/test.html: Added.
576         * Basic/test.js: Added.
577         * Basic/util.js: Added.
578         (this.performance.performance.now.currentTime):
579         (else.this.preciseTime.currentTime):
580         (else.currentTime):
581         * Skipped: Make sure that we don't run Basic yet.
582
583 2016-06-21  Jon Lee  <jonlee@apple.com>
584
585         Update canvas size when benchmark begins
586         https://bugs.webkit.org/show_bug.cgi?id=159010
587
588         Reviewed by Dean Jackson.
589
590         Previously we would evaluate the media queries and assign the canvas size to the test
591         on body.onload. Instead, do it once the user starts the benchmark.
592
593         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
594         to benchmarkController._startBenchmark.
595         * Animometer/resources/runner/animometer.js: Ditto.
596
597 2016-06-21  Jon Lee  <jonlee@apple.com>
598
599         Add new timestamp option
600         https://bugs.webkit.org/show_bug.cgi?id=159006
601
602         Reviewed by Dean Jackson.
603
604         Add a new option to take timestamps from the rAF callback.
605
606         * Animometer/developer.html: Added option.
607         * Animometer/tests/resources/main.js:
608         (Benchmark): Fall back to using the rAF timestamp if performance.now()
609         is not available.
610         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
611         local var instead of accessing private var.
612
613 2016-06-21  Jon Lee  <jonlee@apple.com>
614
615         Improvements to Animometer benchmark
616         https://bugs.webkit.org/show_bug.cgi?id=157738
617
618         Reviewed by Dean Jackson.
619         Provisionally reviewed by Said Abou-Hallawa.
620
621         Update tests.
622
623         * Animometer/tests/master/text.html: Ensure only three text sizes for
624         the three canvases.
625         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
626         particle sizes.
627         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
628         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
629         reduce some calculations per frame. Fix the placement of the particles which might
630         otherwise be culled.
631         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
632         to encourage larger scores.
633
634 2016-06-21  Jon Lee  <jonlee@apple.com>
635
636         Improvements to Animometer benchmark
637         https://bugs.webkit.org/show_bug.cgi?id=157738
638
639         Reviewed by Dean Jackson.
640         Provisionally reviewed by Said Abou-Hallawa.
641
642         Include confidence interval for the final score, and store the canvas
643         size in the serialization so that it is accurately shown in results.
644
645         * Animometer/developer.html: Add a "confidence" div.
646         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
647         * Animometer/resources/debug-runner/animometer.js: Look at options, and
648         if the configuration is included, update the body class based on it
649         (similar to what we do when we first load the page). That way, if you
650         drag-and-drop previous results in, that configuration is reflected in
651         the dashboard. Show the full confidence interval.
652
653         * Animometer/resources/debug-runner/animometer.css:
654         * Animometer/resources/debug-runner/animometer.js: Style update.
655         * Animometer/resources/runner/animometer.css:
656
657         * Animometer/resources/runner/animometer.js:
658         (_processData): Propagate the confidence interval values out and calculate
659         the lower and upper bounds. For now, shortcut the aggregate calculation,
660         since we only go through one iteration.
661         (this._processData.calculateScore): Propagate the confidence interval out
662         to be next to the score. Depending on the controller these values are
663         calculated differently.
664         (this._processData._getResultsProperty): Convenience function.
665         (this._processData.get score): Refactor.
666         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
667         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
668         (window.sectionsManager.setSectionScore):
669         (window.benchmarkController._startBenchmark): When the benchmark starts, note
670         the canvas size and add it to options. That way it will be automatically be
671         serialized.
672         (window.benchmarkController.showResults): Include the maximum deviation
673         percentage.
674         * Animometer/resources/runner/lines.svg: Make the background line up with the
675         skew.
676         * Animometer/resources/runner/tests.js:
677         (Headers.details.text): Refactor.
678         * Animometer/resources/statistics.js:
679         (Statistics.largestDeviationPercentage): Convenience function to calculate
680         the deviation percentage on either end and return the largest deviation.
681         * Animometer/resources/strings.js:
682
683         Allow specifying a regression profile to use instead of taking the one
684         with the lowest error.
685
686         Address an issue in the focus test when the regression calculated ends
687         up overestimating the change point, causing a cascade of tougher
688         ramps. The reason behind this is that at max complexity of an initial
689         ramp, the frame length is very high, and it influences the second
690         segment of the piecewise regression strongly, causing it to be very
691         steep. As a result, the first segment, expected to be flat, ends up
692         covering a higher range of complexity. That makes the change point
693         much higher than it should be. To avoid this, we will add a sanity
694         check on the maximum value of the ramp. If the regression's projected
695         value at the maximum complexity of the current ramp is very slow (less
696         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
697         include the regression's change point in the change point estimator.
698         That estimator is used as the midpoint of the next ramp, and including
699         the change point from a poor regression can bake in the error. The
700         controller already knows how to adjust for ramps that are too easy for
701         the system.
702
703         * Animometer/resources/runner/animometer.js:
704         (this._processData.findRegression): Takes a preferred profile and gives that to
705         Regression.
706         (this._processData.calculateScore): With the ramp controller, take the profile
707         of the ramp that was used the most when calculating the ramp's regression. That
708         profile is what is used for the test's score.
709         * Animometer/resources/statistics.js:
710         (Regression.Utilities.createClass): Update to take an options object which can
711         specify a profile to calculate with. Otherwise it will continue to use both and
712         select the one with the lower error.
713         (_calculateRegression): Fix an issue where we claim 0 error if the regression
714         calculation fails due to divide-by-zero. Instead reject that regression calculation
715         by giving it Number.MAX_VALUE.
716         * Animometer/resources/strings.js: New strings for marking a regression as flat
717         or slope.
718         * Animometer/tests/resources/main.js:
719         (RampController): Rename the thresholds for clarity. Add a threshold that, if
720         exceeded, will lower the maximum complexity of the next ramp.
721         (tune): Relax the cdf check to consider whether the interval definitely falls in
722         the desired frame length threshold.
723         (processSamples): Include the profile in the ramp.
724
725         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
726         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
727
728         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
729         by default.
730         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
731         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
732         the order in which they appear in the patch:
733
734         - With a longer test length use longer ramps with longer intervals to get more data at each
735         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
736         spend more time there to find the right order of magnitude, but increase it during the
737         ramps to 120 ms.
738         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
739         never sample the minimum complexity. Instead of lerping max to min complexity from time
740         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
741         we can have at least one interval sample at the min complexity for that ramp.
742         - Some regression calculations only come out with one line segment rather than the two
743         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
744         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
745         we ensure that at least part of the ramp is covering a complexity range that the system can
746         handle at full 60.
747         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
748
749         Update the format used to serialize the results for analysis.
750
751         Each data point used to have named properties for fields like complexity and frame rate.
752         In addition the serialized numbers had rounding errors that took up many characters.
753         Update the format by introducing a new data container called SampleData, which contains a
754         field map. The map maps a string to an array index. Each data point is an array, so, to
755         get a stat, use the field map to get the array index into the data point. This allows future
756         versions to track other data, and reduces the size of the output string by two-thirds.
757
758         * Animometer/resources/extensions.js:
759         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
760         precision, and converts it back to a number.
761         (SampleData): New class that contains sample data and a field map that maps properties to
762         an array index.
763         (get length): Number of data points.
764         (addField): Add a field to the field map.
765         (push): Add a data point.
766         (sort): Sort the data.
767         (slice): Return new SampleData object with sliced data.
768         (forEach): Iterate over the data with provided function.
769         (createDatum):
770         (getFieldInDatum): Returns the data point associated with the field name by looking it up
771         in the field map in the datum provided, which can be the datum object itself (an array) or
772         an index into the data member variable.
773         (setFieldInDatum): Sets the data point associated with the field name.
774         (at): Returns the data point at the provided index.
775         (toArray): Serializes the data where the field map serves as property names for each point.
776
777         * Animometer/resources/debug-runner/graph.js:
778         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
779         graph to use, since the old format was much easier to work with when displaying the graphs.
780         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
781         * Animometer/resources/runner/animometer.css:
782         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
783         to only go to 3 digits of precision for purposes of reducing the data size.
784         * Animometer/resources/strings.js: Add new strings to put into the field maps.
785         * Animometer/tests/resources/main.js: Refactor to use SampleData.
786
787         * Animometer/developer.html:
788         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
789         tests.js include.
790         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
791         * Animometer/resources/debug-runner/graph.js:
792         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
793         controller, since not all controllers do bootstrapping.
794         * Animometer/resources/debug-runner/tests.js: Update header text.
795         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
796         * Animometer/resources/runner/animometer.js:
797         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
798         (ResultsTable._addBody): Add tbody element.
799         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
800         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
801         * Animometer/resources/runner/tests.js:
802         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
803         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
804         on either side of the bootstrap median.
805         * Animometer/resources/statistics.js:
806         (bootstrap): Include the confidence percentage in the return object.
807
808         Report canvas size in results.
809
810         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
811         canvas was used.
812         * Animometer/index.html: Ditto.
813         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
814         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
815         body class size.
816         * Animometer/resources/runner/animometer.js:
817         (window.benchmarkController.initialize): Update styles to set the canvas based on the
818         body class size.
819         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
820         class based on the size of the device.
821
822         * Animometer/developer.html: Refactor to include the main CSS file, and redo
823         the layout so that it doesn't rely on flexbox.
824         * Animometer/resources/debug-runner/animometer.css:
825         * Animometer/resources/debug-runner/animometer.js:
826         (updateDisplay): Since various parts of the script alter the body class, we can't
827         replace the className directly. Instead, remove all display-based values and then add
828         the one that was selected.
829         * Animometer/resources/debug-runner/graph.js:
830         (updateGraphData): To set the size of the graph, use window.innerHeight.
831         * Animometer/resources/runner/animometer.js:
832         (window.sectionsManager.showSection): Since various parts of the script alter the body
833         class, we can't replace the className directly. Remove all of the section classes
834         individually and then add the one desired.
835         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
836         stage.
837
838 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
839
840         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
841         https://bugs.webkit.org/show_bug.cgi?id=158674
842
843         Reviewed by Michael Saboff.
844         
845         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
846         Math.floor(x / 3) * 3 instead.
847         
848         This is a benign change, because having extra arguments to a Shuffle is not something we
849         actually take advantage of yet. But I think it's best to match the original C++ code's
850         intent.
851
852         * Air.js/custom.js:
853         (const.ShuffleCustom.forEachArg):
854
855 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
856
857         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
858
859         * Skipped:
860
861 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
862
863         Make it easy to package Air.js
864         https://bugs.webkit.org/show_bug.cgi?id=158652
865
866         Reviewed by Benjamin Poulain.
867         
868         If you want to give Air.js to someone, you can now do:
869         
870         cd PerformanceTests/Air.js
871         ./make_dist.sh
872         
873         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
874         the benchmark, just send either of those things and tell them to look at index.html.
875         
876         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
877         https://daringfireball.net/projects/markdown/
878
879         * Air.js/make_dist.sh: Added.
880         * Air.js/test.html:
881
882 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
883
884         Unreviewed, make the link to test.html into an actual link.
885
886         * Air.js/README.md:
887
888 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
889
890         Fix some text in Air.js/README.md
891         https://bugs.webkit.org/show_bug.cgi?id=158650
892
893         Reviewed by Benjamin Poulain.
894         
895         I read the text again and found bugs:
896         
897         - We never actually say how to run the benchmark. This change adds a blurb about how to run
898           it.
899
900         - We both say that allocateStack is responsible for the bulk of the running time and that
901           we haven't measured where the bulk of the time is spent. This changes the text to say that
902           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
903           not measure this.
904
905         * Air.js/README.md:
906
907 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
908
909         Air.js should have some documentation
910         https://bugs.webkit.org/show_bug.cgi?id=158648
911
912         Reviewed by Keith Miller.
913         
914         I want to be able to point people at a document if they want to know more about this
915         benchmark.
916
917         * Air.js/README.md: Added.
918
919 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
920
921         Rename JSAir to Air.js.
922
923         Rubber stamped by Mark Lam.
924
925         * Air.js: Copied from PerformanceTests/JSAir.
926         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
927         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
928         (Benchmark):
929         * Air.js/jsair-tests.yaml: Removed.
930         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
931         * Air.js/payload-jsair-ACLj8C.js: Removed.
932         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
933         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
934         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
935         * JSAir: Removed.
936         * JSAir/all.js: Removed.
937         * JSAir/allocate_stack.js: Removed.
938         * JSAir/arg.js: Removed.
939         * JSAir/basic_block.js: Removed.
940         * JSAir/benchmark.js: Removed.
941         * JSAir/code.js: Removed.
942         * JSAir/custom.js: Removed.
943         * JSAir/frequented_block.js: Removed.
944         * JSAir/insertion_set.js: Removed.
945         * JSAir/inst.js: Removed.
946         * JSAir/jsair-tests.yaml: Removed.
947         * JSAir/liveness.js: Removed.
948         * JSAir/opcode.js: Removed.
949         * JSAir/payload-gbemu-executeIteration.js: Removed.
950         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
951         * JSAir/payload-jsair-ACLj8C.js: Removed.
952         * JSAir/payload-typescript-scanIdentifier.js: Removed.
953         * JSAir/reg.js: Removed.
954         * JSAir/stack_slot.js: Removed.
955         * JSAir/stress-test.js: Removed.
956         * JSAir/strip-hash.rb: Removed.
957         * JSAir/symbols.js: Removed.
958         * JSAir/test.html: Removed.
959         * JSAir/test.js: Removed.
960         * JSAir/tmp.js: Removed.
961         * JSAir/tmp_base.js: Removed.
962         * JSAir/util.js: Removed.
963
964 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
965
966         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
967         https://bugs.webkit.org/show_bug.cgi?id=158571
968
969         Reviewed by Keith Miller.
970         
971         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
972         iterations and then tries to do any number of "bonus" iterations until it's been running for
973         two seconds. Since this is the sort of test that isn't really meant to stress anything in
974         particular, I think it's OK if it is time-limited in this way. The worst case is that some
975         of its failures will be flaky, but I think that they would have been flaky anyway given the
976         complexity of the test.
977
978         * JSAir/benchmark.js:
979         (Benchmark):
980         (Benchmark.prototype.runIteration):
981         (benchmark): Deleted.
982         * JSAir/jsair-tests.yaml:
983         * JSAir/stress-test.js: Added.
984         (preciseTime):
985         * JSAir/test.html:
986         * JSAir/test.js:
987
988 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
989
990         Unreviewed, teach the perf bots not to run JSAir.
991
992         * Skipped:
993
994 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
995
996         Use more ES6 features in JSAir
997         https://bugs.webkit.org/show_bug.cgi?id=158497
998
999         Reviewed by Keith Miller.
1000         
1001         This improves JSAir with the following ES6 features suggested by JoePeck:
1002         
1003         - String interpolation.
1004         - Destructuring inside PatchCustom.
1005         - Default arguments.
1006         
1007         All of these things are on hot paths.
1008         
1009         Note that I didn't use string interpolation everywhere that I could, only in those places
1010         where it made the code more readable. In Ruby, I used the style that if the interpolation
1011         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
1012         strings) then it's better to use regular strcat. I think that's what I carried over to here.
1013         
1014         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
1015         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
1016         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
1017         that function from being optimized then it will hurt so good.
1018         
1019         I also reenabled tail calls in a few places.
1020         
1021         This change doesn't seem to change the performance of the benchmark for us. That's expected
1022         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
1023         added in a separate change and that change did make the benchmark overall more expensive.
1024
1025         * JSAir/allocate_stack.js:
1026         (allocateStack):
1027         * JSAir/arg.js:
1028         (Arg.createBitImm64):
1029         (Arg.createAddr):
1030         (Arg.createStack):
1031         (Arg.logScale):
1032         (Arg.createIndex):
1033         * JSAir/basic_block.js:
1034         (BasicBlock.get headerString):
1035         (BasicBlock.prototype.get if):
1036         (BasicBlock):
1037         * JSAir/benchmark.js:
1038         (benchmark):
1039         * JSAir/code.js:
1040         (Code):
1041         (Code.prototype.addBlock):
1042         (Code.prototype.addStackSlot):
1043         (Code.prototype.newTmp):
1044         (Code.prototype.get size):
1045         (Code.prototype.get blocks):
1046         (Code.prototype.get stackSlots):
1047         (Code.prototype.tmps):
1048         (Code.prototype.get callArgAreaSize):
1049         (Code.prototype.toString):
1050         * JSAir/custom.js:
1051         (const.PatchCustom.forEachArg):
1052         * JSAir/inst.js:
1053         (Inst):
1054         * JSAir/reg.js:
1055         (Reg.prototype.toString):
1056         * JSAir/util.js:
1057         (symbolName):
1058         (lowerSymbolName):
1059
1060 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1061
1062         Add result validation to JSAir
1063         https://bugs.webkit.org/show_bug.cgi?id=158493
1064
1065         Reviewed by Saam Barati.
1066         
1067         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
1068         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
1069         check the Code before and after allocateStack, and compare against hashes we got from C++.
1070         
1071         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
1072         allocating things correctly because I was concatting a Set to an Array, which doesn't really
1073         work. Now these bugs are fixed.
1074         
1075         The checking step adds to the running time so I reduced the number of iterations. The
1076         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
1077         total. This is probably OK. It's better to verify the results even if the running time is
1078         not all in the "core" of the algorithm.
1079         
1080         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
1081
1082         * JSAir/allocate_stack.js:
1083         * JSAir/arg.js:
1084         (Arg.createImm):
1085         (Arg.createBigImm):
1086         (Arg.createBitImm):
1087         (Arg.createBitImm64):
1088         (Arg.createWidth):
1089         (Arg.createSpecial):
1090         (Arg.prototype.get kind):
1091         (Arg.prototype.get isTmp):
1092         (Arg.prototype.get isImm):
1093         (Arg.prototype.get isSomeImm):
1094         (Arg.prototype.get isSomeBigImm):
1095         (Arg.prototype.get isCondition):
1096         (Arg.prototype.get isWidth):
1097         (Arg.prototype.get isSpecial):
1098         (Arg.prototype.get isAlive):
1099         (Arg.prototype.get tmp):
1100         (Arg.prototype.get value):
1101         (Arg.prototype.get lowValue):
1102         (Arg.prototype.get highValue):
1103         (Arg.prototype.get base):
1104         (Arg.prototype.get isGP):
1105         (Arg.prototype.get isFP):
1106         (Arg.prototype.isValidForm):
1107         (Arg.prototype.get isInvertible):
1108         (Arg.kindCode):
1109         (Arg.prototype.hash):
1110         (Arg.prototype.toString):
1111         (Arg):
1112         * JSAir/basic_block.js:
1113         (BasicBlock.get successorBlocks):
1114         * JSAir/benchmark.js:
1115         (benchmark):
1116         * JSAir/code.js:
1117         (Code.prototype.setFrameSize):
1118         (Code.prototype.hash):
1119         (Code.prototype.toString):
1120         (Code):
1121         * JSAir/inst.js:
1122         (Inst.prototype.get hasNonArgEffects):
1123         (Inst.prototype.hash):
1124         (Inst.prototype.toString):
1125         (Inst):
1126         * JSAir/jsair-tests.yaml: Added.
1127         * JSAir/opcode.js:
1128         (Inst_forEachArg):
1129         (Inst_hasNonArgEffects):
1130         (opcodeCode):
1131         * JSAir/payload-gbemu-executeIteration.js:
1132         (createPayloadGbemuExecuteIteration):
1133         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
1134         (createPayloadImagingGaussianBlurGaussianBlur):
1135         * JSAir/payload-jsair-ACLj8C.js:
1136         (createPayloadJSAirACLj8C):
1137         * JSAir/payload-typescript-scanIdentifier.js:
1138         (createPayloadTypescriptScanIdentifier):
1139         * JSAir/reg.js:
1140         (Reg.prototype.get isReg):
1141         (Reg.prototype.hash):
1142         (Reg.prototype.toString):
1143         * JSAir/stack_slot.js:
1144         (StackSlot.prototype.setOffsetFromFP):
1145         (StackSlot.prototype.hash):
1146         (StackSlot.prototype.toString):
1147         * JSAir/symbols.js:
1148         (relCondCode):
1149         (resCondCode):
1150         (doubleCondCode):
1151         * JSAir/test.html:
1152         * JSAir/tmp.js:
1153         (Tmp.prototype.get isReg):
1154         (Tmp.prototype.hash):
1155         (Tmp.prototype.toString):
1156         * JSAir/util.js:
1157         (roundUpToMultipleOf):
1158         (symbolName):
1159
1160 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1161
1162         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
1163         https://bugs.webkit.org/show_bug.cgi?id=158318
1164
1165         Reviewed by Saam Barati.
1166         
1167         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
1168         implementation of Air's allocateStack() phase along with all of Air needed to run that
1169         phase. This includes things like stack slots, registers, temporaries, basic blocks,
1170         instructions, and all of the code for iterating over, inspecting, and modifying those
1171         things.
1172         
1173         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
1174         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
1175         four Air IRs:
1176         
1177         - Octane/gbemu's largest function, executeIteration.
1178         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
1179         - Octane/typescript's largest function that is actually hot, scanIdentifier.
1180         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
1181         
1182         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
1183         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
1184         C++ Air::allocateStack() phase on which it is based.
1185         
1186         JSAir uses the following ES6 features:
1187         
1188         - Symbol.
1189         - for-of.
1190         - arrow functions.
1191         - Map/Set.
1192         - let/const.
1193         - classes.
1194         
1195         All of these things are used in anger and should end up on the hot path. There is also code
1196         that uses Proxies, but it ends up being dead.
1197         
1198         We can improve this even more:
1199         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
1200         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
1201         
1202         * JSAir: Added.
1203         * JSAir/all.js: Added.
1204         * JSAir/allocate_stack.js: Added.
1205         (allocateStack.attemptAssignment):
1206         (allocateStack.assign):
1207         (allocateStack.interfere):
1208         (allocateStack.):
1209         (allocateStack):
1210         * JSAir/arg.js: Added.
1211         (Arg):
1212         (Arg.isAnyUse):
1213         (Arg.isColdUse):
1214         (Arg.isWarmUse):
1215         (Arg.cooled):
1216         (Arg.isEarlyUse):
1217         (Arg.isLateUse):
1218         (Arg.isAnyDef):
1219         (Arg.isEarlyDef):
1220         (Arg.isLateDef):
1221         (Arg.isZDef):
1222         (Arg.typeForB3Type):
1223         (Arg.widthForB3Type):
1224         (Arg.conservativeWidth):
1225         (Arg.minimumWidth):
1226         (Arg.bytes):
1227         (Arg.widthForBytes):
1228         (Arg.createTmp):
1229         (Arg.fromReg):
1230         (Arg.createImm):
1231         (Arg.createBigImm):
1232         (Arg.createBitImm):
1233         (Arg.createBitImm64):
1234         (Arg.createAddr):
1235         (Arg.createStack):
1236         (Arg.createCallArg):
1237         (Arg.createStackAddr):
1238         (Arg.isValidScale):
1239         (Arg.logScale):
1240         (Arg.createIndex):
1241         (Arg.createRelCond):
1242         (Arg.createResCond):
1243         (Arg.createDoubleCond):
1244         (Arg.createWidth):
1245         (Arg.prototype.get kind):
1246         (Arg.prototype.get isTmp):
1247         (Arg.prototype.get isImm):
1248         (Arg.prototype.get isBigImm):
1249         (Arg.prototype.get isBitImm):
1250         (Arg.prototype.get isBitImm64):
1251         (Arg.prototype.get isSomeImm):
1252         (Arg.prototype.get isAddr):
1253         (Arg.prototype.get isStack):
1254         (Arg.prototype.get isCallArg):
1255         (Arg.prototype.get isIndex):
1256         (Arg.prototype.get isMemory):
1257         (Arg.prototype.get isStackMemory):
1258         (Arg.prototype.get isRelCond):
1259         (Arg.prototype.get isResCond):
1260         (Arg.prototype.get isDoubleCond):
1261         (Arg.prototype.get isCondition):
1262         (Arg.prototype.get isWidth):
1263         (Arg.prototype.get isAlive):
1264         (Arg.prototype.get tmp):
1265         (Arg.prototype.get value):
1266         (Arg.prototype.get base):
1267         (Arg.prototype.get hasOffset):
1268         (Arg.prototype.get offset):
1269         (Arg.prototype.get stackSlot):
1270         (Arg.prototype.get index):
1271         (Arg.prototype.get scale):
1272         (Arg.prototype.get logScale):
1273         (Arg.prototype.get width):
1274         (Arg.prototype.get isGPTmp):
1275         (Arg.prototype.get isFPTmp):
1276         (Arg.prototype.get isGP):
1277         (Arg.prototype.get isFP):
1278         (Arg.prototype.get hasType):
1279         (Arg.prototype.get type):
1280         (Arg.prototype.isType):
1281         (Arg.prototype.isCompatibleType):
1282         (Arg.prototype.get isGPR):
1283         (Arg.prototype.get gpr):
1284         (Arg.prototype.get isFPR):
1285         (Arg.prototype.get fpr):
1286         (Arg.prototype.get isReg):
1287         (Arg.prototype.get reg):
1288         (Arg.isValidImmForm):
1289         (Arg.isValidBitImmForm):
1290         (Arg.isValidBitImm64Form):
1291         (Arg.isValidAddrForm):
1292         (Arg.isValidIndexForm):
1293         (Arg.prototype.isValidForm):
1294         (Arg.prototype.forEachTmpFast):
1295         (Arg.prototype.usesTmp):
1296         (Arg.prototype.forEachTmp):
1297         (Arg.prototype.is):
1298         (Arg.prototype.as):
1299         (Arg.prototype.forEachFast):
1300         (Arg.prototype.forEach):
1301         (Arg.extract):
1302         (Arg.forEachFast):
1303         (Arg.forEach):
1304         (Arg.prototype.get condition):
1305         (Arg.prototype.get isInvertible):
1306         (Arg.prototype.toString):
1307         * JSAir/basic_block.js: Added.
1308         (BasicBlock):
1309         (BasicBlock.prototype.get index):
1310         (BasicBlock.prototype.get size):
1311         (BasicBlock.prototype.Symbol.iterator):
1312         (BasicBlock.prototype.at):
1313         (BasicBlock.get last):
1314         (BasicBlock.get insts):
1315         (BasicBlock.get numSuccessors):
1316         (BasicBlock.get successors):
1317         (BasicBlock.get successorBlocks.):
1318         (BasicBlock.get successorBlocks):
1319         (BasicBlock.set get numPredecessors):
1320         (BasicBlock.get predecessors):
1321         (BasicBlock.get frequency):
1322         (BasicBlock.get headerString):
1323         (BasicBlock.get footerString):
1324         * JSAir/benchmark.js: Added.
1325         (benchmark):
1326         * JSAir/code.js: Added.
1327         (Code):
1328         (Code.prototype.addBlock):
1329         (Code.prototype.addStackSlot):
1330         (Code.prototype.newTmp):
1331         (Code.prototype.get size):
1332         (Code.prototype.at):
1333         (Code.prototype.Symbol.iterator):
1334         (Code.prototype.get blocks):
1335         (Code.prototype.get stackSlots):
1336         (Code.prototype.tmps):
1337         (Code.prototype.get callArgAreaSize):
1338         (Code.prototype.requestCallArgAreaSize):
1339         (Code.prototype.get frameSize):
1340         (Code.prototype.setFrameSize):
1341         (Code.prototype.toString):
1342         * JSAir/custom.js: Added.
1343         (const.ShuffleCustom.forEachArg):
1344         (const.ShuffleCustom.hasNonArgNonControlEffects):
1345         (const.PatchCustom.forEachArg):
1346         (const.PatchCustom.hasNonArgNonControlEffects):
1347         (const.CCallCustom.forEachArg):
1348         (const.CCallCustom.hasNonArgNonControlEffects):
1349         (const.ColdCCallCustom.forEachArg):
1350         (const.ColdCCallCustom.hasNonArgNonControlEffects):
1351         * JSAir/frequented_block.js: Added.
1352         (FrequentedBlock):
1353         (FrequentedBlock.prototype.toString):
1354         * JSAir/insertion_set.js: Added.
1355         (Insertion):
1356         (Insertion.prototype.get index):
1357         (Insertion.prototype.get element):
1358         (Insertion.prototype.lessThan):
1359         (InsertionSet):
1360         (InsertionSet.prototype.appendInsertion):
1361         (InsertionSet.prototype.append):
1362         (InsertionSet.prototype.execute):
1363         * JSAir/inst.js: Added.
1364         (Inst):
1365         (Inst.prototype.append):
1366         (Inst.prototype.clear):
1367         (Inst.prototype.get opcode):
1368         (Inst.prototype.get args):
1369         (Inst.prototype.visitArg):
1370         (Inst.prototype.forEachTmpFast):
1371         (Inst.prototype.forEachArg):
1372         (Inst.prototype.forEachTmp):
1373         (Inst.prototype.forEach):
1374         (Inst.forEachDef):
1375         (Inst.forEachDefWithExtraClobberedRegs):
1376         (Inst.prototype.get hasNonArgEffects):
1377         (Inst.prototype.toString):
1378         * JSAir/liveness.js: Added.
1379         (Liveness):
1380         (Liveness.prototype.get thing):
1381         (Liveness.prototype.get code):
1382         (Liveness.prototype.get liveAtHead):
1383         (Liveness.prototype.get liveAtTail):
1384         (Liveness.prototype.localCalc.LocalCalc):
1385         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
1386         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
1387         (Liveness.prototype.localCalc):
1388         * JSAir/opcode.js: Added.
1389         (Inst_forEachArg):
1390         (Inst_hasNonArgEffects):
1391         * JSAir/payload-gbemu-executeIteration.js: Added.
1392         (createPayloadGbemuExecuteIteration):
1393         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
1394         (createPayloadImagingGaussianBlurGaussianBlur):
1395         * JSAir/payload-jsair-ACLj8C.js: Added.
1396         (createPayloadJSAirACLj8C):
1397         * JSAir/payload-typescript-scanIdentifier.js: Added.
1398         (createPayloadTypescriptScanIdentifier):
1399         * JSAir/reg.js: Added.
1400         (Reg):
1401         (Reg.fromReg):
1402         (Reg.prototype.get index):
1403         (Reg.prototype.get type):
1404         (Reg.prototype.get name):
1405         (Reg.prototype.get isCalleeSave):
1406         (Reg.prototype.get isReg):
1407         (Reg.prototype.toString):
1408         (Reg.extract):
1409         (Reg.forEachFast):
1410         (Reg.forEach):
1411         (newGPR):
1412         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
1413         * JSAir/stack_slot.js: Added.
1414         (StackSlot):
1415         (StackSlot.prototype.get byteSize):
1416         (StackSlot.prototype.get kind):
1417         (StackSlot.prototype.get isLocked):
1418         (StackSlot.prototype.get isSpill):
1419         (StackSlot.prototype.get index):
1420         (StackSlot.prototype.ensureSize):
1421         (StackSlot.prototype.get alignment):
1422         (StackSlot.prototype.get offsetFromFP):
1423         (StackSlot.prototype.setOffsetFromFP):
1424         (StackSlot.prototype.toString):
1425         (StackSlot.extract):
1426         (StackSlot.forEachFast):
1427         (StackSlot.forEach):
1428         * JSAir/symbols.js: Added.
1429         * JSAir/test.html: Added.
1430         * JSAir/test.js: Added.
1431         * JSAir/tmp.js: Added.
1432         (Tmp):
1433         (Tmp.fromReg):
1434         (Tmp.prototype.get index):
1435         (Tmp.prototype.get type):
1436         (Tmp.prototype.get isReg):
1437         (Tmp.prototype.toString):
1438         (Tmp.extract):
1439         (Tmp.forEachFast):
1440         (Tmp.forEach):
1441         * JSAir/tmp_base.js: Added.
1442         (TmpBase.prototype.get isGP):
1443         (TmpBase.prototype.get isFP):
1444         (TmpBase.prototype.get isGPR):
1445         (TmpBase.prototype.get isFPR):
1446         (TmpBase.prototype.get reg):
1447         (TmpBase.prototype.get gpr):
1448         (TmpBase.prototype.get fpr):
1449         (TmpBase):
1450         * JSAir/util.js: Added.
1451         (isRepresentableAsInt32):
1452         (addIndexed):
1453         (roundUpToMultipleOf):
1454         (symbolName):
1455         (mergeIntoSet):
1456         (nonEmptyRangesOverlap):
1457         (rangesOverlap):
1458         (removeAllMatching):
1459         (swap):
1460         (bubble):
1461         (bubbleSort):
1462         (currentTime):
1463         (else.currentTime):
1464
1465 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1466
1467         [JSC] Allow JSBench to use precise time
1468         https://bugs.webkit.org/show_bug.cgi?id=158050
1469
1470         Reviewed by Geoffrey Garen.
1471
1472         * JSBench/amazon-chrome-win/urem.js:
1473         (else.window.performance.window.performance.now.currentTimeInMS):
1474         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1475         (else.else.currentTimeInMS):
1476         (onload.cb):
1477         (onload):
1478         * JSBench/amazon-chrome/urem.js:
1479         (else.window.performance.window.performance.now.currentTimeInMS):
1480         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1481         (else.else.currentTimeInMS):
1482         (onload.cb):
1483         (onload):
1484         * JSBench/amazon-firefox-win/urm.js:
1485         (else.window.performance.window.performance.now.currentTimeInMS):
1486         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1487         (else.else.currentTimeInMS):
1488         (onload.cb):
1489         (onload):
1490         * JSBench/amazon-firefox/urm.js:
1491         (else.window.performance.window.performance.now.currentTimeInMS):
1492         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1493         (else.else.currentTimeInMS):
1494         (onload.cb):
1495         (onload):
1496         * JSBench/amazon-safari/urem.js:
1497         (else.window.performance.window.performance.now.currentTimeInMS):
1498         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1499         (else.else.currentTimeInMS):
1500         (onload.cb):
1501         (onload):
1502         * JSBench/facebook-chrome-win/urem.js:
1503         (else.window.performance.window.performance.now.currentTimeInMS):
1504         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1505         (else.else.currentTimeInMS):
1506         (onload.cb):
1507         (onload):
1508         * JSBench/facebook-chrome/urem.js:
1509         (else.window.performance.window.performance.now.currentTimeInMS):
1510         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1511         (else.else.currentTimeInMS):
1512         (onload.cb):
1513         (onload):
1514         * JSBench/facebook-firefox-win/urem.js:
1515         (else.window.performance.window.performance.now.currentTimeInMS):
1516         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1517         (else.else.currentTimeInMS):
1518         (onload.cb):
1519         (onload):
1520         * JSBench/facebook-firefox/urem.js:
1521         (else.window.performance.window.performance.now.currentTimeInMS):
1522         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1523         (else.else.currentTimeInMS):
1524         (onload.cb):
1525         (onload):
1526         * JSBench/facebook-safari/urem.js:
1527         (else.window.performance.window.performance.now.currentTimeInMS):
1528         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1529         (else.else.currentTimeInMS):
1530         (onload.cb):
1531         (onload):
1532         * JSBench/google-chrome-win/urem.js:
1533         (else.window.performance.window.performance.now.currentTimeInMS):
1534         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1535         (else.else.currentTimeInMS):
1536         (onload.cb):
1537         (onload):
1538         * JSBench/google-chrome/urem.js:
1539         (else.window.performance.window.performance.now.currentTimeInMS):
1540         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1541         (else.else.currentTimeInMS):
1542         (onload.cb):
1543         (onload):
1544         * JSBench/google-firefox-win/urem.js:
1545         (else.window.performance.window.performance.now.currentTimeInMS):
1546         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1547         (else.else.currentTimeInMS):
1548         (onload.cb):
1549         (onload):
1550         * JSBench/google-firefox/uem.js:
1551         (else.window.performance.window.performance.now.currentTimeInMS):
1552         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1553         (else.else.currentTimeInMS):
1554         (onload.cb):
1555         (onload):
1556         * JSBench/google-safari/urem.js:
1557         (else.window.performance.window.performance.now.currentTimeInMS):
1558         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1559         (else.else.currentTimeInMS):
1560         (onload.cb):
1561         (onload):
1562         * JSBench/harness.js:
1563         (runBenchmark.window.currentTimeInMS):
1564         (runBenchmark.else.window.currentTimeInMS):
1565         * JSBench/twitter-chrome-win/rem.js:
1566         (else.window.performance.window.performance.now.currentTimeInMS):
1567         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1568         (else.else.currentTimeInMS):
1569         (onload.cb):
1570         (onload):
1571         * JSBench/twitter-chrome/urem.js:
1572         (else.window.performance.window.performance.now.currentTimeInMS):
1573         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1574         (else.else.currentTimeInMS):
1575         (onload.cb):
1576         (onload):
1577         * JSBench/twitter-firefox-win/urem.js:
1578         (else.window.performance.window.performance.now.currentTimeInMS):
1579         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1580         (else.else.currentTimeInMS):
1581         (onload.cb):
1582         (onload):
1583         * JSBench/twitter-firefox/urem.js:
1584         (else.window.performance.window.performance.now.currentTimeInMS):
1585         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1586         (else.else.currentTimeInMS):
1587         (onload.cb):
1588         (onload):
1589         * JSBench/twitter-safari/urem.js:
1590         (else.window.performance.window.performance.now.currentTimeInMS):
1591         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1592         (else.else.currentTimeInMS):
1593         (onload.cb):
1594         (onload):
1595         * JSBench/yahoo-chrome-win/urem.js:
1596         (else.window.performance.window.performance.now.currentTimeInMS):
1597         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1598         (else.else.currentTimeInMS):
1599         (onload.cb):
1600         (onload):
1601         * JSBench/yahoo-chrome/urem.js:
1602         (else.window.performance.window.performance.now.currentTimeInMS):
1603         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1604         (else.else.currentTimeInMS):
1605         (onload.cb):
1606         (onload):
1607         * JSBench/yahoo-firefox-win/urem.js:
1608         (else.window.performance.window.performance.now.currentTimeInMS):
1609         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1610         (else.else.currentTimeInMS):
1611         (onload.cb):
1612         (onload):
1613         * JSBench/yahoo-firefox/urem.js:
1614         (else.window.performance.window.performance.now.currentTimeInMS):
1615         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1616         (else.else.currentTimeInMS):
1617         (onload.cb):
1618         (onload):
1619         * JSBench/yahoo-safari/urem.js:
1620         (else.window.performance.window.performance.now.currentTimeInMS):
1621         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1622         (else.else.currentTimeInMS):
1623         (onload.cb):
1624         (onload):
1625
1626 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1627
1628         replaceable own properties seem to ignore replacement after property caching
1629         https://bugs.webkit.org/show_bug.cgi?id=158091
1630
1631         Reviewed by Darin Adler.
1632
1633         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1634         * MallocBench/MallocBench/Benchmark.cpp:
1635         * MallocBench/MallocBench/Interpreter.cpp:
1636         (Interpreter::doMallocOp):
1637         * MallocBench/MallocBench/Interpreter.h:
1638         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1639         * MallocBench/MallocBench/jetstream.cpp: Added.
1640         (benchmark_jetstream):
1641         * MallocBench/MallocBench/jetstream.h: Added.
1642
1643 2016-05-25  Keith Miller  <keith_miller@apple.com>
1644
1645         Unreviewed, add JSBench to the skipped list for now since it doesn't
1646         work currently.
1647
1648         * Skipped:
1649
1650 2016-05-17  Keith Miller  <keith_miller@apple.com>
1651         We should have JSBench in PerformanceTests
1652         https://bugs.webkit.org/show_bug.cgi?id=157952
1653
1654         Rubber-stamped by Saam Barati.
1655
1656         There are some slight changes to the layout of the test directory
1657         to make it work nicely with run-jsc-benchmarks. Before JSBench
1658         had each of the browser specific sub-tests in a sub-directory.
1659         These have been flattened e.g. amazon/safari/ has become
1660         amazon-safari/.
1661
1662         * JSBench/amazon-chrome-win/urem.html: Added.
1663         * JSBench/amazon-chrome-win/urem.js: Added.
1664         * JSBench/amazon-chrome/urem.html: Added.
1665         * JSBench/amazon-chrome/urem.js: Added.
1666         * JSBench/amazon-firefox-win/urm.html: Added.
1667         * JSBench/amazon-firefox-win/urm.js: Added.
1668         * JSBench/amazon-firefox/urm.html: Added.
1669         * JSBench/amazon-firefox/urm.js: Added.
1670         * JSBench/amazon-safari/urem.html: Added.
1671         * JSBench/amazon-safari/urem.js: Added.
1672         * JSBench/browsercheck.js: Added.
1673         * JSBench/facebook-chrome-win/urem.html: Added.
1674         * JSBench/facebook-chrome-win/urem.js: Added.
1675         * JSBench/facebook-chrome/urem.html: Added.
1676         * JSBench/facebook-chrome/urem.js: Added.
1677         * JSBench/facebook-firefox-win/urem.html: Added.
1678         * JSBench/facebook-firefox-win/urem.js: Added.
1679         * JSBench/facebook-firefox/urem.html: Added.
1680         * JSBench/facebook-firefox/urem.js: Added.
1681         * JSBench/facebook-safari/urem.html: Added.
1682         * JSBench/facebook-safari/urem.js: Added.
1683         * JSBench/google-chrome-win/urem.html: Added.
1684         * JSBench/google-chrome-win/urem.js: Added.
1685         * JSBench/google-chrome/urem.html: Added.
1686         * JSBench/google-chrome/urem.js: Added.
1687         * JSBench/google-firefox-win/urem.html: Added.
1688         * JSBench/google-firefox-win/urem.js: Added.
1689         * JSBench/google-firefox/uem.html: Added.
1690         * JSBench/google-firefox/uem.js: Added.
1691         * JSBench/google-safari/urem.html: Added.
1692         * JSBench/google-safari/urem.js: Added.
1693         * JSBench/harness.html: Added.
1694         * JSBench/harness.js: Added.
1695         * JSBench/harness.py: Added.
1696         * JSBench/index.html: Added.
1697         * JSBench/reload.html: Added.
1698         * JSBench/twitter-chrome-win/rem.html: Added.
1699         * JSBench/twitter-chrome-win/rem.js: Added.
1700         * JSBench/twitter-chrome/urem.html: Added.
1701         * JSBench/twitter-chrome/urem.js: Added.
1702         * JSBench/twitter-firefox-win/urem.html: Added.
1703         * JSBench/twitter-firefox-win/urem.js: Added.
1704         * JSBench/twitter-firefox/urem.html: Added.
1705         * JSBench/twitter-firefox/urem.js: Added.
1706         * JSBench/twitter-safari/urem.html: Added.
1707         * JSBench/twitter-safari/urem.js: Added.
1708         * JSBench/yahoo-chrome-win/urem.html: Added.
1709         * JSBench/yahoo-chrome-win/urem.js: Added.
1710         * JSBench/yahoo-chrome/urem.html: Added.
1711         * JSBench/yahoo-chrome/urem.js: Added.
1712         * JSBench/yahoo-firefox-win/urem.html: Added.
1713         * JSBench/yahoo-firefox-win/urem.js: Added.
1714         * JSBench/yahoo-firefox/urem.html: Added.
1715         * JSBench/yahoo-firefox/urem.js: Added.
1716         * JSBench/yahoo-safari/urem.html: Added.
1717         * JSBench/yahoo-safari/urem.js: Added.
1718
1719 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1720
1721         run-benchmark's results should contain Animometer's debug output
1722         https://bugs.webkit.org/show_bug.cgi?id=157941
1723
1724         Reviewed by Stephanie Lewis.
1725
1726         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1727
1728         * Animometer/resources/debug-runner/animometer.js:
1729         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1730
1731 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1732
1733         Make Animometer work in all browsers
1734         https://bugs.webkit.org/show_bug.cgi?id=157855
1735         rdar://problem/26338521
1736
1737         Reviewed by Jon Lee.
1738
1739         * Animometer/resources/runner/logo.svg: Use a symbol instead
1740         of putting the id on the root svg. This works in all browsers.
1741
1742 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1743
1744         Update Animometer design
1745         https://bugs.webkit.org/show_bug.cgi?id=157449
1746
1747         Reviewed by Darin Adler.
1748
1749         * Animometer/developer.html: Stop including runner/animometer.css.
1750         * Animometer/index.html: Udpated elements to fit new styles.
1751
1752         * Animometer/resources/debug-runner/animometer.css:
1753         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1754
1755         * Animometer/resources/runner/animometer.css:
1756         New styles for the design. Drop flex box for broad browser support.
1757
1758         * Animometer/resources/runner/animometer.js:
1759         (ResultsTable.clear): Use textContent.
1760         (window.sectionsManager.showSection): Add class to the body.
1761         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1762
1763         * Animometer/resources/runner/crystal.svg: Added.
1764         * Animometer/resources/runner/lines.svg: Added.
1765         * Animometer/resources/runner/logo.svg: Added.
1766
1767         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1768
1769 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1770
1771         [css-grid] Unprefix CSS Grid Layout properties
1772         https://bugs.webkit.org/show_bug.cgi?id=157137
1773
1774         Reviewed by Simon Fraser.
1775
1776         Remove "-webkit" prefix from all the grid layout properties,
1777         including the display value.
1778         Update the source code to remove the prefix where it was used too.
1779
1780         * Layout/auto-grid-lots-of-data.html:
1781         * Layout/fixed-grid-lots-of-data.html:
1782         * Layout/fixed-grid-lots-of-stretched-data.html:
1783
1784 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1785
1786         bmalloc: Misc improvements to MallocBench
1787         https://bugs.webkit.org/show_bug.cgi?id=157004
1788
1789         Reviewed by Darin Adler.
1790
1791         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1792         modes for focused memory testing.
1793
1794         * MallocBench/MallocBench/Benchmark.cpp:
1795         (Benchmark::printReport): Clarified output.
1796
1797         (Benchmark::currentMemoryBytes): Added compressed memory because top
1798         does the same. (It always happens to zero in the benchmarks we run. But
1799         this is good for sanity.)
1800
1801         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1802         variance.
1803
1804         * MallocBench/MallocBench/alloc_free.cpp:
1805         (benchmark_alloc_free): Cycle a single allocation in order to stress
1806         the effect of merging on calls to madvise.
1807
1808         * MallocBench/MallocBench/big.cpp:
1809         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1810         our large allocator doesn't kick in until 64kB.
1811
1812         * MallocBench/MallocBench/medium.cpp:
1813         (benchmark_medium): Test all the way down to 1kB because our large
1814         allocator used to service 1kB allocations and 1kB is an interesting
1815         middle size where memory is unusually large but allocation throughput
1816         still matters.
1817
1818         * MallocBench/MallocBench/stress.cpp:
1819         (benchmark_stress): Reduced the churn count to match stress_aligned
1820         because this test was taking too long to complete.
1821
1822         * MallocBench/MallocBench/stress_aligned.cpp:
1823         (benchmark_stress_aligned): Our new large allocator can handle even
1824         more absurdly large values.
1825
1826 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1827
1828         Add a content animation test that uses SVG animation.
1829         https://bugs.webkit.org/show_bug.cgi?id=156827
1830
1831         * Animation/svg-animation.html: Added.
1832         * Skipped:
1833
1834 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1835
1836         Skip two content animation tests which are only meant for iOS testing.
1837
1838         * Animation/css-animation.html: Added.
1839         * Animation/raf-animation.html: Added.
1840
1841         * Skipped:
1842
1843 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1844
1845         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1846         https://bugs.webkit.org/show_bug.cgi?id=156827
1847
1848         Add two files missing from the previous commit.
1849
1850         * Animation/css-animation.html: Added.
1851         * Animation/raf-animation.html: Added.
1852
1853 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1854
1855         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1856         https://bugs.webkit.org/show_bug.cgi?id=156827
1857
1858         Reviewed by Stephanie Lewis.
1859
1860         Two new files for the content-animation suite.
1861
1862         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1863         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1864         result with a placeholder for framerate, which is collected in native code.
1865
1866         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1867         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1868         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1869         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1870         complete.
1871
1872         * Animation/css-animation.html: Added.
1873         * Animation/raf-animation.html: Added.
1874
1875 2016-04-15  Jon Lee  <jonlee@apple.com>
1876
1877         Animometer test could report a NaN
1878         https://bugs.webkit.org/show_bug.cgi?id=156646
1879
1880         Reviewed by Darin Adler.
1881         Provisionally reviewed by Said Abou-Hallawa.
1882
1883         * Animometer/tests/resources/main.js:
1884         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1885         reacts based on how well the system handles the load. The assumption was that it would handle at least
1886         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1887         end up setting an upper bound of NaN.
1888
1889         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1890         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1891         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1892         1 particle, set it to currentComplexity.
1893
1894 2016-04-09  Jon Lee  <jonlee@apple.com>
1895
1896         Update Animometer to accommodate different screens
1897         https://bugs.webkit.org/show_bug.cgi?id=156449
1898
1899         Reviewed by Darin Adler.
1900         Provisionally reviewed by Said Abou-Hallawa.
1901
1902         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1903         * Animometer/resources/debug-runner/animometer.css:
1904         (@media screen and (min-device-width: 1800px)): Deleted.
1905         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1906         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1907         and height with orientation change.
1908         * Animometer/resources/runner/animometer.css: Similar.
1909         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1910         (screen and (max-device-height: 414px) and (orientation: landscape)):
1911         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1912         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1913         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1914         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1915         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1916         (#results footer): Add padding below the button for testing again.
1917         * Animometer/tests/master/multiply.html: Remove the center text.
1918         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1919         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1920
1921 2016-04-08  Jon Lee  <jonlee@apple.com>
1922
1923         Have Animometer benchmark always start with complexity of 1
1924         https://bugs.webkit.org/show_bug.cgi?id=156432
1925
1926         Reviewed by Ryosuke Niwa.
1927
1928         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1929         set its minimum complexities to 1 instead of 0.
1930
1931 2016-04-08  Jon Lee  <jonlee@apple.com>
1932
1933         Fix SVG benchmark test
1934         https://bugs.webkit.org/show_bug.cgi?id=156410
1935
1936         Reviewed by Dean Jackson.
1937
1938         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1939         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1940         (Stage.call._setupTiles): Refactor.
1941         * Animometer/tests/master/resources/particles.js:
1942         (Particle.prototype.reset): Use Point.center.
1943         (complexity): We are not using a gradient background anymore, so remove the +1.
1944         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1945         instead of CSS transform.
1946
1947 2016-04-06  Jon Lee  <jonlee@apple.com>
1948
1949         Update master benchmark with SVG test
1950         https://bugs.webkit.org/show_bug.cgi?id=156273
1951
1952         Reviewed by Dean Jackson.
1953         Provisionally reviewed by Said Abou-Hallawa.
1954
1955         Switch masks tests for SVG path test.
1956
1957         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1958         * Animometer/resources/runner/tests.js: Add SVG test here.
1959         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1960         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1961
1962         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1963         partially obscured.
1964         * Animometer/tests/master/resources/svg-particles.js: Added.
1965         (Particle): The particle is either a path object or a rect using a path as a clip. The
1966         same path is used either way. For each particle create a linear gradient with a random
1967         rotation.
1968         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1969         This makes the test more generic in case other shapes need to be tested.
1970         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1971         particle's gradient, and one that holds the shape templates.
1972
1973 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1974
1975         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1976         https://bugs.webkit.org/show_bug.cgi?id=148470 
1977
1978         Reviewed by Darin Adler.
1979
1980         * Skipped: Unskip the Bindings/event-target-wrapper test.
1981
1982 2016-03-23  Jon Lee  <jonlee@apple.com>
1983
1984         Update focus and leaves tests
1985         https://bugs.webkit.org/show_bug.cgi?id=155825
1986
1987         Reviewed by Simon Fraser.
1988
1989         Particles would improperly disappear, before they were fully off stage. Update the calculation.
1990         * Animometer/tests/dom/resources/leaves.js:
1991         * Animometer/tests/master/resources/leaves.js:
1992
1993         * Animometer/tests/master/focus.html: Update the center element styling.
1994         * Animometer/tests/master/resources/focus.js:
1995         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
1996         to spread. It should be about 3x more space than the blur radius on each side.
1997         (Stage.call.initialize): Ditto for the center element.
1998
1999 2016-03-23  Jon Lee  <jonlee@apple.com>
2000
2001         Update support for other platforms
2002         https://bugs.webkit.org/show_bug.cgi?id=155824
2003
2004         Reviewed by Simon Fraser.
2005
2006         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
2007         be handled in the release stylesheet.
2008         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
2009         when retrieving radio elements with a name, instead of the selected value.
2010         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
2011         (.frame-container): Move overflow:hidden to #stage.
2012         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
2013         * Animometer/tests/resources/stage.css:
2014         (body): Remove overflow:hidden.
2015         (#stage): Set overflow:hidden here.
2016         (#center-text): Moved from master/resources/stage.css.
2017
2018         Update stylesheet hrefs.
2019         * Animometer/tests/master/canvas-stage.html:
2020         * Animometer/tests/master/focus.html:
2021         * Animometer/tests/master/leaves.html:
2022         * Animometer/tests/master/multiply.html:
2023         * Animometer/tests/master/particles.html:
2024         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
2025
2026 2016-03-23  Jon Lee  <jonlee@apple.com>
2027
2028         Make the benchmark require device to be in landscape orientation
2029         https://bugs.webkit.org/show_bug.cgi?id=155822
2030         rdar://problem/25258650
2031
2032         Reviewed by Ryosuke Niwa.
2033
2034         Check that the device is in landscape orientation. If not, disable the button to start it,
2035         and show a warning message.
2036
2037         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
2038         warning message that appears if the orientation is incorrect on mobile devices.
2039         * Animometer/index.html: Ditto.
2040
2041         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
2042         stylesheet. Update the style to accommodate the new UI.
2043         * Animometer/resources/runner/animometer.css:
2044
2045         * Animometer/resources/runner/animometer.js:
2046         (window.benchmarkController.initialize): Add the orientation listener is needed.
2047         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
2048         to see for support of window.orientation.
2049         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
2050         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
2051         (window.benchmarkController.updateStartButtonState):
2052         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
2053         a boolean about whether at least one test is selected. That will be used in
2054         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
2055         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
2056         that at least one test is selected.
2057
2058 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
2059
2060         MallocBench: consolidate regression testing for aligned allocation
2061         https://bugs.webkit.org/show_bug.cgi?id=155762
2062
2063         Reviewed by Michael Saboff.
2064
2065         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2066         * MallocBench/MallocBench/Benchmark.cpp:
2067         * MallocBench/MallocBench/memalign.cpp: Removed.
2068         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
2069         covers this and much more.
2070
2071         * MallocBench/MallocBench/stress_aligned.cpp:
2072         (benchmark_stress_aligned): Include specific tests for extreme sizes
2073         and alignments.
2074
2075 2016-03-21  Jon Lee  <jonlee@apple.com>
2076
2077         Update benchmark tests
2078         https://bugs.webkit.org/show_bug.cgi?id=155723
2079
2080         Reviewed by Darin Adler.
2081         Provisionally reviewed by Said Abou-Hallawa.
2082
2083         Add quadratic and bezier segments to the canvas path test.
2084
2085         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
2086         Rename the test.
2087         * Animometer/tests/master/resources/canvas-stage.js:
2088         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
2089         * Animometer/tests/master/resources/canvas-tests.js:
2090         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
2091         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
2092         class definition.
2093         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
2094         canvas are not cut off when the stroke size is thick.
2095         (CanvasQuadraticSegment): Added.
2096         (CanvasBezierSegment): Added.
2097         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
2098         are short compared to the curved ones, make it twice as likely to render a line segment.
2099         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
2100
2101         Add a helper method that selects a random element from an array.
2102
2103         * Animometer/tests/resources/main.js:
2104         (Stage.randomElementInArray): Select a random element from the provided array.
2105
2106         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
2107         * Animometer/tests/dom/resources/leaves.js: Ditto.
2108         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2109         * Animometer/tests/master/resources/image-data.js: Ditto.
2110         * Animometer/tests/master/resources/leaves.js: Ditto.
2111         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
2112
2113         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
2114         include the full simple canvas suite for perf testing.
2115
2116         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
2117         suite.
2118         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
2119         that random selects an object to render.
2120
2121         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
2122         When updating the perf bot script, we will include the suites up to this one, but exclude
2123         the basic canvas suite.
2124
2125         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
2126
2127         * Animometer/resources/debug-runner/tests.js:
2128         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
2129         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
2130
2131         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
2132         canvas tests.
2133
2134         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
2135         * Animometer/tests/misc/canvas-electrons.html: Removed.
2136         * Animometer/tests/misc/canvas-stars.html: Removed.
2137         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
2138         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
2139         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
2140
2141         Merge text tests together into one.
2142
2143         * Animometer/resources/runner/tests.js: Remove international.html.
2144         * Animometer/tests/master/international.html: Removed.
2145         * Animometer/tests/master/resources/text.js:
2146         (animate): Update styling. Manually calculate gradients for the shadow particles.
2147         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
2148         step for x since there will be a little more room.
2149         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
2150
2151 2016-03-20  Jon Lee  <jonlee@apple.com>
2152
2153         Add a link to show debug data
2154         https://bugs.webkit.org/show_bug.cgi?id=155724
2155
2156         Reviewed by Simon Fraser.
2157
2158         * Animometer/developer.html: Attach the onclick handler to the score.
2159         * Animometer/index.html: Ditto.
2160
2161 2016-03-18  Dean Jackson  <dino@apple.com>
2162
2163         Add a basic WebGL test to Animometer
2164         https://bugs.webkit.org/show_bug.cgi?id=155475
2165         <rdar://problem/25156860>
2166
2167         Reviewed by Simon Fraser and Jon Lee.
2168
2169         Add a pretty simple WebGL test to Animometer
2170         which tries to draw a number of animated triangles.
2171         The result still needs a bit of tuning.
2172
2173         * Animometer/resources/debug-runner/tests.js: Add a new
2174         Suite for "3D" tests.
2175         * Animometer/tests/3d/resources/webgl.js: Added.
2176         * Animometer/tests/3d/webgl.html: Added.
2177
2178 2016-03-18  Jon Lee  <jonlee@apple.com>
2179
2180         Add support for statically linking to a specific test
2181         https://bugs.webkit.org/show_bug.cgi?id=155631
2182
2183         Rubber-stamped by Darin Adler.
2184
2185         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
2186         both the preset and the manually set test sessions.
2187         * Animometer/resources/debug-runner/animometer.css:
2188         (.tree .link): Style the "link" UI.
2189         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
2190         to optionsManager since this is a visual option and has nothing to do with the suites
2191         settings. Update the construction of the test UI by including a "link" after each test.
2192         Clicking on that link brings up a JS prompt with a URL and a query string with the current
2193         parameters of the controller, and selected test. Pasting this URL into the location bar will
2194         automatically start running the selected test.
2195         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
2196         that matches the provided parameters. Returns an object similar to the form in
2197         suitesManager.updateLocalStorageFromUI.
2198         (benchmarkController.initialize): After settings up the events and options, try parsing the
2199         query string and running the benchmark immediately. Otherwise, fall back to the form.
2200         (benchmarkController.startBenchmark): Store the options and suites into member variables for
2201         reuse in restartBenchmark.
2202         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
2203         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
2204         the search for the test succeeded.
2205         * Animometer/resources/extensions.js:
2206         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
2207         into a query-string-friendly version.
2208         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
2209         format.
2210         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
2211         with properties and values.
2212
2213 2016-03-16  Jon Lee  <jonlee@apple.com>
2214
2215         Add a new benchmark test
2216         https://bugs.webkit.org/show_bug.cgi?id=155570
2217
2218         Reviewed by Simon Fraser.
2219
2220         New Leaves test includes various image sizes and opacity.
2221
2222         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
2223         * Animometer/tests/dom/leaves.html: Added.
2224         * Animometer/tests/dom/resources/leaves.js: Added. Override the
2225         (Particle.call.reset): Uses a range of sizes, and opacity.
2226         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
2227         (Particle.call.move): Set transform and opacity.
2228         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
2229         can be used in this test. Update the relative path so that it works in both the master
2230         and dom test suite.
2231
2232 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
2233
2234         Add developer Animometer test that bounces P3-tagged images
2235         https://bugs.webkit.org/show_bug.cgi?id=155511
2236
2237         Reviewed by Tim Horton.
2238         
2239         Add a test for rendering performance of tagged images. The 5 images are tagged
2240         with the Display P3 colorspace.
2241
2242         * Animometer/resources/debug-runner/tests.js:
2243         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
2244         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
2245         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
2246         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
2247         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
2248         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
2249         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
2250
2251 2016-03-09  Jon Lee  <jonlee@apple.com>
2252
2253         Enhance existing Animometer tests
2254         https://bugs.webkit.org/show_bug.cgi?id=155261
2255
2256         Reviewed by Simon Fraser.
2257
2258         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
2259         the filled circles. To expose more of the gradient, add another circle.
2260         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
2261         undulating stop points and colors. Fill the circles twice; once with
2262         the solid color, and once with the gradient.
2263
2264         * Animometer/tests/master/resources/dom-particles.js: Refactor the
2265         emission variables into a separate stage for this test. Add a colorOffset
2266         variable to make the colors of each particle slightly different, since
2267         the ramp controller can add large numbers of particles all at once, which
2268         would otherwise get all the same color.
2269         * Animometer/tests/master/resources/particles.js:
2270         (initialize): Remove the code specific to the SVG mask test.
2271
2272         * Animometer/tests/master/resources/image-data.js:
2273         (initialize): Remove unused local variable.
2274         * Animometer/tests/master/resources/multiply.js:
2275         (initialize): Make the test harder by adding more total particles.
2276
2277 2016-03-09  Jon Lee  <jonlee@apple.com>
2278
2279         Add text tests
2280         https://bugs.webkit.org/show_bug.cgi?id=155257
2281
2282         Reviewed by Simon Fraser.
2283
2284         * Animometer/resources/extensions.js:
2285         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
2286         assuming that two of the control points are at (0,0) and (1,1). Taken from
2287         WebCore/platform/graphics/UnitBezier.h
2288         * Animometer/resources/runner/tests.js: Add a test for English text and one
2289         for international text.
2290         * Animometer/tests/master/international.html: Added.
2291         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
2292         #template div which it will copy. The copies are placed behind the template, and
2293         are set with different colors each frame. They are moved around with CSS transform.
2294         * Animometer/tests/master/text.html: Added.
2295
2296         Remove the other text tests, since these ones cover the same techniques.
2297         * Animometer/tests/text/layering-text.html: Removed.
2298         * Animometer/tests/text/resources/layering-text.js: Removed.
2299         * Animometer/tests/text/resources/text-boxes.js: Removed.
2300         * Animometer/tests/text/text-boxes.html: Removed.
2301         * Animometer/resources/debug-runner/tests.js:
2302
2303 2016-03-09  Jon Lee  <jonlee@apple.com>
2304
2305         Add a new image test
2306         https://bugs.webkit.org/show_bug.cgi?id=155232
2307
2308         Reviewed by Dean Jackson.
2309         Provisionally reviewed by Said Abou-Hallawa.
2310
2311         The image test renders PNGs and moves them with translate and rotate
2312         transforms. Each particle has a lifetime, and when the lifetime ends or
2313         the particle goes offscreen, it resets itself somewhere on the stage.
2314
2315         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
2316         images test, because this one tests the same technique.
2317         * Animometer/resources/runner/tests.js: Added here as "Leaves".
2318         * Animometer/tests/master/leaves.html: Added.
2319         * Animometer/tests/master/resources/particles.js: Refactor out the parts
2320         specific to the DOM particles test. Consequently make velocity a public
2321         member.
2322         (initialize): The options parameter is never used, so remove it.
2323         (animate): Remove unused local variable.
2324         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
2325         moves back and forth across the canvas. That point affects the velocity
2326         of the particles. When the focal point is on the leftmost side, it is
2327         between [-6, -2], and set in reset(). When the focal point is on the rightmost
2328         side, it will be from [2, 6].
2329         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
2330         this test here from particles.js.
2331
2332         New images.
2333         * Animometer/tests/master/resources/compass100.png: Added.
2334         * Animometer/tests/master/resources/console100.png: Added.
2335         * Animometer/tests/master/resources/contribute100.png: Added.
2336         * Animometer/tests/master/resources/debugger100.png: Added.
2337         * Animometer/tests/master/resources/inspector100.png: Added.
2338         * Animometer/tests/master/resources/layout100.png: Added.
2339         * Animometer/tests/master/resources/performance100.png: Added.
2340         * Animometer/tests/master/resources/script100.png: Added.
2341         * Animometer/tests/master/resources/shortcuts100.png: Added.
2342         * Animometer/tests/master/resources/standards100.png: Added.
2343         * Animometer/tests/master/resources/storage100.png: Added.
2344         * Animometer/tests/master/resources/styles100.png: Added.
2345         * Animometer/tests/master/resources/timeline100.png: Added.
2346
2347 2016-03-03  Jon Lee  <jonlee@apple.com>
2348
2349         Add ability to retrieve raw data from release harness
2350         https://bugs.webkit.org/show_bug.cgi?id=155026
2351
2352         Reviewed by Simon Fraser.
2353
2354         * Animometer/developer.html: Remove the special UI in the debug
2355         harness.
2356         * Animometer/resources/runner/animometer.css: Add styles for the
2357         overlay.
2358         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
2359         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
2360         the overlay.
2361         (window.benchmarkController.selectResults): Cycle the cases around
2362         so that the first 's' press selects both the benchmark score and
2363         the individual test scores.
2364         * Animometer/resources/debug-runner/animometer.css: Remove
2365         unneeded rules.
2366         * Animometer/resources/debug-runner/animometer.js: Make the same
2367         call to handleKeyPress.
2368
2369 2016-03-03  Jon Lee  <jonlee@apple.com>
2370
2371         Make sure multiply test particles have at least some opacity
2372         https://bugs.webkit.org/show_bug.cgi?id=155027
2373
2374         Reviewed by Simon Fraser.
2375
2376         * Animometer/tests/master/resources/multiply.js:
2377         (initialize): Have the elements spin a little faster to make it
2378         more obvious when the system is being stressed.
2379         (_addTile):
2380         (animate): Make sure each element being animated has at least 1%
2381         opacity.
2382
2383 2016-03-03  Jon Lee  <jonlee@apple.com>
2384
2385         Update image test
2386         https://bugs.webkit.org/show_bug.cgi?id=154962
2387
2388         Rubber-stamped by Darin Adler.
2389
2390         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
2391         * Animometer/tests/master/resources/image-data.js:
2392         (initialize): Update to load multiple images serially.
2393         (_loadImage):
2394         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
2395         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
2396         (_refreshElement): Place element in a tile grid.
2397         (animate):
2398         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
2399         * Animometer/tests/master/resources/compass.svg: Added.
2400         * Animometer/tests/master/resources/console.svg: Added.
2401         * Animometer/tests/master/resources/contribute.svg: Added.
2402         * Animometer/tests/master/resources/debugger.svg: Added.
2403         * Animometer/tests/master/resources/inspector.svg: Added.
2404         * Animometer/tests/master/resources/layout.svg: Added.
2405         * Animometer/tests/master/resources/performance.svg: Added.
2406         * Animometer/tests/master/resources/script.svg: Added.
2407         * Animometer/tests/master/resources/shortcuts.svg: Added.
2408         * Animometer/tests/master/resources/standards.svg: Added.
2409         * Animometer/tests/master/resources/storage.svg: Added.
2410         * Animometer/tests/master/resources/styles.svg: Added.
2411         * Animometer/tests/master/resources/timeline.svg: Added.
2412
2413 2016-03-02  Jon Lee  <jonlee@apple.com>
2414
2415         Add some new controllers, and refine tests
2416         https://bugs.webkit.org/show_bug.cgi?id=154914
2417
2418         Reviewed by Simon Fraser.
2419
2420         Improve tests.
2421
2422         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
2423         in a container element. Expand the container element by the max blur radius, and clip
2424         overflow. This way, when the blur is applied, it avoids causing layer resizes.
2425         * Animometer/tests/master/resources/focus.js:
2426         (FocusElement.Utilities.createClass): Create a container element, and put the particle
2427         inside.
2428         (hide): Set display:none.
2429         (show): Set display:block.
2430         (animate): Apply filters to the container element.
2431         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
2432         keep them in the stage, but set the display style instead. Use this._offsetIndex to
2433         keep track of which elements are displayed.
2434         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
2435         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
2436         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
2437         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
2438         stage appear less black when the complexity gets large enough.
2439         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
2440         frame.
2441
2442 2016-03-02  Jon Lee  <jonlee@apple.com>
2443
2444         Add some new controllers, and refine tests
2445         https://bugs.webkit.org/show_bug.cgi?id=154914
2446
2447         Reviewed by Simon Fraser.
2448
2449         Add a controller that centers around 30 fps instead of 60 fps.
2450
2451         * Animometer/developer.html: Add a new option.
2452         * Animometer/resources/debug-runner/animometer.js:
2453         * Animometer/resources/runner/animometer.js:
2454         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2455         check the controller, and use a 30 fps baseline if needed.
2456         * Animometer/resources/statistics.js:
2457         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2458         frame length.
2459         * Animometer/tests/resources/main.js:
2460         (tune): Override some of the constants in RampController. Move those constants out for
2461         easier reading.
2462
2463         Add a fixed controller, with no step.
2464
2465         * Animometer/developer.html: Add a controller that takes no step.
2466         * Animometer/resources/debug-runner/animometer.js:
2467         * Animometer/tests/resources/main.js:
2468         (Rotater.Utilities.createClass):
2469
2470         Switch to ramp controller as default.
2471
2472         * Animometer/developer.html: Increase the test length to 20 seconds.
2473         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2474         since that is a more accurate description.
2475         * Animometer/resources/debug-runner/graph.js:
2476         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2477
2478 2016-02-26  Jon Lee  <jonlee@apple.com>
2479
2480         Address Dean's comments in 154673.
2481
2482         * Animometer/developer.html:
2483         * Animometer/resources/debug-runner/animometer.js:
2484         * Animometer/resources/debug-runner/graph.js:
2485
2486 2016-02-25  Jon Lee  <jonlee@apple.com>
2487
2488         Update animation benchmark and tests
2489         https://bugs.webkit.org/show_bug.cgi?id=154673
2490
2491         Reviewed by Dean Jackson.
2492
2493         Update test visuals.
2494
2495         * Animometer/tests/master/resources/canvas-tests.js:
2496         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2497         Update circle position and radius to minimize impact.
2498         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2499         have 3 locations for emitting particles.
2500         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2501         more color.
2502         (initialize): Fix some of the math for laying out the tiles.
2503         (animate): When a tile isn't used, set visibility: hidden.
2504
2505 2016-02-24  Jon Lee  <jonlee@apple.com>
2506
2507         Update animation benchmark and tests
2508         https://bugs.webkit.org/show_bug.cgi?id=154673
2509
2510         Reviewed by Dean Jackson.
2511
2512         Update the ramp controller.
2513
2514         The controller refines the complexity interval to test across.
2515
2516         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2517         (Regression): For the flat regression, force the first segment to be at 60 fps.
2518         (valueAt): Add convenience function to return interpolated value based on the regression used.
2519         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2520         errors.
2521         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2522         to be reset.
2523
2524         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2525         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2526         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2527         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2528         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2529         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2530         parameters.
2531         (update): During the tier phase, it is possible that the highest complexity possible for a test
2532         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2533         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2534         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2535         FPS at each tier.
2536         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2537         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2538         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2539         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2540         FPS to drop, we reset the minimum complexity.
2541
2542         Have the bootstrap calculation occur between tests. Clean up harness.
2543
2544         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2545         completed to avoid doing all of it at the end before showing the results. Clean up
2546         parameters being passed around.
2547         * Animometer/resources/debug-runner/tests.js:
2548         (text):
2549         * Animometer/resources/runner/animometer.js:
2550         (this._processData.calculateScore): Save the results to the same object holding the data.
2551         (this._processData._processData): In the case where a file is dragged, calculate the score
2552         serially. Grab the results object and move it to the results variable and remove it from
2553         the data object. This avoids serializing the results into the JSON.
2554         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2555         resample size to shorten the wait.
2556         * Animometer/resources/runner/benchmark-runner.js:
2557         * Animometer/resources/statistics.js:
2558         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2559         floats and integers causes an alphabetical sort to occur.
2560         * Animometer/resources/strings.js:
2561
2562         Add meta charset so that encodings between harness and test match.
2563
2564         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2565         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2566         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2567         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2568         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2569         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2570         * Animometer/tests/master/canvas-stage.html:
2571         * Animometer/tests/master/focus.html:
2572         * Animometer/tests/master/image-data.html:
2573         * Animometer/tests/master/multiply.html:
2574         * Animometer/tests/master/particles.html:
2575         * Animometer/tests/misc/canvas-electrons.html:
2576         * Animometer/tests/misc/canvas-stars.html:
2577         * Animometer/tests/misc/compositing-transforms.html:
2578         * Animometer/tests/simple/simple-canvas-paths.html:
2579         * Animometer/tests/simple/tiled-canvas-image.html:
2580         * Animometer/tests/template/template-canvas.html:
2581         * Animometer/tests/template/template-css.html:
2582         * Animometer/tests/template/template-svg.html:
2583         * Animometer/tests/text/layering-text.html:
2584         * Animometer/tests/text/text-boxes.html:
2585
2586         Update test harness reporting.
2587
2588         * Animometer/developer.html: Add missing meta charset.
2589         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2590         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2591         formatting the results table.
2592         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2593         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2594         * Animometer/resources/strings.js: Move strings not used by the release harness.
2595
2596         Switch to a pseudo-random number generator.
2597
2598         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2599         pseudo-random number generator.
2600         (_calculateRegression): Reset the generator before running bootstrap.
2601         (bootstrap): Deleted.
2602
2603         Replace Math.random with Pseudo.random.
2604         * Animometer/tests/master/resources/canvas-tests.js:
2605         * Animometer/tests/master/resources/focus.js:
2606         * Animometer/tests/master/resources/particles.js:
2607         * Animometer/tests/resources/main.js:
2608
2609         Use bootstrapping to get confidence interval in the breakpoint.
2610
2611         For the ramp controller, calculate the piecewise regression, and then use
2612         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2613
2614         * Animometer/developer.html: Default to the complexity graph. Add a legend
2615         checkbox to toggle visibility of the bootstrap score and histogram.
2616         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2617         the old raw and average scores in the legend. Add new styles for the data.
2618         * Animometer/resources/debug-runner/graph.js:
2619         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2620         regression line. Now |stdev| is |range|.
2621         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2622         the bootstrap samples. Switch raw samples from circles to X's.
2623         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2624         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2625         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2626         interval.
2627         * Animometer/resources/runner/animometer.js:
2628         (this._processData.findRegression): Factor out the code that determines which
2629         samples to include when calculating the piecewise regression. For series that have
2630         many samples, or a wider range of recorded complexities, throw away the 2.5%
2631         lowest and highest samples before calculating the regression. Keep all samples
2632         if the number of samples to regress is small or the range of complexities is
2633         narrow.
2634         (this._processData._calculateScore): Factor out regression calculation to
2635         findRegression(). Bootstrap the change point of the regression. The score is the
2636         median.
2637         * Animometer/resources/statistics.js:
2638         (_calculateRegression): Correct an issue in the calculation of the regression, where
2639         the denominator can be 0.
2640         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2641         re-samples by random selection with replacement. Return the 95% confidence samples,
2642         the bootstrap median, mean, and the data itself.
2643         * Animometer/resources/strings.js: Add bootstrap.
2644         * Animometer/tests/resources/main.js:
2645         (processSamples): Don't prematurely cut the sample data.
2646
2647         Fix graph drawing.
2648
2649         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2650         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2651         * Animometer/resources/debug-runner/animometer.css:
2652         (#complexity-graph .series.raw circle): Update the color.
2653         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2654         complexity axis, which can vary in domain. For determining the complexity domain,
2655         only use samples after samplingTimeOffset.
2656
2657         Allow dropping results JSON.
2658
2659         * Animometer/developer.html: Add a button.
2660         * Animometer/resources/debug-runner/animometer.css:
2661         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2662         to the dashboard. With JSON output, write out only the options and the raw data.
2663
2664         Teach the harness to evaluate the samples and determine the test score.
2665
2666         This will allow us to update how the score is calculated separately from the samples recorded.
2667         This also prepares the harness to be able to accept JSON of prior runs.
2668
2669         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2670         hierarchy.
2671         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2672
2673         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2674         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2675         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2676         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2677         Group them, and calculate distribution of samples within the same complexity, and add those as
2678         new entries into |complexityAverageSamples|.
2679         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2680         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2681
2682         {
2683             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2684             marks: [...],
2685             samples: {                    // all of the sample data
2686                 controller: [...],
2687                 complexity: [...],        // processed from controller samples
2688                 complexityAverage: [...], // processed from complexity samples
2689             }
2690         }
2691
2692         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2693         now pass the test options to the graph.
2694         (Regression): Move to statistics.js.
2695         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2696         only contains one sample, since we cannot calculate a regression from one sample point.
2697
2698         Teach the test harness to evaluate the data.
2699         * Animometer/resources/runner/animometer.js:
2700         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2701         from the data. The results are stored as:
2702
2703         {
2704             score: /* geomean of iteration score */,
2705             iterationsResults: [
2706                 {
2707                     score: /* geomean of tests */,
2708                     testsResults: {
2709                         suiteName: {
2710                             testName: {
2711                                 controller: {
2712                                     average:
2713                                     concern:
2714                                     stdev:
2715                                     percent:
2716                                 },
2717                                 frameLength: { ... },
2718                                 complexity: {
2719                                     complexity:
2720                                     stdev:
2721                                     segment1:
2722                                     segment2:
2723                                 },
2724                                 complexityAverage: { ... }
2725                             },
2726                             testName: { ... },
2727                         },
2728                         ... next suite ...
2729                     }
2730                 },
2731                 { ...next iteration... }
2732             ]
2733         }
2734
2735         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2736         on what was selected in the form. This will later allow for dropping previous results, and
2737         using those runs' options when calculating scores.
2738         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2739         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2740
2741         Consolidate JS files, and move statistics out to a separate JS.
2742
2743         Preparation for having the Controller only handle recording and storage of the samples,
2744         and leave the evaluation of the test score out to the harness. Move Experiment to
2745         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2746         and move it to utilities.js since the Heap is used only for Experiments.
2747
2748         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2749         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2750         Sampler in main.js.
2751         * Animometer/tests/resources/main.js: Move Sampler here.
2752         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2753         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2754         a max or min heap to Heap, instead of a new Algorithm object.
2755
2756         Update JS files.
2757         * Animometer/developer.html:
2758         * Animometer/index.html:
2759         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2760         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2761         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2762         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2763         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2764         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2765         * Animometer/tests/master/canvas-stage.html:
2766         * Animometer/tests/master/focus.html:
2767         * Animometer/tests/master/image-data.html:
2768         * Animometer/tests/master/multiply.html:
2769         * Animometer/tests/master/particles.html:
2770         * Animometer/tests/misc/canvas-electrons.html:
2771         * Animometer/tests/misc/canvas-stars.html:
2772         * Animometer/tests/misc/compositing-transforms.html:
2773         * Animometer/tests/simple/simple-canvas-paths.html:
2774         * Animometer/tests/simple/tiled-canvas-image.html:
2775         * Animometer/tests/template/template-canvas.html:
2776         * Animometer/tests/template/template-css.html:
2777         * Animometer/tests/template/template-svg.html:
2778         * Animometer/tests/text/layering-text.html:
2779         * Animometer/tests/text/text-boxes.html:
2780
2781         Fix the cursor in the graph analysis when the min
2782         complexity is not 0.
2783
2784         * Animometer/resources/debug-runner/graph.js:
2785         (_addRegression):
2786         (createComplexityGraph):
2787
2788 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2789
2790         Fix some issues in MallocBench
2791         https://bugs.webkit.org/show_bug.cgi?id=154600
2792
2793         Reviewed by Oliver Hunt.
2794
2795         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2796         a part of the build so that it copies to the right place for execution.
2797
2798         * MallocBench/MallocBench/Interpreter.cpp:
2799         (Interpreter::Interpreter): Don't try to open .ops files for writing
2800         because we're only going to read and we might need extra permissions to
2801         write.
2802
2803         (Interpreter::~Interpreter): Give more context when opening a file fails
2804         to help with debugging.
2805
2806         * MallocBench/MallocBench/stress.cpp:
2807         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2808
2809 2016-02-23  Michael Saboff  <msaboff@apple.com>
2810
2811         Unreviewed change to revert extraneous changes made part of change set 196955.
2812
2813         * MallocBench/MallocBench/Interpreter.cpp:
2814         (Interpreter::doMallocOp):
2815         (Interpreter::Thread::switchTo):
2816         (writeData): Deleted.
2817
2818 2016-02-19  Michael Saboff  <msaboff@apple.com>
2819
2820         MallocBench: Added recording for nimlang website, new recording details and added new options
2821         https://bugs.webkit.org/show_bug.cgi?id=154485
2822
2823         Reviewed by Geoff Garen.
2824
2825         Added new capabilities to MallocBench.  These include:
2826             Added a recording of http://nim-lang.org/docs/lib.html.
2827             Added thread id to the recording and the ability to playback switching threads in MallocBench
2828             Added aligned allocations to recordings and the ability to playback
2829             Added --use-thread-id option to honor recorded thread ids
2830             Added --detailed-report to output remaining allocations by size after playback
2831             Added --no-warmup to not run the warm up iteration
2832
2833         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2834         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2835         can access the options that are appropriate.  The Benchmark class also uses the options for
2836         is parallel, run counts and warm up.
2837
2838         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2839         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2840         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2841         without any incompatibilities.
2842
2843         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2844         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2845         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2846         assure that only one thread is really running at a time and a condition variable used to wait
2847         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2848         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2849
2850         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2851         * MallocBench/MallocBench/Benchmark.cpp:
2852         (deallocateHeap):
2853         (Benchmark::Benchmark):
2854         (Benchmark::runOnce):
2855         (Benchmark::run):
2856         * MallocBench/MallocBench/Benchmark.h:
2857         (Benchmark::isValid):
2858         * MallocBench/MallocBench/CommandLine.cpp:
2859         (CommandLine::printUsage):
2860         * MallocBench/MallocBench/CommandLine.h:
2861         (CommandLine::isValid):
2862         (CommandLine::benchmarkName):
2863         (CommandLine::isParallel):
2864         (CommandLine::useThreadID):
2865         (CommandLine::detailedReport):
2866         (CommandLine::warmUp):
2867         (CommandLine::heapSize):
2868         (CommandLine::runs):
2869         * MallocBench/MallocBench/Interpreter.cpp:
2870         (Interpreter::Interpreter):
2871         (Interpreter::run):
2872         (Interpreter::readOps):
2873         (Interpreter::doOnSameThread):
2874         (Interpreter::switchToThread):
2875         (Interpreter::detailedReport):
2876         (compute2toPower):
2877         (writeData):
2878         (Interpreter::doMallocOp):
2879         (Interpreter::Thread::Thread):
2880         (Interpreter::Thread::stop):
2881         (Interpreter::Thread::~Thread):
2882         (Interpreter::Thread::runThread):
2883         (Interpreter::Thread::waitToRun):
2884         (Interpreter::Thread::switchTo):
2885         * MallocBench/MallocBench/Interpreter.h:
2886         (Interpreter::Thread::isMainThread):
2887         * MallocBench/MallocBench/alloc_free.cpp: Added.
2888         (benchmark_alloc_free):
2889         * MallocBench/MallocBench/alloc_free.h: Added.
2890         * MallocBench/MallocBench/balloon.cpp:
2891         (benchmark_balloon):
2892         * MallocBench/MallocBench/balloon.h:
2893         * MallocBench/MallocBench/big.cpp:
2894         (benchmark_big):
2895         * MallocBench/MallocBench/big.h:
2896         * MallocBench/MallocBench/churn.cpp:
2897         (benchmark_churn):
2898         * MallocBench/MallocBench/churn.h:
2899         * MallocBench/MallocBench/facebook.cpp:
2900         (benchmark_facebook):
2901         * MallocBench/MallocBench/facebook.h:
2902         * MallocBench/MallocBench/flickr.cpp:
2903         (benchmark_flickr):
2904         (benchmark_flickr_memory_warning):
2905         * MallocBench/MallocBench/flickr.h:
2906         * MallocBench/MallocBench/fragment.cpp:
2907         (validate):
2908         (benchmark_fragment):
2909         (benchmark_fragment_iterate):
2910         * MallocBench/MallocBench/fragment.h:
2911         * MallocBench/MallocBench/list.cpp:
2912         (benchmark_list_allocate):
2913         (benchmark_list_traverse):
2914         * MallocBench/MallocBench/list.h:
2915         * MallocBench/MallocBench/main.cpp:
2916         (main):
2917         * MallocBench/MallocBench/medium.cpp:
2918         (benchmark_medium):
2919         * MallocBench/MallocBench/medium.h:
2920         * MallocBench/MallocBench/memalign.cpp:
2921         (test):
2922         (benchmark_memalign):
2923         * MallocBench/MallocBench/memalign.h:
2924         * MallocBench/MallocBench/message.cpp:
2925         (benchmark_message_one):
2926         (benchmark_message_many):
2927         * MallocBench/MallocBench/message.h:
2928         * MallocBench/MallocBench/nimlang.cpp: Added.
2929         (benchmark_nimlang):
2930         * MallocBench/MallocBench/nimlang.h: Added.
2931         * MallocBench/MallocBench/nimlang.ops: Added.
2932         * MallocBench/MallocBench/realloc.cpp:
2933         (benchmark_realloc):
2934         * MallocBench/MallocBench/realloc.h:
2935         * MallocBench/MallocBench/reddit.cpp:
2936         (benchmark_reddit):
2937         (benchmark_reddit_memory_warning):
2938         * MallocBench/MallocBench/reddit.h:
2939         * MallocBench/MallocBench/stress.cpp:
2940         (deallocate):
2941         (benchmark_stress):
2942         * MallocBench/MallocBench/stress.h:
2943         * MallocBench/MallocBench/stress_aligned.cpp:
2944         (benchmark_stress_aligned):
2945         * MallocBench/MallocBench/stress_aligned.h:
2946         * MallocBench/MallocBench/theverge.cpp:
2947         (benchmark_theverge):
2948         (benchmark_theverge_memory_warning):
2949         * MallocBench/MallocBench/theverge.h:
2950         * MallocBench/MallocBench/tree.cpp:
2951         (benchmark_tree_allocate):
2952         (benchmark_tree_traverse):
2953         (benchmark_tree_churn):
2954         * MallocBench/MallocBench/tree.h:
2955         * MallocBench/run-malloc-benchmarks:
2956
2957 2016-02-11  Jon Lee  <jonlee@apple.com>
2958
2959         Fix a missing refactoring.
2960
2961         * Animometer/tests/master/resources/multiply.js:
2962         (animate): Move to Utilities.lerp.
2963         (_lerp): Deleted.
2964
2965 2016-02-10  Jon Lee  <jonlee@apple.com>
2966
2967         Add new benchmark tests.
2968         https://bugs.webkit.org/show_bug.cgi?id=154063
2969
2970         Provisionally reviewed by Said Abou-Hallawa.
2971
2972         Add tests for get/put image data, filters, opacity, and css transforms.
2973
2974         * Animometer/resources/runner/benchmark-runner.js:
2975         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2976         the stage.
2977         (this._runNextIteration): Clear the background color style for the results page.
2978         * Animometer/resources/runner/tests.js:
2979         * Animometer/tests/master/focus.html: Added.
2980         * Animometer/tests/master/image-data.html: Added.
2981         * Animometer/tests/master/multiply.html: Added.
2982         * Animometer/tests/master/resources/focus.js: Added.
2983         * Animometer/tests/master/resources/image-data.js: Added.
2984         * Animometer/tests/master/resources/multiply.js: Added.
2985         * Animometer/tests/master/resources/stage.css: Move common styles out.
2986         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
2987         Add Stage.randomSign for randomly setting a direction. Add the notion of the
2988         current timestamp of the test to Benchmark, since some animations cycle through
2989         colors and rely on an incremental counter like the time.
2990
2991 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
2992
2993         Add internal benchmark tests for CSS mix-blend-modes and filters
2994         https://bugs.webkit.org/show_bug.cgi?id=154058
2995
2996         Provisionally reviewed by Jon Lee.
2997
2998         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
2999         "HTML suite" of the debug runner.
3000
3001         * Animometer/resources/extensions.js:
3002         (Utilities.browserPrefix):
3003         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
3004         prefixed style properties.
3005
3006         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3007         Set the mix-blend-mode and the filter to some random values if the options
3008         of the test requested that.
3009
3010         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3011         (parseShapeParameters): Parse the url options "blend" and "filter" and set
3012         the corresponding flags.
3013
3014         * Animometer/tests/resources/main.js:
3015         (randomStyleMixBlendMode):
3016         (randomStyleFilter): Return random mix-blend-mode and filter.
3017
3018 2016-02-08  Jon Lee  <jonlee@apple.com>
3019
3020         Add a ramp controller
3021         https://bugs.webkit.org/show_bug.cgi?id=154028
3022
3023         Provisionally reviewed by Said Abou-Hallawa.
3024
3025         Enhance the graph to include a complexity-fps graph, in addition
3026         to the time graph.
3027
3028         * Animometer/developer.html: Add a ramp option.
3029         * Animometer/resources/debug-runner/animometer.css: Update the style.
3030         * Animometer/resources/strings.js: Flatten the Strings.text constants.
3031         * Animometer/resources/debug-runner/animometer.js:
3032         (ResultsTable.call._addGraphButton): Refactor.
3033         (ResultsTable.call._addTest): Add regression data.
3034         (benchmarkController): Add a form that allows the user to switch between the two forms,
3035         Add a form that allows the user to toggle different data. Hide certain header columns
3036         depending on the selected controller.
3037         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
3038         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
3039         * Animometer/resources/runner/animometer.js:
3040         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
3041         * Animometer/tests/resources/main.js:
3042         (Controller): Allow options to specify the capacity for sample arrays.
3043         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
3044         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
3045         error. Sweep across the samples in time (which could be backward depending on the controller)
3046         and calculate the intersection point.
3047         (RampController): This controller assumes that the target frame rate is below
3048         58 FPS. It runs in two stages. The first stage quickly determines the order of
3049         magnitude of objects needed to stress the system by the setting the complexity
3050         to increasingly difficult tiers. Perform a series of ramps descending from a
3051         high-water mark of complexity. The complexity needed to reach the target frame
3052         length is done by performing a piecewise regression on each ramp, and track a
3053         running average of these values. For the next ramp, make that running average
3054         the center of the ramp. With a minimum complexity of 0, the high-water mark is
3055         twice that average. The score is based on the highest complexity that can
3056         reach 60 fps.
3057
3058 2016-02-08  Jon Lee  <jonlee@apple.com>
3059
3060         Address Said's comments on the benchmark, and do some clean up.
3061
3062         * Animometer/developer.html:
3063         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
3064         * Animometer/resources/debug-runner/animometer.js: Use the right
3065         Strings constants.
3066         * Animometer/resources/debug-runner/graph.js:
3067         (_addRegressionLine): Add missing code to draw the line and standard
3068         deviation highlight.
3069         (onGraphTypeChanged): Remove unneeded variables
3070         (onTimeGraphOptionsChanged):
3071         * Animometer/resources/runner/benchmark-runner.js:
3072         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
3073         _suitesSamplers to _suitesResults.
3074         * Animometer/tests/resources/main.js:
3075         (results): Call processSamples().
3076         (update): Change sampling timestamp comparison.
3077         (_animateLoop): Move shouldStop call to before the update.
3078         * Animometer/tests/resources/sampler.js:
3079         (process): Rename to processSamples().
3080
3081 2016-02-07  Jon Lee  <jonlee@apple.com>
3082
3083         Teach Controller to measure intervals, and turn off the frame length estimator.
3084
3085         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
3086         (start): Set the first interval.
3087         (_measureAndResetInterval): Reports the average frame length of the interval that just
3088         completed, and sets up the next interval.
3089         (update): If there is no length, then just use the estimator per frame, otherwise the
3090         estimator measures per interval. Add a didFinishInterval for subclasses to process
3091         prior to recording the sample. Update tune() to include whether an interval had
3092         finished.
3093         (StepController): Step controllers don't measure on an interval basis.
3094
3095 2016-02-07  Jon Lee  <jonlee@apple.com>
3096
3097         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
3098         and switch the parameters for start(), update(), and tune(), so that the timestamp
3099         is first and stage is second.
3100
3101         * Animometer/tests/resources/main.js:
3102
3103 2016-02-07  Jon Lee  <jonlee@apple.com>
3104
3105         Move ResultsTable functionality not needed for release tests out.
3106         Move reporting of score and mean to selection of the time-based graph.
3107
3108         * Animometer/developer.html: Rename graph-options to time-graph-options.
3109         * Animometer/resources/debug-runner/animometer.js:
3110         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
3111         values to "average" objects which can hold stdev. Move graph button and
3112         calculation of noisy measurements here. Sophisticated header processing
3113         is not needed in release suite.
3114         (populateTable): Use DeveloperResultsTable.
3115         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
3116         its own function, and add a new onGraphTypeChanged handler in preparation
3117         of a complexity graph to be added later.
3118         * Animometer/resources/runner/animometer.js:
3119         (ResultsTable): Simplify to just handle test names and scores.
3120
3121 2016-02-07  Jon Lee  <jonlee@apple.com>
3122
3123         Tests: reuse objects already made.
3124
3125         Avoid thrash of object creation and removal by maintaining an index that
3126         moves along the array as the adjust values change. If the tune value
3127         requires more objects than the maximum size of the object array, then create
3128         new objects. This means that the object array size never decreases.
3129
3130         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
3131         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
3132         so the scene will draw the object at offsetIndex to the end of the array.
3133         (tune): Reverse the logic since "removal" of objects is much simpler and
3134         involves simply changing the offsetIndex.
3135         (animate): Update the for loop to draw from offsetIndex to the end.
3136         (complexity): Update the definition.
3137         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
3138         offsetIndex. For these tests, we want to avoid drawing the newest objects,
3139         so the scene will draw the object at index 0 to the object at offsetIndex.
3140         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
3141         which is unneeded. Update the for loop to draw from offsetIndex to the end.
3142         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3143         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
3144         offsetIndex.
3145         * Animometer/tests/simple/resources/simple-canvas.js:
3146         (tune): Update logic. Here, offsetIndex represents the boundary of the last
3147         index to render.
3148         (animate): Update the for loop to draw from 0 to offsetIndex.
3149         (complexity): Update the definition.
3150
3151 2016-02-07  Jon Lee  <jonlee@apple.com>
3152
3153         Tests: refactor and update styles.
3154
3155         * Animometer/tests/resources/main.js: Add helper methods that return
3156         a color that hue rotates based on the date, and a counter value that
3157         increases based on the date. Fix randomInt() to not bias against the min and
3158         max values.
3159
3160         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
3161         * Animometer/tests/master/resources/dom-particles.js: Ditto.
3162         * Animometer/tests/master/resources/particles.js: Ditto.
3163         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
3164         use a rotating color instead of a random color. The fast switching of color
3165         is too vivid to watch.
3166
3167         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3168         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
3169         that the last stop is located at the end.
3170
3171 2016-02-07  Jon Lee  <jonlee@apple.com>
3172
3173         Refactor tune() to not return the complexity of the scene.
3174
3175         We have stage.complexity() now, so returning the complexity through tune
3176         is unnecessary.
3177
3178         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3179         * Animometer/tests/master/resources/canvas-stage.js:
3180         * Animometer/tests/master/resources/particles.js:
3181         * Animometer/tests/misc/resources/canvas-electrons.js:
3182         * Animometer/tests/misc/resources/canvas-stars.js:
3183         * Animometer/tests/resources/main.js:
3184         * Animometer/tests/simple/resources/simple-canvas.js:
3185         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3186         * Animometer/tests/template/resources/template-canvas.js:
3187         * Animometer/tests/template/resources/template-css.js:
3188         * Animometer/tests/template/resources/template-svg.js:
3189         * Animometer/tests/text/resources/layering-text.js:
3190
3191 2016-02-07  Jon Lee  <jonlee@apple.com>
3192
3193         Make the fixed controller a step controller instead. Halfway through the test
3194         it will bump up the complexity 4-fold. Calculate the step timestamp using options
3195         instead of a separate parameter to the Controller constructor.
3196
3197         * Animometer/developer.html: Change value to "step"
3198         * Animometer/resources/debug-runner/animometer.js:
3199         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
3200         * Animometer/tests/resources/main.js:
3201         (update): Provide a hook for subclasses to tune.
3202         (StepController): Maintain a flag determining whether we've stepped, and the time
3203         we should step.
3204         (Benchmark): Use the new StepController.
3205
3206 2016-02-07  Jon Lee  <jonlee@apple.com>
3207
3208         Adjust the FPS graph scale.
3209
3210         Instead of making the FPS graph linearly scale, scale it based on the frame length,
3211         but show the data in terms of FPS. Because it is inversely proportional, and most
3212         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
3213         over half of the available graph space ends up blank.
3214
3215         This means we should convert all of the FPS data to frame length data.
3216
3217         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
3218         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
3219         values being shown, and then pick the min and max values to represent the length of the
3220         cursor.
3221         * Animometer/resources/runner/animometer.js:
3222         * Animometer/resources/strings.js:
3223         * Animometer/tests/resources/main.js:
3224         (processSamples): Add the ability to only sample a range of the data instead of everything
3225         after an offset index. Update sampler to record the frame lengths instead of the frame
3226         rate.
3227
3228 2016-02-07  Jon Lee  <jonlee@apple.com>
3229
3230         Add option to use different methods for retrieving a timestamp.
3231
3232         * Animometer/developer.html: Add performance.now and Date.now options.
3233         * Animometer/resources/runner/animometer.js: Default to performance.now.
3234         (window.benchmarkController.startBenchmark):
3235         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
3236         (run): Use _getTimestamp.
3237         (_animateLoop): Ditto.
3238
3239 2016-02-07  Jon Lee  <jonlee@apple.com>
3240
3241         Allow adding any number of markers to the graph. The markers can be labeled
3242         and contain timestamp and sample index data. Make it a part of the controller
3243         rather than keeping it in the sampler.
3244
3245         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
3246         * Animometer/resources/debug-runner/graph.js: Create the markers and add
3247         text labels.
3248         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
3249         is just one of the marks provided.
3250         * Animometer/resources/strings.js: Add Strings.json.marks.
3251         * Animometer/tests/resources/main.js:
3252         (Controller): Keep marks here. They are keyed by the marker name, so no two
3253         markers should have the same name.
3254         (recordFirstSample): Refactor to use mark.
3255         (mark): Allows for arbitrary data if needed later. The timestamp maintained
3256         is relative to the absolute start timestamp.
3257         (containsMark): Checks whether a mark with a specific comment exists.
3258         (processSamples): Removes the _startTimestamp offset from the marks before
3259         setting it in results.
3260         * Animometer/tests/resources/sampler.js: Remove marks.
3261
3262 2016-02-07  Jon Lee  <jonlee@apple.com>
3263
3264         Get rid of options member variable in Benchmark.
3265
3266         Options are only needed when initializing the stage or benchmark, so there's no
3267         need to also keep a reference to it.
3268
3269         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
3270         Pass options to Controllers and Stages.
3271         (Controller.Utilities.createClass):
3272         (Benchmark.Utilities.createClass):
3273         (get options): Deleted.
3274
3275         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3276         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3277         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3278         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3279         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3280         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3281         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3282         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3283         * Animometer/tests/master/resources/canvas-stage.js:
3284         * Animometer/tests/master/resources/canvas-tests.js:
3285         * Animometer/tests/master/resources/particles.js:
3286         * Animometer/tests/misc/resources/canvas-electrons.js:
3287         * Animometer/tests/misc/resources/canvas-stars.js:
3288         * Animometer/tests/misc/resources/compositing-transforms.js:
3289         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3290         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3291         * Animometer/tests/template/resources/template-canvas.js:
3292         * Animometer/tests/template/resources/template-css.js:
3293         * Animometer/tests/template/resources/template-svg.js:
3294         * Animometer/tests/text/resources/layering-text.js:
3295
3296 2016-02-07  Jon Lee  <jonlee@apple.com>
3297
3298         Update how the benchmark is run
3299         https://bugs.webkit.org/show_bug.cgi?id=153960
3300
3301         Provisionally reviewed by Said Abou-Hallawa.
3302
3303         Introduce the notion of a Controller. It is responsible for recording, updating,
3304         and processing the statistics and complexity of the benchmark. This allows
3305         plugging in different Controllers.
3306
3307         This strips most of the functionality from Animator and BenchmarkState, so fold
3308         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
3309         are responsible for driving the animation loop.
3310
3311         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
3312         maintains a fixed complexity, and the other adapts the complexity to meet a
3313         fixed FPS.
3314
3315         Fix the Kalman estimator to be modeled on a scalar variable with no model.
3316
3317         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
3318         replace it with a Controller. Add a FixedController and refactor the previous controller
3319         to an AdaptiveController.
3320
3321         (Controller): Controllers own the estimator and the sampler. When a new frame is
3322         displayed, the animation loop calls update(). The estimator and sampler record
3323         stats, then tune. Samplers can track multiple series of data. The basic controller
3324         tracks timestamp, complexity, and estimated frame rate.
3325                 The Kalman estimation is based on the frame length rather than the frame
3326         rate. Because FPS is inverse proportional to frame length, in the case where the measured
3327         frame length is very small, the FPS ends up being a wildly large number (in the order of
3328         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
3329         for it to settle back down. Using frame length reduces the impact of these spikes.
3330                 Converging the estimation takes enough time to avoid initializing it immediately
3331         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
3332         before running it in earnest. Allow controllers an opportunity to set the complexity
3333         before starting recording.
3334                 When the benchmark is complete, the controller has an opportunity to process
3335         the samples. The default implementation calculates the raw FPS based on the time
3336         difference of the samples, and calculates the complexity score. This is moved from
3337         Benchmark.processSamples.
3338
3339         (Controller): Initialize timestamps. These are at first relative to the start of the
3340         benchmark, but are offset by the absolute start time during start(). By default maintain
3341         3 data series, but subclasses can override.
3342         (start): Calls recordFirstSample() for subclasses to override if needed.
3343         (recordFirstSample): For basic controller, start sampling at the beginning.
3344         (update): Update the frame length estimator and sample.
3345         (shouldStop): Checks that the time is before _endTimestamp.
3346         (results): Returns the processed samples.
3347         (processSamples): Iterate through the sample data and collate them. Include scores.
3348
3349         (FixedComplexityController): Controller that tunes the stage to the desired complexity
3350         prior to starting, and keeps it at that complexity.
3351
3352         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
3353         raw frame rate.
3354                 The previous version of this controller ignored the frame that came after the
3355         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
3356         compared to the noise of the system overall. Stop ignoring that frame and include all
3357         frames in the measurements.
3358
3359         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
3360         selected. Most of the loop's functionality is in Controller, so remove here.
3361         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
3362         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
3363         a brief period before calling Controller.start().
3364
3365         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates
3366         a scalar variable, and makes basic assumptions regarding the model. As a result
3367         none of the linear algebra classes are needed, so remove Matrix, Vector3, and Matrix3.
3368         (SimpleKalmanEstimator): Calculate the gain based on the provided process and
3369         measurement errors.
3370         (KalmanEstimator): Deleted.
3371         (IdentityEstimator): Deleted.
3372         (PIDController): Refactor to use the Utilities.createClass() helper.
3373
3374         The Kalman filter algorithm is explained here http://greg.czerniak.info/guides/kalman1/.
3375         The state, represented by a scalar, is the estimated frame length. There is no user
3376         transition of the state, and the state is the same as the measurement. With this model,
3377         the estimation error converges, so calculate the gain ahead of time.
3378
3379         * Animometer/developer.html: Remove fixed-after-warmup since it is not useful.
3380         Replace the option to toggle the estimator, and make it possible to customize the
3381         estimator's error parameters. Show raw FPS by default, and remove interval FPS,
3382         which will be shown instead of the filtered raw FPS.
3383         * Animometer/resources/debug-runner/animometer.css: Put the header behind the graph.
3384         Remove #intervalFPS rules; move the color to #filteredFPS.
3385         * Animometer/resources/debug-runner/graph.js:
3386         (updateGraphData): Update the hr style to force the layout to be calculated
3387         correctly. Change the tick format to be in terms of seconds, since the timestamps
3388         are in milliseconds. Remove interval data.
3389         * Animometer/resources/runner/animometer.js:
3390         (window.benchmarkController.startBenchmark): Set Kalman parameters.
3391         * Animometer/resources/runner/benchmark-runner.js:
3392         (_runBenchmarkAndRecordResults): When a benchmark completes, expect it to return
3393         the final data, rather than passing a sampler from the controller. This avoids
3394         needing to expose the sampler variable in the benchmark.
3395         * Animometer/tests/resources/sampler.js:
3396         (process): Move the setting of the target frame rate to AdaptiveController.
3397
3398 2016-02-06  Jon Lee  <jonlee@apple.com>
3399
3400         Code clean up: Move Rotater function closer to Stage static methods.
3401         The Rotater is used together with those methods; keep them close.
3402
3403         * Animometer/tests/resources/main.js:
3404
3405 2016-02-06  Jon Lee  <jonlee@apple.com>
3406
3407         Update the JS includes due to ResultsTable move.
3408
3409         * Animometer/developer.html:
3410         * Animometer/index.html:
3411
3412 2016-02-06  Jon Lee  <jonlee@apple.com>
3413
3414         Move createElement and createSVGElement to Utilities.
3415
3416         * Animometer/resources/extensions.js:
3417         (Utilities.createElement): Added.
3418         (Utilities.createSVGElement): Added.
3419         (DocumentExtension.createElement): Deleted.
3420         (DocumentExtension.createSvgElement): Deleted.
3421
3422         * Animometer/resources/debug-runner/animometer.js:
3423         * Animometer/resources/runner/animometer.js:
3424         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3425         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js:
3426         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3427
3428 2016-02-06  Jon Lee  <jonlee@apple.com>
3429
3430         Add a convenience function for creating a class.
3431
3432         The pattern for creating a class is common enough to add as a Utilities
3433         helper function. It also makes it easy to collapse class definitions when
3434         editing.
3435
3436         * Animometer/resources/debug-runner/animometer.js: Move ProgressBar definition,
3437         since it is only used here.
3438         * Animometer/resources/runner/animometer.js: Move ResultsDashboard and
3439         ResultsTable definition, since it is only used here.
3440         * Animometer/resources/extensions.js: Move Utilities definition to the top. Convert
3441         Point, Insets, SimplePromise.
3442         (ProgressBar): Moved to animometer.js.
3443         (ResultsDashboard): Moved to animometer.js.
3444         (ResultsTable): Moved to animometer.js.
3445         * Animometer/resources/runner/benchmark-runner.js: Convert BenchmarkRunnerState,
3446         BenchmarkRunner.
3447         * Animometer/tests/resources/main.js: Convert Rotater, Stage, Animator, Benchmark.
3448         * Animometer/tests/resources/sampler.js: Convert Experiment, Sampler.
3449
3450         Convert test primitives.
3451         * Animometer/tests/master/resources/canvas-tests.js: Convert CanvasLineSegment,
3452         CanvasArc, CanvasLinePoint.
3453         * Animometer/tests/simple/resources/simple-canvas-paths.js: Convert CanvasLineSegment,
3454         CanvasLinePoint, CanvasQuadraticSegment, CanvasQuadraticPoint, CanvasBezierSegment,
3455         CanvasBezierPoint, CanvasArcToSegment, CanvasArcToSegmentFill, CanvasArcSegment,
3456         CanvasArcSegmentFill, CanvasRect, CanvasRectFill.
3457         * Animometer/tests/simple/resources/tiled-canvas-image.js: Convert CanvasImageTile.
3458
3459 2016-02-06  Jon Lee  <jonlee@apple.com>
3460
3461         Minor improvements to debug harness.
3462
3463         * Animometer/developer.html:
3464         * Animometer/resources/debug-runner/animometer.css:
3465         (#suites): Put the complexity text boxes closer to the test names.
3466         (#options):
3467         (#rawFPS circle): Make the interval FPS appear as a separate data series, with a line.
3468         (#intervalFPS path):
3469         (#intervalFPS circle):
3470         * Animometer/resources/debug-runner/animometer.js:
3471         (window.optionsManager.updateLocalStorageFromUI): Convert number inputs from text.
3472         (window.suitesManager._onChangeTestCheckbox): Refactor to take a checkbox.
3473         (window.suitesManager._createTestElement): Enhance such that typing into the complexity
3474         input will automatically select that test for running.
3475         (window.suitesManager.updateLocalStorageFromJSON): Make the harness work for private
3476         browsing.
3477         * Animometer/resources/debug-runner/graph.js: Separate the intervalFPS data, and show
3478         more accuracy in timestamps.
3479
3480 2016-02-06  Jon Lee  <jonlee@apple.com>
3481
3482         Refactor helper methods for getting random values for a stage.
3483
3484         Instead of requiring a Stage instance, just attach it to the Stage object.
3485
3486         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3487         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3488         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3489         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3490         * Animometer/tests/master/resources/canvas-tests.js:
3491         * Animometer/tests/master/resources/particles.js:
3492         * Animometer/tests/misc/resources/canvas-electrons.js:
3493         * Animometer/tests/misc/resources/canvas-stars.js:
3494         * Animometer/tests/misc/resources/compositing-transforms.js:
3495         * Animometer/tests/resources/main.js:
3496         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3497
3498 2016-02-05  Said Abou-Hallawa  <sabouhallawa@apple.com>
3499
3500         Add a new graphics test for CanvasRenderingContext2D functions: getImageData and putImageData
3501         https://bugs.webkit.org/show_bug.cgi?id=151716
3502
3503         Reviewed by Darin Adler.
3504
3505         The purpose of this test is to measure the performance of getImageData
3506         and putImageData functions. This test draws a background on the canvas
3507         and then gets some random tiles from this background and draw them in
3508         destinations different from their original sources.
3509
3510         * Animometer/resources/debug-runner/tests.js: Adding the new test to the canvas simple tests suite.
3511
3512         * Animometer/resources/extensions.js:
3513         (Array.prototype.shuffle): Shuffles the elements of an array.
3514
3515         (Point.zero): Returns a new Point object whose x and y are equal zero.
3516         (Point.prototype.str): Used for debugging the Point object.
3517
3518         * Animometer/tests/simple/resources/tiled-canvas-image.js: Added.
3519         (CanvasImageTile):
3520         (CanvasImageTile.prototype.getImageData):
3521         (CanvasImageTile.prototype.putImageData):
3522         (Stage.call.initialize):
3523         (Stage.call._createTiles):
3524         (Stage.call._nextTilePosition):
3525         (Stage.call.tune):
3526         (Stage.call._drawBackground):
3527         (Stage.call.animate):
3528         (Stage.call.complexity):
3529         (Stage.call):
3530         * Animometer/tests/simple/tiled-canvas-image.html: Added.
3531
3532 2016-01-07  Jon Lee  <jonlee@apple.com>
3533
3534         Fix new test.
3535
3536         * Animometer/resources/runner/tests.js: Wrong URL from an
3537         old patch.
3538         * Animometer/tests/master/particles.html:
3539         * Animometer/tests/master/resources/dom-particles.js:
3540         (Particle.call.reset): Figured out a simpler way to set up
3541         the particles.
3542         (this.move.reset): Deleted.
3543         (this.move._applyAttributes): Deleted.
3544         * Animometer/tests/master/resources/particles.js:
3545         (Particle): Call move() after reset().
3546
3547 2016-01-07  Jon Lee  <jonlee@apple.com>
3548
3549         Update benchmark test suite
3550         https://bugs.webkit.org/show_bug.cgi?id=152679
3551
3552         Reviewed by Simon Fraser.
3553
3554         Add a new test. The test has a rotating background
3555         gradient, and does a better job physically simulating
3556         particles.
3557
3558         * Animometer/resources/extensions.js: Teach Point to take constants as well as other Points.
3559         (Point.prototype.length): Added.
3560         (Point.prototype.normalize): Added.
3561         * Animometer/resources/runner/tests.js: Add the test to the master suite.
3562         * Animometer/tests/master/particles.html: Added.
3563         * Animometer/tests/master/resources/particles.js: Added. Parent class for different kinds of particles.
3564         (Particle):
3565         (Particle.prototype.reset): If the particle starts slowing down in terms of its animation,
3566         reset it.
3567         (Particle.prototype.animate): Bounce off the walls elastically, and include gravity.
3568         (Particle.prototype.move): Subclasses should override.
3569         (ParticlesStage): Stage includes a rotating gradient background.
3570         * Animometer/tests/master/resources/dom-particles.js: Added. Creates a <div> and adds it to
3571         the stage.
3572         * Animometer/tests/resources/star.svg: Added.
3573
3574 2016-01-03  Jon Lee  <jonlee@apple.com>
3575
3576         Update benchmark test suite
3577         https://bugs.webkit.org/show_bug.cgi?id=152679
3578
3579         Reviewed by Simon Fraser.
3580
3581         Move algorithm.js and sampler.js to tests/ and benchmark-runner.js to runner/.
3582
3583         Needed by both harnesses.
3584         * Animometer/resources/runner/benchmark-runner.js: Renamed from PerformanceTests/Animometer/resources/debug-runner/benchmark-runner.js.
3585         * Animometer/developer.html:
3586         * Animometer/index.html:
3587
3588         Needed only by the tests. Move to tests/. Statistics, in sampler.js, is used by ResultsDashboard, so move that
3589         into extensions.js.
3590         * Animometer/resources/extensions.js:
3591         * Animometer/tests/resources/algorithm.js: Renamed from PerformanceTests/Animometer/resources/algorithm.js.
3592         * Animometer/tests/resources/sampler.js: Renamed from PerformanceTests/Animometer/resources/sampler.js.
3593         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
3594         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
3595         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3596         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3597         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
3598         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
3599         * Animometer/tests/master/canvas-stage.html:
3600         * Animometer/tests/misc/canvas-electrons.html:
3601         * Animometer/tests/misc/canvas-stars.html:
3602         * Animometer/tests/misc/compositing-transforms.html:
3603         * Animometer/tests/simple/simple-canvas-paths.html:
3604         * Animometer/tests/template/template-canvas.html:
3605         * Animometer/tests/template/template-css.html:
3606         * Animometer/tests/template/template-svg.html:
3607         * Animometer/tests/text/layering-text.html:
3608         * Animometer/tests/text/text-boxes.html:
3609
3610 2016-01-07  Jon Lee  <jonlee@apple.com>
3611
3612         Update benchmark test suite
3613         https://bugs.webkit.org/show_bug.cgi?id=152679
3614
3615         Reviewed by Simon Fraser.
3616
3617         Fix tests for other browsers.
3618
3619         * Animometer/resources/extensions.js:
3620         (Point.elementClientSize): Some browsers return 0 for SVG clientWidth and clientHeight.
3621         Use getBoundingClientRect() instead.
3622         * Animometer/tests/misc/resources/canvas-electrons.js:
3623         (CanvasElectron.prototype._draw): Some browsers don't support ellipse.
3624
3625 2016-01-07  Jon Lee  <jonlee@apple.com>
3626
3627         Add a waitUntilReady() step
3628         https://bugs.webkit.org/show_bug.cgi?id=152862
3629
3630         Reviewed by Simon Fraser.
3631
3632         Add a waitUntilReady() callback that lets the benchmark complete
3633         its setup before running the benchmark.
3634
3635         * Animometer/tests/resources/main.js:
3636         (Benchmark.prototype.run): First call waitUntilReady, which returns
3637         a promise. When the promise resolves, run everything that was in this
3638         function.
3639         (Benchmark.prototype.waitUntilReady): Default implementation returns
3640         a resolved promise.
3641         (Benchmark.prototype.resolveWhenFinished): Deleted.
3642         * Animometer/tests/template/resources/template-canvas.js:
3643         (new.TemplateCanvasStage.waitUntilReady): Example on how to override.
3644
3645 2016-01-03  Jon Lee  <jonlee@apple.com>
3646
3647         Update data reporting and analysis
3648         https://bugs.webkit.org/show_bug.cgi?id=152670
3649
3650         Reviewed by Simon Fraser.
3651
3652         Show new graph data. Provide controls to show different series data. Provide an
3653         interactive cursor that shows the data at a given sample.
3654
3655         * Animometer/developer.html: Add a nav section in #results. Each part of the graph
3656         has a checkbox for visual toggling, as well as companion spans to contain the data.
3657                 The numbers will always be shown even if the SVG isn't.
3658         * Animometer/resources/debug-runner/animometer.css:
3659         (#suites): Adjust spacing when doing fixed complexity.
3660         (#test-graph nav): Place the nav in the upper right corner.
3661         (#test-graph-data > svg): Fix the FPS scale from 0-60. It makes the raw FPS goes past
3662         that scale. Allow it to show.
3663         (.target-fps): Add a dotted line for where the benchmark is supposed to settle for FPS.
3664         (#cursor line): The cursor contains a line and highlight circles for the data being shown.
3665         (#cursor circle):
3666         (#complexity path): This and rules afterward are named by series type.
3667         (#complexity circle):
3668         (#filteredFPS path):
3669         (#filteredFPS circle):
3670         (#rawFPS path):
3671         (#intervalFPS circle):
3672         (.left-samples): Deleted.
3673         (.right-samples): Deleted.
3674         * Animometer/resources/debug-runner/animometer.js:
3675         (initialize): Add a "changed" listener when the checkboxes change in the nav.
3676         (onBenchmarkOptionsChanged): Renamed.
3677         (showTestGraph): All graph data is passed in as graphData instead of as arguments.
3678         * Animometer/resources/debug-runner/graph.js: Extend BenchmarkController. When showing
3679         a new graph, call updateGraphData(). It creates all of the d3 graphs. onGraphOptionsChanged()
3680         toggles the data on and off.
3681         (updateGraphData): Add the axes. Add the average lines and markers for sample time and
3682         target FPS. Add the cursor group. Use helper function addData() to add the data. On top of
3683         everything add a transparent area which will catch all of the mouse events. When the mouse
3684         moves in the graph, find the closest data point, show the data in the nav area, and highlight
3685         the data points.
3686         (addData): Adds a line and circle for each data point. Also adds a highlight cursor with a
3687         size a little larger than the circle radius for the data points.
3688         (onGraphOptionsChanged): Called when data is visually toggled.
3689         (showOrHideNodes): Helper function to toggle the .hidden class.
3690         * Animometer/resources/extensions.js:
3691         (ResultsDashboard.prototype.get data): Get rid of the arguments for _processData.
3692         (ResultsTable.prototype._addGraphButton): Shove all of the graph data into a singular object.
3693
3694         Producing the JSON can take a while with all of the data. Make it on-demand with a
3695         button.
3696
3697         * Animometer/resources/debug-runner/animometer.js:
3698         (showResults): When showing the results, don't serialize the JSON data. Move that to...
3699         (showJSONResults): ...here. Remove the button.
3700
3701         * Animometer/developer.html: Add a button. The button will remove itself and populate
3702         the textarea with the JSON data.
3703         * Animometer/resources/debug-runner/animometer.css:
3704         (.hidden): Add a universal hidden class.
3705         (#results button.small-button): Promote the small-button styles to the whole results
3706         section for use in the JSON button.
3707         (#results button.small-button:active):
3708         (#results-data button.small-button): Deleted.
3709         (#results-data button.small-button:active): Deleted.
3710
3711         Refactor how Animator does its recording.
3712
3713         * Animometer/tests/resources/math.js: Create a new, simple estimator that just returns
3714         the same interval frame rate for adjustment.
3715         * Animometer/tests/resources/main.js:
3716         (Animator): Remove _dropFrameCount, and make variables more accurate described.
3717         (Animator.prototype.initialize): Use the identity estimator instead of using a bool.
3718         (Animator.prototype._intervalTimeDelta): Rename, only used internally.
3719         (Animator.prototype._shouldRequestAnotherFrame): Assume we drop one frame for adjustment
3720         of the scene. If we are within the number of frames to measure for the interval, just
3721         record the timestamp. Otherwise we are ready to evaluate and adjust the scene. Record
3722         the interval frame rate and the estimator's frame rate.
3723
3724         Avoid processing the data through the Experiment while the test is running. Reconfigure
3725         the sampler to just record the raw samples. After the test is done, run the samples through
3726         the Experiment to get the score.
3727
3728         * Animometer/resources/sampler.js:
3729         (Experiment): Fold _init() into the constructor since nobody else will call it. This is not
3730         needed until the test concludes, so remove startSampling(). Clients should just call sample().
3731         (Sampler): Pre-allocate arrays given the number of data points being recorded, and a capacity
3732         of how many samples will be used. The processor is a called when it's time to process the data
3733         since that is the client also telling the Sampler what to record.
3734                 Introduce the notion of marks as well, which allows the client to mark when an
3735         event occurs. When we mark sample start, we can attach the timestamp there, instead of storing
3736         it separately.
3737         (Sampler.prototype.startSampling): Deleted. Clients should just call record().
3738         (Sampler.prototype.record): The data to record is passed in as variable arguments.
3739         (Sampler.prototype.mark): When adding a mark, a client needs to provide a unique string, and
3740         can provide extra data object for later retrieval.
3741         (Sampler.prototype.process): Renamed from toJSON. Trim the sampling arrays to what was used.
3742         Call the processor to process the samples.
3743         * Animometer/resources/debug-runner/benchmark-runner.js:
3744         (BenchmarkRunner.prototype._runBenchmarkAndRecordResults): Call process().
3745
3746         * Animometer/resources/strings.js: Add some new strings, remove the graph ones since they are
3747         not used.
3748         * Animometer/tests/resources/main.js:
3749         (Benchmark): Create a sampler with 4 series. The maximum number of points expected is the
3750         number of seconds multiplied by 60 fps. Benchmark, as a client of the Sampler, knows about all
3751         of the data being added to the Sampler. It is added through record(), and processed through
3752         processSamples().
3753         (Benchmark.prototype.update): Mark when we've passed warmup and are starting to sample. Include
3754         the timestamp in the custom data for the mark. This avoids the need to store is separately in
3755         the Sampler. Fold what was in record() here, since nothing else needs this functionality.
3756         record() now just relays the information to the sampler.
3757         (Benchmark.prototype.record): Called by Animator, which provides the data to the sampler.
3758         Animator's calls to this is part of a later patch. Requires each stage to return its complexity.
3759         (Benchmark.prototype.processSamples): If the sampling mark exists, add it to the results.
3760                 Go through all of the samples. All samples contain a timestamp and complexity. We
3761         calculate "raw FPS" which is the time differential from the previous sample. At regular intervals
3762         the Kalman-filtered FPS and the interval average FPS are also recorded. We also create two
3763         experiments, to get the scores for the complexity and smoothed FPS, and add those samples to
3764         the experiments. Grab those scores and add them into results also.
3765
3766         Add complexity() to the tests for Benchmark.record().
3767         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3768         * Animometer/tests/misc/resources/canvas-electrons.js:
3769         * Animometer/tests/misc/resources/canvas-stars.js:
3770         * Animometer/tests/text/resources/layering-text.js:
3771
3772 2015-12-27  Jon Lee  <jonlee@apple.com>
3773
3774         Simplify the test harness
3775         https://bugs.webkit.org/show_bug.cgi?id=152562
3776
3777         Reviewed by Simon Fraser.
3778
3779         Update the simple canvas tests. For the paths, start from the center instead of the
3780         top-left corner. Instead of using a coordinate limit, use a canonized factor, and
3781         use that along both the x and y axes, so that more capable tests use more of the
3782         canvas.
3783
3784         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3785         (CanvasLinePoint): Rewrite to use the coordinate maximum factor.
3786         (CanvasQuadraticPoint): Ditto.
3787         (CanvasBezierPoint): Ditto.
3788         * Animometer/tests/simple/resources/simple-canvas.js:
3789         (tune): Calculate a factor instead of a maximum coordinate.
3790
3791 2015-12-27  Jon Lee  <jonlee@apple.com>
3792
3793         Simplify the test harness
3794         https://bugs.webkit.org/show_bug.cgi?id=152562
3795
3796         Reviewed by Simon Fraser.
3797
3798         All of the benchmarks use the default Animator(). Don't require new tests
3799         to pass a new instance, and instead just make one in the Benchmark constructor.
3800
3801         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3802         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3803         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3804         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3805         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3806         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3807         * Animometer/tests/master/resources/canvas-tests.js:
3808         * Animometer/tests/misc/resources/canvas-electrons.js:
3809         * Animometer/tests/misc/resources/canvas-stars.js:
3810         * Animometer/tests/misc/resources/compositing-transforms.js:
3811         * Animometer/tests/resources/main.js:
3812         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3813         * Animometer/tests/template/resources/template-canvas.js:
3814         * Animometer/tests/template/resources/template-css.js:
3815         * Animometer/tests/template/resources/template-svg.js:
3816         * Animometer/tests/text/resources/layering-text.js:
3817         * Animometer/tests/text/resources/text-boxes.js:
3818
3819         Refactor the template.
3820
3821         * Animometer/tests/template/resources/template-canvas.js:
3822         * Animometer/tests/template/resources/template-css.js:
3823         * Animometer/tests/template/resources/template-svg.js:
3824         * Animometer/tests/template/template-canvas.html:
3825         * Animometer/tests/template/template-css.html:
3826         * Animometer/tests/template/template-svg.html:
3827
3828         Refactor the SVG suite.
3829
3830         * Animometer/tests/bouncing-particles/bouncing-svg-images.html: Move scripts to the end.
3831         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html: Ditto.
3832
3833         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Remove extraneous includes
3834         to stage.js.
3835         * Animometer/tests/text/text-boxes.html: Ditto.
3836