Add an IndexedDB perf test to PerformanceTests.
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-12-05  Brady Eidson  <beidson@apple.com>
2
3         Add an IndexedDB perf test to PerformanceTests.
4         https://bugs.webkit.org/show_bug.cgi?id=165430
5
6         Reviewed by Alex Christensen.
7
8         * IndexedDB/index-multientry.html: Added.
9
10 2016-12-02  Filip Pizlo  <fpizlo@apple.com>
11
12         ES6SampleBench should report an average for Steady State so that all of the numbers are comparable
13         https://bugs.webkit.org/show_bug.cgi?id=165325
14
15         Reviewed by Saam Barati.
16
17         This makes all of the numbers that ES6SampleBench reports comparable to each other: they all speak of the time
18         it took to run an iteration of something.
19
20         * ES6SampleBench/results.js:
21         (Results.prototype.reportResult):
22
23 2016-11-18  Jer Noble  <jer.noble@apple.com>
24
25         Add some performance tests for various aspects of media loading and playback.
26         https://bugs.webkit.org/show_bug.cgi?id=164977
27
28         Reviewed by Darin Adler.
29
30         Add new tests for a few aspects of media playback; namely: how quickly  media elements fire
31         the "canplaythrough" event when all data is immediately available, how quickly HLS playback
32         switches resolutions, and at what playback rate MSE-backed video can play without dropping
33         frames. Skip these tests by default, as they're not runnable on all ports, and they require
34         a webserver (run-webkit-httpd) to complete on macOS.
35
36         * Media/HLSCanPlayThrough.html: Added.
37         * Media/HLSGearChange.html: Added.
38         * Media/MSECanPlayThrough.html: Added.
39         * Media/MSEPlaybackRate.html: Added.
40         * Media/StandardCanPlayThrough.html: Added.
41         * Media/hls/1080p/iframe_index.m3u8: Added.
42         * Media/hls/1080p/prog_index.m3u8: Added.
43         * Media/hls/1080p/test.ts: Added.
44         * Media/hls/480p/iframe_index.m3u8: Added.
45         * Media/hls/480p/prog_index.m3u8: Added.
46         * Media/hls/480p/test.ts: Added.
47         * Media/hls/720p/iframe_index.m3u8: Added.
48         * Media/hls/720p/prog_index.m3u8: Added.
49         * Media/hls/720p/test.ts: Added.
50         * Media/hls/720p/test.ts.back: Added.
51         * Media/hls/index.m3u8: Added.
52         * Media/media-source-loader.js: Added.
53         (MediaSourceLoader):
54         (MediaSourceLoader.prototype.loadManifest):
55         (MediaSourceLoader.prototype.loadManifestSucceeded):
56         (MediaSourceLoader.prototype.loadManifestFailed):
57         (MediaSourceLoader.prototype.loadMediaData):
58         (MediaSourceLoader.prototype.loadMediaDataSucceeded):
59         (MediaSourceLoader.prototype.loadMediaDataFailed):
60         (MediaSourceLoader.prototype.get type):
61         (MediaSourceLoader.prototype.get duration):
62         (MediaSourceLoader.prototype.get initSegment):
63         (MediaSourceLoader.prototype.get mediaSegmentsLength):
64         (MediaSourceLoader.prototype.mediaSegments):
65         (MediaSourceLoader.prototype.get everyMediaSegment):
66         * Media/test-fragmented-video.json: Added.
67         * Media/test-fragmented-video.mp4: Added.
68         * Media/test.mp4: Added.
69         * Skipped:
70
71 2016-11-18  Filip Pizlo  <fpizlo@apple.com>
72
73         Concurrent GC should be able to run splay in debug mode and earley/raytrace in release mode with no perf regression
74         https://bugs.webkit.org/show_bug.cgi?id=164282
75
76         Reviewed by Geoffrey Garen and Oliver Hunt.
77         
78         CDjs is a fun benchmark for stressing concurrent GCs, but to really give the GC a good
79         workout you need to increase the amount of work that the test does. This adds a second
80         configuration of the benchmark that has more aircraft. It uses much more memory and causes us
81         to do more GCs and those GCs take longer.
82
83         * JetStream/cdjs/benchmark.js:
84         (benchmarkImpl):
85         (benchmark):
86         * JetStream/cdjs/large.js: Added.
87
88 2016-11-14  Filip Pizlo  <fpizlo@apple.com>
89
90         Unreviewed, revert unintended change.
91
92         * ES6SampleBench/Air/benchmark.js:
93
94 2016-10-03  Saam Barati  <sbarati@apple.com>
95
96         MapHash should speculate on the type of its child node
97         https://bugs.webkit.org/show_bug.cgi?id=161922
98
99         Reviewed by Filip Pizlo.
100
101         I gave the main generator a name so it's easier to see what
102         it is when using the sampling profiler.
103
104         * ES6SampleBench/Basic/ast.js:
105         (Basic.Program):
106
107 2016-09-19  Sergio Villar Senin  <svillar@igalia.com>
108
109         [css-grid] Remove the x2 computation of row sizes with indefinite heights
110         https://bugs.webkit.org/show_bug.cgi?id=162150
111
112         Reviewed by Darin Adler.
113
114         Added a new test case which checks the layout performance of grids inside other grids, i.e,
115         grids acting both as grid container and grid item.
116
117         * Layout/nested-grid.html: Added.
118
119 2016-09-09  Simon Fraser  <simon.fraser@apple.com>
120
121         Perf test Animation/css-accelerated-animation.html failing
122         https://bugs.webkit.org/show_bug.cgi?id=161795
123
124         Skip Animation/css-accelerated-animation.html since this only works as a MobileSafari
125         perf test.
126
127         * Skipped:
128
129 2016-09-08  Simon Fraser  <simon.fraser@apple.com>
130
131         Add a content-animation test with accelerated CSS animations
132         https://bugs.webkit.org/show_bug.cgi?id=161776
133
134         Reviewed by Dean Jackson.
135
136         Add a test that measures the frame rate of accelerated CSS animations.
137
138         This is like css-animation.html (which animates 'left' and 'top') but animates
139         transforms instead. In order to get animation in X and Y we make two nested elements
140         and set transformX() on one, and transformY() on the other.
141
142         * Animation/css-accelerated-animation.html: Added.
143
144 2016-08-23  Saam Barati  <sbarati@apple.com>
145
146         It should be easy to run ES6SampleBench from the jsc shell
147         https://bugs.webkit.org/show_bug.cgi?id=161085
148
149         Reviewed by Yusuke Suzuki.
150
151         This patch makes ES6 sample bench runnable through the `jsc` shell.
152         To do that, you need to be in the PerformanceTests/ES6SampleBench
153         directory and run `jsc cli.js`. To make this work, the benchmark
154         is now aware of being run in two modes: via the browser, and via
155         the shell. Each entry point will set a variable `isInBrowser`,
156         and the benchmark will do different things based on if that
157         variable is true or false.
158
159         * ES6SampleBench/Air/benchmark.js:
160         * ES6SampleBench/Air/stress-test.js:
161         * ES6SampleBench/Basic/benchmark.js:
162         (runBenchmark):
163         * ES6SampleBench/Basic/stress-test.js:
164         * ES6SampleBench/air_benchmark.js:
165         * ES6SampleBench/basic_benchmark.js:
166         * ES6SampleBench/cli.js: Added.
167         (return.doRun):
168         (makeBenchmarkRunner):
169         * ES6SampleBench/driver.js:
170         (Driver):
171         (Driver.prototype._recomputeSummary):
172         (Driver.prototype._iterate.window.setTimeout):
173         (Driver.prototype._iterate):
174         (Driver.prototype._updateIterations):
175         * ES6SampleBench/glue.js:
176         (reportResult):
177         * ES6SampleBench/index.html:
178         * ES6SampleBench/results.js:
179         (Results):
180         (Results.prototype.reportRunning):
181         (Results.prototype.reportDone):
182         (Results.prototype.reportError):
183         * ES6SampleBench/stats.js:
184         (Stats):
185         (Stats.prototype.toString):
186         (Stats.prototype._update):
187
188 2016-08-01  Said Abou-Hallawa  <sabouhallawa@apple.com>
189
190         Add an option to run the MotionMark tests with classic tile size (512x512)
191         https://bugs.webkit.org/show_bug.cgi?id=160371
192
193         Reviewed by Darin Adler.
194
195         Setting the body to large size (3000x3000) and overflow to scroll forces
196         the classic tile size (512x512). This option does not affect the canvas
197         tests because the canvas is displayed on one tile regardless of its size.
198
199         * Animometer/developer.html:
200         * Animometer/resources/debug-runner/animometer.css:
201         (body.showing-test-container.tiles-big):
202         (body.showing-test-container.tiles-classic):
203         * Animometer/resources/debug-runner/animometer.js:
204         * Animometer/resources/runner/animometer.js:
205         (window.benchmarkController.startBenchmark):
206
207 2016-06-29  Filip Pizlo  <fpizlo@apple.com>
208
209         Generators violate bytecode liveness validation
210         https://bugs.webkit.org/show_bug.cgi?id=159279
211
212         Reviewed by Yusuke Suzuki.
213
214         Add Basic to our test harness.
215
216         Also made some cosmetic changes to the benchmark harness.
217
218         * ES6SampleBench/Basic/basic-tests.yaml: Added.
219         * ES6SampleBench/Basic/stress-test.js: Added.
220         (preciseTime):
221         * ES6SampleBench/driver.js:
222         (Driver):
223         (Driver.prototype.start):
224         (Driver.prototype.reportError):
225         * ES6SampleBench/glue.js:
226         * ES6SampleBench/index.html:
227
228 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
229
230         ES6SampleBench should have a harness
231         https://bugs.webkit.org/show_bug.cgi?id=159246
232
233         Reviewed by Saam Barati.
234         
235         This adds a simple web harness for ES6SampleBench. It runs Air and Basic 10 times for 200
236         iterations each and reports three metrics:
237         
238         First iteration: the time it takes for the first iteration to run. This is the first
239         iteration after the benchmark is loaded into the iframe, so it's representative of what
240         would happen if one of these workloads only ran for a short time.
241         
242         Worst 2%: of the last 199 iterations, the average of the worst 2% iterations. If code like
243         any of these workloads was used in an important event handler, you'd want that code to run
244         well in the worst case in addition to having great throughput.
245         
246         Steady state: the total of the last 199 iterations. This is representative of what would
247         happen if you ran code like this for a long time.
248         
249         The total score is the geomean of the firstIteration/worstCase/steadyState numbers of the
250         two benchmarks.
251         
252         The harness does statistics using Student's T-distribution confidence intervals.
253
254         * ES6SampleBench/Basic/benchmark.js:
255         (Benchmark):
256         * ES6SampleBench/air_benchmark.js: Added.
257         * ES6SampleBench/basic_benchmark.js: Added.
258         * ES6SampleBench/driver.js: Added.
259         (Driver):
260         (Driver.prototype.addBenchmark):
261         (Driver.prototype.start):
262         (Driver.prototype.reportResult):
263         (Driver.prototype.reportError):
264         (Driver.prototype._recomputeSummary.Geomean):
265         (Driver.prototype._recomputeSummary.Geomean.prototype.add):
266         (Driver.prototype._recomputeSummary.Geomean.prototype.get result):
267         (Driver.prototype._recomputeSummary):
268         (Driver.prototype._iterate):
269         (Driver.prototype._updateIterations):
270         * ES6SampleBench/glue.js: Added.
271         * ES6SampleBench/index.html: Added.
272         * ES6SampleBench/results.js: Added.
273         (Results):
274         (Results.prototype.get benchmark):
275         (Results.prototype.reset):
276         (Results.prototype.reportRunning):
277         (Results.prototype.reportDone):
278         (Results.prototype.reportResult.averageAbovePercentile):
279         (Results.prototype.reportResult):
280         (Results.prototype.reportError):
281         * ES6SampleBench/stats.js: Added.
282         (Stats):
283         (Stats.prototype.reset):
284         (Stats.prototype.add):
285         (Stats.prototype.get numIterations):
286         (Stats.prototype.valueForIteration):
287         (Stats.get result.tDist):
288         (Stats.prototype.get result):
289         (Stats.prototype.toString):
290         (Stats.prototype._update):
291         * ES6SampleBench/style.css: Added.
292         (body):
293         (body, th, tr):
294         (h1, h2, h3, h4):
295         (h1):
296         (h2):
297         (h3):
298         (hr):
299         (address):
300         (img):
301         (.underline):
302         (ol.loweralpha):
303         (ol.upperalpha):
304         (ol.lowerroman):
305         (ol.upperroman):
306         (ol.arabic):
307         (.banner-link:link, .banner-link:visited):
308         (:link, :visited):
309         (h4 :link, h4 :visited, h5 :link, h5 :visited, h6 :link, h6 :visited):
310         (.anchor:link, .anchor:visited):
311         (* > .anchor:link, * > .anchor:visited):
312         (span:hover .anchor):
313         (a.forbidden, span.forbidden):
314         (a.missing:hover):
315         (a.closed:link, a.closed:visited, span.closed):
316         (pre):
317         (div.code):
318         (div.code pre):
319         (dt):
320         (dd):
321         (dd:last-child):
322         (.site-logo):
323         (.site-logo .tagline):
324         (table):
325         (#contents):
326         (p):
327         (p:last-child):
328         (th):
329         (td):
330
331 2016-06-28  Jon Lee  <jonlee@apple.com>
332
333         Update focus test
334         https://bugs.webkit.org/show_bug.cgi?id=159242
335         rdar://problem/27070007
336
337         Reviewed by Dean Jackson.
338         Provisionally reviewed by Said Abou-Hallawa.
339
340         Move previous test to dom suite, and update the test for better reporting of frame rate, although
341         it uses a different rendering path.
342
343         * Animometer/resources/debug-runner/tests.js: Add to dom suite.
344         * Animometer/tests/dom/focus.html: Copied from PerformanceTests/Animometer/tests/master/focus.html.
345         * Animometer/tests/dom/resources/focus.js: Copied from PerformanceTests/Animometer/tests/master/resources/focus.js.
346         * Animometer/tests/master/focus.html: Remove center element.
347         * Animometer/tests/master/resources/focus.js: Use narrower size range with smaller particles. Remove the
348         container elements. Inline getBlurValue and getOpacityValue since they are only called once.
349
350 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
351
352         Move Air.js and Basic into ES6SampleBench
353
354         Rubber stamped by Geoffrey Garen.
355         
356         We want to group our ES6 benchmarks together, and eventually, we want to give them a
357         common harness.
358
359         * Air.js: Removed.
360         * Air.js/README.md: Removed.
361         * Air.js/airjs-tests.yaml: Removed.
362         * Air.js/all.js: Removed.
363         * Air.js/allocate_stack.js: Removed.
364         * Air.js/arg.js: Removed.
365         * Air.js/basic_block.js: Removed.
366         * Air.js/benchmark.js: Removed.
367         * Air.js/code.js: Removed.
368         * Air.js/custom.js: Removed.
369         * Air.js/frequented_block.js: Removed.
370         * Air.js/insertion_set.js: Removed.
371         * Air.js/inst.js: Removed.
372         * Air.js/liveness.js: Removed.
373         * Air.js/make_dist.sh: Removed.
374         * Air.js/opcode.js: Removed.
375         * Air.js/payload-airjs-ACLj8C.js: Removed.
376         * Air.js/payload-gbemu-executeIteration.js: Removed.
377         * Air.js/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
378         * Air.js/payload-typescript-scanIdentifier.js: Removed.
379         * Air.js/reg.js: Removed.
380         * Air.js/stack_slot.js: Removed.
381         * Air.js/stress-test.js: Removed.
382         * Air.js/strip-hash.rb: Removed.
383         * Air.js/symbols.js: Removed.
384         * Air.js/test.html: Removed.
385         * Air.js/test.js: Removed.
386         * Air.js/tmp.js: Removed.
387         * Air.js/tmp_base.js: Removed.
388         * Air.js/util.js: Removed.
389         * Basic: Removed.
390         * Basic/ast.js: Removed.
391         * Basic/basic.js: Removed.
392         * Basic/benchmark.js: Removed.
393         * Basic/caseless_map.js: Removed.
394         * Basic/lexer.js: Removed.
395         * Basic/number.js: Removed.
396         * Basic/parser.js: Removed.
397         * Basic/random.js: Removed.
398         * Basic/state.js: Removed.
399         * Basic/test.html: Removed.
400         * Basic/test.js: Removed.
401         * Basic/util.js: Removed.
402         * ES6SampleBench: Added.
403         * ES6SampleBench/Air: Copied from PerformanceTests/Air.js.
404         * ES6SampleBench/Basic: Copied from PerformanceTests/Basic.
405         * Skipped:
406
407 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
408
409         Add a ES6 generator benchmark
410         https://bugs.webkit.org/show_bug.cgi?id=159101
411
412         Rubber stamped by Keith Miller.
413         
414         This adds a Basic interpreter loosely based on ECMA-55:
415         
416         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
417         
418         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
419         walk interpreter where the walking functions for statements are generators that call each
420         other with yield*. This enables the interpreter to look like an AST walk even though it can
421         yield at INPUT and PRINT statements.
422         
423         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
424         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
425         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
426         parser.rb for example.
427         
428         The benchmark runs a handful of simple Basic programs. The longest-running one computes
429         prime numbers.
430         
431         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
432
433         * Basic: Added.
434         * Basic/ast.js: Added.
435         (Basic.NumberApply):
436         (Basic.Variable):
437         (Basic.Const):
438         (Basic.NumberPow):
439         (Basic.NumberMul):
440         (Basic.NumberDiv):
441         (Basic.NumberNeg):
442         (Basic.NumberAdd):
443         (Basic.NumberSub):
444         (Basic.StringVar):
445         (Basic.Equals):
446         (Basic.NotEquals):
447         (Basic.LessThan):
448         (Basic.GreaterThan):
449         (Basic.LessEqual):
450         (Basic.GreaterEqual):
451         (Basic.GoTo):
452         (Basic.GoSub):
453         (Basic.Def):
454         (Basic.Let):
455         (Basic.If):
456         (Basic.Return):
457         (Basic.Stop):
458         (Basic.On):
459         (sideState.shouldStop):
460         (Basic.For):
461         (Basic.Next):
462         (Basic.Print):
463         (Basic.Input):
464         (Basic.Read):
465         (Basic.Restore):
466         (Basic.Dim):
467         (Basic.Randomize):
468         (Basic.End):
469         (Basic.Program):
470         * Basic/basic.js: Added.
471         (prepare):
472         (simulate):
473         * Basic/benchmark.js: Added.
474         (Benchmark):
475         (Benchmark.prototype.runIteration.expect):
476         (Benchmark.prototype.runIteration):
477         (runBenchmark):
478         * Basic/caseless_map.js: Added.
479         (CaselessMap):
480         * Basic/lexer.js: Added.
481         (lex.consumeWhitespace):
482         (lex.consume):
483         (lex):
484         * Basic/lexer_test.js: Added.
485         * Basic/number.js: Added.
486         (NumberValue):
487         (NumberValue.prototype.get value):
488         (NumberValue.prototype.apply):
489         (NumberValue.prototype.leftApply):
490         (NumberValue.prototype.assign):
491         (NumberArray.):
492         (NumberArray):
493         (NumberArray.prototype.apply):
494         (NumberArray.prototype.leftApply):
495         (NumberFunction):
496         (NumberFunction.prototype.apply):
497         (NumberFunction.prototype.leftApply):
498         (NativeFunction):
499         (NativeFunction.prototype.apply):
500         (NativeFunction.prototype.leftApply):
501         * Basic/parser.js: Added.
502         (parse):
503         (parse.pushToken):
504         (parse.peekToken):
505         (parse.consumeKind):
506         (parse.consumeToken):
507         (parse.parseVariable):
508         (parse.parseNumericExpression.parsePrimary):
509         (parse.parseNumericExpression.parseFactor):
510         (parse.parseNumericExpression.parseTerm):
511         (parse.parseNumericExpression):
512         (parse.parseConstant):
513         (parse.parseStringExpression):
514         (parse.isStringExpression):
515         (parse.parseRelationalExpression):
516         (parse.parseNonNegativeInteger):
517         (parse.parseGoToStatement):
518         (parse.parseGoSubStatement):
519         (parse.parseStatement):
520         (parse.parseStatements):
521         * Basic/random.js: Added.
522         (createRNG):
523         (createRNGWithFixedSeed):
524         (createRNGWithRandomSeed):
525         * Basic/state.js: Added.
526         (State):
527         (State.prototype.getValue):
528         (State.prototype.getSideState):
529         (State.prototype.abort):
530         (State.prototype.validate):
531         * Basic/test.html: Added.
532         * Basic/test.js: Added.
533         * Basic/util.js: Added.
534         (this.performance.performance.now.currentTime):
535         (else.this.preciseTime.currentTime):
536         (else.currentTime):
537         * Skipped: Make sure that we don't run Basic yet.
538
539 2016-06-21  Jon Lee  <jonlee@apple.com>
540
541         Update canvas size when benchmark begins
542         https://bugs.webkit.org/show_bug.cgi?id=159010
543
544         Reviewed by Dean Jackson.
545
546         Previously we would evaluate the media queries and assign the canvas size to the test
547         on body.onload. Instead, do it once the user starts the benchmark.
548
549         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
550         to benchmarkController._startBenchmark.
551         * Animometer/resources/runner/animometer.js: Ditto.
552
553 2016-06-21  Jon Lee  <jonlee@apple.com>
554
555         Add new timestamp option
556         https://bugs.webkit.org/show_bug.cgi?id=159006
557
558         Reviewed by Dean Jackson.
559
560         Add a new option to take timestamps from the rAF callback.
561
562         * Animometer/developer.html: Added option.
563         * Animometer/tests/resources/main.js:
564         (Benchmark): Fall back to using the rAF timestamp if performance.now()
565         is not available.
566         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
567         local var instead of accessing private var.
568
569 2016-06-21  Jon Lee  <jonlee@apple.com>
570
571         Improvements to Animometer benchmark
572         https://bugs.webkit.org/show_bug.cgi?id=157738
573
574         Reviewed by Dean Jackson.
575         Provisionally reviewed by Said Abou-Hallawa.
576
577         Update tests.
578
579         * Animometer/tests/master/text.html: Ensure only three text sizes for
580         the three canvases.
581         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
582         particle sizes.
583         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
584         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
585         reduce some calculations per frame. Fix the placement of the particles which might
586         otherwise be culled.
587         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
588         to encourage larger scores.
589
590 2016-06-21  Jon Lee  <jonlee@apple.com>
591
592         Improvements to Animometer benchmark
593         https://bugs.webkit.org/show_bug.cgi?id=157738
594
595         Reviewed by Dean Jackson.
596         Provisionally reviewed by Said Abou-Hallawa.
597
598         Include confidence interval for the final score, and store the canvas
599         size in the serialization so that it is accurately shown in results.
600
601         * Animometer/developer.html: Add a "confidence" div.
602         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
603         * Animometer/resources/debug-runner/animometer.js: Look at options, and
604         if the configuration is included, update the body class based on it
605         (similar to what we do when we first load the page). That way, if you
606         drag-and-drop previous results in, that configuration is reflected in
607         the dashboard. Show the full confidence interval.
608
609         * Animometer/resources/debug-runner/animometer.css:
610         * Animometer/resources/debug-runner/animometer.js: Style update.
611         * Animometer/resources/runner/animometer.css:
612
613         * Animometer/resources/runner/animometer.js:
614         (_processData): Propagate the confidence interval values out and calculate
615         the lower and upper bounds. For now, shortcut the aggregate calculation,
616         since we only go through one iteration.
617         (this._processData.calculateScore): Propagate the confidence interval out
618         to be next to the score. Depending on the controller these values are
619         calculated differently.
620         (this._processData._getResultsProperty): Convenience function.
621         (this._processData.get score): Refactor.
622         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
623         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
624         (window.sectionsManager.setSectionScore):
625         (window.benchmarkController._startBenchmark): When the benchmark starts, note
626         the canvas size and add it to options. That way it will be automatically be
627         serialized.
628         (window.benchmarkController.showResults): Include the maximum deviation
629         percentage.
630         * Animometer/resources/runner/lines.svg: Make the background line up with the
631         skew.
632         * Animometer/resources/runner/tests.js:
633         (Headers.details.text): Refactor.
634         * Animometer/resources/statistics.js:
635         (Statistics.largestDeviationPercentage): Convenience function to calculate
636         the deviation percentage on either end and return the largest deviation.
637         * Animometer/resources/strings.js:
638
639         Allow specifying a regression profile to use instead of taking the one
640         with the lowest error.
641
642         Address an issue in the focus test when the regression calculated ends
643         up overestimating the change point, causing a cascade of tougher
644         ramps. The reason behind this is that at max complexity of an initial
645         ramp, the frame length is very high, and it influences the second
646         segment of the piecewise regression strongly, causing it to be very
647         steep. As a result, the first segment, expected to be flat, ends up
648         covering a higher range of complexity. That makes the change point
649         much higher than it should be. To avoid this, we will add a sanity
650         check on the maximum value of the ramp. If the regression's projected
651         value at the maximum complexity of the current ramp is very slow (less
652         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
653         include the regression's change point in the change point estimator.
654         That estimator is used as the midpoint of the next ramp, and including
655         the change point from a poor regression can bake in the error. The
656         controller already knows how to adjust for ramps that are too easy for
657         the system.
658
659         * Animometer/resources/runner/animometer.js:
660         (this._processData.findRegression): Takes a preferred profile and gives that to
661         Regression.
662         (this._processData.calculateScore): With the ramp controller, take the profile
663         of the ramp that was used the most when calculating the ramp's regression. That
664         profile is what is used for the test's score.
665         * Animometer/resources/statistics.js:
666         (Regression.Utilities.createClass): Update to take an options object which can
667         specify a profile to calculate with. Otherwise it will continue to use both and
668         select the one with the lower error.
669         (_calculateRegression): Fix an issue where we claim 0 error if the regression
670         calculation fails due to divide-by-zero. Instead reject that regression calculation
671         by giving it Number.MAX_VALUE.
672         * Animometer/resources/strings.js: New strings for marking a regression as flat
673         or slope.
674         * Animometer/tests/resources/main.js:
675         (RampController): Rename the thresholds for clarity. Add a threshold that, if
676         exceeded, will lower the maximum complexity of the next ramp.
677         (tune): Relax the cdf check to consider whether the interval definitely falls in
678         the desired frame length threshold.
679         (processSamples): Include the profile in the ramp.
680
681         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
682         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
683
684         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
685         by default.
686         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
687         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
688         the order in which they appear in the patch:
689
690         - With a longer test length use longer ramps with longer intervals to get more data at each
691         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
692         spend more time there to find the right order of magnitude, but increase it during the
693         ramps to 120 ms.
694         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
695         never sample the minimum complexity. Instead of lerping max to min complexity from time
696         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
697         we can have at least one interval sample at the min complexity for that ramp.
698         - Some regression calculations only come out with one line segment rather than the two
699         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
700         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
701         we ensure that at least part of the ramp is covering a complexity range that the system can
702         handle at full 60.
703         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
704
705         Update the format used to serialize the results for analysis.
706
707         Each data point used to have named properties for fields like complexity and frame rate.
708         In addition the serialized numbers had rounding errors that took up many characters.
709         Update the format by introducing a new data container called SampleData, which contains a
710         field map. The map maps a string to an array index. Each data point is an array, so, to
711         get a stat, use the field map to get the array index into the data point. This allows future
712         versions to track other data, and reduces the size of the output string by two-thirds.
713
714         * Animometer/resources/extensions.js:
715         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
716         precision, and converts it back to a number.
717         (SampleData): New class that contains sample data and a field map that maps properties to
718         an array index.
719         (get length): Number of data points.
720         (addField): Add a field to the field map.
721         (push): Add a data point.
722         (sort): Sort the data.
723         (slice): Return new SampleData object with sliced data.
724         (forEach): Iterate over the data with provided function.
725         (createDatum):
726         (getFieldInDatum): Returns the data point associated with the field name by looking it up
727         in the field map in the datum provided, which can be the datum object itself (an array) or
728         an index into the data member variable.
729         (setFieldInDatum): Sets the data point associated with the field name.
730         (at): Returns the data point at the provided index.
731         (toArray): Serializes the data where the field map serves as property names for each point.
732
733         * Animometer/resources/debug-runner/graph.js:
734         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
735         graph to use, since the old format was much easier to work with when displaying the graphs.
736         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
737         * Animometer/resources/runner/animometer.css:
738         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
739         to only go to 3 digits of precision for purposes of reducing the data size.
740         * Animometer/resources/strings.js: Add new strings to put into the field maps.
741         * Animometer/tests/resources/main.js: Refactor to use SampleData.
742
743         * Animometer/developer.html:
744         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
745         tests.js include.
746         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
747         * Animometer/resources/debug-runner/graph.js:
748         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
749         controller, since not all controllers do bootstrapping.
750         * Animometer/resources/debug-runner/tests.js: Update header text.
751         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
752         * Animometer/resources/runner/animometer.js:
753         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
754         (ResultsTable._addBody): Add tbody element.
755         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
756         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
757         * Animometer/resources/runner/tests.js:
758         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
759         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
760         on either side of the bootstrap median.
761         * Animometer/resources/statistics.js:
762         (bootstrap): Include the confidence percentage in the return object.
763
764         Report canvas size in results.
765
766         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
767         canvas was used.
768         * Animometer/index.html: Ditto.
769         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
770         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
771         body class size.
772         * Animometer/resources/runner/animometer.js:
773         (window.benchmarkController.initialize): Update styles to set the canvas based on the
774         body class size.
775         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
776         class based on the size of the device.
777
778         * Animometer/developer.html: Refactor to include the main CSS file, and redo
779         the layout so that it doesn't rely on flexbox.
780         * Animometer/resources/debug-runner/animometer.css:
781         * Animometer/resources/debug-runner/animometer.js:
782         (updateDisplay): Since various parts of the script alter the body class, we can't
783         replace the className directly. Instead, remove all display-based values and then add
784         the one that was selected.
785         * Animometer/resources/debug-runner/graph.js:
786         (updateGraphData): To set the size of the graph, use window.innerHeight.
787         * Animometer/resources/runner/animometer.js:
788         (window.sectionsManager.showSection): Since various parts of the script alter the body
789         class, we can't replace the className directly. Remove all of the section classes
790         individually and then add the one desired.
791         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
792         stage.
793
794 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
795
796         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
797         https://bugs.webkit.org/show_bug.cgi?id=158674
798
799         Reviewed by Michael Saboff.
800         
801         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
802         Math.floor(x / 3) * 3 instead.
803         
804         This is a benign change, because having extra arguments to a Shuffle is not something we
805         actually take advantage of yet. But I think it's best to match the original C++ code's
806         intent.
807
808         * Air.js/custom.js:
809         (const.ShuffleCustom.forEachArg):
810
811 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
812
813         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
814
815         * Skipped:
816
817 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
818
819         Make it easy to package Air.js
820         https://bugs.webkit.org/show_bug.cgi?id=158652
821
822         Reviewed by Benjamin Poulain.
823         
824         If you want to give Air.js to someone, you can now do:
825         
826         cd PerformanceTests/Air.js
827         ./make_dist.sh
828         
829         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
830         the benchmark, just send either of those things and tell them to look at index.html.
831         
832         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
833         https://daringfireball.net/projects/markdown/
834
835         * Air.js/make_dist.sh: Added.
836         * Air.js/test.html:
837
838 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
839
840         Unreviewed, make the link to test.html into an actual link.
841
842         * Air.js/README.md:
843
844 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
845
846         Fix some text in Air.js/README.md
847         https://bugs.webkit.org/show_bug.cgi?id=158650
848
849         Reviewed by Benjamin Poulain.
850         
851         I read the text again and found bugs:
852         
853         - We never actually say how to run the benchmark. This change adds a blurb about how to run
854           it.
855
856         - We both say that allocateStack is responsible for the bulk of the running time and that
857           we haven't measured where the bulk of the time is spent. This changes the text to say that
858           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
859           not measure this.
860
861         * Air.js/README.md:
862
863 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
864
865         Air.js should have some documentation
866         https://bugs.webkit.org/show_bug.cgi?id=158648
867
868         Reviewed by Keith Miller.
869         
870         I want to be able to point people at a document if they want to know more about this
871         benchmark.
872
873         * Air.js/README.md: Added.
874
875 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
876
877         Rename JSAir to Air.js.
878
879         Rubber stamped by Mark Lam.
880
881         * Air.js: Copied from PerformanceTests/JSAir.
882         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
883         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
884         (Benchmark):
885         * Air.js/jsair-tests.yaml: Removed.
886         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
887         * Air.js/payload-jsair-ACLj8C.js: Removed.
888         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
889         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
890         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
891         * JSAir: Removed.
892         * JSAir/all.js: Removed.
893         * JSAir/allocate_stack.js: Removed.
894         * JSAir/arg.js: Removed.
895         * JSAir/basic_block.js: Removed.
896         * JSAir/benchmark.js: Removed.
897         * JSAir/code.js: Removed.
898         * JSAir/custom.js: Removed.
899         * JSAir/frequented_block.js: Removed.
900         * JSAir/insertion_set.js: Removed.
901         * JSAir/inst.js: Removed.
902         * JSAir/jsair-tests.yaml: Removed.
903         * JSAir/liveness.js: Removed.
904         * JSAir/opcode.js: Removed.
905         * JSAir/payload-gbemu-executeIteration.js: Removed.
906         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
907         * JSAir/payload-jsair-ACLj8C.js: Removed.
908         * JSAir/payload-typescript-scanIdentifier.js: Removed.
909         * JSAir/reg.js: Removed.
910         * JSAir/stack_slot.js: Removed.
911         * JSAir/stress-test.js: Removed.
912         * JSAir/strip-hash.rb: Removed.
913         * JSAir/symbols.js: Removed.
914         * JSAir/test.html: Removed.
915         * JSAir/test.js: Removed.
916         * JSAir/tmp.js: Removed.
917         * JSAir/tmp_base.js: Removed.
918         * JSAir/util.js: Removed.
919
920 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
921
922         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
923         https://bugs.webkit.org/show_bug.cgi?id=158571
924
925         Reviewed by Keith Miller.
926         
927         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
928         iterations and then tries to do any number of "bonus" iterations until it's been running for
929         two seconds. Since this is the sort of test that isn't really meant to stress anything in
930         particular, I think it's OK if it is time-limited in this way. The worst case is that some
931         of its failures will be flaky, but I think that they would have been flaky anyway given the
932         complexity of the test.
933
934         * JSAir/benchmark.js:
935         (Benchmark):
936         (Benchmark.prototype.runIteration):
937         (benchmark): Deleted.
938         * JSAir/jsair-tests.yaml:
939         * JSAir/stress-test.js: Added.
940         (preciseTime):
941         * JSAir/test.html:
942         * JSAir/test.js:
943
944 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
945
946         Unreviewed, teach the perf bots not to run JSAir.
947
948         * Skipped:
949
950 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
951
952         Use more ES6 features in JSAir
953         https://bugs.webkit.org/show_bug.cgi?id=158497
954
955         Reviewed by Keith Miller.
956         
957         This improves JSAir with the following ES6 features suggested by JoePeck:
958         
959         - String interpolation.
960         - Destructuring inside PatchCustom.
961         - Default arguments.
962         
963         All of these things are on hot paths.
964         
965         Note that I didn't use string interpolation everywhere that I could, only in those places
966         where it made the code more readable. In Ruby, I used the style that if the interpolation
967         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
968         strings) then it's better to use regular strcat. I think that's what I carried over to here.
969         
970         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
971         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
972         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
973         that function from being optimized then it will hurt so good.
974         
975         I also reenabled tail calls in a few places.
976         
977         This change doesn't seem to change the performance of the benchmark for us. That's expected
978         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
979         added in a separate change and that change did make the benchmark overall more expensive.
980
981         * JSAir/allocate_stack.js:
982         (allocateStack):
983         * JSAir/arg.js:
984         (Arg.createBitImm64):
985         (Arg.createAddr):
986         (Arg.createStack):
987         (Arg.logScale):
988         (Arg.createIndex):
989         * JSAir/basic_block.js:
990         (BasicBlock.get headerString):
991         (BasicBlock.prototype.get if):
992         (BasicBlock):
993         * JSAir/benchmark.js:
994         (benchmark):
995         * JSAir/code.js:
996         (Code):
997         (Code.prototype.addBlock):
998         (Code.prototype.addStackSlot):
999         (Code.prototype.newTmp):
1000         (Code.prototype.get size):
1001         (Code.prototype.get blocks):
1002         (Code.prototype.get stackSlots):
1003         (Code.prototype.tmps):
1004         (Code.prototype.get callArgAreaSize):
1005         (Code.prototype.toString):
1006         * JSAir/custom.js:
1007         (const.PatchCustom.forEachArg):
1008         * JSAir/inst.js:
1009         (Inst):
1010         * JSAir/reg.js:
1011         (Reg.prototype.toString):
1012         * JSAir/util.js:
1013         (symbolName):
1014         (lowerSymbolName):
1015
1016 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1017
1018         Add result validation to JSAir
1019         https://bugs.webkit.org/show_bug.cgi?id=158493
1020
1021         Reviewed by Saam Barati.
1022         
1023         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
1024         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
1025         check the Code before and after allocateStack, and compare against hashes we got from C++.
1026         
1027         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
1028         allocating things correctly because I was concatting a Set to an Array, which doesn't really
1029         work. Now these bugs are fixed.
1030         
1031         The checking step adds to the running time so I reduced the number of iterations. The
1032         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
1033         total. This is probably OK. It's better to verify the results even if the running time is
1034         not all in the "core" of the algorithm.
1035         
1036         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
1037
1038         * JSAir/allocate_stack.js:
1039         * JSAir/arg.js:
1040         (Arg.createImm):
1041         (Arg.createBigImm):
1042         (Arg.createBitImm):
1043         (Arg.createBitImm64):
1044         (Arg.createWidth):
1045         (Arg.createSpecial):
1046         (Arg.prototype.get kind):
1047         (Arg.prototype.get isTmp):
1048         (Arg.prototype.get isImm):
1049         (Arg.prototype.get isSomeImm):
1050         (Arg.prototype.get isSomeBigImm):
1051         (Arg.prototype.get isCondition):
1052         (Arg.prototype.get isWidth):
1053         (Arg.prototype.get isSpecial):
1054         (Arg.prototype.get isAlive):
1055         (Arg.prototype.get tmp):
1056         (Arg.prototype.get value):
1057         (Arg.prototype.get lowValue):
1058         (Arg.prototype.get highValue):
1059         (Arg.prototype.get base):
1060         (Arg.prototype.get isGP):
1061         (Arg.prototype.get isFP):
1062         (Arg.prototype.isValidForm):
1063         (Arg.prototype.get isInvertible):
1064         (Arg.kindCode):
1065         (Arg.prototype.hash):
1066         (Arg.prototype.toString):
1067         (Arg):
1068         * JSAir/basic_block.js:
1069         (BasicBlock.get successorBlocks):
1070         * JSAir/benchmark.js:
1071         (benchmark):
1072         * JSAir/code.js:
1073         (Code.prototype.setFrameSize):
1074         (Code.prototype.hash):
1075         (Code.prototype.toString):
1076         (Code):
1077         * JSAir/inst.js:
1078         (Inst.prototype.get hasNonArgEffects):
1079         (Inst.prototype.hash):
1080         (Inst.prototype.toString):
1081         (Inst):
1082         * JSAir/jsair-tests.yaml: Added.
1083         * JSAir/opcode.js:
1084         (Inst_forEachArg):
1085         (Inst_hasNonArgEffects):
1086         (opcodeCode):
1087         * JSAir/payload-gbemu-executeIteration.js:
1088         (createPayloadGbemuExecuteIteration):
1089         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
1090         (createPayloadImagingGaussianBlurGaussianBlur):
1091         * JSAir/payload-jsair-ACLj8C.js:
1092         (createPayloadJSAirACLj8C):
1093         * JSAir/payload-typescript-scanIdentifier.js:
1094         (createPayloadTypescriptScanIdentifier):
1095         * JSAir/reg.js:
1096         (Reg.prototype.get isReg):
1097         (Reg.prototype.hash):
1098         (Reg.prototype.toString):
1099         * JSAir/stack_slot.js:
1100         (StackSlot.prototype.setOffsetFromFP):
1101         (StackSlot.prototype.hash):
1102         (StackSlot.prototype.toString):
1103         * JSAir/symbols.js:
1104         (relCondCode):
1105         (resCondCode):
1106         (doubleCondCode):
1107         * JSAir/test.html:
1108         * JSAir/tmp.js:
1109         (Tmp.prototype.get isReg):
1110         (Tmp.prototype.hash):
1111         (Tmp.prototype.toString):
1112         * JSAir/util.js:
1113         (roundUpToMultipleOf):
1114         (symbolName):
1115
1116 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1117
1118         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
1119         https://bugs.webkit.org/show_bug.cgi?id=158318
1120
1121         Reviewed by Saam Barati.
1122         
1123         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
1124         implementation of Air's allocateStack() phase along with all of Air needed to run that
1125         phase. This includes things like stack slots, registers, temporaries, basic blocks,
1126         instructions, and all of the code for iterating over, inspecting, and modifying those
1127         things.
1128         
1129         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
1130         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
1131         four Air IRs:
1132         
1133         - Octane/gbemu's largest function, executeIteration.
1134         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
1135         - Octane/typescript's largest function that is actually hot, scanIdentifier.
1136         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
1137         
1138         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
1139         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
1140         C++ Air::allocateStack() phase on which it is based.
1141         
1142         JSAir uses the following ES6 features:
1143         
1144         - Symbol.
1145         - for-of.
1146         - arrow functions.
1147         - Map/Set.
1148         - let/const.
1149         - classes.
1150         
1151         All of these things are used in anger and should end up on the hot path. There is also code
1152         that uses Proxies, but it ends up being dead.
1153         
1154         We can improve this even more:
1155         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
1156         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
1157         
1158         * JSAir: Added.
1159         * JSAir/all.js: Added.
1160         * JSAir/allocate_stack.js: Added.
1161         (allocateStack.attemptAssignment):
1162         (allocateStack.assign):
1163         (allocateStack.interfere):
1164         (allocateStack.):
1165         (allocateStack):
1166         * JSAir/arg.js: Added.
1167         (Arg):
1168         (Arg.isAnyUse):
1169         (Arg.isColdUse):
1170         (Arg.isWarmUse):
1171         (Arg.cooled):
1172         (Arg.isEarlyUse):
1173         (Arg.isLateUse):
1174         (Arg.isAnyDef):
1175         (Arg.isEarlyDef):
1176         (Arg.isLateDef):
1177         (Arg.isZDef):
1178         (Arg.typeForB3Type):
1179         (Arg.widthForB3Type):
1180         (Arg.conservativeWidth):
1181         (Arg.minimumWidth):
1182         (Arg.bytes):
1183         (Arg.widthForBytes):
1184         (Arg.createTmp):
1185         (Arg.fromReg):
1186         (Arg.createImm):
1187         (Arg.createBigImm):
1188         (Arg.createBitImm):
1189         (Arg.createBitImm64):
1190         (Arg.createAddr):
1191         (Arg.createStack):
1192         (Arg.createCallArg):
1193         (Arg.createStackAddr):
1194         (Arg.isValidScale):
1195         (Arg.logScale):
1196         (Arg.createIndex):
1197         (Arg.createRelCond):
1198         (Arg.createResCond):
1199         (Arg.createDoubleCond):
1200         (Arg.createWidth):
1201         (Arg.prototype.get kind):
1202         (Arg.prototype.get isTmp):
1203         (Arg.prototype.get isImm):
1204         (Arg.prototype.get isBigImm):
1205         (Arg.prototype.get isBitImm):
1206         (Arg.prototype.get isBitImm64):
1207         (Arg.prototype.get isSomeImm):
1208         (Arg.prototype.get isAddr):
1209         (Arg.prototype.get isStack):
1210         (Arg.prototype.get isCallArg):
1211         (Arg.prototype.get isIndex):
1212         (Arg.prototype.get isMemory):
1213         (Arg.prototype.get isStackMemory):
1214         (Arg.prototype.get isRelCond):
1215         (Arg.prototype.get isResCond):
1216         (Arg.prototype.get isDoubleCond):
1217         (Arg.prototype.get isCondition):
1218         (Arg.prototype.get isWidth):
1219         (Arg.prototype.get isAlive):
1220         (Arg.prototype.get tmp):
1221         (Arg.prototype.get value):
1222         (Arg.prototype.get base):
1223         (Arg.prototype.get hasOffset):
1224         (Arg.prototype.get offset):
1225         (Arg.prototype.get stackSlot):
1226         (Arg.prototype.get index):
1227         (Arg.prototype.get scale):
1228         (Arg.prototype.get logScale):
1229         (Arg.prototype.get width):
1230         (Arg.prototype.get isGPTmp):
1231         (Arg.prototype.get isFPTmp):
1232         (Arg.prototype.get isGP):
1233         (Arg.prototype.get isFP):
1234         (Arg.prototype.get hasType):
1235         (Arg.prototype.get type):
1236         (Arg.prototype.isType):
1237         (Arg.prototype.isCompatibleType):
1238         (Arg.prototype.get isGPR):
1239         (Arg.prototype.get gpr):
1240         (Arg.prototype.get isFPR):
1241         (Arg.prototype.get fpr):
1242         (Arg.prototype.get isReg):
1243         (Arg.prototype.get reg):
1244         (Arg.isValidImmForm):
1245         (Arg.isValidBitImmForm):
1246         (Arg.isValidBitImm64Form):
1247         (Arg.isValidAddrForm):
1248         (Arg.isValidIndexForm):
1249         (Arg.prototype.isValidForm):
1250         (Arg.prototype.forEachTmpFast):
1251         (Arg.prototype.usesTmp):
1252         (Arg.prototype.forEachTmp):
1253         (Arg.prototype.is):
1254         (Arg.prototype.as):
1255         (Arg.prototype.forEachFast):
1256         (Arg.prototype.forEach):
1257         (Arg.extract):
1258         (Arg.forEachFast):
1259         (Arg.forEach):
1260         (Arg.prototype.get condition):
1261         (Arg.prototype.get isInvertible):
1262         (Arg.prototype.toString):
1263         * JSAir/basic_block.js: Added.
1264         (BasicBlock):
1265         (BasicBlock.prototype.get index):
1266         (BasicBlock.prototype.get size):
1267         (BasicBlock.prototype.Symbol.iterator):
1268         (BasicBlock.prototype.at):
1269         (BasicBlock.get last):
1270         (BasicBlock.get insts):
1271         (BasicBlock.get numSuccessors):
1272         (BasicBlock.get successors):
1273         (BasicBlock.get successorBlocks.):
1274         (BasicBlock.get successorBlocks):
1275         (BasicBlock.set get numPredecessors):
1276         (BasicBlock.get predecessors):
1277         (BasicBlock.get frequency):
1278         (BasicBlock.get headerString):
1279         (BasicBlock.get footerString):
1280         * JSAir/benchmark.js: Added.
1281         (benchmark):
1282         * JSAir/code.js: Added.
1283         (Code):
1284         (Code.prototype.addBlock):
1285         (Code.prototype.addStackSlot):
1286         (Code.prototype.newTmp):
1287         (Code.prototype.get size):
1288         (Code.prototype.at):
1289         (Code.prototype.Symbol.iterator):
1290         (Code.prototype.get blocks):
1291         (Code.prototype.get stackSlots):
1292         (Code.prototype.tmps):
1293         (Code.prototype.get callArgAreaSize):
1294         (Code.prototype.requestCallArgAreaSize):
1295         (Code.prototype.get frameSize):
1296         (Code.prototype.setFrameSize):
1297         (Code.prototype.toString):
1298         * JSAir/custom.js: Added.
1299         (const.ShuffleCustom.forEachArg):
1300         (const.ShuffleCustom.hasNonArgNonControlEffects):
1301         (const.PatchCustom.forEachArg):
1302         (const.PatchCustom.hasNonArgNonControlEffects):
1303         (const.CCallCustom.forEachArg):
1304         (const.CCallCustom.hasNonArgNonControlEffects):
1305         (const.ColdCCallCustom.forEachArg):
1306         (const.ColdCCallCustom.hasNonArgNonControlEffects):
1307         * JSAir/frequented_block.js: Added.
1308         (FrequentedBlock):
1309         (FrequentedBlock.prototype.toString):
1310         * JSAir/insertion_set.js: Added.
1311         (Insertion):
1312         (Insertion.prototype.get index):
1313         (Insertion.prototype.get element):
1314         (Insertion.prototype.lessThan):
1315         (InsertionSet):
1316         (InsertionSet.prototype.appendInsertion):
1317         (InsertionSet.prototype.append):
1318         (InsertionSet.prototype.execute):
1319         * JSAir/inst.js: Added.
1320         (Inst):
1321         (Inst.prototype.append):
1322         (Inst.prototype.clear):
1323         (Inst.prototype.get opcode):
1324         (Inst.prototype.get args):
1325         (Inst.prototype.visitArg):
1326         (Inst.prototype.forEachTmpFast):
1327         (Inst.prototype.forEachArg):
1328         (Inst.prototype.forEachTmp):
1329         (Inst.prototype.forEach):
1330         (Inst.forEachDef):
1331         (Inst.forEachDefWithExtraClobberedRegs):
1332         (Inst.prototype.get hasNonArgEffects):
1333         (Inst.prototype.toString):
1334         * JSAir/liveness.js: Added.
1335         (Liveness):
1336         (Liveness.prototype.get thing):
1337         (Liveness.prototype.get code):
1338         (Liveness.prototype.get liveAtHead):
1339         (Liveness.prototype.get liveAtTail):
1340         (Liveness.prototype.localCalc.LocalCalc):
1341         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
1342         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
1343         (Liveness.prototype.localCalc):
1344         * JSAir/opcode.js: Added.
1345         (Inst_forEachArg):
1346         (Inst_hasNonArgEffects):
1347         * JSAir/payload-gbemu-executeIteration.js: Added.
1348         (createPayloadGbemuExecuteIteration):
1349         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
1350         (createPayloadImagingGaussianBlurGaussianBlur):
1351         * JSAir/payload-jsair-ACLj8C.js: Added.
1352         (createPayloadJSAirACLj8C):
1353         * JSAir/payload-typescript-scanIdentifier.js: Added.
1354         (createPayloadTypescriptScanIdentifier):
1355         * JSAir/reg.js: Added.
1356         (Reg):
1357         (Reg.fromReg):
1358         (Reg.prototype.get index):
1359         (Reg.prototype.get type):
1360         (Reg.prototype.get name):
1361         (Reg.prototype.get isCalleeSave):
1362         (Reg.prototype.get isReg):
1363         (Reg.prototype.toString):
1364         (Reg.extract):
1365         (Reg.forEachFast):
1366         (Reg.forEach):
1367         (newGPR):
1368         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
1369         * JSAir/stack_slot.js: Added.
1370         (StackSlot):
1371         (StackSlot.prototype.get byteSize):
1372         (StackSlot.prototype.get kind):
1373         (StackSlot.prototype.get isLocked):
1374         (StackSlot.prototype.get isSpill):
1375         (StackSlot.prototype.get index):
1376         (StackSlot.prototype.ensureSize):
1377         (StackSlot.prototype.get alignment):
1378         (StackSlot.prototype.get offsetFromFP):
1379         (StackSlot.prototype.setOffsetFromFP):
1380         (StackSlot.prototype.toString):
1381         (StackSlot.extract):
1382         (StackSlot.forEachFast):
1383         (StackSlot.forEach):
1384         * JSAir/symbols.js: Added.
1385         * JSAir/test.html: Added.
1386         * JSAir/test.js: Added.
1387         * JSAir/tmp.js: Added.
1388         (Tmp):
1389         (Tmp.fromReg):
1390         (Tmp.prototype.get index):
1391         (Tmp.prototype.get type):
1392         (Tmp.prototype.get isReg):
1393         (Tmp.prototype.toString):
1394         (Tmp.extract):
1395         (Tmp.forEachFast):
1396         (Tmp.forEach):
1397         * JSAir/tmp_base.js: Added.
1398         (TmpBase.prototype.get isGP):
1399         (TmpBase.prototype.get isFP):
1400         (TmpBase.prototype.get isGPR):
1401         (TmpBase.prototype.get isFPR):
1402         (TmpBase.prototype.get reg):
1403         (TmpBase.prototype.get gpr):
1404         (TmpBase.prototype.get fpr):
1405         (TmpBase):
1406         * JSAir/util.js: Added.
1407         (isRepresentableAsInt32):
1408         (addIndexed):
1409         (roundUpToMultipleOf):
1410         (symbolName):
1411         (mergeIntoSet):
1412         (nonEmptyRangesOverlap):
1413         (rangesOverlap):
1414         (removeAllMatching):
1415         (swap):
1416         (bubble):
1417         (bubbleSort):
1418         (currentTime):
1419         (else.currentTime):
1420
1421 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1422
1423         [JSC] Allow JSBench to use precise time
1424         https://bugs.webkit.org/show_bug.cgi?id=158050
1425
1426         Reviewed by Geoffrey Garen.
1427
1428         * JSBench/amazon-chrome-win/urem.js:
1429         (else.window.performance.window.performance.now.currentTimeInMS):
1430         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1431         (else.else.currentTimeInMS):
1432         (onload.cb):
1433         (onload):
1434         * JSBench/amazon-chrome/urem.js:
1435         (else.window.performance.window.performance.now.currentTimeInMS):
1436         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1437         (else.else.currentTimeInMS):
1438         (onload.cb):
1439         (onload):
1440         * JSBench/amazon-firefox-win/urm.js:
1441         (else.window.performance.window.performance.now.currentTimeInMS):
1442         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1443         (else.else.currentTimeInMS):
1444         (onload.cb):
1445         (onload):
1446         * JSBench/amazon-firefox/urm.js:
1447         (else.window.performance.window.performance.now.currentTimeInMS):
1448         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1449         (else.else.currentTimeInMS):
1450         (onload.cb):
1451         (onload):
1452         * JSBench/amazon-safari/urem.js:
1453         (else.window.performance.window.performance.now.currentTimeInMS):
1454         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1455         (else.else.currentTimeInMS):
1456         (onload.cb):
1457         (onload):
1458         * JSBench/facebook-chrome-win/urem.js:
1459         (else.window.performance.window.performance.now.currentTimeInMS):
1460         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1461         (else.else.currentTimeInMS):
1462         (onload.cb):
1463         (onload):
1464         * JSBench/facebook-chrome/urem.js:
1465         (else.window.performance.window.performance.now.currentTimeInMS):
1466         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1467         (else.else.currentTimeInMS):
1468         (onload.cb):
1469         (onload):
1470         * JSBench/facebook-firefox-win/urem.js:
1471         (else.window.performance.window.performance.now.currentTimeInMS):
1472         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1473         (else.else.currentTimeInMS):
1474         (onload.cb):
1475         (onload):
1476         * JSBench/facebook-firefox/urem.js:
1477         (else.window.performance.window.performance.now.currentTimeInMS):
1478         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1479         (else.else.currentTimeInMS):
1480         (onload.cb):
1481         (onload):
1482         * JSBench/facebook-safari/urem.js:
1483         (else.window.performance.window.performance.now.currentTimeInMS):
1484         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1485         (else.else.currentTimeInMS):
1486         (onload.cb):
1487         (onload):
1488         * JSBench/google-chrome-win/urem.js:
1489         (else.window.performance.window.performance.now.currentTimeInMS):
1490         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1491         (else.else.currentTimeInMS):
1492         (onload.cb):
1493         (onload):
1494         * JSBench/google-chrome/urem.js:
1495         (else.window.performance.window.performance.now.currentTimeInMS):
1496         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1497         (else.else.currentTimeInMS):
1498         (onload.cb):
1499         (onload):
1500         * JSBench/google-firefox-win/urem.js:
1501         (else.window.performance.window.performance.now.currentTimeInMS):
1502         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1503         (else.else.currentTimeInMS):
1504         (onload.cb):
1505         (onload):
1506         * JSBench/google-firefox/uem.js:
1507         (else.window.performance.window.performance.now.currentTimeInMS):
1508         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1509         (else.else.currentTimeInMS):
1510         (onload.cb):
1511         (onload):
1512         * JSBench/google-safari/urem.js:
1513         (else.window.performance.window.performance.now.currentTimeInMS):
1514         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1515         (else.else.currentTimeInMS):
1516         (onload.cb):
1517         (onload):
1518         * JSBench/harness.js:
1519         (runBenchmark.window.currentTimeInMS):
1520         (runBenchmark.else.window.currentTimeInMS):
1521         * JSBench/twitter-chrome-win/rem.js:
1522         (else.window.performance.window.performance.now.currentTimeInMS):
1523         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1524         (else.else.currentTimeInMS):
1525         (onload.cb):
1526         (onload):
1527         * JSBench/twitter-chrome/urem.js:
1528         (else.window.performance.window.performance.now.currentTimeInMS):
1529         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1530         (else.else.currentTimeInMS):
1531         (onload.cb):
1532         (onload):
1533         * JSBench/twitter-firefox-win/urem.js:
1534         (else.window.performance.window.performance.now.currentTimeInMS):
1535         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1536         (else.else.currentTimeInMS):
1537         (onload.cb):
1538         (onload):
1539         * JSBench/twitter-firefox/urem.js:
1540         (else.window.performance.window.performance.now.currentTimeInMS):
1541         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1542         (else.else.currentTimeInMS):
1543         (onload.cb):
1544         (onload):
1545         * JSBench/twitter-safari/urem.js:
1546         (else.window.performance.window.performance.now.currentTimeInMS):
1547         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1548         (else.else.currentTimeInMS):
1549         (onload.cb):
1550         (onload):
1551         * JSBench/yahoo-chrome-win/urem.js:
1552         (else.window.performance.window.performance.now.currentTimeInMS):
1553         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1554         (else.else.currentTimeInMS):
1555         (onload.cb):
1556         (onload):
1557         * JSBench/yahoo-chrome/urem.js:
1558         (else.window.performance.window.performance.now.currentTimeInMS):
1559         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1560         (else.else.currentTimeInMS):
1561         (onload.cb):
1562         (onload):
1563         * JSBench/yahoo-firefox-win/urem.js:
1564         (else.window.performance.window.performance.now.currentTimeInMS):
1565         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1566         (else.else.currentTimeInMS):
1567         (onload.cb):
1568         (onload):
1569         * JSBench/yahoo-firefox/urem.js:
1570         (else.window.performance.window.performance.now.currentTimeInMS):
1571         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1572         (else.else.currentTimeInMS):
1573         (onload.cb):
1574         (onload):
1575         * JSBench/yahoo-safari/urem.js:
1576         (else.window.performance.window.performance.now.currentTimeInMS):
1577         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1578         (else.else.currentTimeInMS):
1579         (onload.cb):
1580         (onload):
1581
1582 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1583
1584         replaceable own properties seem to ignore replacement after property caching
1585         https://bugs.webkit.org/show_bug.cgi?id=158091
1586
1587         Reviewed by Darin Adler.
1588
1589         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1590         * MallocBench/MallocBench/Benchmark.cpp:
1591         * MallocBench/MallocBench/Interpreter.cpp:
1592         (Interpreter::doMallocOp):
1593         * MallocBench/MallocBench/Interpreter.h:
1594         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1595         * MallocBench/MallocBench/jetstream.cpp: Added.
1596         (benchmark_jetstream):
1597         * MallocBench/MallocBench/jetstream.h: Added.
1598
1599 2016-05-25  Keith Miller  <keith_miller@apple.com>
1600
1601         Unreviewed, add JSBench to the skipped list for now since it doesn't
1602         work currently.
1603
1604         * Skipped:
1605
1606 2016-05-17  Keith Miller  <keith_miller@apple.com>
1607         We should have JSBench in PerformanceTests
1608         https://bugs.webkit.org/show_bug.cgi?id=157952
1609
1610         Rubber-stamped by Saam Barati.
1611
1612         There are some slight changes to the layout of the test directory
1613         to make it work nicely with run-jsc-benchmarks. Before JSBench
1614         had each of the browser specific sub-tests in a sub-directory.
1615         These have been flattened e.g. amazon/safari/ has become
1616         amazon-safari/.
1617
1618         * JSBench/amazon-chrome-win/urem.html: Added.
1619         * JSBench/amazon-chrome-win/urem.js: Added.
1620         * JSBench/amazon-chrome/urem.html: Added.
1621         * JSBench/amazon-chrome/urem.js: Added.
1622         * JSBench/amazon-firefox-win/urm.html: Added.
1623         * JSBench/amazon-firefox-win/urm.js: Added.
1624         * JSBench/amazon-firefox/urm.html: Added.
1625         * JSBench/amazon-firefox/urm.js: Added.
1626         * JSBench/amazon-safari/urem.html: Added.
1627         * JSBench/amazon-safari/urem.js: Added.
1628         * JSBench/browsercheck.js: Added.
1629         * JSBench/facebook-chrome-win/urem.html: Added.
1630         * JSBench/facebook-chrome-win/urem.js: Added.
1631         * JSBench/facebook-chrome/urem.html: Added.
1632         * JSBench/facebook-chrome/urem.js: Added.
1633         * JSBench/facebook-firefox-win/urem.html: Added.
1634         * JSBench/facebook-firefox-win/urem.js: Added.
1635         * JSBench/facebook-firefox/urem.html: Added.
1636         * JSBench/facebook-firefox/urem.js: Added.
1637         * JSBench/facebook-safari/urem.html: Added.
1638         * JSBench/facebook-safari/urem.js: Added.
1639         * JSBench/google-chrome-win/urem.html: Added.
1640         * JSBench/google-chrome-win/urem.js: Added.
1641         * JSBench/google-chrome/urem.html: Added.
1642         * JSBench/google-chrome/urem.js: Added.
1643         * JSBench/google-firefox-win/urem.html: Added.
1644         * JSBench/google-firefox-win/urem.js: Added.
1645         * JSBench/google-firefox/uem.html: Added.
1646         * JSBench/google-firefox/uem.js: Added.
1647         * JSBench/google-safari/urem.html: Added.
1648         * JSBench/google-safari/urem.js: Added.
1649         * JSBench/harness.html: Added.
1650         * JSBench/harness.js: Added.
1651         * JSBench/harness.py: Added.
1652         * JSBench/index.html: Added.
1653         * JSBench/reload.html: Added.
1654         * JSBench/twitter-chrome-win/rem.html: Added.
1655         * JSBench/twitter-chrome-win/rem.js: Added.
1656         * JSBench/twitter-chrome/urem.html: Added.
1657         * JSBench/twitter-chrome/urem.js: Added.
1658         * JSBench/twitter-firefox-win/urem.html: Added.
1659         * JSBench/twitter-firefox-win/urem.js: Added.
1660         * JSBench/twitter-firefox/urem.html: Added.
1661         * JSBench/twitter-firefox/urem.js: Added.
1662         * JSBench/twitter-safari/urem.html: Added.
1663         * JSBench/twitter-safari/urem.js: Added.
1664         * JSBench/yahoo-chrome-win/urem.html: Added.
1665         * JSBench/yahoo-chrome-win/urem.js: Added.
1666         * JSBench/yahoo-chrome/urem.html: Added.
1667         * JSBench/yahoo-chrome/urem.js: Added.
1668         * JSBench/yahoo-firefox-win/urem.html: Added.
1669         * JSBench/yahoo-firefox-win/urem.js: Added.
1670         * JSBench/yahoo-firefox/urem.html: Added.
1671         * JSBench/yahoo-firefox/urem.js: Added.
1672         * JSBench/yahoo-safari/urem.html: Added.
1673         * JSBench/yahoo-safari/urem.js: Added.
1674
1675 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1676
1677         run-benchmark's results should contain Animometer's debug output
1678         https://bugs.webkit.org/show_bug.cgi?id=157941
1679
1680         Reviewed by Stephanie Lewis.
1681
1682         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1683
1684         * Animometer/resources/debug-runner/animometer.js:
1685         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1686
1687 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1688
1689         Make Animometer work in all browsers
1690         https://bugs.webkit.org/show_bug.cgi?id=157855
1691         rdar://problem/26338521
1692
1693         Reviewed by Jon Lee.
1694
1695         * Animometer/resources/runner/logo.svg: Use a symbol instead
1696         of putting the id on the root svg. This works in all browsers.
1697
1698 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1699
1700         Update Animometer design
1701         https://bugs.webkit.org/show_bug.cgi?id=157449
1702
1703         Reviewed by Darin Adler.
1704
1705         * Animometer/developer.html: Stop including runner/animometer.css.
1706         * Animometer/index.html: Udpated elements to fit new styles.
1707
1708         * Animometer/resources/debug-runner/animometer.css:
1709         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1710
1711         * Animometer/resources/runner/animometer.css:
1712         New styles for the design. Drop flex box for broad browser support.
1713
1714         * Animometer/resources/runner/animometer.js:
1715         (ResultsTable.clear): Use textContent.
1716         (window.sectionsManager.showSection): Add class to the body.
1717         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1718
1719         * Animometer/resources/runner/crystal.svg: Added.
1720         * Animometer/resources/runner/lines.svg: Added.
1721         * Animometer/resources/runner/logo.svg: Added.
1722
1723         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1724
1725 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1726
1727         [css-grid] Unprefix CSS Grid Layout properties
1728         https://bugs.webkit.org/show_bug.cgi?id=157137
1729
1730         Reviewed by Simon Fraser.
1731
1732         Remove "-webkit" prefix from all the grid layout properties,
1733         including the display value.
1734         Update the source code to remove the prefix where it was used too.
1735
1736         * Layout/auto-grid-lots-of-data.html:
1737         * Layout/fixed-grid-lots-of-data.html:
1738         * Layout/fixed-grid-lots-of-stretched-data.html:
1739
1740 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1741
1742         bmalloc: Misc improvements to MallocBench
1743         https://bugs.webkit.org/show_bug.cgi?id=157004
1744
1745         Reviewed by Darin Adler.
1746
1747         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1748         modes for focused memory testing.
1749
1750         * MallocBench/MallocBench/Benchmark.cpp:
1751         (Benchmark::printReport): Clarified output.
1752
1753         (Benchmark::currentMemoryBytes): Added compressed memory because top
1754         does the same. (It always happens to zero in the benchmarks we run. But
1755         this is good for sanity.)
1756
1757         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1758         variance.
1759
1760         * MallocBench/MallocBench/alloc_free.cpp:
1761         (benchmark_alloc_free): Cycle a single allocation in order to stress
1762         the effect of merging on calls to madvise.
1763
1764         * MallocBench/MallocBench/big.cpp:
1765         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1766         our large allocator doesn't kick in until 64kB.
1767
1768         * MallocBench/MallocBench/medium.cpp:
1769         (benchmark_medium): Test all the way down to 1kB because our large
1770         allocator used to service 1kB allocations and 1kB is an interesting
1771         middle size where memory is unusually large but allocation throughput
1772         still matters.
1773
1774         * MallocBench/MallocBench/stress.cpp:
1775         (benchmark_stress): Reduced the churn count to match stress_aligned
1776         because this test was taking too long to complete.
1777
1778         * MallocBench/MallocBench/stress_aligned.cpp:
1779         (benchmark_stress_aligned): Our new large allocator can handle even
1780         more absurdly large values.
1781
1782 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1783
1784         Add a content animation test that uses SVG animation.
1785         https://bugs.webkit.org/show_bug.cgi?id=156827
1786
1787         * Animation/svg-animation.html: Added.
1788         * Skipped:
1789
1790 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1791
1792         Skip two content animation tests which are only meant for iOS testing.
1793
1794         * Animation/css-animation.html: Added.
1795         * Animation/raf-animation.html: Added.
1796
1797         * Skipped:
1798
1799 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1800
1801         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1802         https://bugs.webkit.org/show_bug.cgi?id=156827
1803
1804         Add two files missing from the previous commit.
1805
1806         * Animation/css-animation.html: Added.
1807         * Animation/raf-animation.html: Added.
1808
1809 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1810
1811         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1812         https://bugs.webkit.org/show_bug.cgi?id=156827
1813
1814         Reviewed by Stephanie Lewis.
1815
1816         Two new files for the content-animation suite.
1817
1818         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1819         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1820         result with a placeholder for framerate, which is collected in native code.
1821
1822         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1823         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1824         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1825         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1826         complete.
1827
1828         * Animation/css-animation.html: Added.
1829         * Animation/raf-animation.html: Added.
1830
1831 2016-04-15  Jon Lee  <jonlee@apple.com>
1832
1833         Animometer test could report a NaN
1834         https://bugs.webkit.org/show_bug.cgi?id=156646
1835
1836         Reviewed by Darin Adler.
1837         Provisionally reviewed by Said Abou-Hallawa.
1838
1839         * Animometer/tests/resources/main.js:
1840         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1841         reacts based on how well the system handles the load. The assumption was that it would handle at least
1842         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1843         end up setting an upper bound of NaN.
1844
1845         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1846         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1847         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1848         1 particle, set it to currentComplexity.
1849
1850 2016-04-09  Jon Lee  <jonlee@apple.com>
1851
1852         Update Animometer to accommodate different screens
1853         https://bugs.webkit.org/show_bug.cgi?id=156449
1854
1855         Reviewed by Darin Adler.
1856         Provisionally reviewed by Said Abou-Hallawa.
1857
1858         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1859         * Animometer/resources/debug-runner/animometer.css:
1860         (@media screen and (min-device-width: 1800px)): Deleted.
1861         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1862         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1863         and height with orientation change.
1864         * Animometer/resources/runner/animometer.css: Similar.
1865         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1866         (screen and (max-device-height: 414px) and (orientation: landscape)):
1867         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1868         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1869         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1870         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1871         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1872         (#results footer): Add padding below the button for testing again.
1873         * Animometer/tests/master/multiply.html: Remove the center text.
1874         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1875         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1876
1877 2016-04-08  Jon Lee  <jonlee@apple.com>
1878
1879         Have Animometer benchmark always start with complexity of 1
1880         https://bugs.webkit.org/show_bug.cgi?id=156432
1881
1882         Reviewed by Ryosuke Niwa.
1883
1884         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1885         set its minimum complexities to 1 instead of 0.
1886
1887 2016-04-08  Jon Lee  <jonlee@apple.com>
1888
1889         Fix SVG benchmark test
1890         https://bugs.webkit.org/show_bug.cgi?id=156410
1891
1892         Reviewed by Dean Jackson.
1893
1894         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1895         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1896         (Stage.call._setupTiles): Refactor.
1897         * Animometer/tests/master/resources/particles.js:
1898         (Particle.prototype.reset): Use Point.center.
1899         (complexity): We are not using a gradient background anymore, so remove the +1.
1900         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1901         instead of CSS transform.
1902
1903 2016-04-06  Jon Lee  <jonlee@apple.com>
1904
1905         Update master benchmark with SVG test
1906         https://bugs.webkit.org/show_bug.cgi?id=156273
1907
1908         Reviewed by Dean Jackson.
1909         Provisionally reviewed by Said Abou-Hallawa.
1910
1911         Switch masks tests for SVG path test.
1912
1913         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1914         * Animometer/resources/runner/tests.js: Add SVG test here.
1915         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1916         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1917
1918         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1919         partially obscured.
1920         * Animometer/tests/master/resources/svg-particles.js: Added.
1921         (Particle): The particle is either a path object or a rect using a path as a clip. The
1922         same path is used either way. For each particle create a linear gradient with a random
1923         rotation.
1924         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1925         This makes the test more generic in case other shapes need to be tested.
1926         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1927         particle's gradient, and one that holds the shape templates.
1928
1929 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1930
1931         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1932         https://bugs.webkit.org/show_bug.cgi?id=148470 
1933
1934         Reviewed by Darin Adler.
1935
1936         * Skipped: Unskip the Bindings/event-target-wrapper test.
1937
1938 2016-03-23  Jon Lee  <jonlee@apple.com>
1939
1940         Update focus and leaves tests
1941         https://bugs.webkit.org/show_bug.cgi?id=155825
1942
1943         Reviewed by Simon Fraser.
1944
1945         Particles would improperly disappear, before they were fully off stage. Update the calculation.
1946         * Animometer/tests/dom/resources/leaves.js:
1947         * Animometer/tests/master/resources/leaves.js:
1948
1949         * Animometer/tests/master/focus.html: Update the center element styling.
1950         * Animometer/tests/master/resources/focus.js:
1951         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
1952         to spread. It should be about 3x more space than the blur radius on each side.
1953         (Stage.call.initialize): Ditto for the center element.
1954
1955 2016-03-23  Jon Lee  <jonlee@apple.com>
1956
1957         Update support for other platforms
1958         https://bugs.webkit.org/show_bug.cgi?id=155824
1959
1960         Reviewed by Simon Fraser.
1961
1962         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
1963         be handled in the release stylesheet.
1964         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
1965         when retrieving radio elements with a name, instead of the selected value.
1966         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
1967         (.frame-container): Move overflow:hidden to #stage.
1968         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
1969         * Animometer/tests/resources/stage.css:
1970         (body): Remove overflow:hidden.
1971         (#stage): Set overflow:hidden here.
1972         (#center-text): Moved from master/resources/stage.css.
1973
1974         Update stylesheet hrefs.
1975         * Animometer/tests/master/canvas-stage.html:
1976         * Animometer/tests/master/focus.html:
1977         * Animometer/tests/master/leaves.html:
1978         * Animometer/tests/master/multiply.html:
1979         * Animometer/tests/master/particles.html:
1980         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
1981
1982 2016-03-23  Jon Lee  <jonlee@apple.com>
1983
1984         Make the benchmark require device to be in landscape orientation
1985         https://bugs.webkit.org/show_bug.cgi?id=155822
1986         rdar://problem/25258650
1987
1988         Reviewed by Ryosuke Niwa.
1989
1990         Check that the device is in landscape orientation. If not, disable the button to start it,
1991         and show a warning message.
1992
1993         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
1994         warning message that appears if the orientation is incorrect on mobile devices.
1995         * Animometer/index.html: Ditto.
1996
1997         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
1998         stylesheet. Update the style to accommodate the new UI.
1999         * Animometer/resources/runner/animometer.css:
2000
2001         * Animometer/resources/runner/animometer.js:
2002         (window.benchmarkController.initialize): Add the orientation listener is needed.
2003         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
2004         to see for support of window.orientation.
2005         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
2006         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
2007         (window.benchmarkController.updateStartButtonState):
2008         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
2009         a boolean about whether at least one test is selected. That will be used in
2010         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
2011         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
2012         that at least one test is selected.
2013
2014 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
2015
2016         MallocBench: consolidate regression testing for aligned allocation
2017         https://bugs.webkit.org/show_bug.cgi?id=155762
2018
2019         Reviewed by Michael Saboff.
2020
2021         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2022         * MallocBench/MallocBench/Benchmark.cpp:
2023         * MallocBench/MallocBench/memalign.cpp: Removed.
2024         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
2025         covers this and much more.
2026
2027         * MallocBench/MallocBench/stress_aligned.cpp:
2028         (benchmark_stress_aligned): Include specific tests for extreme sizes
2029         and alignments.
2030
2031 2016-03-21  Jon Lee  <jonlee@apple.com>
2032
2033         Update benchmark tests
2034         https://bugs.webkit.org/show_bug.cgi?id=155723
2035
2036         Reviewed by Darin Adler.
2037         Provisionally reviewed by Said Abou-Hallawa.
2038
2039         Add quadratic and bezier segments to the canvas path test.
2040
2041         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
2042         Rename the test.
2043         * Animometer/tests/master/resources/canvas-stage.js:
2044         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
2045         * Animometer/tests/master/resources/canvas-tests.js:
2046         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
2047         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
2048         class definition.
2049         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
2050         canvas are not cut off when the stroke size is thick.
2051         (CanvasQuadraticSegment): Added.
2052         (CanvasBezierSegment): Added.
2053         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
2054         are short compared to the curved ones, make it twice as likely to render a line segment.
2055         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
2056
2057         Add a helper method that selects a random element from an array.
2058
2059         * Animometer/tests/resources/main.js:
2060         (Stage.randomElementInArray): Select a random element from the provided array.
2061
2062         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
2063         * Animometer/tests/dom/resources/leaves.js: Ditto.
2064         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2065         * Animometer/tests/master/resources/image-data.js: Ditto.
2066         * Animometer/tests/master/resources/leaves.js: Ditto.
2067         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
2068
2069         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
2070         include the full simple canvas suite for perf testing.
2071
2072         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
2073         suite.
2074         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
2075         that random selects an object to render.
2076
2077         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
2078         When updating the perf bot script, we will include the suites up to this one, but exclude
2079         the basic canvas suite.
2080
2081         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
2082
2083         * Animometer/resources/debug-runner/tests.js:
2084         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
2085         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
2086
2087         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
2088         canvas tests.
2089
2090         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
2091         * Animometer/tests/misc/canvas-electrons.html: Removed.
2092         * Animometer/tests/misc/canvas-stars.html: Removed.
2093         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
2094         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
2095         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
2096
2097         Merge text tests together into one.
2098
2099         * Animometer/resources/runner/tests.js: Remove international.html.
2100         * Animometer/tests/master/international.html: Removed.
2101         * Animometer/tests/master/resources/text.js:
2102         (animate): Update styling. Manually calculate gradients for the shadow particles.
2103         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
2104         step for x since there will be a little more room.
2105         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
2106
2107 2016-03-20  Jon Lee  <jonlee@apple.com>
2108
2109         Add a link to show debug data
2110         https://bugs.webkit.org/show_bug.cgi?id=155724
2111
2112         Reviewed by Simon Fraser.
2113
2114         * Animometer/developer.html: Attach the onclick handler to the score.
2115         * Animometer/index.html: Ditto.
2116
2117 2016-03-18  Dean Jackson  <dino@apple.com>
2118
2119         Add a basic WebGL test to Animometer
2120         https://bugs.webkit.org/show_bug.cgi?id=155475
2121         <rdar://problem/25156860>
2122
2123         Reviewed by Simon Fraser and Jon Lee.
2124
2125         Add a pretty simple WebGL test to Animometer
2126         which tries to draw a number of animated triangles.
2127         The result still needs a bit of tuning.
2128
2129         * Animometer/resources/debug-runner/tests.js: Add a new
2130         Suite for "3D" tests.
2131         * Animometer/tests/3d/resources/webgl.js: Added.
2132         * Animometer/tests/3d/webgl.html: Added.
2133
2134 2016-03-18  Jon Lee  <jonlee@apple.com>
2135
2136         Add support for statically linking to a specific test
2137         https://bugs.webkit.org/show_bug.cgi?id=155631
2138
2139         Rubber-stamped by Darin Adler.
2140
2141         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
2142         both the preset and the manually set test sessions.
2143         * Animometer/resources/debug-runner/animometer.css:
2144         (.tree .link): Style the "link" UI.
2145         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
2146         to optionsManager since this is a visual option and has nothing to do with the suites
2147         settings. Update the construction of the test UI by including a "link" after each test.
2148         Clicking on that link brings up a JS prompt with a URL and a query string with the current
2149         parameters of the controller, and selected test. Pasting this URL into the location bar will
2150         automatically start running the selected test.
2151         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
2152         that matches the provided parameters. Returns an object similar to the form in
2153         suitesManager.updateLocalStorageFromUI.
2154         (benchmarkController.initialize): After settings up the events and options, try parsing the
2155         query string and running the benchmark immediately. Otherwise, fall back to the form.
2156         (benchmarkController.startBenchmark): Store the options and suites into member variables for
2157         reuse in restartBenchmark.
2158         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
2159         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
2160         the search for the test succeeded.
2161         * Animometer/resources/extensions.js:
2162         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
2163         into a query-string-friendly version.
2164         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
2165         format.
2166         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
2167         with properties and values.
2168
2169 2016-03-16  Jon Lee  <jonlee@apple.com>
2170
2171         Add a new benchmark test
2172         https://bugs.webkit.org/show_bug.cgi?id=155570
2173
2174         Reviewed by Simon Fraser.
2175
2176         New Leaves test includes various image sizes and opacity.
2177
2178         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
2179         * Animometer/tests/dom/leaves.html: Added.
2180         * Animometer/tests/dom/resources/leaves.js: Added. Override the
2181         (Particle.call.reset): Uses a range of sizes, and opacity.
2182         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
2183         (Particle.call.move): Set transform and opacity.
2184         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
2185         can be used in this test. Update the relative path so that it works in both the master
2186         and dom test suite.
2187
2188 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
2189
2190         Add developer Animometer test that bounces P3-tagged images
2191         https://bugs.webkit.org/show_bug.cgi?id=155511
2192
2193         Reviewed by Tim Horton.
2194         
2195         Add a test for rendering performance of tagged images. The 5 images are tagged
2196         with the Display P3 colorspace.
2197
2198         * Animometer/resources/debug-runner/tests.js:
2199         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
2200         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
2201         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
2202         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
2203         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
2204         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
2205         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
2206
2207 2016-03-09  Jon Lee  <jonlee@apple.com>
2208
2209         Enhance existing Animometer tests
2210         https://bugs.webkit.org/show_bug.cgi?id=155261
2211
2212         Reviewed by Simon Fraser.
2213
2214         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
2215         the filled circles. To expose more of the gradient, add another circle.
2216         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
2217         undulating stop points and colors. Fill the circles twice; once with
2218         the solid color, and once with the gradient.
2219
2220         * Animometer/tests/master/resources/dom-particles.js: Refactor the
2221         emission variables into a separate stage for this test. Add a colorOffset
2222         variable to make the colors of each particle slightly different, since
2223         the ramp controller can add large numbers of particles all at once, which
2224         would otherwise get all the same color.
2225         * Animometer/tests/master/resources/particles.js:
2226         (initialize): Remove the code specific to the SVG mask test.
2227
2228         * Animometer/tests/master/resources/image-data.js:
2229         (initialize): Remove unused local variable.
2230         * Animometer/tests/master/resources/multiply.js:
2231         (initialize): Make the test harder by adding more total particles.
2232
2233 2016-03-09  Jon Lee  <jonlee@apple.com>
2234
2235         Add text tests
2236         https://bugs.webkit.org/show_bug.cgi?id=155257
2237
2238         Reviewed by Simon Fraser.
2239
2240         * Animometer/resources/extensions.js:
2241         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
2242         assuming that two of the control points are at (0,0) and (1,1). Taken from
2243         WebCore/platform/graphics/UnitBezier.h
2244         * Animometer/resources/runner/tests.js: Add a test for English text and one
2245         for international text.
2246         * Animometer/tests/master/international.html: Added.
2247         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
2248         #template div which it will copy. The copies are placed behind the template, and
2249         are set with different colors each frame. They are moved around with CSS transform.
2250         * Animometer/tests/master/text.html: Added.
2251
2252         Remove the other text tests, since these ones cover the same techniques.
2253         * Animometer/tests/text/layering-text.html: Removed.
2254         * Animometer/tests/text/resources/layering-text.js: Removed.
2255         * Animometer/tests/text/resources/text-boxes.js: Removed.
2256         * Animometer/tests/text/text-boxes.html: Removed.
2257         * Animometer/resources/debug-runner/tests.js:
2258
2259 2016-03-09  Jon Lee  <jonlee@apple.com>
2260
2261         Add a new image test
2262         https://bugs.webkit.org/show_bug.cgi?id=155232
2263
2264         Reviewed by Dean Jackson.
2265         Provisionally reviewed by Said Abou-Hallawa.
2266
2267         The image test renders PNGs and moves them with translate and rotate
2268         transforms. Each particle has a lifetime, and when the lifetime ends or
2269         the particle goes offscreen, it resets itself somewhere on the stage.
2270
2271         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
2272         images test, because this one tests the same technique.
2273         * Animometer/resources/runner/tests.js: Added here as "Leaves".
2274         * Animometer/tests/master/leaves.html: Added.
2275         * Animometer/tests/master/resources/particles.js: Refactor out the parts
2276         specific to the DOM particles test. Consequently make velocity a public
2277         member.
2278         (initialize): The options parameter is never used, so remove it.
2279         (animate): Remove unused local variable.
2280         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
2281         moves back and forth across the canvas. That point affects the velocity
2282         of the particles. When the focal point is on the leftmost side, it is
2283         between [-6, -2], and set in reset(). When the focal point is on the rightmost
2284         side, it will be from [2, 6].
2285         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
2286         this test here from particles.js.
2287
2288         New images.
2289         * Animometer/tests/master/resources/compass100.png: Added.
2290         * Animometer/tests/master/resources/console100.png: Added.
2291         * Animometer/tests/master/resources/contribute100.png: Added.
2292         * Animometer/tests/master/resources/debugger100.png: Added.
2293         * Animometer/tests/master/resources/inspector100.png: Added.
2294         * Animometer/tests/master/resources/layout100.png: Added.
2295         * Animometer/tests/master/resources/performance100.png: Added.
2296         * Animometer/tests/master/resources/script100.png: Added.
2297         * Animometer/tests/master/resources/shortcuts100.png: Added.
2298         * Animometer/tests/master/resources/standards100.png: Added.
2299         * Animometer/tests/master/resources/storage100.png: Added.
2300         * Animometer/tests/master/resources/styles100.png: Added.
2301         * Animometer/tests/master/resources/timeline100.png: Added.
2302
2303 2016-03-03  Jon Lee  <jonlee@apple.com>
2304
2305         Add ability to retrieve raw data from release harness
2306         https://bugs.webkit.org/show_bug.cgi?id=155026
2307
2308         Reviewed by Simon Fraser.
2309
2310         * Animometer/developer.html: Remove the special UI in the debug
2311         harness.
2312         * Animometer/resources/runner/animometer.css: Add styles for the
2313         overlay.
2314         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
2315         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
2316         the overlay.
2317         (window.benchmarkController.selectResults): Cycle the cases around
2318         so that the first 's' press selects both the benchmark score and
2319         the individual test scores.
2320         * Animometer/resources/debug-runner/animometer.css: Remove
2321         unneeded rules.
2322         * Animometer/resources/debug-runner/animometer.js: Make the same
2323         call to handleKeyPress.
2324
2325 2016-03-03  Jon Lee  <jonlee@apple.com>
2326
2327         Make sure multiply test particles have at least some opacity
2328         https://bugs.webkit.org/show_bug.cgi?id=155027
2329
2330         Reviewed by Simon Fraser.
2331
2332         * Animometer/tests/master/resources/multiply.js:
2333         (initialize): Have the elements spin a little faster to make it
2334         more obvious when the system is being stressed.
2335         (_addTile):
2336         (animate): Make sure each element being animated has at least 1%
2337         opacity.
2338
2339 2016-03-03  Jon Lee  <jonlee@apple.com>
2340
2341         Update image test
2342         https://bugs.webkit.org/show_bug.cgi?id=154962
2343
2344         Rubber-stamped by Darin Adler.
2345
2346         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
2347         * Animometer/tests/master/resources/image-data.js:
2348         (initialize): Update to load multiple images serially.
2349         (_loadImage):
2350         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
2351         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
2352         (_refreshElement): Place element in a tile grid.
2353         (animate):
2354         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
2355         * Animometer/tests/master/resources/compass.svg: Added.
2356         * Animometer/tests/master/resources/console.svg: Added.
2357         * Animometer/tests/master/resources/contribute.svg: Added.
2358         * Animometer/tests/master/resources/debugger.svg: Added.
2359         * Animometer/tests/master/resources/inspector.svg: Added.
2360         * Animometer/tests/master/resources/layout.svg: Added.
2361         * Animometer/tests/master/resources/performance.svg: Added.
2362         * Animometer/tests/master/resources/script.svg: Added.
2363         * Animometer/tests/master/resources/shortcuts.svg: Added.
2364         * Animometer/tests/master/resources/standards.svg: Added.
2365         * Animometer/tests/master/resources/storage.svg: Added.
2366         * Animometer/tests/master/resources/styles.svg: Added.
2367         * Animometer/tests/master/resources/timeline.svg: Added.
2368
2369 2016-03-02  Jon Lee  <jonlee@apple.com>
2370
2371         Add some new controllers, and refine tests
2372         https://bugs.webkit.org/show_bug.cgi?id=154914
2373
2374         Reviewed by Simon Fraser.
2375
2376         Improve tests.
2377
2378         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
2379         in a container element. Expand the container element by the max blur radius, and clip
2380         overflow. This way, when the blur is applied, it avoids causing layer resizes.
2381         * Animometer/tests/master/resources/focus.js:
2382         (FocusElement.Utilities.createClass): Create a container element, and put the particle
2383         inside.
2384         (hide): Set display:none.
2385         (show): Set display:block.
2386         (animate): Apply filters to the container element.
2387         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
2388         keep them in the stage, but set the display style instead. Use this._offsetIndex to
2389         keep track of which elements are displayed.
2390         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
2391         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
2392         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
2393         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
2394         stage appear less black when the complexity gets large enough.
2395         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
2396         frame.
2397
2398 2016-03-02  Jon Lee  <jonlee@apple.com>
2399
2400         Add some new controllers, and refine tests
2401         https://bugs.webkit.org/show_bug.cgi?id=154914
2402
2403         Reviewed by Simon Fraser.
2404
2405         Add a controller that centers around 30 fps instead of 60 fps.
2406
2407         * Animometer/developer.html: Add a new option.
2408         * Animometer/resources/debug-runner/animometer.js:
2409         * Animometer/resources/runner/animometer.js:
2410         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2411         check the controller, and use a 30 fps baseline if needed.
2412         * Animometer/resources/statistics.js:
2413         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2414         frame length.
2415         * Animometer/tests/resources/main.js:
2416         (tune): Override some of the constants in RampController. Move those constants out for
2417         easier reading.
2418
2419         Add a fixed controller, with no step.
2420
2421         * Animometer/developer.html: Add a controller that takes no step.
2422         * Animometer/resources/debug-runner/animometer.js:
2423         * Animometer/tests/resources/main.js:
2424         (Rotater.Utilities.createClass):
2425
2426         Switch to ramp controller as default.
2427
2428         * Animometer/developer.html: Increase the test length to 20 seconds.
2429         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2430         since that is a more accurate description.
2431         * Animometer/resources/debug-runner/graph.js:
2432         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2433
2434 2016-02-26  Jon Lee  <jonlee@apple.com>
2435
2436         Address Dean's comments in 154673.
2437
2438         * Animometer/developer.html:
2439         * Animometer/resources/debug-runner/animometer.js:
2440         * Animometer/resources/debug-runner/graph.js:
2441
2442 2016-02-25  Jon Lee  <jonlee@apple.com>
2443
2444         Update animation benchmark and tests
2445         https://bugs.webkit.org/show_bug.cgi?id=154673
2446
2447         Reviewed by Dean Jackson.
2448
2449         Update test visuals.
2450
2451         * Animometer/tests/master/resources/canvas-tests.js:
2452         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2453         Update circle position and radius to minimize impact.
2454         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2455         have 3 locations for emitting particles.
2456         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2457         more color.
2458         (initialize): Fix some of the math for laying out the tiles.
2459         (animate): When a tile isn't used, set visibility: hidden.
2460
2461 2016-02-24  Jon Lee  <jonlee@apple.com>
2462
2463         Update animation benchmark and tests
2464         https://bugs.webkit.org/show_bug.cgi?id=154673
2465
2466         Reviewed by Dean Jackson.
2467
2468         Update the ramp controller.
2469
2470         The controller refines the complexity interval to test across.
2471
2472         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2473         (Regression): For the flat regression, force the first segment to be at 60 fps.
2474         (valueAt): Add convenience function to return interpolated value based on the regression used.
2475         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2476         errors.
2477         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2478         to be reset.
2479
2480         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2481         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2482         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2483         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2484         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2485         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2486         parameters.
2487         (update): During the tier phase, it is possible that the highest complexity possible for a test
2488         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2489         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2490         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2491         FPS at each tier.
2492         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2493         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2494         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2495         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2496         FPS to drop, we reset the minimum complexity.
2497
2498         Have the bootstrap calculation occur between tests. Clean up harness.
2499
2500         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2501         completed to avoid doing all of it at the end before showing the results. Clean up
2502         parameters being passed around.
2503         * Animometer/resources/debug-runner/tests.js:
2504         (text):
2505         * Animometer/resources/runner/animometer.js:
2506         (this._processData.calculateScore): Save the results to the same object holding the data.
2507         (this._processData._processData): In the case where a file is dragged, calculate the score
2508         serially. Grab the results object and move it to the results variable and remove it from
2509         the data object. This avoids serializing the results into the JSON.
2510         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2511         resample size to shorten the wait.
2512         * Animometer/resources/runner/benchmark-runner.js:
2513         * Animometer/resources/statistics.js:
2514         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2515         floats and integers causes an alphabetical sort to occur.
2516         * Animometer/resources/strings.js:
2517
2518         Add meta charset so that encodings between harness and test match.
2519
2520         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2521         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2522         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2523         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2524         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2525         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2526         * Animometer/tests/master/canvas-stage.html:
2527         * Animometer/tests/master/focus.html:
2528         * Animometer/tests/master/image-data.html:
2529         * Animometer/tests/master/multiply.html:
2530         * Animometer/tests/master/particles.html:
2531         * Animometer/tests/misc/canvas-electrons.html:
2532         * Animometer/tests/misc/canvas-stars.html:
2533         * Animometer/tests/misc/compositing-transforms.html:
2534         * Animometer/tests/simple/simple-canvas-paths.html:
2535         * Animometer/tests/simple/tiled-canvas-image.html:
2536         * Animometer/tests/template/template-canvas.html:
2537         * Animometer/tests/template/template-css.html:
2538         * Animometer/tests/template/template-svg.html:
2539         * Animometer/tests/text/layering-text.html:
2540         * Animometer/tests/text/text-boxes.html:
2541
2542         Update test harness reporting.
2543
2544         * Animometer/developer.html: Add missing meta charset.
2545         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2546         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2547         formatting the results table.
2548         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2549         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2550         * Animometer/resources/strings.js: Move strings not used by the release harness.
2551
2552         Switch to a pseudo-random number generator.
2553
2554         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2555         pseudo-random number generator.
2556         (_calculateRegression): Reset the generator before running bootstrap.
2557         (bootstrap): Deleted.
2558
2559         Replace Math.random with Pseudo.random.
2560         * Animometer/tests/master/resources/canvas-tests.js:
2561         * Animometer/tests/master/resources/focus.js:
2562         * Animometer/tests/master/resources/particles.js:
2563         * Animometer/tests/resources/main.js:
2564
2565         Use bootstrapping to get confidence interval in the breakpoint.
2566
2567         For the ramp controller, calculate the piecewise regression, and then use
2568         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2569
2570         * Animometer/developer.html: Default to the complexity graph. Add a legend
2571         checkbox to toggle visibility of the bootstrap score and histogram.
2572         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2573         the old raw and average scores in the legend. Add new styles for the data.
2574         * Animometer/resources/debug-runner/graph.js:
2575         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2576         regression line. Now |stdev| is |range|.
2577         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2578         the bootstrap samples. Switch raw samples from circles to X's.
2579         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2580         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2581         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2582         interval.
2583         * Animometer/resources/runner/animometer.js:
2584         (this._processData.findRegression): Factor out the code that determines which
2585         samples to include when calculating the piecewise regression. For series that have
2586         many samples, or a wider range of recorded complexities, throw away the 2.5%
2587         lowest and highest samples before calculating the regression. Keep all samples
2588         if the number of samples to regress is small or the range of complexities is
2589         narrow.
2590         (this._processData._calculateScore): Factor out regression calculation to
2591         findRegression(). Bootstrap the change point of the regression. The score is the
2592         median.
2593         * Animometer/resources/statistics.js:
2594         (_calculateRegression): Correct an issue in the calculation of the regression, where
2595         the denominator can be 0.
2596         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2597         re-samples by random selection with replacement. Return the 95% confidence samples,
2598         the bootstrap median, mean, and the data itself.
2599         * Animometer/resources/strings.js: Add bootstrap.
2600         * Animometer/tests/resources/main.js:
2601         (processSamples): Don't prematurely cut the sample data.
2602
2603         Fix graph drawing.
2604
2605         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2606         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2607         * Animometer/resources/debug-runner/animometer.css:
2608         (#complexity-graph .series.raw circle): Update the color.
2609         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2610         complexity axis, which can vary in domain. For determining the complexity domain,
2611         only use samples after samplingTimeOffset.
2612
2613         Allow dropping results JSON.
2614
2615         * Animometer/developer.html: Add a button.
2616         * Animometer/resources/debug-runner/animometer.css:
2617         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2618         to the dashboard. With JSON output, write out only the options and the raw data.
2619
2620         Teach the harness to evaluate the samples and determine the test score.
2621
2622         This will allow us to update how the score is calculated separately from the samples recorded.
2623         This also prepares the harness to be able to accept JSON of prior runs.
2624
2625         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2626         hierarchy.
2627         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2628
2629         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2630         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2631         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2632         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2633         Group them, and calculate distribution of samples within the same complexity, and add those as
2634         new entries into |complexityAverageSamples|.
2635         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2636         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2637
2638         {
2639             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2640             marks: [...],
2641             samples: {                    // all of the sample data
2642                 controller: [...],
2643                 complexity: [...],        // processed from controller samples
2644                 complexityAverage: [...], // processed from complexity samples
2645             }
2646         }
2647
2648         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2649         now pass the test options to the graph.
2650         (Regression): Move to statistics.js.
2651         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2652         only contains one sample, since we cannot calculate a regression from one sample point.
2653
2654         Teach the test harness to evaluate the data.
2655         * Animometer/resources/runner/animometer.js:
2656         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2657         from the data. The results are stored as:
2658
2659         {
2660             score: /* geomean of iteration score */,
2661             iterationsResults: [
2662                 {
2663                     score: /* geomean of tests */,
2664                     testsResults: {
2665                         suiteName: {
2666                             testName: {
2667                                 controller: {
2668                                     average:
2669                                     concern:
2670                                     stdev:
2671                                     percent:
2672                                 },
2673                                 frameLength: { ... },
2674                                 complexity: {
2675                                     complexity:
2676                                     stdev:
2677                                     segment1:
2678                                     segment2:
2679                                 },
2680                                 complexityAverage: { ... }
2681                             },
2682                             testName: { ... },
2683                         },
2684                         ... next suite ...
2685                     }
2686                 },
2687                 { ...next iteration... }
2688             ]
2689         }
2690
2691         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2692         on what was selected in the form. This will later allow for dropping previous results, and
2693         using those runs' options when calculating scores.
2694         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2695         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2696
2697         Consolidate JS files, and move statistics out to a separate JS.
2698
2699         Preparation for having the Controller only handle recording and storage of the samples,
2700         and leave the evaluation of the test score out to the harness. Move Experiment to
2701         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2702         and move it to utilities.js since the Heap is used only for Experiments.
2703
2704         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2705         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2706         Sampler in main.js.
2707         * Animometer/tests/resources/main.js: Move Sampler here.
2708         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2709         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2710         a max or min heap to Heap, instead of a new Algorithm object.
2711
2712         Update JS files.
2713         * Animometer/developer.html:
2714         * Animometer/index.html:
2715         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2716         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2717         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2718         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2719         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2720         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2721         * Animometer/tests/master/canvas-stage.html:
2722         * Animometer/tests/master/focus.html:
2723         * Animometer/tests/master/image-data.html:
2724         * Animometer/tests/master/multiply.html:
2725         * Animometer/tests/master/particles.html:
2726         * Animometer/tests/misc/canvas-electrons.html:
2727         * Animometer/tests/misc/canvas-stars.html:
2728         * Animometer/tests/misc/compositing-transforms.html:
2729         * Animometer/tests/simple/simple-canvas-paths.html:
2730         * Animometer/tests/simple/tiled-canvas-image.html:
2731         * Animometer/tests/template/template-canvas.html:
2732         * Animometer/tests/template/template-css.html:
2733         * Animometer/tests/template/template-svg.html:
2734         * Animometer/tests/text/layering-text.html:
2735         * Animometer/tests/text/text-boxes.html:
2736
2737         Fix the cursor in the graph analysis when the min
2738         complexity is not 0.
2739
2740         * Animometer/resources/debug-runner/graph.js:
2741         (_addRegression):
2742         (createComplexityGraph):
2743
2744 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2745
2746         Fix some issues in MallocBench
2747         https://bugs.webkit.org/show_bug.cgi?id=154600
2748
2749         Reviewed by Oliver Hunt.
2750
2751         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2752         a part of the build so that it copies to the right place for execution.
2753
2754         * MallocBench/MallocBench/Interpreter.cpp:
2755         (Interpreter::Interpreter): Don't try to open .ops files for writing
2756         because we're only going to read and we might need extra permissions to
2757         write.
2758
2759         (Interpreter::~Interpreter): Give more context when opening a file fails
2760         to help with debugging.
2761
2762         * MallocBench/MallocBench/stress.cpp:
2763         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2764
2765 2016-02-23  Michael Saboff  <msaboff@apple.com>
2766
2767         Unreviewed change to revert extraneous changes made part of change set 196955.
2768
2769         * MallocBench/MallocBench/Interpreter.cpp:
2770         (Interpreter::doMallocOp):
2771         (Interpreter::Thread::switchTo):
2772         (writeData): Deleted.
2773
2774 2016-02-19  Michael Saboff  <msaboff@apple.com>
2775
2776         MallocBench: Added recording for nimlang website, new recording details and added new options
2777         https://bugs.webkit.org/show_bug.cgi?id=154485
2778
2779         Reviewed by Geoff Garen.
2780
2781         Added new capabilities to MallocBench.  These include:
2782             Added a recording of http://nim-lang.org/docs/lib.html.
2783             Added thread id to the recording and the ability to playback switching threads in MallocBench
2784             Added aligned allocations to recordings and the ability to playback
2785             Added --use-thread-id option to honor recorded thread ids
2786             Added --detailed-report to output remaining allocations by size after playback
2787             Added --no-warmup to not run the warm up iteration
2788
2789         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2790         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2791         can access the options that are appropriate.  The Benchmark class also uses the options for
2792         is parallel, run counts and warm up.
2793
2794         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2795         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2796         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2797         without any incompatibilities.
2798
2799         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2800         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2801         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2802         assure that only one thread is really running at a time and a condition variable used to wait
2803         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2804         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2805
2806         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2807         * MallocBench/MallocBench/Benchmark.cpp:
2808         (deallocateHeap):
2809         (Benchmark::Benchmark):
2810         (Benchmark::runOnce):
2811         (Benchmark::run):
2812         * MallocBench/MallocBench/Benchmark.h:
2813         (Benchmark::isValid):
2814         * MallocBench/MallocBench/CommandLine.cpp:
2815         (CommandLine::printUsage):
2816         * MallocBench/MallocBench/CommandLine.h:
2817         (CommandLine::isValid):
2818         (CommandLine::benchmarkName):
2819         (CommandLine::isParallel):
2820         (CommandLine::useThreadID):
2821         (CommandLine::detailedReport):
2822         (CommandLine::warmUp):
2823         (CommandLine::heapSize):
2824         (CommandLine::runs):
2825         * MallocBench/MallocBench/Interpreter.cpp:
2826         (Interpreter::Interpreter):
2827         (Interpreter::run):
2828         (Interpreter::readOps):
2829         (Interpreter::doOnSameThread):
2830         (Interpreter::switchToThread):
2831         (Interpreter::detailedReport):
2832         (compute2toPower):
2833         (writeData):
2834         (Interpreter::doMallocOp):
2835         (Interpreter::Thread::Thread):
2836         (Interpreter::Thread::stop):
2837         (Interpreter::Thread::~Thread):
2838         (Interpreter::Thread::runThread):
2839         (Interpreter::Thread::waitToRun):
2840         (Interpreter::Thread::switchTo):
2841         * MallocBench/MallocBench/Interpreter.h:
2842         (Interpreter::Thread::isMainThread):
2843         * MallocBench/MallocBench/alloc_free.cpp: Added.
2844         (benchmark_alloc_free):
2845         * MallocBench/MallocBench/alloc_free.h: Added.
2846         * MallocBench/MallocBench/balloon.cpp:
2847         (benchmark_balloon):
2848         * MallocBench/MallocBench/balloon.h:
2849         * MallocBench/MallocBench/big.cpp:
2850         (benchmark_big):
2851         * MallocBench/MallocBench/big.h:
2852         * MallocBench/MallocBench/churn.cpp:
2853         (benchmark_churn):
2854         * MallocBench/MallocBench/churn.h:
2855         * MallocBench/MallocBench/facebook.cpp:
2856         (benchmark_facebook):
2857         * MallocBench/MallocBench/facebook.h:
2858         * MallocBench/MallocBench/flickr.cpp:
2859         (benchmark_flickr):
2860         (benchmark_flickr_memory_warning):
2861         * MallocBench/MallocBench/flickr.h:
2862         * MallocBench/MallocBench/fragment.cpp:
2863         (validate):
2864         (benchmark_fragment):
2865         (benchmark_fragment_iterate):
2866         * MallocBench/MallocBench/fragment.h:
2867         * MallocBench/MallocBench/list.cpp:
2868         (benchmark_list_allocate):
2869         (benchmark_list_traverse):
2870         * MallocBench/MallocBench/list.h:
2871         * MallocBench/MallocBench/main.cpp:
2872         (main):
2873         * MallocBench/MallocBench/medium.cpp:
2874         (benchmark_medium):
2875         * MallocBench/MallocBench/medium.h:
2876         * MallocBench/MallocBench/memalign.cpp:
2877         (test):
2878         (benchmark_memalign):
2879         * MallocBench/MallocBench/memalign.h:
2880         * MallocBench/MallocBench/message.cpp:
2881         (benchmark_message_one):
2882         (benchmark_message_many):
2883         * MallocBench/MallocBench/message.h:
2884         * MallocBench/MallocBench/nimlang.cpp: Added.
2885         (benchmark_nimlang):
2886         * MallocBench/MallocBench/nimlang.h: Added.
2887         * MallocBench/MallocBench/nimlang.ops: Added.
2888         * MallocBench/MallocBench/realloc.cpp:
2889         (benchmark_realloc):
2890         * MallocBench/MallocBench/realloc.h:
2891         * MallocBench/MallocBench/reddit.cpp:
2892         (benchmark_reddit):
2893         (benchmark_reddit_memory_warning):
2894         * MallocBench/MallocBench/reddit.h:
2895         * MallocBench/MallocBench/stress.cpp:
2896         (deallocate):
2897         (benchmark_stress):
2898         * MallocBench/MallocBench/stress.h:
2899         * MallocBench/MallocBench/stress_aligned.cpp:
2900         (benchmark_stress_aligned):
2901         * MallocBench/MallocBench/stress_aligned.h:
2902         * MallocBench/MallocBench/theverge.cpp:
2903         (benchmark_theverge):
2904         (benchmark_theverge_memory_warning):
2905         * MallocBench/MallocBench/theverge.h:
2906         * MallocBench/MallocBench/tree.cpp:
2907         (benchmark_tree_allocate):
2908         (benchmark_tree_traverse):
2909         (benchmark_tree_churn):
2910         * MallocBench/MallocBench/tree.h:
2911         * MallocBench/run-malloc-benchmarks:
2912
2913 2016-02-11  Jon Lee  <jonlee@apple.com>
2914
2915         Fix a missing refactoring.
2916
2917         * Animometer/tests/master/resources/multiply.js:
2918         (animate): Move to Utilities.lerp.
2919         (_lerp): Deleted.
2920
2921 2016-02-10  Jon Lee  <jonlee@apple.com>
2922
2923         Add new benchmark tests.
2924         https://bugs.webkit.org/show_bug.cgi?id=154063
2925
2926         Provisionally reviewed by Said Abou-Hallawa.
2927
2928         Add tests for get/put image data, filters, opacity, and css transforms.
2929
2930         * Animometer/resources/runner/benchmark-runner.js:
2931         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2932         the stage.
2933         (this._runNextIteration): Clear the background color style for the results page.
2934         * Animometer/resources/runner/tests.js:
2935         * Animometer/tests/master/focus.html: Added.
2936         * Animometer/tests/master/image-data.html: Added.
2937         * Animometer/tests/master/multiply.html: Added.
2938         * Animometer/tests/master/resources/focus.js: Added.
2939         * Animometer/tests/master/resources/image-data.js: Added.
2940         * Animometer/tests/master/resources/multiply.js: Added.
2941         * Animometer/tests/master/resources/stage.css: Move common styles out.
2942         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
2943         Add Stage.randomSign for randomly setting a direction. Add the notion of the
2944         current timestamp of the test to Benchmark, since some animations cycle through
2945         colors and rely on an incremental counter like the time.
2946
2947 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
2948
2949         Add internal benchmark tests for CSS mix-blend-modes and filters
2950         https://bugs.webkit.org/show_bug.cgi?id=154058
2951
2952         Provisionally reviewed by Jon Lee.
2953
2954         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
2955         "HTML suite" of the debug runner.
2956
2957         * Animometer/resources/extensions.js:
2958         (Utilities.browserPrefix):
2959         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
2960         prefixed style properties.
2961
2962         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2963         Set the mix-blend-mode and the filter to some random values if the options
2964         of the test requested that.
2965
2966         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2967         (parseShapeParameters): Parse the url options "blend" and "filter" and set
2968         the corresponding flags.
2969
2970         * Animometer/tests/resources/main.js:
2971         (randomStyleMixBlendMode):
2972         (randomStyleFilter): Return random mix-blend-mode and filter.
2973
2974 2016-02-08  Jon Lee  <jonlee@apple.com>
2975
2976         Add a ramp controller
2977         https://bugs.webkit.org/show_bug.cgi?id=154028
2978
2979         Provisionally reviewed by Said Abou-Hallawa.
2980
2981         Enhance the graph to include a complexity-fps graph, in addition
2982         to the time graph.
2983
2984         * Animometer/developer.html: Add a ramp option.
2985         * Animometer/resources/debug-runner/animometer.css: Update the style.
2986         * Animometer/resources/strings.js: Flatten the Strings.text constants.
2987         * Animometer/resources/debug-runner/animometer.js:
2988         (ResultsTable.call._addGraphButton): Refactor.
2989         (ResultsTable.call._addTest): Add regression data.
2990         (benchmarkController): Add a form that allows the user to switch between the two forms,
2991         Add a form that allows the user to toggle different data. Hide certain header columns
2992         depending on the selected controller.
2993         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
2994         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
2995         * Animometer/resources/runner/animometer.js:
2996         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
2997         * Animometer/tests/resources/main.js:
2998         (Controller): Allow options to specify the capacity for sample arrays.
2999         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
3000         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
3001         error. Sweep across the samples in time (which could be backward depending on the controller)
3002         and calculate the intersection point.
3003         (RampController): This controller assumes that the target frame rate is below
3004         58 FPS. It runs in two stages. The first stage quickly determines the order of
3005         magnitude of objects needed to stress the system by the setting the complexity
3006         to increasingly difficult tiers. Perform a series of ramps descending from a
3007         high-water mark of complexity. The complexity needed to reach the target frame
3008         length is done by performing a piecewise regression on each ramp, and track a
3009         running average of these values. For the next ramp, make that running average
3010         the center of the ramp. With a minimum complexity of 0, the high-water mark is
3011         twice that average. The score is based on the highest complexity that can
3012         reach 60 fps.
3013
3014 2016-02-08  Jon Lee  <jonlee@apple.com>
3015
3016         Address Said's comments on the benchmark, and do some clean up.
3017
3018         * Animometer/developer.html:
3019         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
3020         * Animometer/resources/debug-runner/animometer.js: Use the right
3021         Strings constants.
3022         * Animometer/resources/debug-runner/graph.js:
3023         (_addRegressionLine): Add missing code to draw the line and standard
3024         deviation highlight.
3025         (onGraphTypeChanged): Remove unneeded variables
3026         (onTimeGraphOptionsChanged):
3027         * Animometer/resources/runner/benchmark-runner.js:
3028         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
3029         _suitesSamplers to _suitesResults.
3030         * Animometer/tests/resources/main.js:
3031         (results): Call processSamples().
3032         (update): Change sampling timestamp comparison.
3033         (_animateLoop): Move shouldStop call to before the update.
3034         * Animometer/tests/resources/sampler.js:
3035         (process): Rename to processSamples().
3036
3037 2016-02-07  Jon Lee  <jonlee@apple.com>
3038
3039         Teach Controller to measure intervals, and turn off the frame length estimator.
3040
3041         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
3042         (start): Set the first interval.
3043         (_measureAndResetInterval): Reports the average frame length of the interval that just
3044         completed, and sets up the next interval.
3045         (update): If there is no length, then just use the estimator per frame, otherwise the
3046         estimator measures per interval. Add a didFinishInterval for subclasses to process
3047         prior to recording the sample. Update tune() to include whether an interval had
3048         finished.
3049         (StepController): Step controllers don't measure on an interval basis.
3050
3051 2016-02-07  Jon Lee  <jonlee@apple.com>
3052
3053         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
3054         and switch the parameters for start(), update(), and tune(), so that the timestamp
3055         is first and stage is second.
3056
3057         * Animometer/tests/resources/main.js:
3058
3059 2016-02-07  Jon Lee  <jonlee@apple.com>
3060
3061         Move ResultsTable functionality not needed for release tests out.
3062         Move reporting of score and mean to selection of the time-based graph.
3063
3064         * Animometer/developer.html: Rename graph-options to time-graph-options.
3065         * Animometer/resources/debug-runner/animometer.js:
3066         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
3067         values to "average" objects which can hold stdev. Move graph button and
3068         calculation of noisy measurements here. Sophisticated header processing
3069         is not needed in release suite.
3070         (populateTable): Use DeveloperResultsTable.
3071         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
3072         its own function, and add a new onGraphTypeChanged handler in preparation
3073         of a complexity graph to be added later.
3074         * Animometer/resources/runner/animometer.js:
3075         (ResultsTable): Simplify to just handle test names and scores.
3076
3077 2016-02-07  Jon Lee  <jonlee@apple.com>
3078
3079         Tests: reuse objects already made.
3080
3081         Avoid thrash of object creation and removal by maintaining an index that
3082         moves along the array as the adjust values change. If the tune value
3083         requires more objects than the maximum size of the object array, then create
3084         new objects. This means that the object array size never decreases.
3085
3086         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
3087         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
3088         so the scene will draw the object at offsetIndex to the end of the array.
3089         (tune): Reverse the logic since "removal" of objects is much simpler and
3090         involves simply changing the offsetIndex.
3091         (animate): Update the for loop to draw from offsetIndex to the end.
3092         (complexity): Update the definition.
3093         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
3094         offsetIndex. For these tests, we want to avoid drawing the newest objects,
3095         so the scene will draw the object at index 0 to the object at offsetIndex.
3096         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
3097         which is unneeded. Update the for loop to draw from offsetIndex to the end.
3098         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3099         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
3100         offsetIndex.
3101         * Animometer/tests/simple/resources/simple-canvas.js:
3102         (tune): Update logic. Here, offsetIndex represents the boundary of the last
3103         index to render.
3104         (animate): Update the for loop to draw from 0 to offsetIndex.
3105         (complexity): Update the definition.
3106
3107 2016-02-07  Jon Lee  <jonlee@apple.com>
3108
3109         Tests: refactor and update styles.
3110
3111         * Animometer/tests/resources/main.js: Add helper methods that return
3112         a color that hue rotates based on the date, and a counter value that
3113         increases based on the date. Fix randomInt() to not bias against the min and
3114         max values.
3115
3116         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
3117         * Animometer/tests/master/resources/dom-particles.js: Ditto.
3118         * Animometer/tests/master/resources/particles.js: Ditto.
3119         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
3120         use a rotating color instead of a random color. The fast switching of color
3121         is too vivid to watch.
3122
3123         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3124         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
3125         that the last stop is located at the end.
3126
3127 2016-02-07  Jon Lee  <jonlee@apple.com>
3128
3129         Refactor tune() to not return the complexity of the scene.
3130
3131         We have stage.complexity() now, so returning the complexity through tune
3132         is unnecessary.
3133
3134         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3135         * Animometer/tests/master/resources/canvas-stage.js:
3136         * Animometer/tests/master/resources/particles.js:
3137         * Animometer/tests/misc/resources/canvas-electrons.js:
3138         * Animometer/tests/misc/resources/canvas-stars.js:
3139         * Animometer/tests/resources/main.js:
3140         * Animometer/tests/simple/resources/simple-canvas.js:
3141         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3142         * Animometer/tests/template/resources/template-canvas.js:
3143         * Animometer/tests/template/resources/template-css.js:
3144         * Animometer/tests/template/resources/template-svg.js:
3145         * Animometer/tests/text/resources/layering-text.js:
3146
3147 2016-02-07  Jon Lee  <jonlee@apple.com>
3148
3149         Make the fixed controller a step controller instead. Halfway through the test
3150         it will bump up the complexity 4-fold. Calculate the step timestamp using options
3151         instead of a separate parameter to the Controller constructor.
3152
3153         * Animometer/developer.html: Change value to "step"
3154         * Animometer/resources/debug-runner/animometer.js:
3155         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
3156         * Animometer/tests/resources/main.js:
3157         (update): Provide a hook for subclasses to tune.
3158         (StepController): Maintain a flag determining whether we've stepped, and the time
3159         we should step.
3160         (Benchmark): Use the new StepController.
3161
3162 2016-02-07  Jon Lee  <jonlee@apple.com>
3163
3164         Adjust the FPS graph scale.
3165
3166         Instead of making the FPS graph linearly scale, scale it based on the frame length,
3167         but show the data in terms of FPS. Because it is inversely proportional, and most
3168         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
3169         over half of the available graph space ends up blank.
3170
3171         This means we should convert all of the FPS data to frame length data.
3172
3173         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
3174         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
3175         values being shown, and then pick the min and max values to represent the length of the
3176         cursor.
3177         * Animometer/resources/runner/animometer.js:
3178         * Animometer/resources/strings.js:
3179         * Animometer/tests/resources/main.js:
3180         (processSamples): Add the ability to only sample a range of the data instead of everything
3181         after an offset index. Update sampler to record the frame lengths instead of the frame
3182         rate.
3183
3184 2016-02-07  Jon Lee  <jonlee@apple.com>
3185
3186         Add option to use different methods for retrieving a timestamp.
3187
3188         * Animometer/developer.html: Add performance.now and Date.now options.
3189         * Animometer/resources/runner/animometer.js: Default to performance.now.
3190         (window.benchmarkController.startBenchmark):
3191         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
3192         (run): Use _getTimestamp.
3193         (_animateLoop): Ditto.
3194
3195 2016-02-07  Jon Lee  <jonlee@apple.com>
3196
3197         Allow adding any number of markers to the graph. The markers can be labeled
3198         and contain timestamp and sample index data. Make it a part of the controller
3199         rather than keeping it in the sampler.
3200
3201         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
3202         * Animometer/resources/debug-runner/graph.js: Create the markers and add
3203         text labels.
3204         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
3205         is just one of the marks provided.
3206         * Animometer/resources/strings.js: Add Strings.json.marks.
3207         * Animometer/tests/resources/main.js:
3208         (Controller): Keep marks here. They are keyed by the marker name, so no two
3209         markers should have the same name.
3210         (recordFirstSample): Refactor to use mark.
3211         (mark): Allows for arbitrary data if needed later. The timestamp maintained
3212         is relative to the absolute start timestamp.
3213         (containsMark): Checks whether a mark with a specific comment exists.
3214         (processSamples): Removes the _startTimestamp offset from the marks before
3215         setting it in results.
3216         * Animometer/tests/resources/sampler.js: Remove marks.
3217
3218 2016-02-07  Jon Lee  <jonlee@apple.com>
3219
3220         Get rid of options member variable in Benchmark.
3221
3222         Options are only needed when initializing the stage or benchmark, so there's no
3223         need to also keep a reference to it.
3224
3225         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
3226         Pass options to Controllers and Stages.
3227         (Controller.Utilities.createClass):
3228         (Benchmark.Utilities.createClass):
3229         (get options): Deleted.
3230
3231         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3232         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3233         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3234         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3235         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3236         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3237         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3238         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3239         * Animometer/tests/master/resources/canvas-stage.js:
3240         * Animometer/tests/master/resources/canvas-tests.js:
3241         * Animometer/tests/master/resources/particles.js:
3242         * Animometer/tests/misc/resources/canvas-electrons.js:
3243         * Animometer/tests/misc/resources/canvas-stars.js:
3244         * Animometer/tests/misc/resources/compositing-transforms.js:
3245         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3246         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3247         * Animometer/tests/template/resources/template-canvas.js:
3248         * Animometer/tests/template/resources/template-css.js:
3249         * Animometer/tests/template/resources/template-svg.js:
3250         * Animometer/tests/text/resources/layering-text.js:
3251
3252 2016-02-07  Jon Lee  <jonlee@apple.com>
3253
3254         Update how the benchmark is run
3255         https://bugs.webkit.org/show_bug.cgi?id=153960
3256
3257         Provisionally reviewed by Said Abou-Hallawa.
3258
3259         Introduce the notion of a Controller. It is responsible for recording, updating,
3260         and processing the statistics and complexity of the benchmark. This allows
3261         plugging in different Controllers.
3262
3263         This strips most of the functionality from Animator and BenchmarkState, so fold
3264         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
3265         are responsible for driving the animation loop.
3266
3267         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
3268         maintains a fixed complexity, and the other adapts the complexity to meet a
3269         fixed FPS.
3270
3271         Fix the Kalman estimator to be modeled on a scalar variable with no model.
3272
3273         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
3274         replace it with a Controller. Add a FixedController and refactor the previous controller
3275         to an AdaptiveController.
3276
3277         (Controller): Controllers own the estimator and the sampler. When a new frame is
3278         displayed, the animation loop calls update(). The estimator and sampler record
3279         stats, then tune. Samplers can track multiple series of data. The basic controller
3280         tracks timestamp, complexity, and estimated frame rate.
3281                 The Kalman estimation is based on the frame length rather than the frame
3282         rate. Because FPS is inverse proportional to frame length, in the case where the measured
3283         frame length is very small, the FPS ends up being a wildly large number (in the order of
3284         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
3285         for it to settle back down. Using frame length reduces the impact of these spikes.
3286                 Converging the estimation takes enough time to avoid initializing it immediately
3287         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
3288         before running it in earnest. Allow controllers an opportunity to set the complexity
3289         before starting recording.
3290                 When the benchmark is complete, the controller has an opportunity to process
3291         the samples. The default implementation calculates the raw FPS based on the time
3292         difference of the samples, and calculates the complexity score. This is moved from
3293         Benchmark.processSamples.
3294
3295         (Controller): Initialize timestamps. These are at first relative to the start of the
3296         benchmark, but are offset by the absolute start time during start(). By default maintain
3297         3 data series, but subclasses can override.
3298         (start): Calls recordFirstSample() for subclasses to override if needed.
3299         (recordFirstSample): For basic controller, start sampling at the beginning.
3300         (update): Update the frame length estimator and sample.
3301         (shouldStop): Checks that the time is before _endTimestamp.
3302         (results): Returns the processed samples.
3303         (processSamples): Iterate through the sample data and collate them. Include scores.
3304
3305         (FixedComplexityController): Controller that tunes the stage to the desired complexity
3306         prior to starting, and keeps it at that complexity.
3307
3308         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
3309         raw frame rate.
3310                 The previous version of this controller ignored the frame that came after the
3311         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
3312         compared to the noise of the system overall. Stop ignoring that frame and include all
3313         frames in the measurements.
3314
3315         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
3316         selected. Most of the loop's functionality is in Controller, so remove here.
3317         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
3318         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
3319         a brief period before calling Controller.start().
3320
3321         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates