Add IDB perf tests stressing key size.
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-12-07  Brady Eidson  <beidson@apple.com>
2
3         Add IDB perf tests stressing key size.
4         https://bugs.webkit.org/show_bug.cgi?id=165567
5
6         Reviewed by Alex Christensen.
7
8         * IndexedDB/large-array-keys.html: Added.
9         * IndexedDB/large-binary-keys.html: Added.
10         * IndexedDB/large-string-keys.html: Added.
11
12 2016-12-05  Brady Eidson  <beidson@apple.com>
13
14         Add an IndexedDB perf test to PerformanceTests.
15         https://bugs.webkit.org/show_bug.cgi?id=165430
16
17         Reviewed by Alex Christensen.
18
19         * IndexedDB/index-multientry.html: Added.
20
21 2016-12-02  Filip Pizlo  <fpizlo@apple.com>
22
23         ES6SampleBench should report an average for Steady State so that all of the numbers are comparable
24         https://bugs.webkit.org/show_bug.cgi?id=165325
25
26         Reviewed by Saam Barati.
27
28         This makes all of the numbers that ES6SampleBench reports comparable to each other: they all speak of the time
29         it took to run an iteration of something.
30
31         * ES6SampleBench/results.js:
32         (Results.prototype.reportResult):
33
34 2016-11-18  Jer Noble  <jer.noble@apple.com>
35
36         Add some performance tests for various aspects of media loading and playback.
37         https://bugs.webkit.org/show_bug.cgi?id=164977
38
39         Reviewed by Darin Adler.
40
41         Add new tests for a few aspects of media playback; namely: how quickly  media elements fire
42         the "canplaythrough" event when all data is immediately available, how quickly HLS playback
43         switches resolutions, and at what playback rate MSE-backed video can play without dropping
44         frames. Skip these tests by default, as they're not runnable on all ports, and they require
45         a webserver (run-webkit-httpd) to complete on macOS.
46
47         * Media/HLSCanPlayThrough.html: Added.
48         * Media/HLSGearChange.html: Added.
49         * Media/MSECanPlayThrough.html: Added.
50         * Media/MSEPlaybackRate.html: Added.
51         * Media/StandardCanPlayThrough.html: Added.
52         * Media/hls/1080p/iframe_index.m3u8: Added.
53         * Media/hls/1080p/prog_index.m3u8: Added.
54         * Media/hls/1080p/test.ts: Added.
55         * Media/hls/480p/iframe_index.m3u8: Added.
56         * Media/hls/480p/prog_index.m3u8: Added.
57         * Media/hls/480p/test.ts: Added.
58         * Media/hls/720p/iframe_index.m3u8: Added.
59         * Media/hls/720p/prog_index.m3u8: Added.
60         * Media/hls/720p/test.ts: Added.
61         * Media/hls/720p/test.ts.back: Added.
62         * Media/hls/index.m3u8: Added.
63         * Media/media-source-loader.js: Added.
64         (MediaSourceLoader):
65         (MediaSourceLoader.prototype.loadManifest):
66         (MediaSourceLoader.prototype.loadManifestSucceeded):
67         (MediaSourceLoader.prototype.loadManifestFailed):
68         (MediaSourceLoader.prototype.loadMediaData):
69         (MediaSourceLoader.prototype.loadMediaDataSucceeded):
70         (MediaSourceLoader.prototype.loadMediaDataFailed):
71         (MediaSourceLoader.prototype.get type):
72         (MediaSourceLoader.prototype.get duration):
73         (MediaSourceLoader.prototype.get initSegment):
74         (MediaSourceLoader.prototype.get mediaSegmentsLength):
75         (MediaSourceLoader.prototype.mediaSegments):
76         (MediaSourceLoader.prototype.get everyMediaSegment):
77         * Media/test-fragmented-video.json: Added.
78         * Media/test-fragmented-video.mp4: Added.
79         * Media/test.mp4: Added.
80         * Skipped:
81
82 2016-11-18  Filip Pizlo  <fpizlo@apple.com>
83
84         Concurrent GC should be able to run splay in debug mode and earley/raytrace in release mode with no perf regression
85         https://bugs.webkit.org/show_bug.cgi?id=164282
86
87         Reviewed by Geoffrey Garen and Oliver Hunt.
88         
89         CDjs is a fun benchmark for stressing concurrent GCs, but to really give the GC a good
90         workout you need to increase the amount of work that the test does. This adds a second
91         configuration of the benchmark that has more aircraft. It uses much more memory and causes us
92         to do more GCs and those GCs take longer.
93
94         * JetStream/cdjs/benchmark.js:
95         (benchmarkImpl):
96         (benchmark):
97         * JetStream/cdjs/large.js: Added.
98
99 2016-11-14  Filip Pizlo  <fpizlo@apple.com>
100
101         Unreviewed, revert unintended change.
102
103         * ES6SampleBench/Air/benchmark.js:
104
105 2016-10-03  Saam Barati  <sbarati@apple.com>
106
107         MapHash should speculate on the type of its child node
108         https://bugs.webkit.org/show_bug.cgi?id=161922
109
110         Reviewed by Filip Pizlo.
111
112         I gave the main generator a name so it's easier to see what
113         it is when using the sampling profiler.
114
115         * ES6SampleBench/Basic/ast.js:
116         (Basic.Program):
117
118 2016-09-19  Sergio Villar Senin  <svillar@igalia.com>
119
120         [css-grid] Remove the x2 computation of row sizes with indefinite heights
121         https://bugs.webkit.org/show_bug.cgi?id=162150
122
123         Reviewed by Darin Adler.
124
125         Added a new test case which checks the layout performance of grids inside other grids, i.e,
126         grids acting both as grid container and grid item.
127
128         * Layout/nested-grid.html: Added.
129
130 2016-09-09  Simon Fraser  <simon.fraser@apple.com>
131
132         Perf test Animation/css-accelerated-animation.html failing
133         https://bugs.webkit.org/show_bug.cgi?id=161795
134
135         Skip Animation/css-accelerated-animation.html since this only works as a MobileSafari
136         perf test.
137
138         * Skipped:
139
140 2016-09-08  Simon Fraser  <simon.fraser@apple.com>
141
142         Add a content-animation test with accelerated CSS animations
143         https://bugs.webkit.org/show_bug.cgi?id=161776
144
145         Reviewed by Dean Jackson.
146
147         Add a test that measures the frame rate of accelerated CSS animations.
148
149         This is like css-animation.html (which animates 'left' and 'top') but animates
150         transforms instead. In order to get animation in X and Y we make two nested elements
151         and set transformX() on one, and transformY() on the other.
152
153         * Animation/css-accelerated-animation.html: Added.
154
155 2016-08-23  Saam Barati  <sbarati@apple.com>
156
157         It should be easy to run ES6SampleBench from the jsc shell
158         https://bugs.webkit.org/show_bug.cgi?id=161085
159
160         Reviewed by Yusuke Suzuki.
161
162         This patch makes ES6 sample bench runnable through the `jsc` shell.
163         To do that, you need to be in the PerformanceTests/ES6SampleBench
164         directory and run `jsc cli.js`. To make this work, the benchmark
165         is now aware of being run in two modes: via the browser, and via
166         the shell. Each entry point will set a variable `isInBrowser`,
167         and the benchmark will do different things based on if that
168         variable is true or false.
169
170         * ES6SampleBench/Air/benchmark.js:
171         * ES6SampleBench/Air/stress-test.js:
172         * ES6SampleBench/Basic/benchmark.js:
173         (runBenchmark):
174         * ES6SampleBench/Basic/stress-test.js:
175         * ES6SampleBench/air_benchmark.js:
176         * ES6SampleBench/basic_benchmark.js:
177         * ES6SampleBench/cli.js: Added.
178         (return.doRun):
179         (makeBenchmarkRunner):
180         * ES6SampleBench/driver.js:
181         (Driver):
182         (Driver.prototype._recomputeSummary):
183         (Driver.prototype._iterate.window.setTimeout):
184         (Driver.prototype._iterate):
185         (Driver.prototype._updateIterations):
186         * ES6SampleBench/glue.js:
187         (reportResult):
188         * ES6SampleBench/index.html:
189         * ES6SampleBench/results.js:
190         (Results):
191         (Results.prototype.reportRunning):
192         (Results.prototype.reportDone):
193         (Results.prototype.reportError):
194         * ES6SampleBench/stats.js:
195         (Stats):
196         (Stats.prototype.toString):
197         (Stats.prototype._update):
198
199 2016-08-01  Said Abou-Hallawa  <sabouhallawa@apple.com>
200
201         Add an option to run the MotionMark tests with classic tile size (512x512)
202         https://bugs.webkit.org/show_bug.cgi?id=160371
203
204         Reviewed by Darin Adler.
205
206         Setting the body to large size (3000x3000) and overflow to scroll forces
207         the classic tile size (512x512). This option does not affect the canvas
208         tests because the canvas is displayed on one tile regardless of its size.
209
210         * Animometer/developer.html:
211         * Animometer/resources/debug-runner/animometer.css:
212         (body.showing-test-container.tiles-big):
213         (body.showing-test-container.tiles-classic):
214         * Animometer/resources/debug-runner/animometer.js:
215         * Animometer/resources/runner/animometer.js:
216         (window.benchmarkController.startBenchmark):
217
218 2016-06-29  Filip Pizlo  <fpizlo@apple.com>
219
220         Generators violate bytecode liveness validation
221         https://bugs.webkit.org/show_bug.cgi?id=159279
222
223         Reviewed by Yusuke Suzuki.
224
225         Add Basic to our test harness.
226
227         Also made some cosmetic changes to the benchmark harness.
228
229         * ES6SampleBench/Basic/basic-tests.yaml: Added.
230         * ES6SampleBench/Basic/stress-test.js: Added.
231         (preciseTime):
232         * ES6SampleBench/driver.js:
233         (Driver):
234         (Driver.prototype.start):
235         (Driver.prototype.reportError):
236         * ES6SampleBench/glue.js:
237         * ES6SampleBench/index.html:
238
239 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
240
241         ES6SampleBench should have a harness
242         https://bugs.webkit.org/show_bug.cgi?id=159246
243
244         Reviewed by Saam Barati.
245         
246         This adds a simple web harness for ES6SampleBench. It runs Air and Basic 10 times for 200
247         iterations each and reports three metrics:
248         
249         First iteration: the time it takes for the first iteration to run. This is the first
250         iteration after the benchmark is loaded into the iframe, so it's representative of what
251         would happen if one of these workloads only ran for a short time.
252         
253         Worst 2%: of the last 199 iterations, the average of the worst 2% iterations. If code like
254         any of these workloads was used in an important event handler, you'd want that code to run
255         well in the worst case in addition to having great throughput.
256         
257         Steady state: the total of the last 199 iterations. This is representative of what would
258         happen if you ran code like this for a long time.
259         
260         The total score is the geomean of the firstIteration/worstCase/steadyState numbers of the
261         two benchmarks.
262         
263         The harness does statistics using Student's T-distribution confidence intervals.
264
265         * ES6SampleBench/Basic/benchmark.js:
266         (Benchmark):
267         * ES6SampleBench/air_benchmark.js: Added.
268         * ES6SampleBench/basic_benchmark.js: Added.
269         * ES6SampleBench/driver.js: Added.
270         (Driver):
271         (Driver.prototype.addBenchmark):
272         (Driver.prototype.start):
273         (Driver.prototype.reportResult):
274         (Driver.prototype.reportError):
275         (Driver.prototype._recomputeSummary.Geomean):
276         (Driver.prototype._recomputeSummary.Geomean.prototype.add):
277         (Driver.prototype._recomputeSummary.Geomean.prototype.get result):
278         (Driver.prototype._recomputeSummary):
279         (Driver.prototype._iterate):
280         (Driver.prototype._updateIterations):
281         * ES6SampleBench/glue.js: Added.
282         * ES6SampleBench/index.html: Added.
283         * ES6SampleBench/results.js: Added.
284         (Results):
285         (Results.prototype.get benchmark):
286         (Results.prototype.reset):
287         (Results.prototype.reportRunning):
288         (Results.prototype.reportDone):
289         (Results.prototype.reportResult.averageAbovePercentile):
290         (Results.prototype.reportResult):
291         (Results.prototype.reportError):
292         * ES6SampleBench/stats.js: Added.
293         (Stats):
294         (Stats.prototype.reset):
295         (Stats.prototype.add):
296         (Stats.prototype.get numIterations):
297         (Stats.prototype.valueForIteration):
298         (Stats.get result.tDist):
299         (Stats.prototype.get result):
300         (Stats.prototype.toString):
301         (Stats.prototype._update):
302         * ES6SampleBench/style.css: Added.
303         (body):
304         (body, th, tr):
305         (h1, h2, h3, h4):
306         (h1):
307         (h2):
308         (h3):
309         (hr):
310         (address):
311         (img):
312         (.underline):
313         (ol.loweralpha):
314         (ol.upperalpha):
315         (ol.lowerroman):
316         (ol.upperroman):
317         (ol.arabic):
318         (.banner-link:link, .banner-link:visited):
319         (:link, :visited):
320         (h4 :link, h4 :visited, h5 :link, h5 :visited, h6 :link, h6 :visited):
321         (.anchor:link, .anchor:visited):
322         (* > .anchor:link, * > .anchor:visited):
323         (span:hover .anchor):
324         (a.forbidden, span.forbidden):
325         (a.missing:hover):
326         (a.closed:link, a.closed:visited, span.closed):
327         (pre):
328         (div.code):
329         (div.code pre):
330         (dt):
331         (dd):
332         (dd:last-child):
333         (.site-logo):
334         (.site-logo .tagline):
335         (table):
336         (#contents):
337         (p):
338         (p:last-child):
339         (th):
340         (td):
341
342 2016-06-28  Jon Lee  <jonlee@apple.com>
343
344         Update focus test
345         https://bugs.webkit.org/show_bug.cgi?id=159242
346         rdar://problem/27070007
347
348         Reviewed by Dean Jackson.
349         Provisionally reviewed by Said Abou-Hallawa.
350
351         Move previous test to dom suite, and update the test for better reporting of frame rate, although
352         it uses a different rendering path.
353
354         * Animometer/resources/debug-runner/tests.js: Add to dom suite.
355         * Animometer/tests/dom/focus.html: Copied from PerformanceTests/Animometer/tests/master/focus.html.
356         * Animometer/tests/dom/resources/focus.js: Copied from PerformanceTests/Animometer/tests/master/resources/focus.js.
357         * Animometer/tests/master/focus.html: Remove center element.
358         * Animometer/tests/master/resources/focus.js: Use narrower size range with smaller particles. Remove the
359         container elements. Inline getBlurValue and getOpacityValue since they are only called once.
360
361 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
362
363         Move Air.js and Basic into ES6SampleBench
364
365         Rubber stamped by Geoffrey Garen.
366         
367         We want to group our ES6 benchmarks together, and eventually, we want to give them a
368         common harness.
369
370         * Air.js: Removed.
371         * Air.js/README.md: Removed.
372         * Air.js/airjs-tests.yaml: Removed.
373         * Air.js/all.js: Removed.
374         * Air.js/allocate_stack.js: Removed.
375         * Air.js/arg.js: Removed.
376         * Air.js/basic_block.js: Removed.
377         * Air.js/benchmark.js: Removed.
378         * Air.js/code.js: Removed.
379         * Air.js/custom.js: Removed.
380         * Air.js/frequented_block.js: Removed.
381         * Air.js/insertion_set.js: Removed.
382         * Air.js/inst.js: Removed.
383         * Air.js/liveness.js: Removed.
384         * Air.js/make_dist.sh: Removed.
385         * Air.js/opcode.js: Removed.
386         * Air.js/payload-airjs-ACLj8C.js: Removed.
387         * Air.js/payload-gbemu-executeIteration.js: Removed.
388         * Air.js/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
389         * Air.js/payload-typescript-scanIdentifier.js: Removed.
390         * Air.js/reg.js: Removed.
391         * Air.js/stack_slot.js: Removed.
392         * Air.js/stress-test.js: Removed.
393         * Air.js/strip-hash.rb: Removed.
394         * Air.js/symbols.js: Removed.
395         * Air.js/test.html: Removed.
396         * Air.js/test.js: Removed.
397         * Air.js/tmp.js: Removed.
398         * Air.js/tmp_base.js: Removed.
399         * Air.js/util.js: Removed.
400         * Basic: Removed.
401         * Basic/ast.js: Removed.
402         * Basic/basic.js: Removed.
403         * Basic/benchmark.js: Removed.
404         * Basic/caseless_map.js: Removed.
405         * Basic/lexer.js: Removed.
406         * Basic/number.js: Removed.
407         * Basic/parser.js: Removed.
408         * Basic/random.js: Removed.
409         * Basic/state.js: Removed.
410         * Basic/test.html: Removed.
411         * Basic/test.js: Removed.
412         * Basic/util.js: Removed.
413         * ES6SampleBench: Added.
414         * ES6SampleBench/Air: Copied from PerformanceTests/Air.js.
415         * ES6SampleBench/Basic: Copied from PerformanceTests/Basic.
416         * Skipped:
417
418 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
419
420         Add a ES6 generator benchmark
421         https://bugs.webkit.org/show_bug.cgi?id=159101
422
423         Rubber stamped by Keith Miller.
424         
425         This adds a Basic interpreter loosely based on ECMA-55:
426         
427         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
428         
429         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
430         walk interpreter where the walking functions for statements are generators that call each
431         other with yield*. This enables the interpreter to look like an AST walk even though it can
432         yield at INPUT and PRINT statements.
433         
434         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
435         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
436         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
437         parser.rb for example.
438         
439         The benchmark runs a handful of simple Basic programs. The longest-running one computes
440         prime numbers.
441         
442         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
443
444         * Basic: Added.
445         * Basic/ast.js: Added.
446         (Basic.NumberApply):
447         (Basic.Variable):
448         (Basic.Const):
449         (Basic.NumberPow):
450         (Basic.NumberMul):
451         (Basic.NumberDiv):
452         (Basic.NumberNeg):
453         (Basic.NumberAdd):
454         (Basic.NumberSub):
455         (Basic.StringVar):
456         (Basic.Equals):
457         (Basic.NotEquals):
458         (Basic.LessThan):
459         (Basic.GreaterThan):
460         (Basic.LessEqual):
461         (Basic.GreaterEqual):
462         (Basic.GoTo):
463         (Basic.GoSub):
464         (Basic.Def):
465         (Basic.Let):
466         (Basic.If):
467         (Basic.Return):
468         (Basic.Stop):
469         (Basic.On):
470         (sideState.shouldStop):
471         (Basic.For):
472         (Basic.Next):
473         (Basic.Print):
474         (Basic.Input):
475         (Basic.Read):
476         (Basic.Restore):
477         (Basic.Dim):
478         (Basic.Randomize):
479         (Basic.End):
480         (Basic.Program):
481         * Basic/basic.js: Added.
482         (prepare):
483         (simulate):
484         * Basic/benchmark.js: Added.
485         (Benchmark):
486         (Benchmark.prototype.runIteration.expect):
487         (Benchmark.prototype.runIteration):
488         (runBenchmark):
489         * Basic/caseless_map.js: Added.
490         (CaselessMap):
491         * Basic/lexer.js: Added.
492         (lex.consumeWhitespace):
493         (lex.consume):
494         (lex):
495         * Basic/lexer_test.js: Added.
496         * Basic/number.js: Added.
497         (NumberValue):
498         (NumberValue.prototype.get value):
499         (NumberValue.prototype.apply):
500         (NumberValue.prototype.leftApply):
501         (NumberValue.prototype.assign):
502         (NumberArray.):
503         (NumberArray):
504         (NumberArray.prototype.apply):
505         (NumberArray.prototype.leftApply):
506         (NumberFunction):
507         (NumberFunction.prototype.apply):
508         (NumberFunction.prototype.leftApply):
509         (NativeFunction):
510         (NativeFunction.prototype.apply):
511         (NativeFunction.prototype.leftApply):
512         * Basic/parser.js: Added.
513         (parse):
514         (parse.pushToken):
515         (parse.peekToken):
516         (parse.consumeKind):
517         (parse.consumeToken):
518         (parse.parseVariable):
519         (parse.parseNumericExpression.parsePrimary):
520         (parse.parseNumericExpression.parseFactor):
521         (parse.parseNumericExpression.parseTerm):
522         (parse.parseNumericExpression):
523         (parse.parseConstant):
524         (parse.parseStringExpression):
525         (parse.isStringExpression):
526         (parse.parseRelationalExpression):
527         (parse.parseNonNegativeInteger):
528         (parse.parseGoToStatement):
529         (parse.parseGoSubStatement):
530         (parse.parseStatement):
531         (parse.parseStatements):
532         * Basic/random.js: Added.
533         (createRNG):
534         (createRNGWithFixedSeed):
535         (createRNGWithRandomSeed):
536         * Basic/state.js: Added.
537         (State):
538         (State.prototype.getValue):
539         (State.prototype.getSideState):
540         (State.prototype.abort):
541         (State.prototype.validate):
542         * Basic/test.html: Added.
543         * Basic/test.js: Added.
544         * Basic/util.js: Added.
545         (this.performance.performance.now.currentTime):
546         (else.this.preciseTime.currentTime):
547         (else.currentTime):
548         * Skipped: Make sure that we don't run Basic yet.
549
550 2016-06-21  Jon Lee  <jonlee@apple.com>
551
552         Update canvas size when benchmark begins
553         https://bugs.webkit.org/show_bug.cgi?id=159010
554
555         Reviewed by Dean Jackson.
556
557         Previously we would evaluate the media queries and assign the canvas size to the test
558         on body.onload. Instead, do it once the user starts the benchmark.
559
560         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
561         to benchmarkController._startBenchmark.
562         * Animometer/resources/runner/animometer.js: Ditto.
563
564 2016-06-21  Jon Lee  <jonlee@apple.com>
565
566         Add new timestamp option
567         https://bugs.webkit.org/show_bug.cgi?id=159006
568
569         Reviewed by Dean Jackson.
570
571         Add a new option to take timestamps from the rAF callback.
572
573         * Animometer/developer.html: Added option.
574         * Animometer/tests/resources/main.js:
575         (Benchmark): Fall back to using the rAF timestamp if performance.now()
576         is not available.
577         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
578         local var instead of accessing private var.
579
580 2016-06-21  Jon Lee  <jonlee@apple.com>
581
582         Improvements to Animometer benchmark
583         https://bugs.webkit.org/show_bug.cgi?id=157738
584
585         Reviewed by Dean Jackson.
586         Provisionally reviewed by Said Abou-Hallawa.
587
588         Update tests.
589
590         * Animometer/tests/master/text.html: Ensure only three text sizes for
591         the three canvases.
592         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
593         particle sizes.
594         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
595         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
596         reduce some calculations per frame. Fix the placement of the particles which might
597         otherwise be culled.
598         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
599         to encourage larger scores.
600
601 2016-06-21  Jon Lee  <jonlee@apple.com>
602
603         Improvements to Animometer benchmark
604         https://bugs.webkit.org/show_bug.cgi?id=157738
605
606         Reviewed by Dean Jackson.
607         Provisionally reviewed by Said Abou-Hallawa.
608
609         Include confidence interval for the final score, and store the canvas
610         size in the serialization so that it is accurately shown in results.
611
612         * Animometer/developer.html: Add a "confidence" div.
613         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
614         * Animometer/resources/debug-runner/animometer.js: Look at options, and
615         if the configuration is included, update the body class based on it
616         (similar to what we do when we first load the page). That way, if you
617         drag-and-drop previous results in, that configuration is reflected in
618         the dashboard. Show the full confidence interval.
619
620         * Animometer/resources/debug-runner/animometer.css:
621         * Animometer/resources/debug-runner/animometer.js: Style update.
622         * Animometer/resources/runner/animometer.css:
623
624         * Animometer/resources/runner/animometer.js:
625         (_processData): Propagate the confidence interval values out and calculate
626         the lower and upper bounds. For now, shortcut the aggregate calculation,
627         since we only go through one iteration.
628         (this._processData.calculateScore): Propagate the confidence interval out
629         to be next to the score. Depending on the controller these values are
630         calculated differently.
631         (this._processData._getResultsProperty): Convenience function.
632         (this._processData.get score): Refactor.
633         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
634         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
635         (window.sectionsManager.setSectionScore):
636         (window.benchmarkController._startBenchmark): When the benchmark starts, note
637         the canvas size and add it to options. That way it will be automatically be
638         serialized.
639         (window.benchmarkController.showResults): Include the maximum deviation
640         percentage.
641         * Animometer/resources/runner/lines.svg: Make the background line up with the
642         skew.
643         * Animometer/resources/runner/tests.js:
644         (Headers.details.text): Refactor.
645         * Animometer/resources/statistics.js:
646         (Statistics.largestDeviationPercentage): Convenience function to calculate
647         the deviation percentage on either end and return the largest deviation.
648         * Animometer/resources/strings.js:
649
650         Allow specifying a regression profile to use instead of taking the one
651         with the lowest error.
652
653         Address an issue in the focus test when the regression calculated ends
654         up overestimating the change point, causing a cascade of tougher
655         ramps. The reason behind this is that at max complexity of an initial
656         ramp, the frame length is very high, and it influences the second
657         segment of the piecewise regression strongly, causing it to be very
658         steep. As a result, the first segment, expected to be flat, ends up
659         covering a higher range of complexity. That makes the change point
660         much higher than it should be. To avoid this, we will add a sanity
661         check on the maximum value of the ramp. If the regression's projected
662         value at the maximum complexity of the current ramp is very slow (less
663         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
664         include the regression's change point in the change point estimator.
665         That estimator is used as the midpoint of the next ramp, and including
666         the change point from a poor regression can bake in the error. The
667         controller already knows how to adjust for ramps that are too easy for
668         the system.
669
670         * Animometer/resources/runner/animometer.js:
671         (this._processData.findRegression): Takes a preferred profile and gives that to
672         Regression.
673         (this._processData.calculateScore): With the ramp controller, take the profile
674         of the ramp that was used the most when calculating the ramp's regression. That
675         profile is what is used for the test's score.
676         * Animometer/resources/statistics.js:
677         (Regression.Utilities.createClass): Update to take an options object which can
678         specify a profile to calculate with. Otherwise it will continue to use both and
679         select the one with the lower error.
680         (_calculateRegression): Fix an issue where we claim 0 error if the regression
681         calculation fails due to divide-by-zero. Instead reject that regression calculation
682         by giving it Number.MAX_VALUE.
683         * Animometer/resources/strings.js: New strings for marking a regression as flat
684         or slope.
685         * Animometer/tests/resources/main.js:
686         (RampController): Rename the thresholds for clarity. Add a threshold that, if
687         exceeded, will lower the maximum complexity of the next ramp.
688         (tune): Relax the cdf check to consider whether the interval definitely falls in
689         the desired frame length threshold.
690         (processSamples): Include the profile in the ramp.
691
692         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
693         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
694
695         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
696         by default.
697         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
698         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
699         the order in which they appear in the patch:
700
701         - With a longer test length use longer ramps with longer intervals to get more data at each
702         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
703         spend more time there to find the right order of magnitude, but increase it during the
704         ramps to 120 ms.
705         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
706         never sample the minimum complexity. Instead of lerping max to min complexity from time
707         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
708         we can have at least one interval sample at the min complexity for that ramp.
709         - Some regression calculations only come out with one line segment rather than the two
710         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
711         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
712         we ensure that at least part of the ramp is covering a complexity range that the system can
713         handle at full 60.
714         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
715
716         Update the format used to serialize the results for analysis.
717
718         Each data point used to have named properties for fields like complexity and frame rate.
719         In addition the serialized numbers had rounding errors that took up many characters.
720         Update the format by introducing a new data container called SampleData, which contains a
721         field map. The map maps a string to an array index. Each data point is an array, so, to
722         get a stat, use the field map to get the array index into the data point. This allows future
723         versions to track other data, and reduces the size of the output string by two-thirds.
724
725         * Animometer/resources/extensions.js:
726         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
727         precision, and converts it back to a number.
728         (SampleData): New class that contains sample data and a field map that maps properties to
729         an array index.
730         (get length): Number of data points.
731         (addField): Add a field to the field map.
732         (push): Add a data point.
733         (sort): Sort the data.
734         (slice): Return new SampleData object with sliced data.
735         (forEach): Iterate over the data with provided function.
736         (createDatum):
737         (getFieldInDatum): Returns the data point associated with the field name by looking it up
738         in the field map in the datum provided, which can be the datum object itself (an array) or
739         an index into the data member variable.
740         (setFieldInDatum): Sets the data point associated with the field name.
741         (at): Returns the data point at the provided index.
742         (toArray): Serializes the data where the field map serves as property names for each point.
743
744         * Animometer/resources/debug-runner/graph.js:
745         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
746         graph to use, since the old format was much easier to work with when displaying the graphs.
747         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
748         * Animometer/resources/runner/animometer.css:
749         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
750         to only go to 3 digits of precision for purposes of reducing the data size.
751         * Animometer/resources/strings.js: Add new strings to put into the field maps.
752         * Animometer/tests/resources/main.js: Refactor to use SampleData.
753
754         * Animometer/developer.html:
755         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
756         tests.js include.
757         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
758         * Animometer/resources/debug-runner/graph.js:
759         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
760         controller, since not all controllers do bootstrapping.
761         * Animometer/resources/debug-runner/tests.js: Update header text.
762         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
763         * Animometer/resources/runner/animometer.js:
764         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
765         (ResultsTable._addBody): Add tbody element.
766         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
767         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
768         * Animometer/resources/runner/tests.js:
769         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
770         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
771         on either side of the bootstrap median.
772         * Animometer/resources/statistics.js:
773         (bootstrap): Include the confidence percentage in the return object.
774
775         Report canvas size in results.
776
777         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
778         canvas was used.
779         * Animometer/index.html: Ditto.
780         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
781         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
782         body class size.
783         * Animometer/resources/runner/animometer.js:
784         (window.benchmarkController.initialize): Update styles to set the canvas based on the
785         body class size.
786         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
787         class based on the size of the device.
788
789         * Animometer/developer.html: Refactor to include the main CSS file, and redo
790         the layout so that it doesn't rely on flexbox.
791         * Animometer/resources/debug-runner/animometer.css:
792         * Animometer/resources/debug-runner/animometer.js:
793         (updateDisplay): Since various parts of the script alter the body class, we can't
794         replace the className directly. Instead, remove all display-based values and then add
795         the one that was selected.
796         * Animometer/resources/debug-runner/graph.js:
797         (updateGraphData): To set the size of the graph, use window.innerHeight.
798         * Animometer/resources/runner/animometer.js:
799         (window.sectionsManager.showSection): Since various parts of the script alter the body
800         class, we can't replace the className directly. Remove all of the section classes
801         individually and then add the one desired.
802         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
803         stage.
804
805 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
806
807         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
808         https://bugs.webkit.org/show_bug.cgi?id=158674
809
810         Reviewed by Michael Saboff.
811         
812         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
813         Math.floor(x / 3) * 3 instead.
814         
815         This is a benign change, because having extra arguments to a Shuffle is not something we
816         actually take advantage of yet. But I think it's best to match the original C++ code's
817         intent.
818
819         * Air.js/custom.js:
820         (const.ShuffleCustom.forEachArg):
821
822 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
823
824         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
825
826         * Skipped:
827
828 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
829
830         Make it easy to package Air.js
831         https://bugs.webkit.org/show_bug.cgi?id=158652
832
833         Reviewed by Benjamin Poulain.
834         
835         If you want to give Air.js to someone, you can now do:
836         
837         cd PerformanceTests/Air.js
838         ./make_dist.sh
839         
840         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
841         the benchmark, just send either of those things and tell them to look at index.html.
842         
843         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
844         https://daringfireball.net/projects/markdown/
845
846         * Air.js/make_dist.sh: Added.
847         * Air.js/test.html:
848
849 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
850
851         Unreviewed, make the link to test.html into an actual link.
852
853         * Air.js/README.md:
854
855 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
856
857         Fix some text in Air.js/README.md
858         https://bugs.webkit.org/show_bug.cgi?id=158650
859
860         Reviewed by Benjamin Poulain.
861         
862         I read the text again and found bugs:
863         
864         - We never actually say how to run the benchmark. This change adds a blurb about how to run
865           it.
866
867         - We both say that allocateStack is responsible for the bulk of the running time and that
868           we haven't measured where the bulk of the time is spent. This changes the text to say that
869           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
870           not measure this.
871
872         * Air.js/README.md:
873
874 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
875
876         Air.js should have some documentation
877         https://bugs.webkit.org/show_bug.cgi?id=158648
878
879         Reviewed by Keith Miller.
880         
881         I want to be able to point people at a document if they want to know more about this
882         benchmark.
883
884         * Air.js/README.md: Added.
885
886 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
887
888         Rename JSAir to Air.js.
889
890         Rubber stamped by Mark Lam.
891
892         * Air.js: Copied from PerformanceTests/JSAir.
893         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
894         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
895         (Benchmark):
896         * Air.js/jsair-tests.yaml: Removed.
897         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
898         * Air.js/payload-jsair-ACLj8C.js: Removed.
899         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
900         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
901         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
902         * JSAir: Removed.
903         * JSAir/all.js: Removed.
904         * JSAir/allocate_stack.js: Removed.
905         * JSAir/arg.js: Removed.
906         * JSAir/basic_block.js: Removed.
907         * JSAir/benchmark.js: Removed.
908         * JSAir/code.js: Removed.
909         * JSAir/custom.js: Removed.
910         * JSAir/frequented_block.js: Removed.
911         * JSAir/insertion_set.js: Removed.
912         * JSAir/inst.js: Removed.
913         * JSAir/jsair-tests.yaml: Removed.
914         * JSAir/liveness.js: Removed.
915         * JSAir/opcode.js: Removed.
916         * JSAir/payload-gbemu-executeIteration.js: Removed.
917         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
918         * JSAir/payload-jsair-ACLj8C.js: Removed.
919         * JSAir/payload-typescript-scanIdentifier.js: Removed.
920         * JSAir/reg.js: Removed.
921         * JSAir/stack_slot.js: Removed.
922         * JSAir/stress-test.js: Removed.
923         * JSAir/strip-hash.rb: Removed.
924         * JSAir/symbols.js: Removed.
925         * JSAir/test.html: Removed.
926         * JSAir/test.js: Removed.
927         * JSAir/tmp.js: Removed.
928         * JSAir/tmp_base.js: Removed.
929         * JSAir/util.js: Removed.
930
931 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
932
933         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
934         https://bugs.webkit.org/show_bug.cgi?id=158571
935
936         Reviewed by Keith Miller.
937         
938         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
939         iterations and then tries to do any number of "bonus" iterations until it's been running for
940         two seconds. Since this is the sort of test that isn't really meant to stress anything in
941         particular, I think it's OK if it is time-limited in this way. The worst case is that some
942         of its failures will be flaky, but I think that they would have been flaky anyway given the
943         complexity of the test.
944
945         * JSAir/benchmark.js:
946         (Benchmark):
947         (Benchmark.prototype.runIteration):
948         (benchmark): Deleted.
949         * JSAir/jsair-tests.yaml:
950         * JSAir/stress-test.js: Added.
951         (preciseTime):
952         * JSAir/test.html:
953         * JSAir/test.js:
954
955 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
956
957         Unreviewed, teach the perf bots not to run JSAir.
958
959         * Skipped:
960
961 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
962
963         Use more ES6 features in JSAir
964         https://bugs.webkit.org/show_bug.cgi?id=158497
965
966         Reviewed by Keith Miller.
967         
968         This improves JSAir with the following ES6 features suggested by JoePeck:
969         
970         - String interpolation.
971         - Destructuring inside PatchCustom.
972         - Default arguments.
973         
974         All of these things are on hot paths.
975         
976         Note that I didn't use string interpolation everywhere that I could, only in those places
977         where it made the code more readable. In Ruby, I used the style that if the interpolation
978         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
979         strings) then it's better to use regular strcat. I think that's what I carried over to here.
980         
981         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
982         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
983         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
984         that function from being optimized then it will hurt so good.
985         
986         I also reenabled tail calls in a few places.
987         
988         This change doesn't seem to change the performance of the benchmark for us. That's expected
989         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
990         added in a separate change and that change did make the benchmark overall more expensive.
991
992         * JSAir/allocate_stack.js:
993         (allocateStack):
994         * JSAir/arg.js:
995         (Arg.createBitImm64):
996         (Arg.createAddr):
997         (Arg.createStack):
998         (Arg.logScale):
999         (Arg.createIndex):
1000         * JSAir/basic_block.js:
1001         (BasicBlock.get headerString):
1002         (BasicBlock.prototype.get if):
1003         (BasicBlock):
1004         * JSAir/benchmark.js:
1005         (benchmark):
1006         * JSAir/code.js:
1007         (Code):
1008         (Code.prototype.addBlock):
1009         (Code.prototype.addStackSlot):
1010         (Code.prototype.newTmp):
1011         (Code.prototype.get size):
1012         (Code.prototype.get blocks):
1013         (Code.prototype.get stackSlots):
1014         (Code.prototype.tmps):
1015         (Code.prototype.get callArgAreaSize):
1016         (Code.prototype.toString):
1017         * JSAir/custom.js:
1018         (const.PatchCustom.forEachArg):
1019         * JSAir/inst.js:
1020         (Inst):
1021         * JSAir/reg.js:
1022         (Reg.prototype.toString):
1023         * JSAir/util.js:
1024         (symbolName):
1025         (lowerSymbolName):
1026
1027 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1028
1029         Add result validation to JSAir
1030         https://bugs.webkit.org/show_bug.cgi?id=158493
1031
1032         Reviewed by Saam Barati.
1033         
1034         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
1035         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
1036         check the Code before and after allocateStack, and compare against hashes we got from C++.
1037         
1038         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
1039         allocating things correctly because I was concatting a Set to an Array, which doesn't really
1040         work. Now these bugs are fixed.
1041         
1042         The checking step adds to the running time so I reduced the number of iterations. The
1043         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
1044         total. This is probably OK. It's better to verify the results even if the running time is
1045         not all in the "core" of the algorithm.
1046         
1047         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
1048
1049         * JSAir/allocate_stack.js:
1050         * JSAir/arg.js:
1051         (Arg.createImm):
1052         (Arg.createBigImm):
1053         (Arg.createBitImm):
1054         (Arg.createBitImm64):
1055         (Arg.createWidth):
1056         (Arg.createSpecial):
1057         (Arg.prototype.get kind):
1058         (Arg.prototype.get isTmp):
1059         (Arg.prototype.get isImm):
1060         (Arg.prototype.get isSomeImm):
1061         (Arg.prototype.get isSomeBigImm):
1062         (Arg.prototype.get isCondition):
1063         (Arg.prototype.get isWidth):
1064         (Arg.prototype.get isSpecial):
1065         (Arg.prototype.get isAlive):
1066         (Arg.prototype.get tmp):
1067         (Arg.prototype.get value):
1068         (Arg.prototype.get lowValue):
1069         (Arg.prototype.get highValue):
1070         (Arg.prototype.get base):
1071         (Arg.prototype.get isGP):
1072         (Arg.prototype.get isFP):
1073         (Arg.prototype.isValidForm):
1074         (Arg.prototype.get isInvertible):
1075         (Arg.kindCode):
1076         (Arg.prototype.hash):
1077         (Arg.prototype.toString):
1078         (Arg):
1079         * JSAir/basic_block.js:
1080         (BasicBlock.get successorBlocks):
1081         * JSAir/benchmark.js:
1082         (benchmark):
1083         * JSAir/code.js:
1084         (Code.prototype.setFrameSize):
1085         (Code.prototype.hash):
1086         (Code.prototype.toString):
1087         (Code):
1088         * JSAir/inst.js:
1089         (Inst.prototype.get hasNonArgEffects):
1090         (Inst.prototype.hash):
1091         (Inst.prototype.toString):
1092         (Inst):
1093         * JSAir/jsair-tests.yaml: Added.
1094         * JSAir/opcode.js:
1095         (Inst_forEachArg):
1096         (Inst_hasNonArgEffects):
1097         (opcodeCode):
1098         * JSAir/payload-gbemu-executeIteration.js:
1099         (createPayloadGbemuExecuteIteration):
1100         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
1101         (createPayloadImagingGaussianBlurGaussianBlur):
1102         * JSAir/payload-jsair-ACLj8C.js:
1103         (createPayloadJSAirACLj8C):
1104         * JSAir/payload-typescript-scanIdentifier.js:
1105         (createPayloadTypescriptScanIdentifier):
1106         * JSAir/reg.js:
1107         (Reg.prototype.get isReg):
1108         (Reg.prototype.hash):
1109         (Reg.prototype.toString):
1110         * JSAir/stack_slot.js:
1111         (StackSlot.prototype.setOffsetFromFP):
1112         (StackSlot.prototype.hash):
1113         (StackSlot.prototype.toString):
1114         * JSAir/symbols.js:
1115         (relCondCode):
1116         (resCondCode):
1117         (doubleCondCode):
1118         * JSAir/test.html:
1119         * JSAir/tmp.js:
1120         (Tmp.prototype.get isReg):
1121         (Tmp.prototype.hash):
1122         (Tmp.prototype.toString):
1123         * JSAir/util.js:
1124         (roundUpToMultipleOf):
1125         (symbolName):
1126
1127 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1128
1129         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
1130         https://bugs.webkit.org/show_bug.cgi?id=158318
1131
1132         Reviewed by Saam Barati.
1133         
1134         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
1135         implementation of Air's allocateStack() phase along with all of Air needed to run that
1136         phase. This includes things like stack slots, registers, temporaries, basic blocks,
1137         instructions, and all of the code for iterating over, inspecting, and modifying those
1138         things.
1139         
1140         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
1141         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
1142         four Air IRs:
1143         
1144         - Octane/gbemu's largest function, executeIteration.
1145         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
1146         - Octane/typescript's largest function that is actually hot, scanIdentifier.
1147         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
1148         
1149         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
1150         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
1151         C++ Air::allocateStack() phase on which it is based.
1152         
1153         JSAir uses the following ES6 features:
1154         
1155         - Symbol.
1156         - for-of.
1157         - arrow functions.
1158         - Map/Set.
1159         - let/const.
1160         - classes.
1161         
1162         All of these things are used in anger and should end up on the hot path. There is also code
1163         that uses Proxies, but it ends up being dead.
1164         
1165         We can improve this even more:
1166         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
1167         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
1168         
1169         * JSAir: Added.
1170         * JSAir/all.js: Added.
1171         * JSAir/allocate_stack.js: Added.
1172         (allocateStack.attemptAssignment):
1173         (allocateStack.assign):
1174         (allocateStack.interfere):
1175         (allocateStack.):
1176         (allocateStack):
1177         * JSAir/arg.js: Added.
1178         (Arg):
1179         (Arg.isAnyUse):
1180         (Arg.isColdUse):
1181         (Arg.isWarmUse):
1182         (Arg.cooled):
1183         (Arg.isEarlyUse):
1184         (Arg.isLateUse):
1185         (Arg.isAnyDef):
1186         (Arg.isEarlyDef):
1187         (Arg.isLateDef):
1188         (Arg.isZDef):
1189         (Arg.typeForB3Type):
1190         (Arg.widthForB3Type):
1191         (Arg.conservativeWidth):
1192         (Arg.minimumWidth):
1193         (Arg.bytes):
1194         (Arg.widthForBytes):
1195         (Arg.createTmp):
1196         (Arg.fromReg):
1197         (Arg.createImm):
1198         (Arg.createBigImm):
1199         (Arg.createBitImm):
1200         (Arg.createBitImm64):
1201         (Arg.createAddr):
1202         (Arg.createStack):
1203         (Arg.createCallArg):
1204         (Arg.createStackAddr):
1205         (Arg.isValidScale):
1206         (Arg.logScale):
1207         (Arg.createIndex):
1208         (Arg.createRelCond):
1209         (Arg.createResCond):
1210         (Arg.createDoubleCond):
1211         (Arg.createWidth):
1212         (Arg.prototype.get kind):
1213         (Arg.prototype.get isTmp):
1214         (Arg.prototype.get isImm):
1215         (Arg.prototype.get isBigImm):
1216         (Arg.prototype.get isBitImm):
1217         (Arg.prototype.get isBitImm64):
1218         (Arg.prototype.get isSomeImm):
1219         (Arg.prototype.get isAddr):
1220         (Arg.prototype.get isStack):
1221         (Arg.prototype.get isCallArg):
1222         (Arg.prototype.get isIndex):
1223         (Arg.prototype.get isMemory):
1224         (Arg.prototype.get isStackMemory):
1225         (Arg.prototype.get isRelCond):
1226         (Arg.prototype.get isResCond):
1227         (Arg.prototype.get isDoubleCond):
1228         (Arg.prototype.get isCondition):
1229         (Arg.prototype.get isWidth):
1230         (Arg.prototype.get isAlive):
1231         (Arg.prototype.get tmp):
1232         (Arg.prototype.get value):
1233         (Arg.prototype.get base):
1234         (Arg.prototype.get hasOffset):
1235         (Arg.prototype.get offset):
1236         (Arg.prototype.get stackSlot):
1237         (Arg.prototype.get index):
1238         (Arg.prototype.get scale):
1239         (Arg.prototype.get logScale):
1240         (Arg.prototype.get width):
1241         (Arg.prototype.get isGPTmp):
1242         (Arg.prototype.get isFPTmp):
1243         (Arg.prototype.get isGP):
1244         (Arg.prototype.get isFP):
1245         (Arg.prototype.get hasType):
1246         (Arg.prototype.get type):
1247         (Arg.prototype.isType):
1248         (Arg.prototype.isCompatibleType):
1249         (Arg.prototype.get isGPR):
1250         (Arg.prototype.get gpr):
1251         (Arg.prototype.get isFPR):
1252         (Arg.prototype.get fpr):
1253         (Arg.prototype.get isReg):
1254         (Arg.prototype.get reg):
1255         (Arg.isValidImmForm):
1256         (Arg.isValidBitImmForm):
1257         (Arg.isValidBitImm64Form):
1258         (Arg.isValidAddrForm):
1259         (Arg.isValidIndexForm):
1260         (Arg.prototype.isValidForm):
1261         (Arg.prototype.forEachTmpFast):
1262         (Arg.prototype.usesTmp):
1263         (Arg.prototype.forEachTmp):
1264         (Arg.prototype.is):
1265         (Arg.prototype.as):
1266         (Arg.prototype.forEachFast):
1267         (Arg.prototype.forEach):
1268         (Arg.extract):
1269         (Arg.forEachFast):
1270         (Arg.forEach):
1271         (Arg.prototype.get condition):
1272         (Arg.prototype.get isInvertible):
1273         (Arg.prototype.toString):
1274         * JSAir/basic_block.js: Added.
1275         (BasicBlock):
1276         (BasicBlock.prototype.get index):
1277         (BasicBlock.prototype.get size):
1278         (BasicBlock.prototype.Symbol.iterator):
1279         (BasicBlock.prototype.at):
1280         (BasicBlock.get last):
1281         (BasicBlock.get insts):
1282         (BasicBlock.get numSuccessors):
1283         (BasicBlock.get successors):
1284         (BasicBlock.get successorBlocks.):
1285         (BasicBlock.get successorBlocks):
1286         (BasicBlock.set get numPredecessors):
1287         (BasicBlock.get predecessors):
1288         (BasicBlock.get frequency):
1289         (BasicBlock.get headerString):
1290         (BasicBlock.get footerString):
1291         * JSAir/benchmark.js: Added.
1292         (benchmark):
1293         * JSAir/code.js: Added.
1294         (Code):
1295         (Code.prototype.addBlock):
1296         (Code.prototype.addStackSlot):
1297         (Code.prototype.newTmp):
1298         (Code.prototype.get size):
1299         (Code.prototype.at):
1300         (Code.prototype.Symbol.iterator):
1301         (Code.prototype.get blocks):
1302         (Code.prototype.get stackSlots):
1303         (Code.prototype.tmps):
1304         (Code.prototype.get callArgAreaSize):
1305         (Code.prototype.requestCallArgAreaSize):
1306         (Code.prototype.get frameSize):
1307         (Code.prototype.setFrameSize):
1308         (Code.prototype.toString):
1309         * JSAir/custom.js: Added.
1310         (const.ShuffleCustom.forEachArg):
1311         (const.ShuffleCustom.hasNonArgNonControlEffects):
1312         (const.PatchCustom.forEachArg):
1313         (const.PatchCustom.hasNonArgNonControlEffects):
1314         (const.CCallCustom.forEachArg):
1315         (const.CCallCustom.hasNonArgNonControlEffects):
1316         (const.ColdCCallCustom.forEachArg):
1317         (const.ColdCCallCustom.hasNonArgNonControlEffects):
1318         * JSAir/frequented_block.js: Added.
1319         (FrequentedBlock):
1320         (FrequentedBlock.prototype.toString):
1321         * JSAir/insertion_set.js: Added.
1322         (Insertion):
1323         (Insertion.prototype.get index):
1324         (Insertion.prototype.get element):
1325         (Insertion.prototype.lessThan):
1326         (InsertionSet):
1327         (InsertionSet.prototype.appendInsertion):
1328         (InsertionSet.prototype.append):
1329         (InsertionSet.prototype.execute):
1330         * JSAir/inst.js: Added.
1331         (Inst):
1332         (Inst.prototype.append):
1333         (Inst.prototype.clear):
1334         (Inst.prototype.get opcode):
1335         (Inst.prototype.get args):
1336         (Inst.prototype.visitArg):
1337         (Inst.prototype.forEachTmpFast):
1338         (Inst.prototype.forEachArg):
1339         (Inst.prototype.forEachTmp):
1340         (Inst.prototype.forEach):
1341         (Inst.forEachDef):
1342         (Inst.forEachDefWithExtraClobberedRegs):
1343         (Inst.prototype.get hasNonArgEffects):
1344         (Inst.prototype.toString):
1345         * JSAir/liveness.js: Added.
1346         (Liveness):
1347         (Liveness.prototype.get thing):
1348         (Liveness.prototype.get code):
1349         (Liveness.prototype.get liveAtHead):
1350         (Liveness.prototype.get liveAtTail):
1351         (Liveness.prototype.localCalc.LocalCalc):
1352         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
1353         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
1354         (Liveness.prototype.localCalc):
1355         * JSAir/opcode.js: Added.
1356         (Inst_forEachArg):
1357         (Inst_hasNonArgEffects):
1358         * JSAir/payload-gbemu-executeIteration.js: Added.
1359         (createPayloadGbemuExecuteIteration):
1360         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
1361         (createPayloadImagingGaussianBlurGaussianBlur):
1362         * JSAir/payload-jsair-ACLj8C.js: Added.
1363         (createPayloadJSAirACLj8C):
1364         * JSAir/payload-typescript-scanIdentifier.js: Added.
1365         (createPayloadTypescriptScanIdentifier):
1366         * JSAir/reg.js: Added.
1367         (Reg):
1368         (Reg.fromReg):
1369         (Reg.prototype.get index):
1370         (Reg.prototype.get type):
1371         (Reg.prototype.get name):
1372         (Reg.prototype.get isCalleeSave):
1373         (Reg.prototype.get isReg):
1374         (Reg.prototype.toString):
1375         (Reg.extract):
1376         (Reg.forEachFast):
1377         (Reg.forEach):
1378         (newGPR):
1379         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
1380         * JSAir/stack_slot.js: Added.
1381         (StackSlot):
1382         (StackSlot.prototype.get byteSize):
1383         (StackSlot.prototype.get kind):
1384         (StackSlot.prototype.get isLocked):
1385         (StackSlot.prototype.get isSpill):
1386         (StackSlot.prototype.get index):
1387         (StackSlot.prototype.ensureSize):
1388         (StackSlot.prototype.get alignment):
1389         (StackSlot.prototype.get offsetFromFP):
1390         (StackSlot.prototype.setOffsetFromFP):
1391         (StackSlot.prototype.toString):
1392         (StackSlot.extract):
1393         (StackSlot.forEachFast):
1394         (StackSlot.forEach):
1395         * JSAir/symbols.js: Added.
1396         * JSAir/test.html: Added.
1397         * JSAir/test.js: Added.
1398         * JSAir/tmp.js: Added.
1399         (Tmp):
1400         (Tmp.fromReg):
1401         (Tmp.prototype.get index):
1402         (Tmp.prototype.get type):
1403         (Tmp.prototype.get isReg):
1404         (Tmp.prototype.toString):
1405         (Tmp.extract):
1406         (Tmp.forEachFast):
1407         (Tmp.forEach):
1408         * JSAir/tmp_base.js: Added.
1409         (TmpBase.prototype.get isGP):
1410         (TmpBase.prototype.get isFP):
1411         (TmpBase.prototype.get isGPR):
1412         (TmpBase.prototype.get isFPR):
1413         (TmpBase.prototype.get reg):
1414         (TmpBase.prototype.get gpr):
1415         (TmpBase.prototype.get fpr):
1416         (TmpBase):
1417         * JSAir/util.js: Added.
1418         (isRepresentableAsInt32):
1419         (addIndexed):
1420         (roundUpToMultipleOf):
1421         (symbolName):
1422         (mergeIntoSet):
1423         (nonEmptyRangesOverlap):
1424         (rangesOverlap):
1425         (removeAllMatching):
1426         (swap):
1427         (bubble):
1428         (bubbleSort):
1429         (currentTime):
1430         (else.currentTime):
1431
1432 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1433
1434         [JSC] Allow JSBench to use precise time
1435         https://bugs.webkit.org/show_bug.cgi?id=158050
1436
1437         Reviewed by Geoffrey Garen.
1438
1439         * JSBench/amazon-chrome-win/urem.js:
1440         (else.window.performance.window.performance.now.currentTimeInMS):
1441         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1442         (else.else.currentTimeInMS):
1443         (onload.cb):
1444         (onload):
1445         * JSBench/amazon-chrome/urem.js:
1446         (else.window.performance.window.performance.now.currentTimeInMS):
1447         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1448         (else.else.currentTimeInMS):
1449         (onload.cb):
1450         (onload):
1451         * JSBench/amazon-firefox-win/urm.js:
1452         (else.window.performance.window.performance.now.currentTimeInMS):
1453         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1454         (else.else.currentTimeInMS):
1455         (onload.cb):
1456         (onload):
1457         * JSBench/amazon-firefox/urm.js:
1458         (else.window.performance.window.performance.now.currentTimeInMS):
1459         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1460         (else.else.currentTimeInMS):
1461         (onload.cb):
1462         (onload):
1463         * JSBench/amazon-safari/urem.js:
1464         (else.window.performance.window.performance.now.currentTimeInMS):
1465         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1466         (else.else.currentTimeInMS):
1467         (onload.cb):
1468         (onload):
1469         * JSBench/facebook-chrome-win/urem.js:
1470         (else.window.performance.window.performance.now.currentTimeInMS):
1471         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1472         (else.else.currentTimeInMS):
1473         (onload.cb):
1474         (onload):
1475         * JSBench/facebook-chrome/urem.js:
1476         (else.window.performance.window.performance.now.currentTimeInMS):
1477         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1478         (else.else.currentTimeInMS):
1479         (onload.cb):
1480         (onload):
1481         * JSBench/facebook-firefox-win/urem.js:
1482         (else.window.performance.window.performance.now.currentTimeInMS):
1483         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1484         (else.else.currentTimeInMS):
1485         (onload.cb):
1486         (onload):
1487         * JSBench/facebook-firefox/urem.js:
1488         (else.window.performance.window.performance.now.currentTimeInMS):
1489         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1490         (else.else.currentTimeInMS):
1491         (onload.cb):
1492         (onload):
1493         * JSBench/facebook-safari/urem.js:
1494         (else.window.performance.window.performance.now.currentTimeInMS):
1495         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1496         (else.else.currentTimeInMS):
1497         (onload.cb):
1498         (onload):
1499         * JSBench/google-chrome-win/urem.js:
1500         (else.window.performance.window.performance.now.currentTimeInMS):
1501         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1502         (else.else.currentTimeInMS):
1503         (onload.cb):
1504         (onload):
1505         * JSBench/google-chrome/urem.js:
1506         (else.window.performance.window.performance.now.currentTimeInMS):
1507         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1508         (else.else.currentTimeInMS):
1509         (onload.cb):
1510         (onload):
1511         * JSBench/google-firefox-win/urem.js:
1512         (else.window.performance.window.performance.now.currentTimeInMS):
1513         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1514         (else.else.currentTimeInMS):
1515         (onload.cb):
1516         (onload):
1517         * JSBench/google-firefox/uem.js:
1518         (else.window.performance.window.performance.now.currentTimeInMS):
1519         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1520         (else.else.currentTimeInMS):
1521         (onload.cb):
1522         (onload):
1523         * JSBench/google-safari/urem.js:
1524         (else.window.performance.window.performance.now.currentTimeInMS):
1525         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1526         (else.else.currentTimeInMS):
1527         (onload.cb):
1528         (onload):
1529         * JSBench/harness.js:
1530         (runBenchmark.window.currentTimeInMS):
1531         (runBenchmark.else.window.currentTimeInMS):
1532         * JSBench/twitter-chrome-win/rem.js:
1533         (else.window.performance.window.performance.now.currentTimeInMS):
1534         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1535         (else.else.currentTimeInMS):
1536         (onload.cb):
1537         (onload):
1538         * JSBench/twitter-chrome/urem.js:
1539         (else.window.performance.window.performance.now.currentTimeInMS):
1540         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1541         (else.else.currentTimeInMS):
1542         (onload.cb):
1543         (onload):
1544         * JSBench/twitter-firefox-win/urem.js:
1545         (else.window.performance.window.performance.now.currentTimeInMS):
1546         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1547         (else.else.currentTimeInMS):
1548         (onload.cb):
1549         (onload):
1550         * JSBench/twitter-firefox/urem.js:
1551         (else.window.performance.window.performance.now.currentTimeInMS):
1552         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1553         (else.else.currentTimeInMS):
1554         (onload.cb):
1555         (onload):
1556         * JSBench/twitter-safari/urem.js:
1557         (else.window.performance.window.performance.now.currentTimeInMS):
1558         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1559         (else.else.currentTimeInMS):
1560         (onload.cb):
1561         (onload):
1562         * JSBench/yahoo-chrome-win/urem.js:
1563         (else.window.performance.window.performance.now.currentTimeInMS):
1564         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1565         (else.else.currentTimeInMS):
1566         (onload.cb):
1567         (onload):
1568         * JSBench/yahoo-chrome/urem.js:
1569         (else.window.performance.window.performance.now.currentTimeInMS):
1570         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1571         (else.else.currentTimeInMS):
1572         (onload.cb):
1573         (onload):
1574         * JSBench/yahoo-firefox-win/urem.js:
1575         (else.window.performance.window.performance.now.currentTimeInMS):
1576         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1577         (else.else.currentTimeInMS):
1578         (onload.cb):
1579         (onload):
1580         * JSBench/yahoo-firefox/urem.js:
1581         (else.window.performance.window.performance.now.currentTimeInMS):
1582         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1583         (else.else.currentTimeInMS):
1584         (onload.cb):
1585         (onload):
1586         * JSBench/yahoo-safari/urem.js:
1587         (else.window.performance.window.performance.now.currentTimeInMS):
1588         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1589         (else.else.currentTimeInMS):
1590         (onload.cb):
1591         (onload):
1592
1593 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1594
1595         replaceable own properties seem to ignore replacement after property caching
1596         https://bugs.webkit.org/show_bug.cgi?id=158091
1597
1598         Reviewed by Darin Adler.
1599
1600         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1601         * MallocBench/MallocBench/Benchmark.cpp:
1602         * MallocBench/MallocBench/Interpreter.cpp:
1603         (Interpreter::doMallocOp):
1604         * MallocBench/MallocBench/Interpreter.h:
1605         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1606         * MallocBench/MallocBench/jetstream.cpp: Added.
1607         (benchmark_jetstream):
1608         * MallocBench/MallocBench/jetstream.h: Added.
1609
1610 2016-05-25  Keith Miller  <keith_miller@apple.com>
1611
1612         Unreviewed, add JSBench to the skipped list for now since it doesn't
1613         work currently.
1614
1615         * Skipped:
1616
1617 2016-05-17  Keith Miller  <keith_miller@apple.com>
1618         We should have JSBench in PerformanceTests
1619         https://bugs.webkit.org/show_bug.cgi?id=157952
1620
1621         Rubber-stamped by Saam Barati.
1622
1623         There are some slight changes to the layout of the test directory
1624         to make it work nicely with run-jsc-benchmarks. Before JSBench
1625         had each of the browser specific sub-tests in a sub-directory.
1626         These have been flattened e.g. amazon/safari/ has become
1627         amazon-safari/.
1628
1629         * JSBench/amazon-chrome-win/urem.html: Added.
1630         * JSBench/amazon-chrome-win/urem.js: Added.
1631         * JSBench/amazon-chrome/urem.html: Added.
1632         * JSBench/amazon-chrome/urem.js: Added.
1633         * JSBench/amazon-firefox-win/urm.html: Added.
1634         * JSBench/amazon-firefox-win/urm.js: Added.
1635         * JSBench/amazon-firefox/urm.html: Added.
1636         * JSBench/amazon-firefox/urm.js: Added.
1637         * JSBench/amazon-safari/urem.html: Added.
1638         * JSBench/amazon-safari/urem.js: Added.
1639         * JSBench/browsercheck.js: Added.
1640         * JSBench/facebook-chrome-win/urem.html: Added.
1641         * JSBench/facebook-chrome-win/urem.js: Added.
1642         * JSBench/facebook-chrome/urem.html: Added.
1643         * JSBench/facebook-chrome/urem.js: Added.
1644         * JSBench/facebook-firefox-win/urem.html: Added.
1645         * JSBench/facebook-firefox-win/urem.js: Added.
1646         * JSBench/facebook-firefox/urem.html: Added.
1647         * JSBench/facebook-firefox/urem.js: Added.
1648         * JSBench/facebook-safari/urem.html: Added.
1649         * JSBench/facebook-safari/urem.js: Added.
1650         * JSBench/google-chrome-win/urem.html: Added.
1651         * JSBench/google-chrome-win/urem.js: Added.
1652         * JSBench/google-chrome/urem.html: Added.
1653         * JSBench/google-chrome/urem.js: Added.
1654         * JSBench/google-firefox-win/urem.html: Added.
1655         * JSBench/google-firefox-win/urem.js: Added.
1656         * JSBench/google-firefox/uem.html: Added.
1657         * JSBench/google-firefox/uem.js: Added.
1658         * JSBench/google-safari/urem.html: Added.
1659         * JSBench/google-safari/urem.js: Added.
1660         * JSBench/harness.html: Added.
1661         * JSBench/harness.js: Added.
1662         * JSBench/harness.py: Added.
1663         * JSBench/index.html: Added.
1664         * JSBench/reload.html: Added.
1665         * JSBench/twitter-chrome-win/rem.html: Added.
1666         * JSBench/twitter-chrome-win/rem.js: Added.
1667         * JSBench/twitter-chrome/urem.html: Added.
1668         * JSBench/twitter-chrome/urem.js: Added.
1669         * JSBench/twitter-firefox-win/urem.html: Added.
1670         * JSBench/twitter-firefox-win/urem.js: Added.
1671         * JSBench/twitter-firefox/urem.html: Added.
1672         * JSBench/twitter-firefox/urem.js: Added.
1673         * JSBench/twitter-safari/urem.html: Added.
1674         * JSBench/twitter-safari/urem.js: Added.
1675         * JSBench/yahoo-chrome-win/urem.html: Added.
1676         * JSBench/yahoo-chrome-win/urem.js: Added.
1677         * JSBench/yahoo-chrome/urem.html: Added.
1678         * JSBench/yahoo-chrome/urem.js: Added.
1679         * JSBench/yahoo-firefox-win/urem.html: Added.
1680         * JSBench/yahoo-firefox-win/urem.js: Added.
1681         * JSBench/yahoo-firefox/urem.html: Added.
1682         * JSBench/yahoo-firefox/urem.js: Added.
1683         * JSBench/yahoo-safari/urem.html: Added.
1684         * JSBench/yahoo-safari/urem.js: Added.
1685
1686 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1687
1688         run-benchmark's results should contain Animometer's debug output
1689         https://bugs.webkit.org/show_bug.cgi?id=157941
1690
1691         Reviewed by Stephanie Lewis.
1692
1693         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1694
1695         * Animometer/resources/debug-runner/animometer.js:
1696         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1697
1698 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1699
1700         Make Animometer work in all browsers
1701         https://bugs.webkit.org/show_bug.cgi?id=157855
1702         rdar://problem/26338521
1703
1704         Reviewed by Jon Lee.
1705
1706         * Animometer/resources/runner/logo.svg: Use a symbol instead
1707         of putting the id on the root svg. This works in all browsers.
1708
1709 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1710
1711         Update Animometer design
1712         https://bugs.webkit.org/show_bug.cgi?id=157449
1713
1714         Reviewed by Darin Adler.
1715
1716         * Animometer/developer.html: Stop including runner/animometer.css.
1717         * Animometer/index.html: Udpated elements to fit new styles.
1718
1719         * Animometer/resources/debug-runner/animometer.css:
1720         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1721
1722         * Animometer/resources/runner/animometer.css:
1723         New styles for the design. Drop flex box for broad browser support.
1724
1725         * Animometer/resources/runner/animometer.js:
1726         (ResultsTable.clear): Use textContent.
1727         (window.sectionsManager.showSection): Add class to the body.
1728         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1729
1730         * Animometer/resources/runner/crystal.svg: Added.
1731         * Animometer/resources/runner/lines.svg: Added.
1732         * Animometer/resources/runner/logo.svg: Added.
1733
1734         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1735
1736 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1737
1738         [css-grid] Unprefix CSS Grid Layout properties
1739         https://bugs.webkit.org/show_bug.cgi?id=157137
1740
1741         Reviewed by Simon Fraser.
1742
1743         Remove "-webkit" prefix from all the grid layout properties,
1744         including the display value.
1745         Update the source code to remove the prefix where it was used too.
1746
1747         * Layout/auto-grid-lots-of-data.html:
1748         * Layout/fixed-grid-lots-of-data.html:
1749         * Layout/fixed-grid-lots-of-stretched-data.html:
1750
1751 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1752
1753         bmalloc: Misc improvements to MallocBench
1754         https://bugs.webkit.org/show_bug.cgi?id=157004
1755
1756         Reviewed by Darin Adler.
1757
1758         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1759         modes for focused memory testing.
1760
1761         * MallocBench/MallocBench/Benchmark.cpp:
1762         (Benchmark::printReport): Clarified output.
1763
1764         (Benchmark::currentMemoryBytes): Added compressed memory because top
1765         does the same. (It always happens to zero in the benchmarks we run. But
1766         this is good for sanity.)
1767
1768         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1769         variance.
1770
1771         * MallocBench/MallocBench/alloc_free.cpp:
1772         (benchmark_alloc_free): Cycle a single allocation in order to stress
1773         the effect of merging on calls to madvise.
1774
1775         * MallocBench/MallocBench/big.cpp:
1776         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1777         our large allocator doesn't kick in until 64kB.
1778
1779         * MallocBench/MallocBench/medium.cpp:
1780         (benchmark_medium): Test all the way down to 1kB because our large
1781         allocator used to service 1kB allocations and 1kB is an interesting
1782         middle size where memory is unusually large but allocation throughput
1783         still matters.
1784
1785         * MallocBench/MallocBench/stress.cpp:
1786         (benchmark_stress): Reduced the churn count to match stress_aligned
1787         because this test was taking too long to complete.
1788
1789         * MallocBench/MallocBench/stress_aligned.cpp:
1790         (benchmark_stress_aligned): Our new large allocator can handle even
1791         more absurdly large values.
1792
1793 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1794
1795         Add a content animation test that uses SVG animation.
1796         https://bugs.webkit.org/show_bug.cgi?id=156827
1797
1798         * Animation/svg-animation.html: Added.
1799         * Skipped:
1800
1801 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1802
1803         Skip two content animation tests which are only meant for iOS testing.
1804
1805         * Animation/css-animation.html: Added.
1806         * Animation/raf-animation.html: Added.
1807
1808         * Skipped:
1809
1810 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1811
1812         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1813         https://bugs.webkit.org/show_bug.cgi?id=156827
1814
1815         Add two files missing from the previous commit.
1816
1817         * Animation/css-animation.html: Added.
1818         * Animation/raf-animation.html: Added.
1819
1820 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1821
1822         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1823         https://bugs.webkit.org/show_bug.cgi?id=156827
1824
1825         Reviewed by Stephanie Lewis.
1826
1827         Two new files for the content-animation suite.
1828
1829         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1830         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1831         result with a placeholder for framerate, which is collected in native code.
1832
1833         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1834         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1835         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1836         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1837         complete.
1838
1839         * Animation/css-animation.html: Added.
1840         * Animation/raf-animation.html: Added.
1841
1842 2016-04-15  Jon Lee  <jonlee@apple.com>
1843
1844         Animometer test could report a NaN
1845         https://bugs.webkit.org/show_bug.cgi?id=156646
1846
1847         Reviewed by Darin Adler.
1848         Provisionally reviewed by Said Abou-Hallawa.
1849
1850         * Animometer/tests/resources/main.js:
1851         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1852         reacts based on how well the system handles the load. The assumption was that it would handle at least
1853         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1854         end up setting an upper bound of NaN.
1855
1856         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1857         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1858         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1859         1 particle, set it to currentComplexity.
1860
1861 2016-04-09  Jon Lee  <jonlee@apple.com>
1862
1863         Update Animometer to accommodate different screens
1864         https://bugs.webkit.org/show_bug.cgi?id=156449
1865
1866         Reviewed by Darin Adler.
1867         Provisionally reviewed by Said Abou-Hallawa.
1868
1869         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1870         * Animometer/resources/debug-runner/animometer.css:
1871         (@media screen and (min-device-width: 1800px)): Deleted.
1872         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1873         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1874         and height with orientation change.
1875         * Animometer/resources/runner/animometer.css: Similar.
1876         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1877         (screen and (max-device-height: 414px) and (orientation: landscape)):
1878         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1879         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1880         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1881         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1882         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1883         (#results footer): Add padding below the button for testing again.
1884         * Animometer/tests/master/multiply.html: Remove the center text.
1885         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1886         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1887
1888 2016-04-08  Jon Lee  <jonlee@apple.com>
1889
1890         Have Animometer benchmark always start with complexity of 1
1891         https://bugs.webkit.org/show_bug.cgi?id=156432
1892
1893         Reviewed by Ryosuke Niwa.
1894
1895         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1896         set its minimum complexities to 1 instead of 0.
1897
1898 2016-04-08  Jon Lee  <jonlee@apple.com>
1899
1900         Fix SVG benchmark test
1901         https://bugs.webkit.org/show_bug.cgi?id=156410
1902
1903         Reviewed by Dean Jackson.
1904
1905         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1906         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1907         (Stage.call._setupTiles): Refactor.
1908         * Animometer/tests/master/resources/particles.js:
1909         (Particle.prototype.reset): Use Point.center.
1910         (complexity): We are not using a gradient background anymore, so remove the +1.
1911         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1912         instead of CSS transform.
1913
1914 2016-04-06  Jon Lee  <jonlee@apple.com>
1915
1916         Update master benchmark with SVG test
1917         https://bugs.webkit.org/show_bug.cgi?id=156273
1918
1919         Reviewed by Dean Jackson.
1920         Provisionally reviewed by Said Abou-Hallawa.
1921
1922         Switch masks tests for SVG path test.
1923
1924         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1925         * Animometer/resources/runner/tests.js: Add SVG test here.
1926         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1927         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1928
1929         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1930         partially obscured.
1931         * Animometer/tests/master/resources/svg-particles.js: Added.
1932         (Particle): The particle is either a path object or a rect using a path as a clip. The
1933         same path is used either way. For each particle create a linear gradient with a random
1934         rotation.
1935         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1936         This makes the test more generic in case other shapes need to be tested.
1937         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1938         particle's gradient, and one that holds the shape templates.
1939
1940 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1941
1942         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1943         https://bugs.webkit.org/show_bug.cgi?id=148470 
1944
1945         Reviewed by Darin Adler.
1946
1947         * Skipped: Unskip the Bindings/event-target-wrapper test.
1948
1949 2016-03-23  Jon Lee  <jonlee@apple.com>
1950
1951         Update focus and leaves tests
1952         https://bugs.webkit.org/show_bug.cgi?id=155825
1953
1954         Reviewed by Simon Fraser.
1955
1956         Particles would improperly disappear, before they were fully off stage. Update the calculation.
1957         * Animometer/tests/dom/resources/leaves.js:
1958         * Animometer/tests/master/resources/leaves.js:
1959
1960         * Animometer/tests/master/focus.html: Update the center element styling.
1961         * Animometer/tests/master/resources/focus.js:
1962         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
1963         to spread. It should be about 3x more space than the blur radius on each side.
1964         (Stage.call.initialize): Ditto for the center element.
1965
1966 2016-03-23  Jon Lee  <jonlee@apple.com>
1967
1968         Update support for other platforms
1969         https://bugs.webkit.org/show_bug.cgi?id=155824
1970
1971         Reviewed by Simon Fraser.
1972
1973         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
1974         be handled in the release stylesheet.
1975         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
1976         when retrieving radio elements with a name, instead of the selected value.
1977         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
1978         (.frame-container): Move overflow:hidden to #stage.
1979         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
1980         * Animometer/tests/resources/stage.css:
1981         (body): Remove overflow:hidden.
1982         (#stage): Set overflow:hidden here.
1983         (#center-text): Moved from master/resources/stage.css.
1984
1985         Update stylesheet hrefs.
1986         * Animometer/tests/master/canvas-stage.html:
1987         * Animometer/tests/master/focus.html:
1988         * Animometer/tests/master/leaves.html:
1989         * Animometer/tests/master/multiply.html:
1990         * Animometer/tests/master/particles.html:
1991         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
1992
1993 2016-03-23  Jon Lee  <jonlee@apple.com>
1994
1995         Make the benchmark require device to be in landscape orientation
1996         https://bugs.webkit.org/show_bug.cgi?id=155822
1997         rdar://problem/25258650
1998
1999         Reviewed by Ryosuke Niwa.
2000
2001         Check that the device is in landscape orientation. If not, disable the button to start it,
2002         and show a warning message.
2003
2004         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
2005         warning message that appears if the orientation is incorrect on mobile devices.
2006         * Animometer/index.html: Ditto.
2007
2008         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
2009         stylesheet. Update the style to accommodate the new UI.
2010         * Animometer/resources/runner/animometer.css:
2011
2012         * Animometer/resources/runner/animometer.js:
2013         (window.benchmarkController.initialize): Add the orientation listener is needed.
2014         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
2015         to see for support of window.orientation.
2016         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
2017         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
2018         (window.benchmarkController.updateStartButtonState):
2019         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
2020         a boolean about whether at least one test is selected. That will be used in
2021         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
2022         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
2023         that at least one test is selected.
2024
2025 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
2026
2027         MallocBench: consolidate regression testing for aligned allocation
2028         https://bugs.webkit.org/show_bug.cgi?id=155762
2029
2030         Reviewed by Michael Saboff.
2031
2032         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2033         * MallocBench/MallocBench/Benchmark.cpp:
2034         * MallocBench/MallocBench/memalign.cpp: Removed.
2035         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
2036         covers this and much more.
2037
2038         * MallocBench/MallocBench/stress_aligned.cpp:
2039         (benchmark_stress_aligned): Include specific tests for extreme sizes
2040         and alignments.
2041
2042 2016-03-21  Jon Lee  <jonlee@apple.com>
2043
2044         Update benchmark tests
2045         https://bugs.webkit.org/show_bug.cgi?id=155723
2046
2047         Reviewed by Darin Adler.
2048         Provisionally reviewed by Said Abou-Hallawa.
2049
2050         Add quadratic and bezier segments to the canvas path test.
2051
2052         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
2053         Rename the test.
2054         * Animometer/tests/master/resources/canvas-stage.js:
2055         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
2056         * Animometer/tests/master/resources/canvas-tests.js:
2057         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
2058         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
2059         class definition.
2060         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
2061         canvas are not cut off when the stroke size is thick.
2062         (CanvasQuadraticSegment): Added.
2063         (CanvasBezierSegment): Added.
2064         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
2065         are short compared to the curved ones, make it twice as likely to render a line segment.
2066         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
2067
2068         Add a helper method that selects a random element from an array.
2069
2070         * Animometer/tests/resources/main.js:
2071         (Stage.randomElementInArray): Select a random element from the provided array.
2072
2073         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
2074         * Animometer/tests/dom/resources/leaves.js: Ditto.
2075         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2076         * Animometer/tests/master/resources/image-data.js: Ditto.
2077         * Animometer/tests/master/resources/leaves.js: Ditto.
2078         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
2079
2080         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
2081         include the full simple canvas suite for perf testing.
2082
2083         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
2084         suite.
2085         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
2086         that random selects an object to render.
2087
2088         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
2089         When updating the perf bot script, we will include the suites up to this one, but exclude
2090         the basic canvas suite.
2091
2092         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
2093
2094         * Animometer/resources/debug-runner/tests.js:
2095         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
2096         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
2097
2098         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
2099         canvas tests.
2100
2101         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
2102         * Animometer/tests/misc/canvas-electrons.html: Removed.
2103         * Animometer/tests/misc/canvas-stars.html: Removed.
2104         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
2105         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
2106         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
2107
2108         Merge text tests together into one.
2109
2110         * Animometer/resources/runner/tests.js: Remove international.html.
2111         * Animometer/tests/master/international.html: Removed.
2112         * Animometer/tests/master/resources/text.js:
2113         (animate): Update styling. Manually calculate gradients for the shadow particles.
2114         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
2115         step for x since there will be a little more room.
2116         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
2117
2118 2016-03-20  Jon Lee  <jonlee@apple.com>
2119
2120         Add a link to show debug data
2121         https://bugs.webkit.org/show_bug.cgi?id=155724
2122
2123         Reviewed by Simon Fraser.
2124
2125         * Animometer/developer.html: Attach the onclick handler to the score.
2126         * Animometer/index.html: Ditto.
2127
2128 2016-03-18  Dean Jackson  <dino@apple.com>
2129
2130         Add a basic WebGL test to Animometer
2131         https://bugs.webkit.org/show_bug.cgi?id=155475
2132         <rdar://problem/25156860>
2133
2134         Reviewed by Simon Fraser and Jon Lee.
2135
2136         Add a pretty simple WebGL test to Animometer
2137         which tries to draw a number of animated triangles.
2138         The result still needs a bit of tuning.
2139
2140         * Animometer/resources/debug-runner/tests.js: Add a new
2141         Suite for "3D" tests.
2142         * Animometer/tests/3d/resources/webgl.js: Added.
2143         * Animometer/tests/3d/webgl.html: Added.
2144
2145 2016-03-18  Jon Lee  <jonlee@apple.com>
2146
2147         Add support for statically linking to a specific test
2148         https://bugs.webkit.org/show_bug.cgi?id=155631
2149
2150         Rubber-stamped by Darin Adler.
2151
2152         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
2153         both the preset and the manually set test sessions.
2154         * Animometer/resources/debug-runner/animometer.css:
2155         (.tree .link): Style the "link" UI.
2156         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
2157         to optionsManager since this is a visual option and has nothing to do with the suites
2158         settings. Update the construction of the test UI by including a "link" after each test.
2159         Clicking on that link brings up a JS prompt with a URL and a query string with the current
2160         parameters of the controller, and selected test. Pasting this URL into the location bar will
2161         automatically start running the selected test.
2162         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
2163         that matches the provided parameters. Returns an object similar to the form in
2164         suitesManager.updateLocalStorageFromUI.
2165         (benchmarkController.initialize): After settings up the events and options, try parsing the
2166         query string and running the benchmark immediately. Otherwise, fall back to the form.
2167         (benchmarkController.startBenchmark): Store the options and suites into member variables for
2168         reuse in restartBenchmark.
2169         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
2170         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
2171         the search for the test succeeded.
2172         * Animometer/resources/extensions.js:
2173         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
2174         into a query-string-friendly version.
2175         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
2176         format.
2177         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
2178         with properties and values.
2179
2180 2016-03-16  Jon Lee  <jonlee@apple.com>
2181
2182         Add a new benchmark test
2183         https://bugs.webkit.org/show_bug.cgi?id=155570
2184
2185         Reviewed by Simon Fraser.
2186
2187         New Leaves test includes various image sizes and opacity.
2188
2189         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
2190         * Animometer/tests/dom/leaves.html: Added.
2191         * Animometer/tests/dom/resources/leaves.js: Added. Override the
2192         (Particle.call.reset): Uses a range of sizes, and opacity.
2193         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
2194         (Particle.call.move): Set transform and opacity.
2195         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
2196         can be used in this test. Update the relative path so that it works in both the master
2197         and dom test suite.
2198
2199 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
2200
2201         Add developer Animometer test that bounces P3-tagged images
2202         https://bugs.webkit.org/show_bug.cgi?id=155511
2203
2204         Reviewed by Tim Horton.
2205         
2206         Add a test for rendering performance of tagged images. The 5 images are tagged
2207         with the Display P3 colorspace.
2208
2209         * Animometer/resources/debug-runner/tests.js:
2210         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
2211         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
2212         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
2213         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
2214         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
2215         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
2216         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
2217
2218 2016-03-09  Jon Lee  <jonlee@apple.com>
2219
2220         Enhance existing Animometer tests
2221         https://bugs.webkit.org/show_bug.cgi?id=155261
2222
2223         Reviewed by Simon Fraser.
2224
2225         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
2226         the filled circles. To expose more of the gradient, add another circle.
2227         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
2228         undulating stop points and colors. Fill the circles twice; once with
2229         the solid color, and once with the gradient.
2230
2231         * Animometer/tests/master/resources/dom-particles.js: Refactor the
2232         emission variables into a separate stage for this test. Add a colorOffset
2233         variable to make the colors of each particle slightly different, since
2234         the ramp controller can add large numbers of particles all at once, which
2235         would otherwise get all the same color.
2236         * Animometer/tests/master/resources/particles.js:
2237         (initialize): Remove the code specific to the SVG mask test.
2238
2239         * Animometer/tests/master/resources/image-data.js:
2240         (initialize): Remove unused local variable.
2241         * Animometer/tests/master/resources/multiply.js:
2242         (initialize): Make the test harder by adding more total particles.
2243
2244 2016-03-09  Jon Lee  <jonlee@apple.com>
2245
2246         Add text tests
2247         https://bugs.webkit.org/show_bug.cgi?id=155257
2248
2249         Reviewed by Simon Fraser.
2250
2251         * Animometer/resources/extensions.js:
2252         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
2253         assuming that two of the control points are at (0,0) and (1,1). Taken from
2254         WebCore/platform/graphics/UnitBezier.h
2255         * Animometer/resources/runner/tests.js: Add a test for English text and one
2256         for international text.
2257         * Animometer/tests/master/international.html: Added.
2258         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
2259         #template div which it will copy. The copies are placed behind the template, and
2260         are set with different colors each frame. They are moved around with CSS transform.
2261         * Animometer/tests/master/text.html: Added.
2262
2263         Remove the other text tests, since these ones cover the same techniques.
2264         * Animometer/tests/text/layering-text.html: Removed.
2265         * Animometer/tests/text/resources/layering-text.js: Removed.
2266         * Animometer/tests/text/resources/text-boxes.js: Removed.
2267         * Animometer/tests/text/text-boxes.html: Removed.
2268         * Animometer/resources/debug-runner/tests.js:
2269
2270 2016-03-09  Jon Lee  <jonlee@apple.com>
2271
2272         Add a new image test
2273         https://bugs.webkit.org/show_bug.cgi?id=155232
2274
2275         Reviewed by Dean Jackson.
2276         Provisionally reviewed by Said Abou-Hallawa.
2277
2278         The image test renders PNGs and moves them with translate and rotate
2279         transforms. Each particle has a lifetime, and when the lifetime ends or
2280         the particle goes offscreen, it resets itself somewhere on the stage.
2281
2282         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
2283         images test, because this one tests the same technique.
2284         * Animometer/resources/runner/tests.js: Added here as "Leaves".
2285         * Animometer/tests/master/leaves.html: Added.
2286         * Animometer/tests/master/resources/particles.js: Refactor out the parts
2287         specific to the DOM particles test. Consequently make velocity a public
2288         member.
2289         (initialize): The options parameter is never used, so remove it.
2290         (animate): Remove unused local variable.
2291         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
2292         moves back and forth across the canvas. That point affects the velocity
2293         of the particles. When the focal point is on the leftmost side, it is
2294         between [-6, -2], and set in reset(). When the focal point is on the rightmost
2295         side, it will be from [2, 6].
2296         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
2297         this test here from particles.js.
2298
2299         New images.
2300         * Animometer/tests/master/resources/compass100.png: Added.
2301         * Animometer/tests/master/resources/console100.png: Added.
2302         * Animometer/tests/master/resources/contribute100.png: Added.
2303         * Animometer/tests/master/resources/debugger100.png: Added.
2304         * Animometer/tests/master/resources/inspector100.png: Added.
2305         * Animometer/tests/master/resources/layout100.png: Added.
2306         * Animometer/tests/master/resources/performance100.png: Added.
2307         * Animometer/tests/master/resources/script100.png: Added.
2308         * Animometer/tests/master/resources/shortcuts100.png: Added.
2309         * Animometer/tests/master/resources/standards100.png: Added.
2310         * Animometer/tests/master/resources/storage100.png: Added.
2311         * Animometer/tests/master/resources/styles100.png: Added.
2312         * Animometer/tests/master/resources/timeline100.png: Added.
2313
2314 2016-03-03  Jon Lee  <jonlee@apple.com>
2315
2316         Add ability to retrieve raw data from release harness
2317         https://bugs.webkit.org/show_bug.cgi?id=155026
2318
2319         Reviewed by Simon Fraser.
2320
2321         * Animometer/developer.html: Remove the special UI in the debug
2322         harness.
2323         * Animometer/resources/runner/animometer.css: Add styles for the
2324         overlay.
2325         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
2326         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
2327         the overlay.
2328         (window.benchmarkController.selectResults): Cycle the cases around
2329         so that the first 's' press selects both the benchmark score and
2330         the individual test scores.
2331         * Animometer/resources/debug-runner/animometer.css: Remove
2332         unneeded rules.
2333         * Animometer/resources/debug-runner/animometer.js: Make the same
2334         call to handleKeyPress.
2335
2336 2016-03-03  Jon Lee  <jonlee@apple.com>
2337
2338         Make sure multiply test particles have at least some opacity
2339         https://bugs.webkit.org/show_bug.cgi?id=155027
2340
2341         Reviewed by Simon Fraser.
2342
2343         * Animometer/tests/master/resources/multiply.js:
2344         (initialize): Have the elements spin a little faster to make it
2345         more obvious when the system is being stressed.
2346         (_addTile):
2347         (animate): Make sure each element being animated has at least 1%
2348         opacity.
2349
2350 2016-03-03  Jon Lee  <jonlee@apple.com>
2351
2352         Update image test
2353         https://bugs.webkit.org/show_bug.cgi?id=154962
2354
2355         Rubber-stamped by Darin Adler.
2356
2357         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
2358         * Animometer/tests/master/resources/image-data.js:
2359         (initialize): Update to load multiple images serially.
2360         (_loadImage):
2361         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
2362         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
2363         (_refreshElement): Place element in a tile grid.
2364         (animate):
2365         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
2366         * Animometer/tests/master/resources/compass.svg: Added.
2367         * Animometer/tests/master/resources/console.svg: Added.
2368         * Animometer/tests/master/resources/contribute.svg: Added.
2369         * Animometer/tests/master/resources/debugger.svg: Added.
2370         * Animometer/tests/master/resources/inspector.svg: Added.
2371         * Animometer/tests/master/resources/layout.svg: Added.
2372         * Animometer/tests/master/resources/performance.svg: Added.
2373         * Animometer/tests/master/resources/script.svg: Added.
2374         * Animometer/tests/master/resources/shortcuts.svg: Added.
2375         * Animometer/tests/master/resources/standards.svg: Added.
2376         * Animometer/tests/master/resources/storage.svg: Added.
2377         * Animometer/tests/master/resources/styles.svg: Added.
2378         * Animometer/tests/master/resources/timeline.svg: Added.
2379
2380 2016-03-02  Jon Lee  <jonlee@apple.com>
2381
2382         Add some new controllers, and refine tests
2383         https://bugs.webkit.org/show_bug.cgi?id=154914
2384
2385         Reviewed by Simon Fraser.
2386
2387         Improve tests.
2388
2389         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
2390         in a container element. Expand the container element by the max blur radius, and clip
2391         overflow. This way, when the blur is applied, it avoids causing layer resizes.
2392         * Animometer/tests/master/resources/focus.js:
2393         (FocusElement.Utilities.createClass): Create a container element, and put the particle
2394         inside.
2395         (hide): Set display:none.
2396         (show): Set display:block.
2397         (animate): Apply filters to the container element.
2398         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
2399         keep them in the stage, but set the display style instead. Use this._offsetIndex to
2400         keep track of which elements are displayed.
2401         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
2402         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
2403         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
2404         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
2405         stage appear less black when the complexity gets large enough.
2406         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
2407         frame.
2408
2409 2016-03-02  Jon Lee  <jonlee@apple.com>
2410
2411         Add some new controllers, and refine tests
2412         https://bugs.webkit.org/show_bug.cgi?id=154914
2413
2414         Reviewed by Simon Fraser.
2415
2416         Add a controller that centers around 30 fps instead of 60 fps.
2417
2418         * Animometer/developer.html: Add a new option.
2419         * Animometer/resources/debug-runner/animometer.js:
2420         * Animometer/resources/runner/animometer.js:
2421         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2422         check the controller, and use a 30 fps baseline if needed.
2423         * Animometer/resources/statistics.js:
2424         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2425         frame length.
2426         * Animometer/tests/resources/main.js:
2427         (tune): Override some of the constants in RampController. Move those constants out for
2428         easier reading.
2429
2430         Add a fixed controller, with no step.
2431
2432         * Animometer/developer.html: Add a controller that takes no step.
2433         * Animometer/resources/debug-runner/animometer.js:
2434         * Animometer/tests/resources/main.js:
2435         (Rotater.Utilities.createClass):
2436
2437         Switch to ramp controller as default.
2438
2439         * Animometer/developer.html: Increase the test length to 20 seconds.
2440         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2441         since that is a more accurate description.
2442         * Animometer/resources/debug-runner/graph.js:
2443         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2444
2445 2016-02-26  Jon Lee  <jonlee@apple.com>
2446
2447         Address Dean's comments in 154673.
2448
2449         * Animometer/developer.html:
2450         * Animometer/resources/debug-runner/animometer.js:
2451         * Animometer/resources/debug-runner/graph.js:
2452
2453 2016-02-25  Jon Lee  <jonlee@apple.com>
2454
2455         Update animation benchmark and tests
2456         https://bugs.webkit.org/show_bug.cgi?id=154673
2457
2458         Reviewed by Dean Jackson.
2459
2460         Update test visuals.
2461
2462         * Animometer/tests/master/resources/canvas-tests.js:
2463         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2464         Update circle position and radius to minimize impact.
2465         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2466         have 3 locations for emitting particles.
2467         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2468         more color.
2469         (initialize): Fix some of the math for laying out the tiles.
2470         (animate): When a tile isn't used, set visibility: hidden.
2471
2472 2016-02-24  Jon Lee  <jonlee@apple.com>
2473
2474         Update animation benchmark and tests
2475         https://bugs.webkit.org/show_bug.cgi?id=154673
2476
2477         Reviewed by Dean Jackson.
2478
2479         Update the ramp controller.
2480
2481         The controller refines the complexity interval to test across.
2482
2483         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2484         (Regression): For the flat regression, force the first segment to be at 60 fps.
2485         (valueAt): Add convenience function to return interpolated value based on the regression used.
2486         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2487         errors.
2488         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2489         to be reset.
2490
2491         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2492         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2493         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2494         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2495         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2496         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2497         parameters.
2498         (update): During the tier phase, it is possible that the highest complexity possible for a test
2499         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2500         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2501         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2502         FPS at each tier.
2503         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2504         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2505         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2506         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2507         FPS to drop, we reset the minimum complexity.
2508
2509         Have the bootstrap calculation occur between tests. Clean up harness.
2510
2511         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2512         completed to avoid doing all of it at the end before showing the results. Clean up
2513         parameters being passed around.
2514         * Animometer/resources/debug-runner/tests.js:
2515         (text):
2516         * Animometer/resources/runner/animometer.js:
2517         (this._processData.calculateScore): Save the results to the same object holding the data.
2518         (this._processData._processData): In the case where a file is dragged, calculate the score
2519         serially. Grab the results object and move it to the results variable and remove it from
2520         the data object. This avoids serializing the results into the JSON.
2521         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2522         resample size to shorten the wait.
2523         * Animometer/resources/runner/benchmark-runner.js:
2524         * Animometer/resources/statistics.js:
2525         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2526         floats and integers causes an alphabetical sort to occur.
2527         * Animometer/resources/strings.js:
2528
2529         Add meta charset so that encodings between harness and test match.
2530
2531         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2532         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2533         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2534         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2535         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2536         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2537         * Animometer/tests/master/canvas-stage.html:
2538         * Animometer/tests/master/focus.html:
2539         * Animometer/tests/master/image-data.html:
2540         * Animometer/tests/master/multiply.html:
2541         * Animometer/tests/master/particles.html:
2542         * Animometer/tests/misc/canvas-electrons.html:
2543         * Animometer/tests/misc/canvas-stars.html:
2544         * Animometer/tests/misc/compositing-transforms.html:
2545         * Animometer/tests/simple/simple-canvas-paths.html:
2546         * Animometer/tests/simple/tiled-canvas-image.html:
2547         * Animometer/tests/template/template-canvas.html:
2548         * Animometer/tests/template/template-css.html:
2549         * Animometer/tests/template/template-svg.html:
2550         * Animometer/tests/text/layering-text.html:
2551         * Animometer/tests/text/text-boxes.html:
2552
2553         Update test harness reporting.
2554
2555         * Animometer/developer.html: Add missing meta charset.
2556         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2557         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2558         formatting the results table.
2559         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2560         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2561         * Animometer/resources/strings.js: Move strings not used by the release harness.
2562
2563         Switch to a pseudo-random number generator.
2564
2565         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2566         pseudo-random number generator.
2567         (_calculateRegression): Reset the generator before running bootstrap.
2568         (bootstrap): Deleted.
2569
2570         Replace Math.random with Pseudo.random.
2571         * Animometer/tests/master/resources/canvas-tests.js:
2572         * Animometer/tests/master/resources/focus.js:
2573         * Animometer/tests/master/resources/particles.js:
2574         * Animometer/tests/resources/main.js:
2575
2576         Use bootstrapping to get confidence interval in the breakpoint.
2577
2578         For the ramp controller, calculate the piecewise regression, and then use
2579         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2580
2581         * Animometer/developer.html: Default to the complexity graph. Add a legend
2582         checkbox to toggle visibility of the bootstrap score and histogram.
2583         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2584         the old raw and average scores in the legend. Add new styles for the data.
2585         * Animometer/resources/debug-runner/graph.js:
2586         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2587         regression line. Now |stdev| is |range|.
2588         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2589         the bootstrap samples. Switch raw samples from circles to X's.
2590         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2591         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2592         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2593         interval.
2594         * Animometer/resources/runner/animometer.js:
2595         (this._processData.findRegression): Factor out the code that determines which
2596         samples to include when calculating the piecewise regression. For series that have
2597         many samples, or a wider range of recorded complexities, throw away the 2.5%
2598         lowest and highest samples before calculating the regression. Keep all samples
2599         if the number of samples to regress is small or the range of complexities is
2600         narrow.
2601         (this._processData._calculateScore): Factor out regression calculation to
2602         findRegression(). Bootstrap the change point of the regression. The score is the
2603         median.
2604         * Animometer/resources/statistics.js:
2605         (_calculateRegression): Correct an issue in the calculation of the regression, where
2606         the denominator can be 0.
2607         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2608         re-samples by random selection with replacement. Return the 95% confidence samples,
2609         the bootstrap median, mean, and the data itself.
2610         * Animometer/resources/strings.js: Add bootstrap.
2611         * Animometer/tests/resources/main.js:
2612         (processSamples): Don't prematurely cut the sample data.
2613
2614         Fix graph drawing.
2615
2616         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2617         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2618         * Animometer/resources/debug-runner/animometer.css:
2619         (#complexity-graph .series.raw circle): Update the color.
2620         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2621         complexity axis, which can vary in domain. For determining the complexity domain,
2622         only use samples after samplingTimeOffset.
2623
2624         Allow dropping results JSON.
2625
2626         * Animometer/developer.html: Add a button.
2627         * Animometer/resources/debug-runner/animometer.css:
2628         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2629         to the dashboard. With JSON output, write out only the options and the raw data.
2630
2631         Teach the harness to evaluate the samples and determine the test score.
2632
2633         This will allow us to update how the score is calculated separately from the samples recorded.
2634         This also prepares the harness to be able to accept JSON of prior runs.
2635
2636         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2637         hierarchy.
2638         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2639
2640         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2641         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2642         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2643         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2644         Group them, and calculate distribution of samples within the same complexity, and add those as
2645         new entries into |complexityAverageSamples|.
2646         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2647         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2648
2649         {
2650             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2651             marks: [...],
2652             samples: {                    // all of the sample data
2653                 controller: [...],
2654                 complexity: [...],        // processed from controller samples
2655                 complexityAverage: [...], // processed from complexity samples
2656             }
2657         }
2658
2659         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2660         now pass the test options to the graph.
2661         (Regression): Move to statistics.js.
2662         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2663         only contains one sample, since we cannot calculate a regression from one sample point.
2664
2665         Teach the test harness to evaluate the data.
2666         * Animometer/resources/runner/animometer.js:
2667         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2668         from the data. The results are stored as:
2669
2670         {
2671             score: /* geomean of iteration score */,
2672             iterationsResults: [
2673                 {
2674                     score: /* geomean of tests */,
2675                     testsResults: {
2676                         suiteName: {
2677                             testName: {
2678                                 controller: {
2679                                     average:
2680                                     concern:
2681                                     stdev:
2682                                     percent:
2683                                 },
2684                                 frameLength: { ... },
2685                                 complexity: {
2686                                     complexity:
2687                                     stdev:
2688                                     segment1:
2689                                     segment2:
2690                                 },
2691                                 complexityAverage: { ... }
2692                             },
2693                             testName: { ... },
2694                         },
2695                         ... next suite ...
2696                     }
2697                 },
2698                 { ...next iteration... }
2699             ]
2700         }
2701
2702         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2703         on what was selected in the form. This will later allow for dropping previous results, and
2704         using those runs' options when calculating scores.
2705         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2706         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2707
2708         Consolidate JS files, and move statistics out to a separate JS.
2709
2710         Preparation for having the Controller only handle recording and storage of the samples,
2711         and leave the evaluation of the test score out to the harness. Move Experiment to
2712         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2713         and move it to utilities.js since the Heap is used only for Experiments.
2714
2715         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2716         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2717         Sampler in main.js.
2718         * Animometer/tests/resources/main.js: Move Sampler here.
2719         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2720         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2721         a max or min heap to Heap, instead of a new Algorithm object.
2722
2723         Update JS files.
2724         * Animometer/developer.html:
2725         * Animometer/index.html:
2726         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2727         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2728         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2729         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2730         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2731         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2732         * Animometer/tests/master/canvas-stage.html:
2733         * Animometer/tests/master/focus.html:
2734         * Animometer/tests/master/image-data.html:
2735         * Animometer/tests/master/multiply.html:
2736         * Animometer/tests/master/particles.html:
2737         * Animometer/tests/misc/canvas-electrons.html:
2738         * Animometer/tests/misc/canvas-stars.html:
2739         * Animometer/tests/misc/compositing-transforms.html:
2740         * Animometer/tests/simple/simple-canvas-paths.html:
2741         * Animometer/tests/simple/tiled-canvas-image.html:
2742         * Animometer/tests/template/template-canvas.html:
2743         * Animometer/tests/template/template-css.html:
2744         * Animometer/tests/template/template-svg.html:
2745         * Animometer/tests/text/layering-text.html:
2746         * Animometer/tests/text/text-boxes.html:
2747
2748         Fix the cursor in the graph analysis when the min
2749         complexity is not 0.
2750
2751         * Animometer/resources/debug-runner/graph.js:
2752         (_addRegression):
2753         (createComplexityGraph):
2754
2755 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2756
2757         Fix some issues in MallocBench
2758         https://bugs.webkit.org/show_bug.cgi?id=154600
2759
2760         Reviewed by Oliver Hunt.
2761
2762         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2763         a part of the build so that it copies to the right place for execution.
2764
2765         * MallocBench/MallocBench/Interpreter.cpp:
2766         (Interpreter::Interpreter): Don't try to open .ops files for writing
2767         because we're only going to read and we might need extra permissions to
2768         write.
2769
2770         (Interpreter::~Interpreter): Give more context when opening a file fails
2771         to help with debugging.
2772
2773         * MallocBench/MallocBench/stress.cpp:
2774         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2775
2776 2016-02-23  Michael Saboff  <msaboff@apple.com>
2777
2778         Unreviewed change to revert extraneous changes made part of change set 196955.
2779
2780         * MallocBench/MallocBench/Interpreter.cpp:
2781         (Interpreter::doMallocOp):
2782         (Interpreter::Thread::switchTo):
2783         (writeData): Deleted.
2784
2785 2016-02-19  Michael Saboff  <msaboff@apple.com>
2786
2787         MallocBench: Added recording for nimlang website, new recording details and added new options
2788         https://bugs.webkit.org/show_bug.cgi?id=154485
2789
2790         Reviewed by Geoff Garen.
2791
2792         Added new capabilities to MallocBench.  These include:
2793             Added a recording of http://nim-lang.org/docs/lib.html.
2794             Added thread id to the recording and the ability to playback switching threads in MallocBench
2795             Added aligned allocations to recordings and the ability to playback
2796             Added --use-thread-id option to honor recorded thread ids
2797             Added --detailed-report to output remaining allocations by size after playback
2798             Added --no-warmup to not run the warm up iteration
2799
2800         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2801         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2802         can access the options that are appropriate.  The Benchmark class also uses the options for
2803         is parallel, run counts and warm up.
2804
2805         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2806         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2807         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2808         without any incompatibilities.
2809
2810         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2811         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2812         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2813         assure that only one thread is really running at a time and a condition variable used to wait
2814         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2815         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2816
2817         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2818         * MallocBench/MallocBench/Benchmark.cpp:
2819         (deallocateHeap):
2820         (Benchmark::Benchmark):
2821         (Benchmark::runOnce):
2822         (Benchmark::run):
2823         * MallocBench/MallocBench/Benchmark.h:
2824         (Benchmark::isValid):
2825         * MallocBench/MallocBench/CommandLine.cpp:
2826         (CommandLine::printUsage):
2827         * MallocBench/MallocBench/CommandLine.h:
2828         (CommandLine::isValid):
2829         (CommandLine::benchmarkName):
2830         (CommandLine::isParallel):
2831         (CommandLine::useThreadID):
2832         (CommandLine::detailedReport):
2833         (CommandLine::warmUp):
2834         (CommandLine::heapSize):
2835         (CommandLine::runs):
2836         * MallocBench/MallocBench/Interpreter.cpp:
2837         (Interpreter::Interpreter):
2838         (Interpreter::run):
2839         (Interpreter::readOps):
2840         (Interpreter::doOnSameThread):
2841         (Interpreter::switchToThread):
2842         (Interpreter::detailedReport):
2843         (compute2toPower):
2844         (writeData):
2845         (Interpreter::doMallocOp):
2846         (Interpreter::Thread::Thread):
2847         (Interpreter::Thread::stop):
2848         (Interpreter::Thread::~Thread):
2849         (Interpreter::Thread::runThread):
2850         (Interpreter::Thread::waitToRun):
2851         (Interpreter::Thread::switchTo):
2852         * MallocBench/MallocBench/Interpreter.h:
2853         (Interpreter::Thread::isMainThread):
2854         * MallocBench/MallocBench/alloc_free.cpp: Added.
2855         (benchmark_alloc_free):
2856         * MallocBench/MallocBench/alloc_free.h: Added.
2857         * MallocBench/MallocBench/balloon.cpp:
2858         (benchmark_balloon):
2859         * MallocBench/MallocBench/balloon.h:
2860         * MallocBench/MallocBench/big.cpp:
2861         (benchmark_big):
2862         * MallocBench/MallocBench/big.h:
2863         * MallocBench/MallocBench/churn.cpp:
2864         (benchmark_churn):
2865         * MallocBench/MallocBench/churn.h:
2866         * MallocBench/MallocBench/facebook.cpp:
2867         (benchmark_facebook):
2868         * MallocBench/MallocBench/facebook.h:
2869         * MallocBench/MallocBench/flickr.cpp:
2870         (benchmark_flickr):
2871         (benchmark_flickr_memory_warning):
2872         * MallocBench/MallocBench/flickr.h:
2873         * MallocBench/MallocBench/fragment.cpp:
2874         (validate):
2875         (benchmark_fragment):
2876         (benchmark_fragment_iterate):
2877         * MallocBench/MallocBench/fragment.h:
2878         * MallocBench/MallocBench/list.cpp:
2879         (benchmark_list_allocate):
2880         (benchmark_list_traverse):
2881         * MallocBench/MallocBench/list.h:
2882         * MallocBench/MallocBench/main.cpp:
2883         (main):
2884         * MallocBench/MallocBench/medium.cpp:
2885         (benchmark_medium):
2886         * MallocBench/MallocBench/medium.h:
2887         * MallocBench/MallocBench/memalign.cpp:
2888         (test):
2889         (benchmark_memalign):
2890         * MallocBench/MallocBench/memalign.h:
2891         * MallocBench/MallocBench/message.cpp:
2892         (benchmark_message_one):
2893         (benchmark_message_many):
2894         * MallocBench/MallocBench/message.h:
2895         * MallocBench/MallocBench/nimlang.cpp: Added.
2896         (benchmark_nimlang):
2897         * MallocBench/MallocBench/nimlang.h: Added.
2898         * MallocBench/MallocBench/nimlang.ops: Added.
2899         * MallocBench/MallocBench/realloc.cpp:
2900         (benchmark_realloc):
2901         * MallocBench/MallocBench/realloc.h:
2902         * MallocBench/MallocBench/reddit.cpp:
2903         (benchmark_reddit):
2904         (benchmark_reddit_memory_warning):
2905         * MallocBench/MallocBench/reddit.h:
2906         * MallocBench/MallocBench/stress.cpp:
2907         (deallocate):
2908         (benchmark_stress):
2909         * MallocBench/MallocBench/stress.h:
2910         * MallocBench/MallocBench/stress_aligned.cpp:
2911         (benchmark_stress_aligned):
2912         * MallocBench/MallocBench/stress_aligned.h:
2913         * MallocBench/MallocBench/theverge.cpp:
2914         (benchmark_theverge):
2915         (benchmark_theverge_memory_warning):
2916         * MallocBench/MallocBench/theverge.h:
2917         * MallocBench/MallocBench/tree.cpp:
2918         (benchmark_tree_allocate):
2919         (benchmark_tree_traverse):
2920         (benchmark_tree_churn):
2921         * MallocBench/MallocBench/tree.h:
2922         * MallocBench/run-malloc-benchmarks:
2923
2924 2016-02-11  Jon Lee  <jonlee@apple.com>
2925
2926         Fix a missing refactoring.
2927
2928         * Animometer/tests/master/resources/multiply.js:
2929         (animate): Move to Utilities.lerp.
2930         (_lerp): Deleted.
2931
2932 2016-02-10  Jon Lee  <jonlee@apple.com>
2933
2934         Add new benchmark tests.
2935         https://bugs.webkit.org/show_bug.cgi?id=154063
2936
2937         Provisionally reviewed by Said Abou-Hallawa.
2938
2939         Add tests for get/put image data, filters, opacity, and css transforms.
2940
2941         * Animometer/resources/runner/benchmark-runner.js:
2942         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2943         the stage.
2944         (this._runNextIteration): Clear the background color style for the results page.
2945         * Animometer/resources/runner/tests.js:
2946         * Animometer/tests/master/focus.html: Added.
2947         * Animometer/tests/master/image-data.html: Added.
2948         * Animometer/tests/master/multiply.html: Added.
2949         * Animometer/tests/master/resources/focus.js: Added.
2950         * Animometer/tests/master/resources/image-data.js: Added.
2951         * Animometer/tests/master/resources/multiply.js: Added.
2952         * Animometer/tests/master/resources/stage.css: Move common styles out.
2953         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
2954         Add Stage.randomSign for randomly setting a direction. Add the notion of the
2955         current timestamp of the test to Benchmark, since some animations cycle through
2956         colors and rely on an incremental counter like the time.
2957
2958 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
2959
2960         Add internal benchmark tests for CSS mix-blend-modes and filters
2961         https://bugs.webkit.org/show_bug.cgi?id=154058
2962
2963         Provisionally reviewed by Jon Lee.
2964
2965         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
2966         "HTML suite" of the debug runner.
2967
2968         * Animometer/resources/extensions.js:
2969         (Utilities.browserPrefix):
2970         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
2971         prefixed style properties.
2972
2973         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2974         Set the mix-blend-mode and the filter to some random values if the options
2975         of the test requested that.
2976
2977         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2978         (parseShapeParameters): Parse the url options "blend" and "filter" and set
2979         the corresponding flags.
2980
2981         * Animometer/tests/resources/main.js:
2982         (randomStyleMixBlendMode):
2983         (randomStyleFilter): Return random mix-blend-mode and filter.
2984
2985 2016-02-08  Jon Lee  <jonlee@apple.com>
2986
2987         Add a ramp controller
2988         https://bugs.webkit.org/show_bug.cgi?id=154028
2989
2990         Provisionally reviewed by Said Abou-Hallawa.
2991
2992         Enhance the graph to include a complexity-fps graph, in addition
2993         to the time graph.
2994
2995         * Animometer/developer.html: Add a ramp option.
2996         * Animometer/resources/debug-runner/animometer.css: Update the style.
2997         * Animometer/resources/strings.js: Flatten the Strings.text constants.
2998         * Animometer/resources/debug-runner/animometer.js:
2999         (ResultsTable.call._addGraphButton): Refactor.
3000         (ResultsTable.call._addTest): Add regression data.
3001         (benchmarkController): Add a form that allows the user to switch between the two forms,
3002         Add a form that allows the user to toggle different data. Hide certain header columns
3003         depending on the selected controller.
3004         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
3005         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
3006         * Animometer/resources/runner/animometer.js:
3007         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
3008         * Animometer/tests/resources/main.js:
3009         (Controller): Allow options to specify the capacity for sample arrays.
3010         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
3011         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
3012         error. Sweep across the samples in time (which could be backward depending on the controller)
3013         and calculate the intersection point.
3014         (RampController): This controller assumes that the target frame rate is below
3015         58 FPS. It runs in two stages. The first stage quickly determines the order of
3016         magnitude of objects needed to stress the system by the setting the complexity
3017         to increasingly difficult tiers. Perform a series of ramps descending from a
3018         high-water mark of complexity. The complexity needed to reach the target frame
3019         length is done by performing a piecewise regression on each ramp, and track a
3020         running average of these values. For the next ramp, make that running average
3021         the center of the ramp. With a minimum complexity of 0, the high-water mark is
3022         twice that average. The score is based on the highest complexity that can
3023         reach 60 fps.
3024
3025 2016-02-08  Jon Lee  <jonlee@apple.com>
3026
3027         Address Said's comments on the benchmark, and do some clean up.
3028
3029         * Animometer/developer.html:
3030         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
3031         * Animometer/resources/debug-runner/animometer.js: Use the right
3032         Strings constants.
3033         * Animometer/resources/debug-runner/graph.js:
3034         (_addRegressionLine): Add missing code to draw the line and standard
3035         deviation highlight.
3036         (onGraphTypeChanged): Remove unneeded variables
3037         (onTimeGraphOptionsChanged):
3038         * Animometer/resources/runner/benchmark-runner.js:
3039         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
3040         _suitesSamplers to _suitesResults.
3041         * Animometer/tests/resources/main.js:
3042         (results): Call processSamples().
3043         (update): Change sampling timestamp comparison.
3044         (_animateLoop): Move shouldStop call to before the update.
3045         * Animometer/tests/resources/sampler.js:
3046         (process): Rename to processSamples().
3047
3048 2016-02-07  Jon Lee  <jonlee@apple.com>
3049
3050         Teach Controller to measure intervals, and turn off the frame length estimator.
3051
3052         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
3053         (start): Set the first interval.
3054         (_measureAndResetInterval): Reports the average frame length of the interval that just
3055         completed, and sets up the next interval.
3056         (update): If there is no length, then just use the estimator per frame, otherwise the
3057         estimator measures per interval. Add a didFinishInterval for subclasses to process
3058         prior to recording the sample. Update tune() to include whether an interval had
3059         finished.
3060         (StepController): Step controllers don't measure on an interval basis.
3061
3062 2016-02-07  Jon Lee  <jonlee@apple.com>
3063
3064         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
3065         and switch the parameters for start(), update(), and tune(), so that the timestamp
3066         is first and stage is second.
3067
3068         * Animometer/tests/resources/main.js:
3069
3070 2016-02-07  Jon Lee  <jonlee@apple.com>
3071
3072         Move ResultsTable functionality not needed for release tests out.
3073         Move reporting of score and mean to selection of the time-based graph.
3074
3075         * Animometer/developer.html: Rename graph-options to time-graph-options.
3076         * Animometer/resources/debug-runner/animometer.js:
3077         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
3078         values to "average" objects which can hold stdev. Move graph button and
3079         calculation of noisy measurements here. Sophisticated header processing
3080         is not needed in release suite.
3081         (populateTable): Use DeveloperResultsTable.
3082         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
3083         its own function, and add a new onGraphTypeChanged handler in preparation
3084         of a complexity graph to be added later.
3085         * Animometer/resources/runner/animometer.js:
3086         (ResultsTable): Simplify to just handle test names and scores.
3087
3088 2016-02-07  Jon Lee  <jonlee@apple.com>
3089
3090         Tests: reuse objects already made.
3091
3092         Avoid thrash of object creation and removal by maintaining an index that
3093         moves along the array as the adjust values change. If the tune value
3094         requires more objects than the maximum size of the object array, then create
3095         new objects. This means that the object array size never decreases.
3096
3097         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
3098         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
3099         so the scene will draw the object at offsetIndex to the end of the array.
3100         (tune): Reverse the logic since "removal" of objects is much simpler and
3101         involves simply changing the offsetIndex.
3102         (animate): Update the for loop to draw from offsetIndex to the end.
3103         (complexity): Update the definition.
3104         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
3105         offsetIndex. For these tests, we want to avoid drawing the newest objects,
3106         so the scene will draw the object at index 0 to the object at offsetIndex.
3107         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
3108         which is unneeded. Update the for loop to draw from offsetIndex to the end.
3109         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3110         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
3111         offsetIndex.
3112         * Animometer/tests/simple/resources/simple-canvas.js:
3113         (tune): Update logic. Here, offsetIndex represents the boundary of the last
3114         index to render.
3115         (animate): Update the for loop to draw from 0 to offsetIndex.
3116         (complexity): Update the definition.
3117
3118 2016-02-07  Jon Lee  <jonlee@apple.com>
3119
3120         Tests: refactor and update styles.
3121
3122         * Animometer/tests/resources/main.js: Add helper methods that return
3123         a color that hue rotates based on the date, and a counter value that
3124         increases based on the date. Fix randomInt() to not bias against the min and
3125         max values.
3126
3127         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
3128         * Animometer/tests/master/resources/dom-particles.js: Ditto.
3129         * Animometer/tests/master/resources/particles.js: Ditto.
3130         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
3131         use a rotating color instead of a random color. The fast switching of color
3132         is too vivid to watch.
3133
3134         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3135         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
3136         that the last stop is located at the end.
3137
3138 2016-02-07  Jon Lee  <jonlee@apple.com>
3139
3140         Refactor tune() to not return the complexity of the scene.
3141
3142         We have stage.complexity() now, so returning the complexity through tune
3143         is unnecessary.
3144
3145         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3146         * Animometer/tests/master/resources/canvas-stage.js:
3147         * Animometer/tests/master/resources/particles.js:
3148         * Animometer/tests/misc/resources/canvas-electrons.js:
3149         * Animometer/tests/misc/resources/canvas-stars.js:
3150         * Animometer/tests/resources/main.js:
3151         * Animometer/tests/simple/resources/simple-canvas.js:
3152         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3153         * Animometer/tests/template/resources/template-canvas.js:
3154         * Animometer/tests/template/resources/template-css.js:
3155         * Animometer/tests/template/resources/template-svg.js:
3156         * Animometer/tests/text/resources/layering-text.js:
3157
3158 2016-02-07  Jon Lee  <jonlee@apple.com>
3159
3160         Make the fixed controller a step controller instead. Halfway through the test
3161         it will bump up the complexity 4-fold. Calculate the step timestamp using options
3162         instead of a separate parameter to the Controller constructor.
3163
3164         * Animometer/developer.html: Change value to "step"
3165         * Animometer/resources/debug-runner/animometer.js:
3166         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
3167         * Animometer/tests/resources/main.js:
3168         (update): Provide a hook for subclasses to tune.
3169         (StepController): Maintain a flag determining whether we've stepped, and the time
3170         we should step.
3171         (Benchmark): Use the new StepController.
3172
3173 2016-02-07  Jon Lee  <jonlee@apple.com>
3174
3175         Adjust the FPS graph scale.
3176
3177         Instead of making the FPS graph linearly scale, scale it based on the frame length,
3178         but show the data in terms of FPS. Because it is inversely proportional, and most
3179         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
3180         over half of the available graph space ends up blank.
3181
3182         This means we should convert all of the FPS data to frame length data.
3183
3184         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
3185         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
3186         values being shown, and then pick the min and max values to represent the length of the
3187         cursor.
3188         * Animometer/resources/runner/animometer.js:
3189         * Animometer/resources/strings.js:
3190         * Animometer/tests/resources/main.js:
3191         (processSamples): Add the ability to only sample a range of the data instead of everything
3192         after an offset index. Update sampler to record the frame lengths instead of the frame
3193         rate.
3194
3195 2016-02-07  Jon Lee  <jonlee@apple.com>
3196
3197         Add option to use different methods for retrieving a timestamp.
3198
3199         * Animometer/developer.html: Add performance.now and Date.now options.
3200         * Animometer/resources/runner/animometer.js: Default to performance.now.
3201         (window.benchmarkController.startBenchmark):
3202         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
3203         (run): Use _getTimestamp.
3204         (_animateLoop): Ditto.
3205
3206 2016-02-07  Jon Lee  <jonlee@apple.com>
3207
3208         Allow adding any number of markers to the graph. The markers can be labeled
3209         and contain timestamp and sample index data. Make it a part of the controller
3210         rather than keeping it in the sampler.
3211
3212         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
3213         * Animometer/resources/debug-runner/graph.js: Create the markers and add
3214         text labels.
3215         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
3216         is just one of the marks provided.
3217         * Animometer/resources/strings.js: Add Strings.json.marks.
3218         * Animometer/tests/resources/main.js:
3219         (Controller): Keep marks here. They are keyed by the marker name, so no two
3220         markers should have the same name.
3221         (recordFirstSample): Refactor to use mark.
3222         (mark): Allows for arbitrary data if needed later. The timestamp maintained
3223         is relative to the absolute start timestamp.
3224         (containsMark): Checks whether a mark with a specific comment exists.
3225         (processSamples): Removes the _startTimestamp offset from the marks before
3226         setting it in results.
3227         * Animometer/tests/resources/sampler.js: Remove marks.
3228
3229 2016-02-07  Jon Lee  <jonlee@apple.com>
3230
3231         Get rid of options member variable in Benchmark.
3232
3233         Options are only needed when initializing the stage or benchmark, so there's no
3234         need to also keep a reference to it.
3235
3236         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
3237         Pass options to Controllers and Stages.
3238         (Controller.Utilities.createClass):
3239         (Benchmark.Utilities.createClass):
3240         (get options): Deleted.
3241
3242         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3243         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3244         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3245         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3246         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3247         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3248         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3249         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3250         * Animometer/tests/master/resources/canvas-stage.js:
3251         * Animometer/tests/master/resources/canvas-tests.js:
3252         * Animometer/tests/master/resources/particles.js:
3253         * Animometer/tests/misc/resources/canvas-electrons.js:
3254         * Animometer/tests/misc/resources/canvas-stars.js:
3255         * Animometer/tests/misc/resources/compositing-transforms.js:
3256         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3257         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3258         * Animometer/tests/template/resources/template-canvas.js:
3259         * Animometer/tests/template/resources/template-css.js:
3260         * Animometer/tests/template/resources/template-svg.js:
3261         * Animometer/tests/text/resources/layering-text.js:
3262
3263 2016-02-07  Jon Lee  <jonlee@apple.com>
3264
3265         Update how the benchmark is run
3266         https://bugs.webkit.org/show_bug.cgi?id=153960
3267
3268         Provisionally reviewed by Said Abou-Hallawa.
3269
3270         Introduce the notion of a Controller. It is responsible for recording, updating,
3271         and processing the statistics and complexity of the benchmark. This allows
3272         plugging in different Controllers.
3273
3274         This strips most of the functionality from Animator and BenchmarkState, so fold
3275         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
3276         are responsible for driving the animation loop.
3277
3278         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
3279         maintains a fixed complexity, and the other adapts the complexity to meet a
3280         fixed FPS.
3281
3282         Fix the Kalman estimator to be modeled on a scalar variable with no model.
3283
3284         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
3285         replace it with a Controller. Add a FixedController and refactor the previous controller
3286         to an AdaptiveController.
3287
3288         (Controller): Controllers own the estimator and the sampler. When a new frame is
3289         displayed, the animation loop calls update(). The estimator and sampler record
3290         stats, then tune. Samplers can track multiple series of data. The basic controller
3291         tracks timestamp, complexity, and estimated frame rate.
3292                 The Kalman estimation is based on the frame length rather than the frame
3293         rate. Because FPS is inverse proportional to frame length, in the case where the measured
3294         frame length is very small, the FPS ends up being a wildly large number (in the order of
3295         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
3296         for it to settle back down. Using frame length reduces the impact of these spikes.
3297                 Converging the estimation takes enough time to avoid initializing it immediately
3298         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
3299         before running it in earnest. Allow controllers an opportunity to set the complexity
3300         before starting recording.
3301                 When the benchmark is complete, the controller has an opportunity to process
3302         the samples. The default implementation calculates the raw FPS based on the time
3303         difference of the samples, and calculates the complexity score. This is moved from
3304         Benchmark.processSamples.
3305
3306         (Controller): Initialize timestamps. These are at first relative to the start of the
3307         benchmark, but are offset by the absolute start time during start(). By default maintain
3308         3 data series, but subclasses can override.
3309         (start): Calls recordFirstSample() for subclasses to override if needed.
3310         (recordFirstSample): For basic controller, start sampling at the beginning.
3311         (update): Update the frame length estimator and sample.
3312         (shouldStop): Checks that the time is before _endTimestamp.
3313         (results): Returns the processed samples.
3314         (processSamples): Iterate through the sample data and collate them. Include scores.
3315
3316         (FixedComplexityController): Controller that tunes the stage to the desired complexity
3317         prior to starting, and keeps it at that complexity.
3318
3319         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
3320         raw frame rate.
3321                 The previous version of this controller ignored the frame that came after the
3322         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
3323         compared to the noise of the system overall. Stop ignoring that frame and include all
3324         frames in the measurements.
3325
3326         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
3327         selected. Most of the loop's functionality is in Controller, so remove here.
3328         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
3329         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
3330         a brief period before calling Controller.start().
3331
3332         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates
3333         a scalar variable, and makes basic assumptions regarding the model. As a result
3334         none of the linear algebra classes are needed, so remove Matrix, Vector3, and Matrix3.
3335         (SimpleKalmanEstimator): Calculate the gain based on the provided process and
3336         measurement errors.
3337         (KalmanEstimator): Deleted.
3338         (IdentityEstimator): Deleted.
3339         (PIDController): Refactor to use the Utilities.createClass() helper.
3340
3341         The Kalman filter algorithm is explained here http://greg.czerniak.info/guides/kalman1/.
3342         The state, represented by a scalar, is the estimated frame length. There is no user
3343         transition of the state, and the state is the same as the measurement. With this model,
3344         the estimation error converges, so calculate the gain ahead of time.
3345
3346         * Animometer/developer.html: Remove fixed-after-warmup since it is not useful.
3347         Replace the option to toggle the estimator, and make it possible to customize the
3348         estimator's error parameters. Show raw FPS by default, and remove interval FPS,
3349         which will be shown instead of the filtered raw FPS.
3350         * Animometer/resources/debug-runner/animometer.css: Put the header behind the graph.
3351         Remove #intervalFPS rules; move the color to #filteredFPS.
3352         * Animometer/resources/debug-runner/graph.js:
3353         (updateGraphData): Update the hr style to force the layout to be calculated
3354         correctly. Change the tick format to be in terms of seconds, since the timestamps
3355         are in milliseconds. Remove interval data.
3356         * Animometer/resources/runner/animometer.js:
3357         (window.benchmarkController.startBenchmark): Set Kalman parameters.
3358         * Animometer/resources/runner/benchmark-runner.js:
3359         (_runBenchmarkAndRecordResults): When a benchmark completes, expect it to return
3360         the final data, rather than passing a sampler from the controller. This avoids
3361         needing to expose the sampler variable in the benchmark.
3362         * Animometer/tests/resources/sampler.js:
3363         (process): Move the setting of the target frame rate to AdaptiveController.
3364
3365 2016-02-06  Jon Lee  <jonlee@apple.com>
3366
3367         Code clean up: Move Rotater function closer to Stage static methods.
3368         The Rotater is used together with those methods; keep them close.
3369
3370         * Animometer/tests/resources/main.js:
3371
3372 2016-02-06  Jon Lee  <jonlee@apple.com>
3373
3374         Update the JS includes due to ResultsTable move.
3375
3376         * Animometer/developer.html:
3377         * Animometer/index.html:
3378
3379 2016-02-06  Jon Lee  <jonlee@apple.com>
3380
3381         Move createElement and createSVGElement to Utilities.
3382
3383         * Animometer/resources/extensions.js:
3384         (Utilities.createElement): Added.
3385         (Utilities.createSVGElement): Added.
3386         (DocumentExtension.createElement): Deleted.
3387         (DocumentExtension.createSvgElement): Deleted.
3388
3389         * Animometer/resources/debug-runner/animometer.js:
3390         * Animometer/resources/runner/animometer.js:
3391         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3392         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js:
3393         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3394
3395 2016-02-06  Jon Lee  <jonlee@apple.com>
3396
3397         Add a convenience function for creating a class.
3398
3399         The pattern for creating a class is common enough to add as a Utilities
3400         helper function. It also makes it easy to collapse class definitions when
3401         editing.
3402
3403         * Animometer/resources/debug-runner/animometer.js: Move ProgressBar definition,
3404         since it is only used here.
3405         * Animometer/resources/runner/animometer.js: Move ResultsDashboard and
3406         ResultsTable definition, since it is only used here.
3407         * Animometer/resources/extensions.js: Move Utilities definition to the top. Convert
3408         Point, Insets, SimplePromise.
3409         (ProgressBar): Moved to animometer.js.
3410         (ResultsDashboard): Moved to animometer.js.
3411         (ResultsTable): Moved to animometer.js.
3412         * Animometer/resources/runner/benchmark-runner.js: Convert BenchmarkRunnerState,
3413         BenchmarkRunner.
3414         * Animometer/tests/resources/main.js: Convert Rotater, Stage, Animator, Benchmark.
3415         * Animometer/tests/resources/sampler.js: Convert Experiment, Sampler.
3416
3417         Convert test primitives.
3418         * Animometer/tests/master/resources/canvas-tests.js: Convert CanvasLineSegment,
3419         CanvasArc, CanvasLinePoint.
3420         * Animometer/tests/simple/resources/simple-canvas-paths.js: Convert CanvasLineSegment,
3421         CanvasLinePoint, CanvasQuadraticSegment, CanvasQuadraticPoint, CanvasBezierSegment,
3422         CanvasBezierPoint, CanvasArcToSegment, CanvasArcToSegmentFill, CanvasArcSegment,
3423         CanvasArcSegmentFill, CanvasRect, CanvasRectFill.
3424         * Animometer/tests/simple/resources/tiled-canvas-image.js: Convert CanvasImageTile.
3425
3426 2016-02-06  Jon Lee  <jonlee@apple.com>
3427
3428         Minor improvements to debug harness.
3429
3430         * Animometer/developer.html:
3431         * Animometer/resources/debug-runner/animometer.css:
3432         (#suites): Put the complexity text boxes closer to the test names.
3433         (#options):
3434         (#rawFPS circle): Make the interval FPS appear as a separate data series, with a line.
3435         (#intervalFPS path):
3436         (#intervalFPS circle):
3437         * Animometer/resources/debug-runner/animometer.js:
3438         (window.optionsManager.updateLocalStorageFromUI): Convert number inputs from text.
3439         (window.suitesManager._onChangeTestCheckbox): Refactor to take a checkbox.
3440         (window.suitesManager._createTestElement): Enhance such that typing into the complexity
3441         input will automatically select that test for running.
3442         (window.suitesManager.updateLocalStorageFromJSON): Make the harness work for private
3443         browsing.
3444         * Animometer/resources/debug-runner/graph.js: Separate the intervalFPS data, and show
3445         more accuracy in timestamps.
3446
3447 2016-02-06  Jon Lee  <jonlee@apple.com>
3448
3449         Refactor helper methods for getting random values for a stage.
3450
3451         Instead of requiring a Stage instance, just attach it to the Stage object.
3452
3453         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3454         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3455         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3456         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3457         * Animometer/tests/master/resources/canvas-tests.js:
3458         * Animometer/tests/master/resources/particles.js:
3459         * Animometer/tests/misc/resources/canvas-electrons.js:
3460         * Animometer/tests/misc/resources/canvas-stars.js:
3461         * Animometer/tests/misc/resources/compositing-transforms.js:
3462         * Animometer/tests/resources/main.js:
3463         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3464
3465 2016-02-05  Said Abou-Hallawa  <sabouhallawa@apple.com>
3466
3467         Add a new graphics test for CanvasRenderingContext2D functions: getImageData and putImageData
3468         https://bugs.webkit.org/show_bug.cgi?id=151716
3469
3470         Reviewed by Darin Adler.
3471
3472         The purpose of this test is to measure the performance of getImageData
3473         and putImageData functions. This test draws a background on the canvas
3474         and then gets some random tiles from this background and draw them in
3475         destinations different from their original sources.
3476
3477         * Animometer/resources/debug-runner/tests.js: Adding the new test to the canvas simple tests suite.
3478
3479         * Animometer/resources/extensions.js:
3480         (Array.prototype.shuffle): Shuffles the elements of an array.
3481
3482         (Point.zero): Returns a new Point object whose x and y are equal zero.
3483         (Point.prototype.str): Used for debugging the Point object.
3484
3485         * Animometer/tests/simple/resources/tiled-canvas-image.js: Added.
3486         (CanvasImageTile):
3487         (CanvasImageTile.prototype.getImageData):
3488         (CanvasImageTile.prototype.putImageData):
3489         (Stage.call.initialize):
3490         (Stage.call._createTiles):
3491         (Stage.call._nextTilePosition):
3492         (Stage.call.tune):
3493         (Stage.call._drawBackground):
3494         (Stage.call.animate):
3495         (Stage.call.complexity):
3496         (Stage.call):
3497         * Animometer/tests/simple/tiled-canvas-image.html: Added.
3498
3499 2016-01-07  Jon Lee  <jonlee@apple.com>
3500
3501         Fix new test.
3502
3503         * Animometer/resources/runner/tests.js: Wrong URL from an
3504         old patch.
3505         * Animometer/tests/master/particles.html:
3506         * Animometer/tests/master/resources/dom-particles.js:
3507         (Particle.call.reset): Figured out a simpler way to set up
3508         the particles.
3509         (this.move.reset): Deleted.
3510         (this.move._applyAttributes): Deleted.
3511         * Animometer/tests/master/resources/particles.js:
3512         (Particle): Call move() after reset().
3513
3514 2016-01-07  Jon Lee  <jonlee@apple.com>
3515
3516         Update benchmark test suite
3517         https://bugs.webkit.org/show_bug.cgi?id=152679
3518
3519         Reviewed by Simon Fraser.
3520
3521         Add a new test. The test has a rotating background
3522         gradient, and does a better job physically simulating
3523         particles.
3524
3525         * Animometer/resources/extensions.js: Teach Point to take constants as well as other Points.
3526         (Point.prototype.length): Added.
3527         (Point.prototype.normalize): Added.
3528         * Animometer/resources/runner/tests.js: Add the test to the master suite.
3529         * Animometer/tests/master/particles.html: Added.
3530         * Animometer/tests/master/resources/particles.js: Added. Parent class for different kinds of particles.
3531         (Particle):
3532         (Particle.prototype.reset): If the particle starts slowing down in terms of its animation,
3533         reset it.
3534         (Particle.prototype.animate): Bounce off the walls elastically, and include gravity.
3535         (Particle.prototype.move): Subclasses should override.
3536         (ParticlesStage): Stage includes a rotating gradient background.
3537         * Animometer/tests/master/resources/dom-particles.js: Added. Creates a <div> and adds it to
3538         the stage.
3539         * Animometer/tests/resources/star.svg: Added.
3540
3541 2016-01-03  Jon Lee  <jonlee@apple.com>
3542
3543         Update benchmark test suite
3544         https://bugs.webkit.org/show_bug.cgi?id=152679
3545
3546         Reviewed by Simon Fraser.
3547
3548         Move algorithm.js and sampler.js to tests/ and benchmark-runner.js to runner/.
3549
3550         Needed by both harnesses.
3551         * Animometer/resources/runner/benchmark-runner.js: Renamed from PerformanceTests/Animometer/resources/debug-runner/benchmark-runner.js.
3552         * Animometer/developer.html:
3553         * Animometer/index.html:
3554
3555         Needed only by the tests. Move to tests/. Statistics, in sampler.js, is used by ResultsDashboard, so move that
3556         into extensions.js.
3557         * Animometer/resources/extensions.js:
3558         * Animometer/tests/resources/algorithm.js: Renamed from PerformanceTests/Animometer/resources/algorithm.js.
3559         * Animometer/tests/resources/sampler.js: Renamed from PerformanceTests/Animometer/resources/sampler.js.
3560         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
3561         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
3562         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3563         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3564         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
3565         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
3566         * Animometer/tests/master/canvas-stage.html:
3567         * Animometer/tests/misc/canvas-electrons.html:
3568         * Animometer/tests/misc/canvas-stars.html:
3569         * Animometer/tests/misc/compositing-transforms.html:
3570         * Animometer/tests/simple/simple-canvas-paths.html:
3571         * Animometer/tests/template/template-canvas.html:
3572         * Animometer/tests/template/template-css.html:
3573         * Animometer/tests/template/template-svg.html:
3574         * Animometer/tests/text/layering-text.html:
3575         * Animometer/tests/text/text-boxes.html:
3576
3577 2016-01-07  Jon Lee  <jonlee@apple.com>
3578
3579         Update benchmark test suite
3580         https://bugs.webkit.org/show_bug.cgi?id=152679
3581
3582         Reviewed by Simon Fraser.
3583
3584         Fix tests for other browsers.
3585
3586         * Animometer/resources/extensions.js:
3587         (Point.elementClientSize): Some browsers return 0 for SVG clientWidth and clientHeight.
3588         Use getBoundingClientRect() instead.
3589         * Animometer/tests/misc/resources/canvas-electrons.js:
3590         (CanvasElectron.prototype._draw): Some browsers don't support ellipse.
3591
3592 2016-01-07  Jon Lee  <jonlee@apple.com>
3593
3594         Add a waitUntilReady() step
3595         https://bugs.webkit.org/show_bug.cgi?id=152862
3596
3597         Reviewed by Simon Fraser.
3598
3599         Add a waitUntilReady() callback that lets the benchmark complete
3600         its setup before running the benchmark.
3601
3602         * Animometer/tests/resources/main.js:
3603         (Benchmark.prototype.run): First call waitUntilReady, which returns
3604         a promise. When the promise resolves, run everything that was in this
3605         function.
3606         (Benchmark.prototype.waitUntilReady): Default implementation returns
3607         a resolved promise.
3608         (Benchmark.prototype.resolveWhenFinished): Deleted.
3609         * Animometer/tests/template/resources/template-canvas.js:
3610         (new.TemplateCanvasStage.waitUntilReady): Example on how to override.
3611
3612 2016-01-03  Jon Lee  <jonlee@apple.com>
3613
3614         Update data reporting and analysis
3615         https://bugs.webkit.org/show_bug.cgi?id=152670
3616
3617         Reviewed by Simon Fraser.
3618
3619         Show new graph data. Provide controls to show different series data. Provide an
3620         interactive cursor that shows the data at a given sample.
3621
3622         * Animometer/developer.html: Add a nav section in #results. Each part of the graph
3623         has a checkbox for visual toggling, as well as companion spans to contain the data.
3624                 The numbers will always be shown even if the SVG isn't.
3625         * Animometer/resources/debug-runner/animometer.css:
3626         (#suites): Adjust spacing when doing fixed complexity.
3627         (#test-graph nav): Place the nav in the upper right corner.
3628         (#test-graph-data > svg): Fix the FPS scale from 0-60. It makes the raw FPS goes past
3629         that scale. Allow it to show.
3630         (.target-fps): Add a dotted line for where the benchmark is supposed to settle for FPS.
3631         (#cursor line): The cursor contains a line and highlight circles for the data being shown.
3632         (#cursor circle):
3633         (#complexity path): This and rules afterward are named by series type.
3634         (#complexity circle):
3635         (#filteredFPS path):
3636         (#filteredFPS circle):
3637         (#rawFPS path):
3638         (#intervalFPS circle):
3639         (.left-samples): Deleted.
3640         (.right-samples): Deleted.
3641         * Animometer/resources/debug-runner/animometer.js:
3642         (initialize): Add a "changed" listener when the checkboxes change in the nav.
3643         (onBenchmarkOptionsChanged): Renamed.
3644         (showTestGraph): All graph data is passed in as graphData instead of as arguments.
3645         * Animometer/resources/debug-runner/graph.js: Extend BenchmarkController. When showing
3646         a new graph, call updateGraphData(). It creates all of the d3 graphs. onGraphOptionsChanged()
3647         toggles the data on and off.
3648         (updateGraphData): Add the axes. Add the average lines and markers for sample time and
3649         target FPS. Add the cursor group. Use helper function addData() to add the data. On top of
3650         everything add a transparent area which will catch all of the mouse events. When the mouse
3651         moves in the graph, find the closest data point, show the data in the nav area, and highlight
3652         the data points.
3653         (addData): Adds a line and circle for each data point. Also adds a highlight cursor with a
3654         size a little larger than the circle radius for the data points.
3655         (onGraphOptionsChanged): Called when data is visually toggled.
3656         (showOrHideNodes): Helper function to toggle the .hidden class.
3657         * Animometer/resources/extensions.js:
3658         (ResultsDashboard.prototype.get data): Get rid of the arguments for _processData.
3659         (ResultsTable.prototype._addGraphButton): Shove all of the graph data into a singular object.
3660
3661         Producing the JSON can take a while with all of the data. Make it on-demand with a
3662         button.
3663
3664         * Animometer/resources/debug-runner/animometer.js:
3665         (showResults): When showing the results, don't serialize the JSON data. Move that to...
3666         (showJSONResults): ...here. Remove the button.
3667
3668         * Animometer/developer.html: Add a button. The button will remove itself and populate
3669         the textarea with the JSON data.
3670         * Animometer/resources/debug-runner/animometer.css:
3671         (.hidden): Add a universal hidden class.
3672         (#results button.small-button): Promote the small-button styles to the whole results
3673         section for use in the JSON button.
3674         (#results button.small-button:active):
3675         (#results-data button.small-button): Deleted.
3676         (#results-data button.small-button:active): Deleted.
3677
3678         Refactor how Animator does its recording.
3679
3680         * Animometer/tests/resources/math.js: Create a new, simple estimator that just returns
3681         the same interval frame rate for adjustment.
3682         * Animometer/tests/resources/main.js:
3683         (Animator): Remove _dropFrameCount, and make variables more accurate described.
3684         (Animator.prototype.initialize): Use the identity estimator instead of using a bool.
3685         (Animator.prototype._intervalTimeDelta): Rename, only used internally.
3686         (Animator.prototype._shouldRequestAnotherFrame): Assume we drop one frame for adjustment
3687         of the scene. If we are within the number of frames to measure for the interval, just
3688         record the timestamp. Otherwise we are ready to evaluate and adjust the scene. Record
3689         the interval frame rate and the estimator's frame rate.
3690
3691         Avoid processing the data through the Experiment while the test is running. Reconfigure
3692         the sampler to just record the raw samples. After the test is done, run the samples through
3693         the Experiment to get the score.
3694
3695         * Animometer/resources/sampler.js:
3696         (Experiment): Fold _init() into the constructor since nobody else will call it. This is not
3697         needed until the test concludes, so remove startSampling(). Clients should just call sample().
3698         (Sampler): Pre-allocate arrays given the number of data points being recorded, and a capacity
3699         of how many samples will be used. The processor is a called when it's time to process the data
3700         since that is the client also telling the Sampler what to record.
3701                 Introduce the notion of marks as well, which allows the client to mark when an
3702         event occurs. When we mark sample start, we can attach the timestamp there, instead of storing
3703         it separately.
3704         (Sampler.prototype.startSampling): Deleted. Clients should just call record().
3705         (Sampler.prototype.record): The data to record is passed in as variable arguments.
3706         (Sampler.prototype.mark): When adding a mark, a client needs to provide a unique string, and
3707         can provide extra data object for later retrieval.
3708         (Sampler.prototype.process): Renamed from toJSON. Trim the sampling arrays to what was used.
3709         Call the processor to process the samples.
3710         * Animometer/resources/debug-runner/benchmark-runner.js:
3711         (BenchmarkRunner.prototype._runBenchmarkAndRecordResults): Call process().
3712
3713         * Animometer/resources/strings.js: Add some new strings, remove the graph ones since they are
3714         not used.
3715         * Animometer/tests/resources/main.js:
3716         (Benchmark): Create a sampler with 4 series. The maximum number of points expected is the
3717         number of seconds multiplied by 60 fps. Benchmark, as a client of the Sampler, knows about all
3718         of the data being added to the Sampler. It is added through record(), and processed through
3719         processSamples().
3720         (Benchmark.prototype.update): Mark when we've passed warmup and are starting to sample. Include
3721         the timestamp in the custom data for the mark. This avoids the need to store is separately in
3722         the Sampler. Fold what was in record() here, since nothing else needs this functionality.
3723         record() now just relays the information to the sampler.
3724         (Benchmark.prototype.record): Called by Animator, which provides the data to the sampler.
3725         Animator's calls to this is part of a later patch. Requires each stage to return its complexity.
3726         (Benchmark.prototype.processSamples): If the sampling mark exists, add it to the results.
3727                 Go through all of the samples. All samples contain a timestamp and complexity. We
3728         calculate "raw FPS" which is the time differential from the previous sample. At regular intervals
3729         the Kalman-filtered FPS and the interval average FPS are also recorded. We also create two
3730         experiments, to get the scores for the complexity and smoothed FPS, and add those samples to
3731         the experiments. Grab those scores and add them into results also.
3732
3733         Add complexity() to the tests for Benchmark.record().
3734         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3735         * Animometer/tests/misc/resources/canvas-electrons.js:
3736         * Animometer/tests/misc/resources/canvas-stars.js:
3737         * Animometer/tests/text/resources/layering-text.js:
3738
3739 2015-12-27  Jon Lee  <jonlee@apple.com>
3740
3741         Simplify the test harness
3742         https://bugs.webkit.org/show_bug.cgi?id=152562
3743
3744         Reviewed by Simon Fraser.
3745
3746         Update the simple canvas tests. For the paths, start from the center instead of the
3747         top-left corner. Instead of using a coordinate limit, use a canonized factor, and
3748         use that along both the x and y axes, so that more capable tests use more of the
3749         canvas.
3750
3751         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3752         (CanvasLinePoint): Rewrite to use the coordinate maximum factor.
3753         (CanvasQuadraticPoint): Ditto.
3754         (CanvasBezierPoint): Ditto.
3755         * Animometer/tests/simple/resources/simple-canvas.js:
3756         (tune): Calculate a factor instead of a maximum coordinate.
3757
3758 2015-12-27  Jon Lee  <jonlee@apple.com>
3759
3760         Simplify the test harness
3761         https://bugs.webkit.org/show_bug.cgi?id=152562
3762
3763         Reviewed by Simon Fraser.
3764
3765         All of the benchmarks use the default Animator(). Don't require new tests
3766         to pass a new instance, and instead just make one in the Benchmark constructor.
3767
3768         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3769         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3770         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3771         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3772         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3773         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3774         * Animometer/tests/master/resources/canvas-tests.js:
3775         * Animometer/tests/misc/resources/canvas-electrons.js:
3776         * Animometer/tests/misc/resources/canvas-stars.js:
3777         * Animometer/tests/misc/resources/compositing-transforms.js:
3778         * Animometer/tests/resources/main.js:
3779         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3780         * Animometer/tests/template/resources/template-canvas.js:
3781         * Animometer/tests/template/resources/template-css.js:
3782         * Animometer/tests/template/resources/template-svg.js:
3783         * Animometer/tests/text/resources/layering-text.js:
3784         * Animometer/tests/text/resources/text-boxes.js:
3785
3786         Refactor the template.
3787
3788         * Animometer/tests/template/resources/template-canvas.js:
3789         * Animometer/tests/template/resources/template-css.js:
3790         * Animometer/tests/template/resources/template-svg.js:
3791         * Animometer/tests/template/template-canvas.html:
3792         * Animometer/tests/template/template-css.html:
3793         * Animometer/tests/template/template-svg.html:
3794
3795         Refactor the SVG suite.
3796
3797         * Animometer/tests/bouncing-particles/bouncing-svg-images.html: Move scripts to the end.
3798         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html: Ditto.
3799
3800         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Remove extraneous includes
3801         to stage.js.
3802         * Animometer/tests/text/text-boxes.html: Ditto.
3803
3804         BouncingCanvasParticlesBenchmark is not necessary. Use Benchmark directly when subclassing.
3805         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js: Remove
3806         BouncingCanvasParticlesBenchmark.
3807         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js: Use Benchmark.
3808         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js: Ditto.
3809
3810         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js: Require the shape
3811         in the constructor instead of having subclasses set the private variable.
3812
3813         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js: Refactor.
3814         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3815
3816         Refactor the HTML suite.
3817
3818         Move scripts to the end.
3819         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3820         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3821         * Animometer/tests/text/layering-text.html:
3822         * Animometer/tests/text/text-boxes.html:
3823
3824         Refactor to use the new variables.
3825         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3826         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3827         * Animometer/tests/text/resources/layering-text.js:
3828         * Animometer/tests/text/resources/text-boxes.js:
3829
3830         Refactor the bouncing canvas tests.
3831
3832         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html: Move scripts to the end.
3833         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Move scripts to the end.
3834
3835        &nb