ES6SampleBench should report an average for Steady State so that all of the numbers...
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-12-02  Filip Pizlo  <fpizlo@apple.com>
2
3         ES6SampleBench should report an average for Steady State so that all of the numbers are comparable
4         https://bugs.webkit.org/show_bug.cgi?id=165325
5
6         Reviewed by Saam Barati.
7
8         This makes all of the numbers that ES6SampleBench reports comparable to each other: they all speak of the time
9         it took to run an iteration of something.
10
11         * ES6SampleBench/results.js:
12         (Results.prototype.reportResult):
13
14 2016-11-18  Jer Noble  <jer.noble@apple.com>
15
16         Add some performance tests for various aspects of media loading and playback.
17         https://bugs.webkit.org/show_bug.cgi?id=164977
18
19         Reviewed by Darin Adler.
20
21         Add new tests for a few aspects of media playback; namely: how quickly  media elements fire
22         the "canplaythrough" event when all data is immediately available, how quickly HLS playback
23         switches resolutions, and at what playback rate MSE-backed video can play without dropping
24         frames. Skip these tests by default, as they're not runnable on all ports, and they require
25         a webserver (run-webkit-httpd) to complete on macOS.
26
27         * Media/HLSCanPlayThrough.html: Added.
28         * Media/HLSGearChange.html: Added.
29         * Media/MSECanPlayThrough.html: Added.
30         * Media/MSEPlaybackRate.html: Added.
31         * Media/StandardCanPlayThrough.html: Added.
32         * Media/hls/1080p/iframe_index.m3u8: Added.
33         * Media/hls/1080p/prog_index.m3u8: Added.
34         * Media/hls/1080p/test.ts: Added.
35         * Media/hls/480p/iframe_index.m3u8: Added.
36         * Media/hls/480p/prog_index.m3u8: Added.
37         * Media/hls/480p/test.ts: Added.
38         * Media/hls/720p/iframe_index.m3u8: Added.
39         * Media/hls/720p/prog_index.m3u8: Added.
40         * Media/hls/720p/test.ts: Added.
41         * Media/hls/720p/test.ts.back: Added.
42         * Media/hls/index.m3u8: Added.
43         * Media/media-source-loader.js: Added.
44         (MediaSourceLoader):
45         (MediaSourceLoader.prototype.loadManifest):
46         (MediaSourceLoader.prototype.loadManifestSucceeded):
47         (MediaSourceLoader.prototype.loadManifestFailed):
48         (MediaSourceLoader.prototype.loadMediaData):
49         (MediaSourceLoader.prototype.loadMediaDataSucceeded):
50         (MediaSourceLoader.prototype.loadMediaDataFailed):
51         (MediaSourceLoader.prototype.get type):
52         (MediaSourceLoader.prototype.get duration):
53         (MediaSourceLoader.prototype.get initSegment):
54         (MediaSourceLoader.prototype.get mediaSegmentsLength):
55         (MediaSourceLoader.prototype.mediaSegments):
56         (MediaSourceLoader.prototype.get everyMediaSegment):
57         * Media/test-fragmented-video.json: Added.
58         * Media/test-fragmented-video.mp4: Added.
59         * Media/test.mp4: Added.
60         * Skipped:
61
62 2016-11-18  Filip Pizlo  <fpizlo@apple.com>
63
64         Concurrent GC should be able to run splay in debug mode and earley/raytrace in release mode with no perf regression
65         https://bugs.webkit.org/show_bug.cgi?id=164282
66
67         Reviewed by Geoffrey Garen and Oliver Hunt.
68         
69         CDjs is a fun benchmark for stressing concurrent GCs, but to really give the GC a good
70         workout you need to increase the amount of work that the test does. This adds a second
71         configuration of the benchmark that has more aircraft. It uses much more memory and causes us
72         to do more GCs and those GCs take longer.
73
74         * JetStream/cdjs/benchmark.js:
75         (benchmarkImpl):
76         (benchmark):
77         * JetStream/cdjs/large.js: Added.
78
79 2016-11-14  Filip Pizlo  <fpizlo@apple.com>
80
81         Unreviewed, revert unintended change.
82
83         * ES6SampleBench/Air/benchmark.js:
84
85 2016-10-03  Saam Barati  <sbarati@apple.com>
86
87         MapHash should speculate on the type of its child node
88         https://bugs.webkit.org/show_bug.cgi?id=161922
89
90         Reviewed by Filip Pizlo.
91
92         I gave the main generator a name so it's easier to see what
93         it is when using the sampling profiler.
94
95         * ES6SampleBench/Basic/ast.js:
96         (Basic.Program):
97
98 2016-09-19  Sergio Villar Senin  <svillar@igalia.com>
99
100         [css-grid] Remove the x2 computation of row sizes with indefinite heights
101         https://bugs.webkit.org/show_bug.cgi?id=162150
102
103         Reviewed by Darin Adler.
104
105         Added a new test case which checks the layout performance of grids inside other grids, i.e,
106         grids acting both as grid container and grid item.
107
108         * Layout/nested-grid.html: Added.
109
110 2016-09-09  Simon Fraser  <simon.fraser@apple.com>
111
112         Perf test Animation/css-accelerated-animation.html failing
113         https://bugs.webkit.org/show_bug.cgi?id=161795
114
115         Skip Animation/css-accelerated-animation.html since this only works as a MobileSafari
116         perf test.
117
118         * Skipped:
119
120 2016-09-08  Simon Fraser  <simon.fraser@apple.com>
121
122         Add a content-animation test with accelerated CSS animations
123         https://bugs.webkit.org/show_bug.cgi?id=161776
124
125         Reviewed by Dean Jackson.
126
127         Add a test that measures the frame rate of accelerated CSS animations.
128
129         This is like css-animation.html (which animates 'left' and 'top') but animates
130         transforms instead. In order to get animation in X and Y we make two nested elements
131         and set transformX() on one, and transformY() on the other.
132
133         * Animation/css-accelerated-animation.html: Added.
134
135 2016-08-23  Saam Barati  <sbarati@apple.com>
136
137         It should be easy to run ES6SampleBench from the jsc shell
138         https://bugs.webkit.org/show_bug.cgi?id=161085
139
140         Reviewed by Yusuke Suzuki.
141
142         This patch makes ES6 sample bench runnable through the `jsc` shell.
143         To do that, you need to be in the PerformanceTests/ES6SampleBench
144         directory and run `jsc cli.js`. To make this work, the benchmark
145         is now aware of being run in two modes: via the browser, and via
146         the shell. Each entry point will set a variable `isInBrowser`,
147         and the benchmark will do different things based on if that
148         variable is true or false.
149
150         * ES6SampleBench/Air/benchmark.js:
151         * ES6SampleBench/Air/stress-test.js:
152         * ES6SampleBench/Basic/benchmark.js:
153         (runBenchmark):
154         * ES6SampleBench/Basic/stress-test.js:
155         * ES6SampleBench/air_benchmark.js:
156         * ES6SampleBench/basic_benchmark.js:
157         * ES6SampleBench/cli.js: Added.
158         (return.doRun):
159         (makeBenchmarkRunner):
160         * ES6SampleBench/driver.js:
161         (Driver):
162         (Driver.prototype._recomputeSummary):
163         (Driver.prototype._iterate.window.setTimeout):
164         (Driver.prototype._iterate):
165         (Driver.prototype._updateIterations):
166         * ES6SampleBench/glue.js:
167         (reportResult):
168         * ES6SampleBench/index.html:
169         * ES6SampleBench/results.js:
170         (Results):
171         (Results.prototype.reportRunning):
172         (Results.prototype.reportDone):
173         (Results.prototype.reportError):
174         * ES6SampleBench/stats.js:
175         (Stats):
176         (Stats.prototype.toString):
177         (Stats.prototype._update):
178
179 2016-08-01  Said Abou-Hallawa  <sabouhallawa@apple.com>
180
181         Add an option to run the MotionMark tests with classic tile size (512x512)
182         https://bugs.webkit.org/show_bug.cgi?id=160371
183
184         Reviewed by Darin Adler.
185
186         Setting the body to large size (3000x3000) and overflow to scroll forces
187         the classic tile size (512x512). This option does not affect the canvas
188         tests because the canvas is displayed on one tile regardless of its size.
189
190         * Animometer/developer.html:
191         * Animometer/resources/debug-runner/animometer.css:
192         (body.showing-test-container.tiles-big):
193         (body.showing-test-container.tiles-classic):
194         * Animometer/resources/debug-runner/animometer.js:
195         * Animometer/resources/runner/animometer.js:
196         (window.benchmarkController.startBenchmark):
197
198 2016-06-29  Filip Pizlo  <fpizlo@apple.com>
199
200         Generators violate bytecode liveness validation
201         https://bugs.webkit.org/show_bug.cgi?id=159279
202
203         Reviewed by Yusuke Suzuki.
204
205         Add Basic to our test harness.
206
207         Also made some cosmetic changes to the benchmark harness.
208
209         * ES6SampleBench/Basic/basic-tests.yaml: Added.
210         * ES6SampleBench/Basic/stress-test.js: Added.
211         (preciseTime):
212         * ES6SampleBench/driver.js:
213         (Driver):
214         (Driver.prototype.start):
215         (Driver.prototype.reportError):
216         * ES6SampleBench/glue.js:
217         * ES6SampleBench/index.html:
218
219 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
220
221         ES6SampleBench should have a harness
222         https://bugs.webkit.org/show_bug.cgi?id=159246
223
224         Reviewed by Saam Barati.
225         
226         This adds a simple web harness for ES6SampleBench. It runs Air and Basic 10 times for 200
227         iterations each and reports three metrics:
228         
229         First iteration: the time it takes for the first iteration to run. This is the first
230         iteration after the benchmark is loaded into the iframe, so it's representative of what
231         would happen if one of these workloads only ran for a short time.
232         
233         Worst 2%: of the last 199 iterations, the average of the worst 2% iterations. If code like
234         any of these workloads was used in an important event handler, you'd want that code to run
235         well in the worst case in addition to having great throughput.
236         
237         Steady state: the total of the last 199 iterations. This is representative of what would
238         happen if you ran code like this for a long time.
239         
240         The total score is the geomean of the firstIteration/worstCase/steadyState numbers of the
241         two benchmarks.
242         
243         The harness does statistics using Student's T-distribution confidence intervals.
244
245         * ES6SampleBench/Basic/benchmark.js:
246         (Benchmark):
247         * ES6SampleBench/air_benchmark.js: Added.
248         * ES6SampleBench/basic_benchmark.js: Added.
249         * ES6SampleBench/driver.js: Added.
250         (Driver):
251         (Driver.prototype.addBenchmark):
252         (Driver.prototype.start):
253         (Driver.prototype.reportResult):
254         (Driver.prototype.reportError):
255         (Driver.prototype._recomputeSummary.Geomean):
256         (Driver.prototype._recomputeSummary.Geomean.prototype.add):
257         (Driver.prototype._recomputeSummary.Geomean.prototype.get result):
258         (Driver.prototype._recomputeSummary):
259         (Driver.prototype._iterate):
260         (Driver.prototype._updateIterations):
261         * ES6SampleBench/glue.js: Added.
262         * ES6SampleBench/index.html: Added.
263         * ES6SampleBench/results.js: Added.
264         (Results):
265         (Results.prototype.get benchmark):
266         (Results.prototype.reset):
267         (Results.prototype.reportRunning):
268         (Results.prototype.reportDone):
269         (Results.prototype.reportResult.averageAbovePercentile):
270         (Results.prototype.reportResult):
271         (Results.prototype.reportError):
272         * ES6SampleBench/stats.js: Added.
273         (Stats):
274         (Stats.prototype.reset):
275         (Stats.prototype.add):
276         (Stats.prototype.get numIterations):
277         (Stats.prototype.valueForIteration):
278         (Stats.get result.tDist):
279         (Stats.prototype.get result):
280         (Stats.prototype.toString):
281         (Stats.prototype._update):
282         * ES6SampleBench/style.css: Added.
283         (body):
284         (body, th, tr):
285         (h1, h2, h3, h4):
286         (h1):
287         (h2):
288         (h3):
289         (hr):
290         (address):
291         (img):
292         (.underline):
293         (ol.loweralpha):
294         (ol.upperalpha):
295         (ol.lowerroman):
296         (ol.upperroman):
297         (ol.arabic):
298         (.banner-link:link, .banner-link:visited):
299         (:link, :visited):
300         (h4 :link, h4 :visited, h5 :link, h5 :visited, h6 :link, h6 :visited):
301         (.anchor:link, .anchor:visited):
302         (* > .anchor:link, * > .anchor:visited):
303         (span:hover .anchor):
304         (a.forbidden, span.forbidden):
305         (a.missing:hover):
306         (a.closed:link, a.closed:visited, span.closed):
307         (pre):
308         (div.code):
309         (div.code pre):
310         (dt):
311         (dd):
312         (dd:last-child):
313         (.site-logo):
314         (.site-logo .tagline):
315         (table):
316         (#contents):
317         (p):
318         (p:last-child):
319         (th):
320         (td):
321
322 2016-06-28  Jon Lee  <jonlee@apple.com>
323
324         Update focus test
325         https://bugs.webkit.org/show_bug.cgi?id=159242
326         rdar://problem/27070007
327
328         Reviewed by Dean Jackson.
329         Provisionally reviewed by Said Abou-Hallawa.
330
331         Move previous test to dom suite, and update the test for better reporting of frame rate, although
332         it uses a different rendering path.
333
334         * Animometer/resources/debug-runner/tests.js: Add to dom suite.
335         * Animometer/tests/dom/focus.html: Copied from PerformanceTests/Animometer/tests/master/focus.html.
336         * Animometer/tests/dom/resources/focus.js: Copied from PerformanceTests/Animometer/tests/master/resources/focus.js.
337         * Animometer/tests/master/focus.html: Remove center element.
338         * Animometer/tests/master/resources/focus.js: Use narrower size range with smaller particles. Remove the
339         container elements. Inline getBlurValue and getOpacityValue since they are only called once.
340
341 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
342
343         Move Air.js and Basic into ES6SampleBench
344
345         Rubber stamped by Geoffrey Garen.
346         
347         We want to group our ES6 benchmarks together, and eventually, we want to give them a
348         common harness.
349
350         * Air.js: Removed.
351         * Air.js/README.md: Removed.
352         * Air.js/airjs-tests.yaml: Removed.
353         * Air.js/all.js: Removed.
354         * Air.js/allocate_stack.js: Removed.
355         * Air.js/arg.js: Removed.
356         * Air.js/basic_block.js: Removed.
357         * Air.js/benchmark.js: Removed.
358         * Air.js/code.js: Removed.
359         * Air.js/custom.js: Removed.
360         * Air.js/frequented_block.js: Removed.
361         * Air.js/insertion_set.js: Removed.
362         * Air.js/inst.js: Removed.
363         * Air.js/liveness.js: Removed.
364         * Air.js/make_dist.sh: Removed.
365         * Air.js/opcode.js: Removed.
366         * Air.js/payload-airjs-ACLj8C.js: Removed.
367         * Air.js/payload-gbemu-executeIteration.js: Removed.
368         * Air.js/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
369         * Air.js/payload-typescript-scanIdentifier.js: Removed.
370         * Air.js/reg.js: Removed.
371         * Air.js/stack_slot.js: Removed.
372         * Air.js/stress-test.js: Removed.
373         * Air.js/strip-hash.rb: Removed.
374         * Air.js/symbols.js: Removed.
375         * Air.js/test.html: Removed.
376         * Air.js/test.js: Removed.
377         * Air.js/tmp.js: Removed.
378         * Air.js/tmp_base.js: Removed.
379         * Air.js/util.js: Removed.
380         * Basic: Removed.
381         * Basic/ast.js: Removed.
382         * Basic/basic.js: Removed.
383         * Basic/benchmark.js: Removed.
384         * Basic/caseless_map.js: Removed.
385         * Basic/lexer.js: Removed.
386         * Basic/number.js: Removed.
387         * Basic/parser.js: Removed.
388         * Basic/random.js: Removed.
389         * Basic/state.js: Removed.
390         * Basic/test.html: Removed.
391         * Basic/test.js: Removed.
392         * Basic/util.js: Removed.
393         * ES6SampleBench: Added.
394         * ES6SampleBench/Air: Copied from PerformanceTests/Air.js.
395         * ES6SampleBench/Basic: Copied from PerformanceTests/Basic.
396         * Skipped:
397
398 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
399
400         Add a ES6 generator benchmark
401         https://bugs.webkit.org/show_bug.cgi?id=159101
402
403         Rubber stamped by Keith Miller.
404         
405         This adds a Basic interpreter loosely based on ECMA-55:
406         
407         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
408         
409         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
410         walk interpreter where the walking functions for statements are generators that call each
411         other with yield*. This enables the interpreter to look like an AST walk even though it can
412         yield at INPUT and PRINT statements.
413         
414         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
415         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
416         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
417         parser.rb for example.
418         
419         The benchmark runs a handful of simple Basic programs. The longest-running one computes
420         prime numbers.
421         
422         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
423
424         * Basic: Added.
425         * Basic/ast.js: Added.
426         (Basic.NumberApply):
427         (Basic.Variable):
428         (Basic.Const):
429         (Basic.NumberPow):
430         (Basic.NumberMul):
431         (Basic.NumberDiv):
432         (Basic.NumberNeg):
433         (Basic.NumberAdd):
434         (Basic.NumberSub):
435         (Basic.StringVar):
436         (Basic.Equals):
437         (Basic.NotEquals):
438         (Basic.LessThan):
439         (Basic.GreaterThan):
440         (Basic.LessEqual):
441         (Basic.GreaterEqual):
442         (Basic.GoTo):
443         (Basic.GoSub):
444         (Basic.Def):
445         (Basic.Let):
446         (Basic.If):
447         (Basic.Return):
448         (Basic.Stop):
449         (Basic.On):
450         (sideState.shouldStop):
451         (Basic.For):
452         (Basic.Next):
453         (Basic.Print):
454         (Basic.Input):
455         (Basic.Read):
456         (Basic.Restore):
457         (Basic.Dim):
458         (Basic.Randomize):
459         (Basic.End):
460         (Basic.Program):
461         * Basic/basic.js: Added.
462         (prepare):
463         (simulate):
464         * Basic/benchmark.js: Added.
465         (Benchmark):
466         (Benchmark.prototype.runIteration.expect):
467         (Benchmark.prototype.runIteration):
468         (runBenchmark):
469         * Basic/caseless_map.js: Added.
470         (CaselessMap):
471         * Basic/lexer.js: Added.
472         (lex.consumeWhitespace):
473         (lex.consume):
474         (lex):
475         * Basic/lexer_test.js: Added.
476         * Basic/number.js: Added.
477         (NumberValue):
478         (NumberValue.prototype.get value):
479         (NumberValue.prototype.apply):
480         (NumberValue.prototype.leftApply):
481         (NumberValue.prototype.assign):
482         (NumberArray.):
483         (NumberArray):
484         (NumberArray.prototype.apply):
485         (NumberArray.prototype.leftApply):
486         (NumberFunction):
487         (NumberFunction.prototype.apply):
488         (NumberFunction.prototype.leftApply):
489         (NativeFunction):
490         (NativeFunction.prototype.apply):
491         (NativeFunction.prototype.leftApply):
492         * Basic/parser.js: Added.
493         (parse):
494         (parse.pushToken):
495         (parse.peekToken):
496         (parse.consumeKind):
497         (parse.consumeToken):
498         (parse.parseVariable):
499         (parse.parseNumericExpression.parsePrimary):
500         (parse.parseNumericExpression.parseFactor):
501         (parse.parseNumericExpression.parseTerm):
502         (parse.parseNumericExpression):
503         (parse.parseConstant):
504         (parse.parseStringExpression):
505         (parse.isStringExpression):
506         (parse.parseRelationalExpression):
507         (parse.parseNonNegativeInteger):
508         (parse.parseGoToStatement):
509         (parse.parseGoSubStatement):
510         (parse.parseStatement):
511         (parse.parseStatements):
512         * Basic/random.js: Added.
513         (createRNG):
514         (createRNGWithFixedSeed):
515         (createRNGWithRandomSeed):
516         * Basic/state.js: Added.
517         (State):
518         (State.prototype.getValue):
519         (State.prototype.getSideState):
520         (State.prototype.abort):
521         (State.prototype.validate):
522         * Basic/test.html: Added.
523         * Basic/test.js: Added.
524         * Basic/util.js: Added.
525         (this.performance.performance.now.currentTime):
526         (else.this.preciseTime.currentTime):
527         (else.currentTime):
528         * Skipped: Make sure that we don't run Basic yet.
529
530 2016-06-21  Jon Lee  <jonlee@apple.com>
531
532         Update canvas size when benchmark begins
533         https://bugs.webkit.org/show_bug.cgi?id=159010
534
535         Reviewed by Dean Jackson.
536
537         Previously we would evaluate the media queries and assign the canvas size to the test
538         on body.onload. Instead, do it once the user starts the benchmark.
539
540         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
541         to benchmarkController._startBenchmark.
542         * Animometer/resources/runner/animometer.js: Ditto.
543
544 2016-06-21  Jon Lee  <jonlee@apple.com>
545
546         Add new timestamp option
547         https://bugs.webkit.org/show_bug.cgi?id=159006
548
549         Reviewed by Dean Jackson.
550
551         Add a new option to take timestamps from the rAF callback.
552
553         * Animometer/developer.html: Added option.
554         * Animometer/tests/resources/main.js:
555         (Benchmark): Fall back to using the rAF timestamp if performance.now()
556         is not available.
557         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
558         local var instead of accessing private var.
559
560 2016-06-21  Jon Lee  <jonlee@apple.com>
561
562         Improvements to Animometer benchmark
563         https://bugs.webkit.org/show_bug.cgi?id=157738
564
565         Reviewed by Dean Jackson.
566         Provisionally reviewed by Said Abou-Hallawa.
567
568         Update tests.
569
570         * Animometer/tests/master/text.html: Ensure only three text sizes for
571         the three canvases.
572         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
573         particle sizes.
574         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
575         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
576         reduce some calculations per frame. Fix the placement of the particles which might
577         otherwise be culled.
578         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
579         to encourage larger scores.
580
581 2016-06-21  Jon Lee  <jonlee@apple.com>
582
583         Improvements to Animometer benchmark
584         https://bugs.webkit.org/show_bug.cgi?id=157738
585
586         Reviewed by Dean Jackson.
587         Provisionally reviewed by Said Abou-Hallawa.
588
589         Include confidence interval for the final score, and store the canvas
590         size in the serialization so that it is accurately shown in results.
591
592         * Animometer/developer.html: Add a "confidence" div.
593         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
594         * Animometer/resources/debug-runner/animometer.js: Look at options, and
595         if the configuration is included, update the body class based on it
596         (similar to what we do when we first load the page). That way, if you
597         drag-and-drop previous results in, that configuration is reflected in
598         the dashboard. Show the full confidence interval.
599
600         * Animometer/resources/debug-runner/animometer.css:
601         * Animometer/resources/debug-runner/animometer.js: Style update.
602         * Animometer/resources/runner/animometer.css:
603
604         * Animometer/resources/runner/animometer.js:
605         (_processData): Propagate the confidence interval values out and calculate
606         the lower and upper bounds. For now, shortcut the aggregate calculation,
607         since we only go through one iteration.
608         (this._processData.calculateScore): Propagate the confidence interval out
609         to be next to the score. Depending on the controller these values are
610         calculated differently.
611         (this._processData._getResultsProperty): Convenience function.
612         (this._processData.get score): Refactor.
613         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
614         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
615         (window.sectionsManager.setSectionScore):
616         (window.benchmarkController._startBenchmark): When the benchmark starts, note
617         the canvas size and add it to options. That way it will be automatically be
618         serialized.
619         (window.benchmarkController.showResults): Include the maximum deviation
620         percentage.
621         * Animometer/resources/runner/lines.svg: Make the background line up with the
622         skew.
623         * Animometer/resources/runner/tests.js:
624         (Headers.details.text): Refactor.
625         * Animometer/resources/statistics.js:
626         (Statistics.largestDeviationPercentage): Convenience function to calculate
627         the deviation percentage on either end and return the largest deviation.
628         * Animometer/resources/strings.js:
629
630         Allow specifying a regression profile to use instead of taking the one
631         with the lowest error.
632
633         Address an issue in the focus test when the regression calculated ends
634         up overestimating the change point, causing a cascade of tougher
635         ramps. The reason behind this is that at max complexity of an initial
636         ramp, the frame length is very high, and it influences the second
637         segment of the piecewise regression strongly, causing it to be very
638         steep. As a result, the first segment, expected to be flat, ends up
639         covering a higher range of complexity. That makes the change point
640         much higher than it should be. To avoid this, we will add a sanity
641         check on the maximum value of the ramp. If the regression's projected
642         value at the maximum complexity of the current ramp is very slow (less
643         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
644         include the regression's change point in the change point estimator.
645         That estimator is used as the midpoint of the next ramp, and including
646         the change point from a poor regression can bake in the error. The
647         controller already knows how to adjust for ramps that are too easy for
648         the system.
649
650         * Animometer/resources/runner/animometer.js:
651         (this._processData.findRegression): Takes a preferred profile and gives that to
652         Regression.
653         (this._processData.calculateScore): With the ramp controller, take the profile
654         of the ramp that was used the most when calculating the ramp's regression. That
655         profile is what is used for the test's score.
656         * Animometer/resources/statistics.js:
657         (Regression.Utilities.createClass): Update to take an options object which can
658         specify a profile to calculate with. Otherwise it will continue to use both and
659         select the one with the lower error.
660         (_calculateRegression): Fix an issue where we claim 0 error if the regression
661         calculation fails due to divide-by-zero. Instead reject that regression calculation
662         by giving it Number.MAX_VALUE.
663         * Animometer/resources/strings.js: New strings for marking a regression as flat
664         or slope.
665         * Animometer/tests/resources/main.js:
666         (RampController): Rename the thresholds for clarity. Add a threshold that, if
667         exceeded, will lower the maximum complexity of the next ramp.
668         (tune): Relax the cdf check to consider whether the interval definitely falls in
669         the desired frame length threshold.
670         (processSamples): Include the profile in the ramp.
671
672         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
673         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
674
675         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
676         by default.
677         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
678         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
679         the order in which they appear in the patch:
680
681         - With a longer test length use longer ramps with longer intervals to get more data at each
682         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
683         spend more time there to find the right order of magnitude, but increase it during the
684         ramps to 120 ms.
685         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
686         never sample the minimum complexity. Instead of lerping max to min complexity from time
687         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
688         we can have at least one interval sample at the min complexity for that ramp.
689         - Some regression calculations only come out with one line segment rather than the two
690         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
691         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
692         we ensure that at least part of the ramp is covering a complexity range that the system can
693         handle at full 60.
694         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
695
696         Update the format used to serialize the results for analysis.
697
698         Each data point used to have named properties for fields like complexity and frame rate.
699         In addition the serialized numbers had rounding errors that took up many characters.
700         Update the format by introducing a new data container called SampleData, which contains a
701         field map. The map maps a string to an array index. Each data point is an array, so, to
702         get a stat, use the field map to get the array index into the data point. This allows future
703         versions to track other data, and reduces the size of the output string by two-thirds.
704
705         * Animometer/resources/extensions.js:
706         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
707         precision, and converts it back to a number.
708         (SampleData): New class that contains sample data and a field map that maps properties to
709         an array index.
710         (get length): Number of data points.
711         (addField): Add a field to the field map.
712         (push): Add a data point.
713         (sort): Sort the data.
714         (slice): Return new SampleData object with sliced data.
715         (forEach): Iterate over the data with provided function.
716         (createDatum):
717         (getFieldInDatum): Returns the data point associated with the field name by looking it up
718         in the field map in the datum provided, which can be the datum object itself (an array) or
719         an index into the data member variable.
720         (setFieldInDatum): Sets the data point associated with the field name.
721         (at): Returns the data point at the provided index.
722         (toArray): Serializes the data where the field map serves as property names for each point.
723
724         * Animometer/resources/debug-runner/graph.js:
725         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
726         graph to use, since the old format was much easier to work with when displaying the graphs.
727         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
728         * Animometer/resources/runner/animometer.css:
729         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
730         to only go to 3 digits of precision for purposes of reducing the data size.
731         * Animometer/resources/strings.js: Add new strings to put into the field maps.
732         * Animometer/tests/resources/main.js: Refactor to use SampleData.
733
734         * Animometer/developer.html:
735         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
736         tests.js include.
737         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
738         * Animometer/resources/debug-runner/graph.js:
739         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
740         controller, since not all controllers do bootstrapping.
741         * Animometer/resources/debug-runner/tests.js: Update header text.
742         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
743         * Animometer/resources/runner/animometer.js:
744         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
745         (ResultsTable._addBody): Add tbody element.
746         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
747         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
748         * Animometer/resources/runner/tests.js:
749         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
750         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
751         on either side of the bootstrap median.
752         * Animometer/resources/statistics.js:
753         (bootstrap): Include the confidence percentage in the return object.
754
755         Report canvas size in results.
756
757         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
758         canvas was used.
759         * Animometer/index.html: Ditto.
760         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
761         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
762         body class size.
763         * Animometer/resources/runner/animometer.js:
764         (window.benchmarkController.initialize): Update styles to set the canvas based on the
765         body class size.
766         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
767         class based on the size of the device.
768
769         * Animometer/developer.html: Refactor to include the main CSS file, and redo
770         the layout so that it doesn't rely on flexbox.
771         * Animometer/resources/debug-runner/animometer.css:
772         * Animometer/resources/debug-runner/animometer.js:
773         (updateDisplay): Since various parts of the script alter the body class, we can't
774         replace the className directly. Instead, remove all display-based values and then add
775         the one that was selected.
776         * Animometer/resources/debug-runner/graph.js:
777         (updateGraphData): To set the size of the graph, use window.innerHeight.
778         * Animometer/resources/runner/animometer.js:
779         (window.sectionsManager.showSection): Since various parts of the script alter the body
780         class, we can't replace the className directly. Remove all of the section classes
781         individually and then add the one desired.
782         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
783         stage.
784
785 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
786
787         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
788         https://bugs.webkit.org/show_bug.cgi?id=158674
789
790         Reviewed by Michael Saboff.
791         
792         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
793         Math.floor(x / 3) * 3 instead.
794         
795         This is a benign change, because having extra arguments to a Shuffle is not something we
796         actually take advantage of yet. But I think it's best to match the original C++ code's
797         intent.
798
799         * Air.js/custom.js:
800         (const.ShuffleCustom.forEachArg):
801
802 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
803
804         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
805
806         * Skipped:
807
808 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
809
810         Make it easy to package Air.js
811         https://bugs.webkit.org/show_bug.cgi?id=158652
812
813         Reviewed by Benjamin Poulain.
814         
815         If you want to give Air.js to someone, you can now do:
816         
817         cd PerformanceTests/Air.js
818         ./make_dist.sh
819         
820         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
821         the benchmark, just send either of those things and tell them to look at index.html.
822         
823         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
824         https://daringfireball.net/projects/markdown/
825
826         * Air.js/make_dist.sh: Added.
827         * Air.js/test.html:
828
829 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
830
831         Unreviewed, make the link to test.html into an actual link.
832
833         * Air.js/README.md:
834
835 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
836
837         Fix some text in Air.js/README.md
838         https://bugs.webkit.org/show_bug.cgi?id=158650
839
840         Reviewed by Benjamin Poulain.
841         
842         I read the text again and found bugs:
843         
844         - We never actually say how to run the benchmark. This change adds a blurb about how to run
845           it.
846
847         - We both say that allocateStack is responsible for the bulk of the running time and that
848           we haven't measured where the bulk of the time is spent. This changes the text to say that
849           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
850           not measure this.
851
852         * Air.js/README.md:
853
854 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
855
856         Air.js should have some documentation
857         https://bugs.webkit.org/show_bug.cgi?id=158648
858
859         Reviewed by Keith Miller.
860         
861         I want to be able to point people at a document if they want to know more about this
862         benchmark.
863
864         * Air.js/README.md: Added.
865
866 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
867
868         Rename JSAir to Air.js.
869
870         Rubber stamped by Mark Lam.
871
872         * Air.js: Copied from PerformanceTests/JSAir.
873         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
874         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
875         (Benchmark):
876         * Air.js/jsair-tests.yaml: Removed.
877         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
878         * Air.js/payload-jsair-ACLj8C.js: Removed.
879         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
880         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
881         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
882         * JSAir: Removed.
883         * JSAir/all.js: Removed.
884         * JSAir/allocate_stack.js: Removed.
885         * JSAir/arg.js: Removed.
886         * JSAir/basic_block.js: Removed.
887         * JSAir/benchmark.js: Removed.
888         * JSAir/code.js: Removed.
889         * JSAir/custom.js: Removed.
890         * JSAir/frequented_block.js: Removed.
891         * JSAir/insertion_set.js: Removed.
892         * JSAir/inst.js: Removed.
893         * JSAir/jsair-tests.yaml: Removed.
894         * JSAir/liveness.js: Removed.
895         * JSAir/opcode.js: Removed.
896         * JSAir/payload-gbemu-executeIteration.js: Removed.
897         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
898         * JSAir/payload-jsair-ACLj8C.js: Removed.
899         * JSAir/payload-typescript-scanIdentifier.js: Removed.
900         * JSAir/reg.js: Removed.
901         * JSAir/stack_slot.js: Removed.
902         * JSAir/stress-test.js: Removed.
903         * JSAir/strip-hash.rb: Removed.
904         * JSAir/symbols.js: Removed.
905         * JSAir/test.html: Removed.
906         * JSAir/test.js: Removed.
907         * JSAir/tmp.js: Removed.
908         * JSAir/tmp_base.js: Removed.
909         * JSAir/util.js: Removed.
910
911 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
912
913         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
914         https://bugs.webkit.org/show_bug.cgi?id=158571
915
916         Reviewed by Keith Miller.
917         
918         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
919         iterations and then tries to do any number of "bonus" iterations until it's been running for
920         two seconds. Since this is the sort of test that isn't really meant to stress anything in
921         particular, I think it's OK if it is time-limited in this way. The worst case is that some
922         of its failures will be flaky, but I think that they would have been flaky anyway given the
923         complexity of the test.
924
925         * JSAir/benchmark.js:
926         (Benchmark):
927         (Benchmark.prototype.runIteration):
928         (benchmark): Deleted.
929         * JSAir/jsair-tests.yaml:
930         * JSAir/stress-test.js: Added.
931         (preciseTime):
932         * JSAir/test.html:
933         * JSAir/test.js:
934
935 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
936
937         Unreviewed, teach the perf bots not to run JSAir.
938
939         * Skipped:
940
941 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
942
943         Use more ES6 features in JSAir
944         https://bugs.webkit.org/show_bug.cgi?id=158497
945
946         Reviewed by Keith Miller.
947         
948         This improves JSAir with the following ES6 features suggested by JoePeck:
949         
950         - String interpolation.
951         - Destructuring inside PatchCustom.
952         - Default arguments.
953         
954         All of these things are on hot paths.
955         
956         Note that I didn't use string interpolation everywhere that I could, only in those places
957         where it made the code more readable. In Ruby, I used the style that if the interpolation
958         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
959         strings) then it's better to use regular strcat. I think that's what I carried over to here.
960         
961         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
962         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
963         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
964         that function from being optimized then it will hurt so good.
965         
966         I also reenabled tail calls in a few places.
967         
968         This change doesn't seem to change the performance of the benchmark for us. That's expected
969         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
970         added in a separate change and that change did make the benchmark overall more expensive.
971
972         * JSAir/allocate_stack.js:
973         (allocateStack):
974         * JSAir/arg.js:
975         (Arg.createBitImm64):
976         (Arg.createAddr):
977         (Arg.createStack):
978         (Arg.logScale):
979         (Arg.createIndex):
980         * JSAir/basic_block.js:
981         (BasicBlock.get headerString):
982         (BasicBlock.prototype.get if):
983         (BasicBlock):
984         * JSAir/benchmark.js:
985         (benchmark):
986         * JSAir/code.js:
987         (Code):
988         (Code.prototype.addBlock):
989         (Code.prototype.addStackSlot):
990         (Code.prototype.newTmp):
991         (Code.prototype.get size):
992         (Code.prototype.get blocks):
993         (Code.prototype.get stackSlots):
994         (Code.prototype.tmps):
995         (Code.prototype.get callArgAreaSize):
996         (Code.prototype.toString):
997         * JSAir/custom.js:
998         (const.PatchCustom.forEachArg):
999         * JSAir/inst.js:
1000         (Inst):
1001         * JSAir/reg.js:
1002         (Reg.prototype.toString):
1003         * JSAir/util.js:
1004         (symbolName):
1005         (lowerSymbolName):
1006
1007 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1008
1009         Add result validation to JSAir
1010         https://bugs.webkit.org/show_bug.cgi?id=158493
1011
1012         Reviewed by Saam Barati.
1013         
1014         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
1015         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
1016         check the Code before and after allocateStack, and compare against hashes we got from C++.
1017         
1018         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
1019         allocating things correctly because I was concatting a Set to an Array, which doesn't really
1020         work. Now these bugs are fixed.
1021         
1022         The checking step adds to the running time so I reduced the number of iterations. The
1023         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
1024         total. This is probably OK. It's better to verify the results even if the running time is
1025         not all in the "core" of the algorithm.
1026         
1027         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
1028
1029         * JSAir/allocate_stack.js:
1030         * JSAir/arg.js:
1031         (Arg.createImm):
1032         (Arg.createBigImm):
1033         (Arg.createBitImm):
1034         (Arg.createBitImm64):
1035         (Arg.createWidth):
1036         (Arg.createSpecial):
1037         (Arg.prototype.get kind):
1038         (Arg.prototype.get isTmp):
1039         (Arg.prototype.get isImm):
1040         (Arg.prototype.get isSomeImm):
1041         (Arg.prototype.get isSomeBigImm):
1042         (Arg.prototype.get isCondition):
1043         (Arg.prototype.get isWidth):
1044         (Arg.prototype.get isSpecial):
1045         (Arg.prototype.get isAlive):
1046         (Arg.prototype.get tmp):
1047         (Arg.prototype.get value):
1048         (Arg.prototype.get lowValue):
1049         (Arg.prototype.get highValue):
1050         (Arg.prototype.get base):
1051         (Arg.prototype.get isGP):
1052         (Arg.prototype.get isFP):
1053         (Arg.prototype.isValidForm):
1054         (Arg.prototype.get isInvertible):
1055         (Arg.kindCode):
1056         (Arg.prototype.hash):
1057         (Arg.prototype.toString):
1058         (Arg):
1059         * JSAir/basic_block.js:
1060         (BasicBlock.get successorBlocks):
1061         * JSAir/benchmark.js:
1062         (benchmark):
1063         * JSAir/code.js:
1064         (Code.prototype.setFrameSize):
1065         (Code.prototype.hash):
1066         (Code.prototype.toString):
1067         (Code):
1068         * JSAir/inst.js:
1069         (Inst.prototype.get hasNonArgEffects):
1070         (Inst.prototype.hash):
1071         (Inst.prototype.toString):
1072         (Inst):
1073         * JSAir/jsair-tests.yaml: Added.
1074         * JSAir/opcode.js:
1075         (Inst_forEachArg):
1076         (Inst_hasNonArgEffects):
1077         (opcodeCode):
1078         * JSAir/payload-gbemu-executeIteration.js:
1079         (createPayloadGbemuExecuteIteration):
1080         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
1081         (createPayloadImagingGaussianBlurGaussianBlur):
1082         * JSAir/payload-jsair-ACLj8C.js:
1083         (createPayloadJSAirACLj8C):
1084         * JSAir/payload-typescript-scanIdentifier.js:
1085         (createPayloadTypescriptScanIdentifier):
1086         * JSAir/reg.js:
1087         (Reg.prototype.get isReg):
1088         (Reg.prototype.hash):
1089         (Reg.prototype.toString):
1090         * JSAir/stack_slot.js:
1091         (StackSlot.prototype.setOffsetFromFP):
1092         (StackSlot.prototype.hash):
1093         (StackSlot.prototype.toString):
1094         * JSAir/symbols.js:
1095         (relCondCode):
1096         (resCondCode):
1097         (doubleCondCode):
1098         * JSAir/test.html:
1099         * JSAir/tmp.js:
1100         (Tmp.prototype.get isReg):
1101         (Tmp.prototype.hash):
1102         (Tmp.prototype.toString):
1103         * JSAir/util.js:
1104         (roundUpToMultipleOf):
1105         (symbolName):
1106
1107 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1108
1109         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
1110         https://bugs.webkit.org/show_bug.cgi?id=158318
1111
1112         Reviewed by Saam Barati.
1113         
1114         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
1115         implementation of Air's allocateStack() phase along with all of Air needed to run that
1116         phase. This includes things like stack slots, registers, temporaries, basic blocks,
1117         instructions, and all of the code for iterating over, inspecting, and modifying those
1118         things.
1119         
1120         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
1121         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
1122         four Air IRs:
1123         
1124         - Octane/gbemu's largest function, executeIteration.
1125         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
1126         - Octane/typescript's largest function that is actually hot, scanIdentifier.
1127         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
1128         
1129         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
1130         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
1131         C++ Air::allocateStack() phase on which it is based.
1132         
1133         JSAir uses the following ES6 features:
1134         
1135         - Symbol.
1136         - for-of.
1137         - arrow functions.
1138         - Map/Set.
1139         - let/const.
1140         - classes.
1141         
1142         All of these things are used in anger and should end up on the hot path. There is also code
1143         that uses Proxies, but it ends up being dead.
1144         
1145         We can improve this even more:
1146         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
1147         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
1148         
1149         * JSAir: Added.
1150         * JSAir/all.js: Added.
1151         * JSAir/allocate_stack.js: Added.
1152         (allocateStack.attemptAssignment):
1153         (allocateStack.assign):
1154         (allocateStack.interfere):
1155         (allocateStack.):
1156         (allocateStack):
1157         * JSAir/arg.js: Added.
1158         (Arg):
1159         (Arg.isAnyUse):
1160         (Arg.isColdUse):
1161         (Arg.isWarmUse):
1162         (Arg.cooled):
1163         (Arg.isEarlyUse):
1164         (Arg.isLateUse):
1165         (Arg.isAnyDef):
1166         (Arg.isEarlyDef):
1167         (Arg.isLateDef):
1168         (Arg.isZDef):
1169         (Arg.typeForB3Type):
1170         (Arg.widthForB3Type):
1171         (Arg.conservativeWidth):
1172         (Arg.minimumWidth):
1173         (Arg.bytes):
1174         (Arg.widthForBytes):
1175         (Arg.createTmp):
1176         (Arg.fromReg):
1177         (Arg.createImm):
1178         (Arg.createBigImm):
1179         (Arg.createBitImm):
1180         (Arg.createBitImm64):
1181         (Arg.createAddr):
1182         (Arg.createStack):
1183         (Arg.createCallArg):
1184         (Arg.createStackAddr):
1185         (Arg.isValidScale):
1186         (Arg.logScale):
1187         (Arg.createIndex):
1188         (Arg.createRelCond):
1189         (Arg.createResCond):
1190         (Arg.createDoubleCond):
1191         (Arg.createWidth):
1192         (Arg.prototype.get kind):
1193         (Arg.prototype.get isTmp):
1194         (Arg.prototype.get isImm):
1195         (Arg.prototype.get isBigImm):
1196         (Arg.prototype.get isBitImm):
1197         (Arg.prototype.get isBitImm64):
1198         (Arg.prototype.get isSomeImm):
1199         (Arg.prototype.get isAddr):
1200         (Arg.prototype.get isStack):
1201         (Arg.prototype.get isCallArg):
1202         (Arg.prototype.get isIndex):
1203         (Arg.prototype.get isMemory):
1204         (Arg.prototype.get isStackMemory):
1205         (Arg.prototype.get isRelCond):
1206         (Arg.prototype.get isResCond):
1207         (Arg.prototype.get isDoubleCond):
1208         (Arg.prototype.get isCondition):
1209         (Arg.prototype.get isWidth):
1210         (Arg.prototype.get isAlive):
1211         (Arg.prototype.get tmp):
1212         (Arg.prototype.get value):
1213         (Arg.prototype.get base):
1214         (Arg.prototype.get hasOffset):
1215         (Arg.prototype.get offset):
1216         (Arg.prototype.get stackSlot):
1217         (Arg.prototype.get index):
1218         (Arg.prototype.get scale):
1219         (Arg.prototype.get logScale):
1220         (Arg.prototype.get width):
1221         (Arg.prototype.get isGPTmp):
1222         (Arg.prototype.get isFPTmp):
1223         (Arg.prototype.get isGP):
1224         (Arg.prototype.get isFP):
1225         (Arg.prototype.get hasType):
1226         (Arg.prototype.get type):
1227         (Arg.prototype.isType):
1228         (Arg.prototype.isCompatibleType):
1229         (Arg.prototype.get isGPR):
1230         (Arg.prototype.get gpr):
1231         (Arg.prototype.get isFPR):
1232         (Arg.prototype.get fpr):
1233         (Arg.prototype.get isReg):
1234         (Arg.prototype.get reg):
1235         (Arg.isValidImmForm):
1236         (Arg.isValidBitImmForm):
1237         (Arg.isValidBitImm64Form):
1238         (Arg.isValidAddrForm):
1239         (Arg.isValidIndexForm):
1240         (Arg.prototype.isValidForm):
1241         (Arg.prototype.forEachTmpFast):
1242         (Arg.prototype.usesTmp):
1243         (Arg.prototype.forEachTmp):
1244         (Arg.prototype.is):
1245         (Arg.prototype.as):
1246         (Arg.prototype.forEachFast):
1247         (Arg.prototype.forEach):
1248         (Arg.extract):
1249         (Arg.forEachFast):
1250         (Arg.forEach):
1251         (Arg.prototype.get condition):
1252         (Arg.prototype.get isInvertible):
1253         (Arg.prototype.toString):
1254         * JSAir/basic_block.js: Added.
1255         (BasicBlock):
1256         (BasicBlock.prototype.get index):
1257         (BasicBlock.prototype.get size):
1258         (BasicBlock.prototype.Symbol.iterator):
1259         (BasicBlock.prototype.at):
1260         (BasicBlock.get last):
1261         (BasicBlock.get insts):
1262         (BasicBlock.get numSuccessors):
1263         (BasicBlock.get successors):
1264         (BasicBlock.get successorBlocks.):
1265         (BasicBlock.get successorBlocks):
1266         (BasicBlock.set get numPredecessors):
1267         (BasicBlock.get predecessors):
1268         (BasicBlock.get frequency):
1269         (BasicBlock.get headerString):
1270         (BasicBlock.get footerString):
1271         * JSAir/benchmark.js: Added.
1272         (benchmark):
1273         * JSAir/code.js: Added.
1274         (Code):
1275         (Code.prototype.addBlock):
1276         (Code.prototype.addStackSlot):
1277         (Code.prototype.newTmp):
1278         (Code.prototype.get size):
1279         (Code.prototype.at):
1280         (Code.prototype.Symbol.iterator):
1281         (Code.prototype.get blocks):
1282         (Code.prototype.get stackSlots):
1283         (Code.prototype.tmps):
1284         (Code.prototype.get callArgAreaSize):
1285         (Code.prototype.requestCallArgAreaSize):
1286         (Code.prototype.get frameSize):
1287         (Code.prototype.setFrameSize):
1288         (Code.prototype.toString):
1289         * JSAir/custom.js: Added.
1290         (const.ShuffleCustom.forEachArg):
1291         (const.ShuffleCustom.hasNonArgNonControlEffects):
1292         (const.PatchCustom.forEachArg):
1293         (const.PatchCustom.hasNonArgNonControlEffects):
1294         (const.CCallCustom.forEachArg):
1295         (const.CCallCustom.hasNonArgNonControlEffects):
1296         (const.ColdCCallCustom.forEachArg):
1297         (const.ColdCCallCustom.hasNonArgNonControlEffects):
1298         * JSAir/frequented_block.js: Added.
1299         (FrequentedBlock):
1300         (FrequentedBlock.prototype.toString):
1301         * JSAir/insertion_set.js: Added.
1302         (Insertion):
1303         (Insertion.prototype.get index):
1304         (Insertion.prototype.get element):
1305         (Insertion.prototype.lessThan):
1306         (InsertionSet):
1307         (InsertionSet.prototype.appendInsertion):
1308         (InsertionSet.prototype.append):
1309         (InsertionSet.prototype.execute):
1310         * JSAir/inst.js: Added.
1311         (Inst):
1312         (Inst.prototype.append):
1313         (Inst.prototype.clear):
1314         (Inst.prototype.get opcode):
1315         (Inst.prototype.get args):
1316         (Inst.prototype.visitArg):
1317         (Inst.prototype.forEachTmpFast):
1318         (Inst.prototype.forEachArg):
1319         (Inst.prototype.forEachTmp):
1320         (Inst.prototype.forEach):
1321         (Inst.forEachDef):
1322         (Inst.forEachDefWithExtraClobberedRegs):
1323         (Inst.prototype.get hasNonArgEffects):
1324         (Inst.prototype.toString):
1325         * JSAir/liveness.js: Added.
1326         (Liveness):
1327         (Liveness.prototype.get thing):
1328         (Liveness.prototype.get code):
1329         (Liveness.prototype.get liveAtHead):
1330         (Liveness.prototype.get liveAtTail):
1331         (Liveness.prototype.localCalc.LocalCalc):
1332         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
1333         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
1334         (Liveness.prototype.localCalc):
1335         * JSAir/opcode.js: Added.
1336         (Inst_forEachArg):
1337         (Inst_hasNonArgEffects):
1338         * JSAir/payload-gbemu-executeIteration.js: Added.
1339         (createPayloadGbemuExecuteIteration):
1340         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
1341         (createPayloadImagingGaussianBlurGaussianBlur):
1342         * JSAir/payload-jsair-ACLj8C.js: Added.
1343         (createPayloadJSAirACLj8C):
1344         * JSAir/payload-typescript-scanIdentifier.js: Added.
1345         (createPayloadTypescriptScanIdentifier):
1346         * JSAir/reg.js: Added.
1347         (Reg):
1348         (Reg.fromReg):
1349         (Reg.prototype.get index):
1350         (Reg.prototype.get type):
1351         (Reg.prototype.get name):
1352         (Reg.prototype.get isCalleeSave):
1353         (Reg.prototype.get isReg):
1354         (Reg.prototype.toString):
1355         (Reg.extract):
1356         (Reg.forEachFast):
1357         (Reg.forEach):
1358         (newGPR):
1359         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
1360         * JSAir/stack_slot.js: Added.
1361         (StackSlot):
1362         (StackSlot.prototype.get byteSize):
1363         (StackSlot.prototype.get kind):
1364         (StackSlot.prototype.get isLocked):
1365         (StackSlot.prototype.get isSpill):
1366         (StackSlot.prototype.get index):
1367         (StackSlot.prototype.ensureSize):
1368         (StackSlot.prototype.get alignment):
1369         (StackSlot.prototype.get offsetFromFP):
1370         (StackSlot.prototype.setOffsetFromFP):
1371         (StackSlot.prototype.toString):
1372         (StackSlot.extract):
1373         (StackSlot.forEachFast):
1374         (StackSlot.forEach):
1375         * JSAir/symbols.js: Added.
1376         * JSAir/test.html: Added.
1377         * JSAir/test.js: Added.
1378         * JSAir/tmp.js: Added.
1379         (Tmp):
1380         (Tmp.fromReg):
1381         (Tmp.prototype.get index):
1382         (Tmp.prototype.get type):
1383         (Tmp.prototype.get isReg):
1384         (Tmp.prototype.toString):
1385         (Tmp.extract):
1386         (Tmp.forEachFast):
1387         (Tmp.forEach):
1388         * JSAir/tmp_base.js: Added.
1389         (TmpBase.prototype.get isGP):
1390         (TmpBase.prototype.get isFP):
1391         (TmpBase.prototype.get isGPR):
1392         (TmpBase.prototype.get isFPR):
1393         (TmpBase.prototype.get reg):
1394         (TmpBase.prototype.get gpr):
1395         (TmpBase.prototype.get fpr):
1396         (TmpBase):
1397         * JSAir/util.js: Added.
1398         (isRepresentableAsInt32):
1399         (addIndexed):
1400         (roundUpToMultipleOf):
1401         (symbolName):
1402         (mergeIntoSet):
1403         (nonEmptyRangesOverlap):
1404         (rangesOverlap):
1405         (removeAllMatching):
1406         (swap):
1407         (bubble):
1408         (bubbleSort):
1409         (currentTime):
1410         (else.currentTime):
1411
1412 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1413
1414         [JSC] Allow JSBench to use precise time
1415         https://bugs.webkit.org/show_bug.cgi?id=158050
1416
1417         Reviewed by Geoffrey Garen.
1418
1419         * JSBench/amazon-chrome-win/urem.js:
1420         (else.window.performance.window.performance.now.currentTimeInMS):
1421         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1422         (else.else.currentTimeInMS):
1423         (onload.cb):
1424         (onload):
1425         * JSBench/amazon-chrome/urem.js:
1426         (else.window.performance.window.performance.now.currentTimeInMS):
1427         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1428         (else.else.currentTimeInMS):
1429         (onload.cb):
1430         (onload):
1431         * JSBench/amazon-firefox-win/urm.js:
1432         (else.window.performance.window.performance.now.currentTimeInMS):
1433         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1434         (else.else.currentTimeInMS):
1435         (onload.cb):
1436         (onload):
1437         * JSBench/amazon-firefox/urm.js:
1438         (else.window.performance.window.performance.now.currentTimeInMS):
1439         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1440         (else.else.currentTimeInMS):
1441         (onload.cb):
1442         (onload):
1443         * JSBench/amazon-safari/urem.js:
1444         (else.window.performance.window.performance.now.currentTimeInMS):
1445         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1446         (else.else.currentTimeInMS):
1447         (onload.cb):
1448         (onload):
1449         * JSBench/facebook-chrome-win/urem.js:
1450         (else.window.performance.window.performance.now.currentTimeInMS):
1451         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1452         (else.else.currentTimeInMS):
1453         (onload.cb):
1454         (onload):
1455         * JSBench/facebook-chrome/urem.js:
1456         (else.window.performance.window.performance.now.currentTimeInMS):
1457         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1458         (else.else.currentTimeInMS):
1459         (onload.cb):
1460         (onload):
1461         * JSBench/facebook-firefox-win/urem.js:
1462         (else.window.performance.window.performance.now.currentTimeInMS):
1463         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1464         (else.else.currentTimeInMS):
1465         (onload.cb):
1466         (onload):
1467         * JSBench/facebook-firefox/urem.js:
1468         (else.window.performance.window.performance.now.currentTimeInMS):
1469         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1470         (else.else.currentTimeInMS):
1471         (onload.cb):
1472         (onload):
1473         * JSBench/facebook-safari/urem.js:
1474         (else.window.performance.window.performance.now.currentTimeInMS):
1475         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1476         (else.else.currentTimeInMS):
1477         (onload.cb):
1478         (onload):
1479         * JSBench/google-chrome-win/urem.js:
1480         (else.window.performance.window.performance.now.currentTimeInMS):
1481         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1482         (else.else.currentTimeInMS):
1483         (onload.cb):
1484         (onload):
1485         * JSBench/google-chrome/urem.js:
1486         (else.window.performance.window.performance.now.currentTimeInMS):
1487         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1488         (else.else.currentTimeInMS):
1489         (onload.cb):
1490         (onload):
1491         * JSBench/google-firefox-win/urem.js:
1492         (else.window.performance.window.performance.now.currentTimeInMS):
1493         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1494         (else.else.currentTimeInMS):
1495         (onload.cb):
1496         (onload):
1497         * JSBench/google-firefox/uem.js:
1498         (else.window.performance.window.performance.now.currentTimeInMS):
1499         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1500         (else.else.currentTimeInMS):
1501         (onload.cb):
1502         (onload):
1503         * JSBench/google-safari/urem.js:
1504         (else.window.performance.window.performance.now.currentTimeInMS):
1505         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1506         (else.else.currentTimeInMS):
1507         (onload.cb):
1508         (onload):
1509         * JSBench/harness.js:
1510         (runBenchmark.window.currentTimeInMS):
1511         (runBenchmark.else.window.currentTimeInMS):
1512         * JSBench/twitter-chrome-win/rem.js:
1513         (else.window.performance.window.performance.now.currentTimeInMS):
1514         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1515         (else.else.currentTimeInMS):
1516         (onload.cb):
1517         (onload):
1518         * JSBench/twitter-chrome/urem.js:
1519         (else.window.performance.window.performance.now.currentTimeInMS):
1520         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1521         (else.else.currentTimeInMS):
1522         (onload.cb):
1523         (onload):
1524         * JSBench/twitter-firefox-win/urem.js:
1525         (else.window.performance.window.performance.now.currentTimeInMS):
1526         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1527         (else.else.currentTimeInMS):
1528         (onload.cb):
1529         (onload):
1530         * JSBench/twitter-firefox/urem.js:
1531         (else.window.performance.window.performance.now.currentTimeInMS):
1532         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1533         (else.else.currentTimeInMS):
1534         (onload.cb):
1535         (onload):
1536         * JSBench/twitter-safari/urem.js:
1537         (else.window.performance.window.performance.now.currentTimeInMS):
1538         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1539         (else.else.currentTimeInMS):
1540         (onload.cb):
1541         (onload):
1542         * JSBench/yahoo-chrome-win/urem.js:
1543         (else.window.performance.window.performance.now.currentTimeInMS):
1544         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1545         (else.else.currentTimeInMS):
1546         (onload.cb):
1547         (onload):
1548         * JSBench/yahoo-chrome/urem.js:
1549         (else.window.performance.window.performance.now.currentTimeInMS):
1550         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1551         (else.else.currentTimeInMS):
1552         (onload.cb):
1553         (onload):
1554         * JSBench/yahoo-firefox-win/urem.js:
1555         (else.window.performance.window.performance.now.currentTimeInMS):
1556         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1557         (else.else.currentTimeInMS):
1558         (onload.cb):
1559         (onload):
1560         * JSBench/yahoo-firefox/urem.js:
1561         (else.window.performance.window.performance.now.currentTimeInMS):
1562         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1563         (else.else.currentTimeInMS):
1564         (onload.cb):
1565         (onload):
1566         * JSBench/yahoo-safari/urem.js:
1567         (else.window.performance.window.performance.now.currentTimeInMS):
1568         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1569         (else.else.currentTimeInMS):
1570         (onload.cb):
1571         (onload):
1572
1573 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1574
1575         replaceable own properties seem to ignore replacement after property caching
1576         https://bugs.webkit.org/show_bug.cgi?id=158091
1577
1578         Reviewed by Darin Adler.
1579
1580         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1581         * MallocBench/MallocBench/Benchmark.cpp:
1582         * MallocBench/MallocBench/Interpreter.cpp:
1583         (Interpreter::doMallocOp):
1584         * MallocBench/MallocBench/Interpreter.h:
1585         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1586         * MallocBench/MallocBench/jetstream.cpp: Added.
1587         (benchmark_jetstream):
1588         * MallocBench/MallocBench/jetstream.h: Added.
1589
1590 2016-05-25  Keith Miller  <keith_miller@apple.com>
1591
1592         Unreviewed, add JSBench to the skipped list for now since it doesn't
1593         work currently.
1594
1595         * Skipped:
1596
1597 2016-05-17  Keith Miller  <keith_miller@apple.com>
1598         We should have JSBench in PerformanceTests
1599         https://bugs.webkit.org/show_bug.cgi?id=157952
1600
1601         Rubber-stamped by Saam Barati.
1602
1603         There are some slight changes to the layout of the test directory
1604         to make it work nicely with run-jsc-benchmarks. Before JSBench
1605         had each of the browser specific sub-tests in a sub-directory.
1606         These have been flattened e.g. amazon/safari/ has become
1607         amazon-safari/.
1608
1609         * JSBench/amazon-chrome-win/urem.html: Added.
1610         * JSBench/amazon-chrome-win/urem.js: Added.
1611         * JSBench/amazon-chrome/urem.html: Added.
1612         * JSBench/amazon-chrome/urem.js: Added.
1613         * JSBench/amazon-firefox-win/urm.html: Added.
1614         * JSBench/amazon-firefox-win/urm.js: Added.
1615         * JSBench/amazon-firefox/urm.html: Added.
1616         * JSBench/amazon-firefox/urm.js: Added.
1617         * JSBench/amazon-safari/urem.html: Added.
1618         * JSBench/amazon-safari/urem.js: Added.
1619         * JSBench/browsercheck.js: Added.
1620         * JSBench/facebook-chrome-win/urem.html: Added.
1621         * JSBench/facebook-chrome-win/urem.js: Added.
1622         * JSBench/facebook-chrome/urem.html: Added.
1623         * JSBench/facebook-chrome/urem.js: Added.
1624         * JSBench/facebook-firefox-win/urem.html: Added.
1625         * JSBench/facebook-firefox-win/urem.js: Added.
1626         * JSBench/facebook-firefox/urem.html: Added.
1627         * JSBench/facebook-firefox/urem.js: Added.
1628         * JSBench/facebook-safari/urem.html: Added.
1629         * JSBench/facebook-safari/urem.js: Added.
1630         * JSBench/google-chrome-win/urem.html: Added.
1631         * JSBench/google-chrome-win/urem.js: Added.
1632         * JSBench/google-chrome/urem.html: Added.
1633         * JSBench/google-chrome/urem.js: Added.
1634         * JSBench/google-firefox-win/urem.html: Added.
1635         * JSBench/google-firefox-win/urem.js: Added.
1636         * JSBench/google-firefox/uem.html: Added.
1637         * JSBench/google-firefox/uem.js: Added.
1638         * JSBench/google-safari/urem.html: Added.
1639         * JSBench/google-safari/urem.js: Added.
1640         * JSBench/harness.html: Added.
1641         * JSBench/harness.js: Added.
1642         * JSBench/harness.py: Added.
1643         * JSBench/index.html: Added.
1644         * JSBench/reload.html: Added.
1645         * JSBench/twitter-chrome-win/rem.html: Added.
1646         * JSBench/twitter-chrome-win/rem.js: Added.
1647         * JSBench/twitter-chrome/urem.html: Added.
1648         * JSBench/twitter-chrome/urem.js: Added.
1649         * JSBench/twitter-firefox-win/urem.html: Added.
1650         * JSBench/twitter-firefox-win/urem.js: Added.
1651         * JSBench/twitter-firefox/urem.html: Added.
1652         * JSBench/twitter-firefox/urem.js: Added.
1653         * JSBench/twitter-safari/urem.html: Added.
1654         * JSBench/twitter-safari/urem.js: Added.
1655         * JSBench/yahoo-chrome-win/urem.html: Added.
1656         * JSBench/yahoo-chrome-win/urem.js: Added.
1657         * JSBench/yahoo-chrome/urem.html: Added.
1658         * JSBench/yahoo-chrome/urem.js: Added.
1659         * JSBench/yahoo-firefox-win/urem.html: Added.
1660         * JSBench/yahoo-firefox-win/urem.js: Added.
1661         * JSBench/yahoo-firefox/urem.html: Added.
1662         * JSBench/yahoo-firefox/urem.js: Added.
1663         * JSBench/yahoo-safari/urem.html: Added.
1664         * JSBench/yahoo-safari/urem.js: Added.
1665
1666 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1667
1668         run-benchmark's results should contain Animometer's debug output
1669         https://bugs.webkit.org/show_bug.cgi?id=157941
1670
1671         Reviewed by Stephanie Lewis.
1672
1673         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1674
1675         * Animometer/resources/debug-runner/animometer.js:
1676         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1677
1678 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1679
1680         Make Animometer work in all browsers
1681         https://bugs.webkit.org/show_bug.cgi?id=157855
1682         rdar://problem/26338521
1683
1684         Reviewed by Jon Lee.
1685
1686         * Animometer/resources/runner/logo.svg: Use a symbol instead
1687         of putting the id on the root svg. This works in all browsers.
1688
1689 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1690
1691         Update Animometer design
1692         https://bugs.webkit.org/show_bug.cgi?id=157449
1693
1694         Reviewed by Darin Adler.
1695
1696         * Animometer/developer.html: Stop including runner/animometer.css.
1697         * Animometer/index.html: Udpated elements to fit new styles.
1698
1699         * Animometer/resources/debug-runner/animometer.css:
1700         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1701
1702         * Animometer/resources/runner/animometer.css:
1703         New styles for the design. Drop flex box for broad browser support.
1704
1705         * Animometer/resources/runner/animometer.js:
1706         (ResultsTable.clear): Use textContent.
1707         (window.sectionsManager.showSection): Add class to the body.
1708         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1709
1710         * Animometer/resources/runner/crystal.svg: Added.
1711         * Animometer/resources/runner/lines.svg: Added.
1712         * Animometer/resources/runner/logo.svg: Added.
1713
1714         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1715
1716 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1717
1718         [css-grid] Unprefix CSS Grid Layout properties
1719         https://bugs.webkit.org/show_bug.cgi?id=157137
1720
1721         Reviewed by Simon Fraser.
1722
1723         Remove "-webkit" prefix from all the grid layout properties,
1724         including the display value.
1725         Update the source code to remove the prefix where it was used too.
1726
1727         * Layout/auto-grid-lots-of-data.html:
1728         * Layout/fixed-grid-lots-of-data.html:
1729         * Layout/fixed-grid-lots-of-stretched-data.html:
1730
1731 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1732
1733         bmalloc: Misc improvements to MallocBench
1734         https://bugs.webkit.org/show_bug.cgi?id=157004
1735
1736         Reviewed by Darin Adler.
1737
1738         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1739         modes for focused memory testing.
1740
1741         * MallocBench/MallocBench/Benchmark.cpp:
1742         (Benchmark::printReport): Clarified output.
1743
1744         (Benchmark::currentMemoryBytes): Added compressed memory because top
1745         does the same. (It always happens to zero in the benchmarks we run. But
1746         this is good for sanity.)
1747
1748         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1749         variance.
1750
1751         * MallocBench/MallocBench/alloc_free.cpp:
1752         (benchmark_alloc_free): Cycle a single allocation in order to stress
1753         the effect of merging on calls to madvise.
1754
1755         * MallocBench/MallocBench/big.cpp:
1756         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1757         our large allocator doesn't kick in until 64kB.
1758
1759         * MallocBench/MallocBench/medium.cpp:
1760         (benchmark_medium): Test all the way down to 1kB because our large
1761         allocator used to service 1kB allocations and 1kB is an interesting
1762         middle size where memory is unusually large but allocation throughput
1763         still matters.
1764
1765         * MallocBench/MallocBench/stress.cpp:
1766         (benchmark_stress): Reduced the churn count to match stress_aligned
1767         because this test was taking too long to complete.
1768
1769         * MallocBench/MallocBench/stress_aligned.cpp:
1770         (benchmark_stress_aligned): Our new large allocator can handle even
1771         more absurdly large values.
1772
1773 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1774
1775         Add a content animation test that uses SVG animation.
1776         https://bugs.webkit.org/show_bug.cgi?id=156827
1777
1778         * Animation/svg-animation.html: Added.
1779         * Skipped:
1780
1781 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1782
1783         Skip two content animation tests which are only meant for iOS testing.
1784
1785         * Animation/css-animation.html: Added.
1786         * Animation/raf-animation.html: Added.
1787
1788         * Skipped:
1789
1790 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1791
1792         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1793         https://bugs.webkit.org/show_bug.cgi?id=156827
1794
1795         Add two files missing from the previous commit.
1796
1797         * Animation/css-animation.html: Added.
1798         * Animation/raf-animation.html: Added.
1799
1800 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1801
1802         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1803         https://bugs.webkit.org/show_bug.cgi?id=156827
1804
1805         Reviewed by Stephanie Lewis.
1806
1807         Two new files for the content-animation suite.
1808
1809         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1810         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1811         result with a placeholder for framerate, which is collected in native code.
1812
1813         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1814         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1815         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1816         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1817         complete.
1818
1819         * Animation/css-animation.html: Added.
1820         * Animation/raf-animation.html: Added.
1821
1822 2016-04-15  Jon Lee  <jonlee@apple.com>
1823
1824         Animometer test could report a NaN
1825         https://bugs.webkit.org/show_bug.cgi?id=156646
1826
1827         Reviewed by Darin Adler.
1828         Provisionally reviewed by Said Abou-Hallawa.
1829
1830         * Animometer/tests/resources/main.js:
1831         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1832         reacts based on how well the system handles the load. The assumption was that it would handle at least
1833         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1834         end up setting an upper bound of NaN.
1835
1836         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1837         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1838         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1839         1 particle, set it to currentComplexity.
1840
1841 2016-04-09  Jon Lee  <jonlee@apple.com>
1842
1843         Update Animometer to accommodate different screens
1844         https://bugs.webkit.org/show_bug.cgi?id=156449
1845
1846         Reviewed by Darin Adler.
1847         Provisionally reviewed by Said Abou-Hallawa.
1848
1849         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1850         * Animometer/resources/debug-runner/animometer.css:
1851         (@media screen and (min-device-width: 1800px)): Deleted.
1852         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1853         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1854         and height with orientation change.
1855         * Animometer/resources/runner/animometer.css: Similar.
1856         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1857         (screen and (max-device-height: 414px) and (orientation: landscape)):
1858         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1859         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1860         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1861         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1862         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1863         (#results footer): Add padding below the button for testing again.
1864         * Animometer/tests/master/multiply.html: Remove the center text.
1865         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1866         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1867
1868 2016-04-08  Jon Lee  <jonlee@apple.com>
1869
1870         Have Animometer benchmark always start with complexity of 1
1871         https://bugs.webkit.org/show_bug.cgi?id=156432
1872
1873         Reviewed by Ryosuke Niwa.
1874
1875         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1876         set its minimum complexities to 1 instead of 0.
1877
1878 2016-04-08  Jon Lee  <jonlee@apple.com>
1879
1880         Fix SVG benchmark test
1881         https://bugs.webkit.org/show_bug.cgi?id=156410
1882
1883         Reviewed by Dean Jackson.
1884
1885         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1886         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1887         (Stage.call._setupTiles): Refactor.
1888         * Animometer/tests/master/resources/particles.js:
1889         (Particle.prototype.reset): Use Point.center.
1890         (complexity): We are not using a gradient background anymore, so remove the +1.
1891         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1892         instead of CSS transform.
1893
1894 2016-04-06  Jon Lee  <jonlee@apple.com>
1895
1896         Update master benchmark with SVG test
1897         https://bugs.webkit.org/show_bug.cgi?id=156273
1898
1899         Reviewed by Dean Jackson.
1900         Provisionally reviewed by Said Abou-Hallawa.
1901
1902         Switch masks tests for SVG path test.
1903
1904         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1905         * Animometer/resources/runner/tests.js: Add SVG test here.
1906         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1907         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1908
1909         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1910         partially obscured.
1911         * Animometer/tests/master/resources/svg-particles.js: Added.
1912         (Particle): The particle is either a path object or a rect using a path as a clip. The
1913         same path is used either way. For each particle create a linear gradient with a random
1914         rotation.
1915         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1916         This makes the test more generic in case other shapes need to be tested.
1917         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1918         particle's gradient, and one that holds the shape templates.
1919
1920 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1921
1922         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1923         https://bugs.webkit.org/show_bug.cgi?id=148470 
1924
1925         Reviewed by Darin Adler.
1926
1927         * Skipped: Unskip the Bindings/event-target-wrapper test.
1928
1929 2016-03-23  Jon Lee  <jonlee@apple.com>
1930
1931         Update focus and leaves tests
1932         https://bugs.webkit.org/show_bug.cgi?id=155825
1933
1934         Reviewed by Simon Fraser.
1935
1936         Particles would improperly disappear, before they were fully off stage. Update the calculation.
1937         * Animometer/tests/dom/resources/leaves.js:
1938         * Animometer/tests/master/resources/leaves.js:
1939
1940         * Animometer/tests/master/focus.html: Update the center element styling.
1941         * Animometer/tests/master/resources/focus.js:
1942         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
1943         to spread. It should be about 3x more space than the blur radius on each side.
1944         (Stage.call.initialize): Ditto for the center element.
1945
1946 2016-03-23  Jon Lee  <jonlee@apple.com>
1947
1948         Update support for other platforms
1949         https://bugs.webkit.org/show_bug.cgi?id=155824
1950
1951         Reviewed by Simon Fraser.
1952
1953         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
1954         be handled in the release stylesheet.
1955         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
1956         when retrieving radio elements with a name, instead of the selected value.
1957         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
1958         (.frame-container): Move overflow:hidden to #stage.
1959         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
1960         * Animometer/tests/resources/stage.css:
1961         (body): Remove overflow:hidden.
1962         (#stage): Set overflow:hidden here.
1963         (#center-text): Moved from master/resources/stage.css.
1964
1965         Update stylesheet hrefs.
1966         * Animometer/tests/master/canvas-stage.html:
1967         * Animometer/tests/master/focus.html:
1968         * Animometer/tests/master/leaves.html:
1969         * Animometer/tests/master/multiply.html:
1970         * Animometer/tests/master/particles.html:
1971         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
1972
1973 2016-03-23  Jon Lee  <jonlee@apple.com>
1974
1975         Make the benchmark require device to be in landscape orientation
1976         https://bugs.webkit.org/show_bug.cgi?id=155822
1977         rdar://problem/25258650
1978
1979         Reviewed by Ryosuke Niwa.
1980
1981         Check that the device is in landscape orientation. If not, disable the button to start it,
1982         and show a warning message.
1983
1984         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
1985         warning message that appears if the orientation is incorrect on mobile devices.
1986         * Animometer/index.html: Ditto.
1987
1988         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
1989         stylesheet. Update the style to accommodate the new UI.
1990         * Animometer/resources/runner/animometer.css:
1991
1992         * Animometer/resources/runner/animometer.js:
1993         (window.benchmarkController.initialize): Add the orientation listener is needed.
1994         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
1995         to see for support of window.orientation.
1996         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
1997         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
1998         (window.benchmarkController.updateStartButtonState):
1999         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
2000         a boolean about whether at least one test is selected. That will be used in
2001         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
2002         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
2003         that at least one test is selected.
2004
2005 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
2006
2007         MallocBench: consolidate regression testing for aligned allocation
2008         https://bugs.webkit.org/show_bug.cgi?id=155762
2009
2010         Reviewed by Michael Saboff.
2011
2012         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2013         * MallocBench/MallocBench/Benchmark.cpp:
2014         * MallocBench/MallocBench/memalign.cpp: Removed.
2015         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
2016         covers this and much more.
2017
2018         * MallocBench/MallocBench/stress_aligned.cpp:
2019         (benchmark_stress_aligned): Include specific tests for extreme sizes
2020         and alignments.
2021
2022 2016-03-21  Jon Lee  <jonlee@apple.com>
2023
2024         Update benchmark tests
2025         https://bugs.webkit.org/show_bug.cgi?id=155723
2026
2027         Reviewed by Darin Adler.
2028         Provisionally reviewed by Said Abou-Hallawa.
2029
2030         Add quadratic and bezier segments to the canvas path test.
2031
2032         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
2033         Rename the test.
2034         * Animometer/tests/master/resources/canvas-stage.js:
2035         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
2036         * Animometer/tests/master/resources/canvas-tests.js:
2037         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
2038         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
2039         class definition.
2040         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
2041         canvas are not cut off when the stroke size is thick.
2042         (CanvasQuadraticSegment): Added.
2043         (CanvasBezierSegment): Added.
2044         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
2045         are short compared to the curved ones, make it twice as likely to render a line segment.
2046         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
2047
2048         Add a helper method that selects a random element from an array.
2049
2050         * Animometer/tests/resources/main.js:
2051         (Stage.randomElementInArray): Select a random element from the provided array.
2052
2053         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
2054         * Animometer/tests/dom/resources/leaves.js: Ditto.
2055         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2056         * Animometer/tests/master/resources/image-data.js: Ditto.
2057         * Animometer/tests/master/resources/leaves.js: Ditto.
2058         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
2059
2060         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
2061         include the full simple canvas suite for perf testing.
2062
2063         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
2064         suite.
2065         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
2066         that random selects an object to render.
2067
2068         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
2069         When updating the perf bot script, we will include the suites up to this one, but exclude
2070         the basic canvas suite.
2071
2072         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
2073
2074         * Animometer/resources/debug-runner/tests.js:
2075         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
2076         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
2077
2078         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
2079         canvas tests.
2080
2081         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
2082         * Animometer/tests/misc/canvas-electrons.html: Removed.
2083         * Animometer/tests/misc/canvas-stars.html: Removed.
2084         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
2085         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
2086         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
2087
2088         Merge text tests together into one.
2089
2090         * Animometer/resources/runner/tests.js: Remove international.html.
2091         * Animometer/tests/master/international.html: Removed.
2092         * Animometer/tests/master/resources/text.js:
2093         (animate): Update styling. Manually calculate gradients for the shadow particles.
2094         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
2095         step for x since there will be a little more room.
2096         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
2097
2098 2016-03-20  Jon Lee  <jonlee@apple.com>
2099
2100         Add a link to show debug data
2101         https://bugs.webkit.org/show_bug.cgi?id=155724
2102
2103         Reviewed by Simon Fraser.
2104
2105         * Animometer/developer.html: Attach the onclick handler to the score.
2106         * Animometer/index.html: Ditto.
2107
2108 2016-03-18  Dean Jackson  <dino@apple.com>
2109
2110         Add a basic WebGL test to Animometer
2111         https://bugs.webkit.org/show_bug.cgi?id=155475
2112         <rdar://problem/25156860>
2113
2114         Reviewed by Simon Fraser and Jon Lee.
2115
2116         Add a pretty simple WebGL test to Animometer
2117         which tries to draw a number of animated triangles.
2118         The result still needs a bit of tuning.
2119
2120         * Animometer/resources/debug-runner/tests.js: Add a new
2121         Suite for "3D" tests.
2122         * Animometer/tests/3d/resources/webgl.js: Added.
2123         * Animometer/tests/3d/webgl.html: Added.
2124
2125 2016-03-18  Jon Lee  <jonlee@apple.com>
2126
2127         Add support for statically linking to a specific test
2128         https://bugs.webkit.org/show_bug.cgi?id=155631
2129
2130         Rubber-stamped by Darin Adler.
2131
2132         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
2133         both the preset and the manually set test sessions.
2134         * Animometer/resources/debug-runner/animometer.css:
2135         (.tree .link): Style the "link" UI.
2136         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
2137         to optionsManager since this is a visual option and has nothing to do with the suites
2138         settings. Update the construction of the test UI by including a "link" after each test.
2139         Clicking on that link brings up a JS prompt with a URL and a query string with the current
2140         parameters of the controller, and selected test. Pasting this URL into the location bar will
2141         automatically start running the selected test.
2142         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
2143         that matches the provided parameters. Returns an object similar to the form in
2144         suitesManager.updateLocalStorageFromUI.
2145         (benchmarkController.initialize): After settings up the events and options, try parsing the
2146         query string and running the benchmark immediately. Otherwise, fall back to the form.
2147         (benchmarkController.startBenchmark): Store the options and suites into member variables for
2148         reuse in restartBenchmark.
2149         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
2150         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
2151         the search for the test succeeded.
2152         * Animometer/resources/extensions.js:
2153         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
2154         into a query-string-friendly version.
2155         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
2156         format.
2157         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
2158         with properties and values.
2159
2160 2016-03-16  Jon Lee  <jonlee@apple.com>
2161
2162         Add a new benchmark test
2163         https://bugs.webkit.org/show_bug.cgi?id=155570
2164
2165         Reviewed by Simon Fraser.
2166
2167         New Leaves test includes various image sizes and opacity.
2168
2169         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
2170         * Animometer/tests/dom/leaves.html: Added.
2171         * Animometer/tests/dom/resources/leaves.js: Added. Override the
2172         (Particle.call.reset): Uses a range of sizes, and opacity.
2173         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
2174         (Particle.call.move): Set transform and opacity.
2175         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
2176         can be used in this test. Update the relative path so that it works in both the master
2177         and dom test suite.
2178
2179 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
2180
2181         Add developer Animometer test that bounces P3-tagged images
2182         https://bugs.webkit.org/show_bug.cgi?id=155511
2183
2184         Reviewed by Tim Horton.
2185         
2186         Add a test for rendering performance of tagged images. The 5 images are tagged
2187         with the Display P3 colorspace.
2188
2189         * Animometer/resources/debug-runner/tests.js:
2190         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
2191         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
2192         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
2193         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
2194         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
2195         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
2196         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
2197
2198 2016-03-09  Jon Lee  <jonlee@apple.com>
2199
2200         Enhance existing Animometer tests
2201         https://bugs.webkit.org/show_bug.cgi?id=155261
2202
2203         Reviewed by Simon Fraser.
2204
2205         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
2206         the filled circles. To expose more of the gradient, add another circle.
2207         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
2208         undulating stop points and colors. Fill the circles twice; once with
2209         the solid color, and once with the gradient.
2210
2211         * Animometer/tests/master/resources/dom-particles.js: Refactor the
2212         emission variables into a separate stage for this test. Add a colorOffset
2213         variable to make the colors of each particle slightly different, since
2214         the ramp controller can add large numbers of particles all at once, which
2215         would otherwise get all the same color.
2216         * Animometer/tests/master/resources/particles.js:
2217         (initialize): Remove the code specific to the SVG mask test.
2218
2219         * Animometer/tests/master/resources/image-data.js:
2220         (initialize): Remove unused local variable.
2221         * Animometer/tests/master/resources/multiply.js:
2222         (initialize): Make the test harder by adding more total particles.
2223
2224 2016-03-09  Jon Lee  <jonlee@apple.com>
2225
2226         Add text tests
2227         https://bugs.webkit.org/show_bug.cgi?id=155257
2228
2229         Reviewed by Simon Fraser.
2230
2231         * Animometer/resources/extensions.js:
2232         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
2233         assuming that two of the control points are at (0,0) and (1,1). Taken from
2234         WebCore/platform/graphics/UnitBezier.h
2235         * Animometer/resources/runner/tests.js: Add a test for English text and one
2236         for international text.
2237         * Animometer/tests/master/international.html: Added.
2238         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
2239         #template div which it will copy. The copies are placed behind the template, and
2240         are set with different colors each frame. They are moved around with CSS transform.
2241         * Animometer/tests/master/text.html: Added.
2242
2243         Remove the other text tests, since these ones cover the same techniques.
2244         * Animometer/tests/text/layering-text.html: Removed.
2245         * Animometer/tests/text/resources/layering-text.js: Removed.
2246         * Animometer/tests/text/resources/text-boxes.js: Removed.
2247         * Animometer/tests/text/text-boxes.html: Removed.
2248         * Animometer/resources/debug-runner/tests.js:
2249
2250 2016-03-09  Jon Lee  <jonlee@apple.com>
2251
2252         Add a new image test
2253         https://bugs.webkit.org/show_bug.cgi?id=155232
2254
2255         Reviewed by Dean Jackson.
2256         Provisionally reviewed by Said Abou-Hallawa.
2257
2258         The image test renders PNGs and moves them with translate and rotate
2259         transforms. Each particle has a lifetime, and when the lifetime ends or
2260         the particle goes offscreen, it resets itself somewhere on the stage.
2261
2262         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
2263         images test, because this one tests the same technique.
2264         * Animometer/resources/runner/tests.js: Added here as "Leaves".
2265         * Animometer/tests/master/leaves.html: Added.
2266         * Animometer/tests/master/resources/particles.js: Refactor out the parts
2267         specific to the DOM particles test. Consequently make velocity a public
2268         member.
2269         (initialize): The options parameter is never used, so remove it.
2270         (animate): Remove unused local variable.
2271         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
2272         moves back and forth across the canvas. That point affects the velocity
2273         of the particles. When the focal point is on the leftmost side, it is
2274         between [-6, -2], and set in reset(). When the focal point is on the rightmost
2275         side, it will be from [2, 6].
2276         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
2277         this test here from particles.js.
2278
2279         New images.
2280         * Animometer/tests/master/resources/compass100.png: Added.
2281         * Animometer/tests/master/resources/console100.png: Added.
2282         * Animometer/tests/master/resources/contribute100.png: Added.
2283         * Animometer/tests/master/resources/debugger100.png: Added.
2284         * Animometer/tests/master/resources/inspector100.png: Added.
2285         * Animometer/tests/master/resources/layout100.png: Added.
2286         * Animometer/tests/master/resources/performance100.png: Added.
2287         * Animometer/tests/master/resources/script100.png: Added.
2288         * Animometer/tests/master/resources/shortcuts100.png: Added.
2289         * Animometer/tests/master/resources/standards100.png: Added.
2290         * Animometer/tests/master/resources/storage100.png: Added.
2291         * Animometer/tests/master/resources/styles100.png: Added.
2292         * Animometer/tests/master/resources/timeline100.png: Added.
2293
2294 2016-03-03  Jon Lee  <jonlee@apple.com>
2295
2296         Add ability to retrieve raw data from release harness
2297         https://bugs.webkit.org/show_bug.cgi?id=155026
2298
2299         Reviewed by Simon Fraser.
2300
2301         * Animometer/developer.html: Remove the special UI in the debug
2302         harness.
2303         * Animometer/resources/runner/animometer.css: Add styles for the
2304         overlay.
2305         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
2306         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
2307         the overlay.
2308         (window.benchmarkController.selectResults): Cycle the cases around
2309         so that the first 's' press selects both the benchmark score and
2310         the individual test scores.
2311         * Animometer/resources/debug-runner/animometer.css: Remove
2312         unneeded rules.
2313         * Animometer/resources/debug-runner/animometer.js: Make the same
2314         call to handleKeyPress.
2315
2316 2016-03-03  Jon Lee  <jonlee@apple.com>
2317
2318         Make sure multiply test particles have at least some opacity
2319         https://bugs.webkit.org/show_bug.cgi?id=155027
2320
2321         Reviewed by Simon Fraser.
2322
2323         * Animometer/tests/master/resources/multiply.js:
2324         (initialize): Have the elements spin a little faster to make it
2325         more obvious when the system is being stressed.
2326         (_addTile):
2327         (animate): Make sure each element being animated has at least 1%
2328         opacity.
2329
2330 2016-03-03  Jon Lee  <jonlee@apple.com>
2331
2332         Update image test
2333         https://bugs.webkit.org/show_bug.cgi?id=154962
2334
2335         Rubber-stamped by Darin Adler.
2336
2337         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
2338         * Animometer/tests/master/resources/image-data.js:
2339         (initialize): Update to load multiple images serially.
2340         (_loadImage):
2341         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
2342         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
2343         (_refreshElement): Place element in a tile grid.
2344         (animate):
2345         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
2346         * Animometer/tests/master/resources/compass.svg: Added.
2347         * Animometer/tests/master/resources/console.svg: Added.
2348         * Animometer/tests/master/resources/contribute.svg: Added.
2349         * Animometer/tests/master/resources/debugger.svg: Added.
2350         * Animometer/tests/master/resources/inspector.svg: Added.
2351         * Animometer/tests/master/resources/layout.svg: Added.
2352         * Animometer/tests/master/resources/performance.svg: Added.
2353         * Animometer/tests/master/resources/script.svg: Added.
2354         * Animometer/tests/master/resources/shortcuts.svg: Added.
2355         * Animometer/tests/master/resources/standards.svg: Added.
2356         * Animometer/tests/master/resources/storage.svg: Added.
2357         * Animometer/tests/master/resources/styles.svg: Added.
2358         * Animometer/tests/master/resources/timeline.svg: Added.
2359
2360 2016-03-02  Jon Lee  <jonlee@apple.com>
2361
2362         Add some new controllers, and refine tests
2363         https://bugs.webkit.org/show_bug.cgi?id=154914
2364
2365         Reviewed by Simon Fraser.
2366
2367         Improve tests.
2368
2369         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
2370         in a container element. Expand the container element by the max blur radius, and clip
2371         overflow. This way, when the blur is applied, it avoids causing layer resizes.
2372         * Animometer/tests/master/resources/focus.js:
2373         (FocusElement.Utilities.createClass): Create a container element, and put the particle
2374         inside.
2375         (hide): Set display:none.
2376         (show): Set display:block.
2377         (animate): Apply filters to the container element.
2378         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
2379         keep them in the stage, but set the display style instead. Use this._offsetIndex to
2380         keep track of which elements are displayed.
2381         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
2382         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
2383         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
2384         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
2385         stage appear less black when the complexity gets large enough.
2386         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
2387         frame.
2388
2389 2016-03-02  Jon Lee  <jonlee@apple.com>
2390
2391         Add some new controllers, and refine tests
2392         https://bugs.webkit.org/show_bug.cgi?id=154914
2393
2394         Reviewed by Simon Fraser.
2395
2396         Add a controller that centers around 30 fps instead of 60 fps.
2397
2398         * Animometer/developer.html: Add a new option.
2399         * Animometer/resources/debug-runner/animometer.js:
2400         * Animometer/resources/runner/animometer.js:
2401         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2402         check the controller, and use a 30 fps baseline if needed.
2403         * Animometer/resources/statistics.js:
2404         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2405         frame length.
2406         * Animometer/tests/resources/main.js:
2407         (tune): Override some of the constants in RampController. Move those constants out for
2408         easier reading.
2409
2410         Add a fixed controller, with no step.
2411
2412         * Animometer/developer.html: Add a controller that takes no step.
2413         * Animometer/resources/debug-runner/animometer.js:
2414         * Animometer/tests/resources/main.js:
2415         (Rotater.Utilities.createClass):
2416
2417         Switch to ramp controller as default.
2418
2419         * Animometer/developer.html: Increase the test length to 20 seconds.
2420         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2421         since that is a more accurate description.
2422         * Animometer/resources/debug-runner/graph.js:
2423         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2424
2425 2016-02-26  Jon Lee  <jonlee@apple.com>
2426
2427         Address Dean's comments in 154673.
2428
2429         * Animometer/developer.html:
2430         * Animometer/resources/debug-runner/animometer.js:
2431         * Animometer/resources/debug-runner/graph.js:
2432
2433 2016-02-25  Jon Lee  <jonlee@apple.com>
2434
2435         Update animation benchmark and tests
2436         https://bugs.webkit.org/show_bug.cgi?id=154673
2437
2438         Reviewed by Dean Jackson.
2439
2440         Update test visuals.
2441
2442         * Animometer/tests/master/resources/canvas-tests.js:
2443         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2444         Update circle position and radius to minimize impact.
2445         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2446         have 3 locations for emitting particles.
2447         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2448         more color.
2449         (initialize): Fix some of the math for laying out the tiles.
2450         (animate): When a tile isn't used, set visibility: hidden.
2451
2452 2016-02-24  Jon Lee  <jonlee@apple.com>
2453
2454         Update animation benchmark and tests
2455         https://bugs.webkit.org/show_bug.cgi?id=154673
2456
2457         Reviewed by Dean Jackson.
2458
2459         Update the ramp controller.
2460
2461         The controller refines the complexity interval to test across.
2462
2463         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2464         (Regression): For the flat regression, force the first segment to be at 60 fps.
2465         (valueAt): Add convenience function to return interpolated value based on the regression used.
2466         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2467         errors.
2468         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2469         to be reset.
2470
2471         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2472         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2473         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2474         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2475         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2476         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2477         parameters.
2478         (update): During the tier phase, it is possible that the highest complexity possible for a test
2479         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2480         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2481         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2482         FPS at each tier.
2483         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2484         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2485         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2486         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2487         FPS to drop, we reset the minimum complexity.
2488
2489         Have the bootstrap calculation occur between tests. Clean up harness.
2490
2491         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2492         completed to avoid doing all of it at the end before showing the results. Clean up
2493         parameters being passed around.
2494         * Animometer/resources/debug-runner/tests.js:
2495         (text):
2496         * Animometer/resources/runner/animometer.js:
2497         (this._processData.calculateScore): Save the results to the same object holding the data.
2498         (this._processData._processData): In the case where a file is dragged, calculate the score
2499         serially. Grab the results object and move it to the results variable and remove it from
2500         the data object. This avoids serializing the results into the JSON.
2501         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2502         resample size to shorten the wait.
2503         * Animometer/resources/runner/benchmark-runner.js:
2504         * Animometer/resources/statistics.js:
2505         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2506         floats and integers causes an alphabetical sort to occur.
2507         * Animometer/resources/strings.js:
2508
2509         Add meta charset so that encodings between harness and test match.
2510
2511         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2512         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2513         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2514         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2515         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2516         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2517         * Animometer/tests/master/canvas-stage.html:
2518         * Animometer/tests/master/focus.html:
2519         * Animometer/tests/master/image-data.html:
2520         * Animometer/tests/master/multiply.html:
2521         * Animometer/tests/master/particles.html:
2522         * Animometer/tests/misc/canvas-electrons.html:
2523         * Animometer/tests/misc/canvas-stars.html:
2524         * Animometer/tests/misc/compositing-transforms.html:
2525         * Animometer/tests/simple/simple-canvas-paths.html:
2526         * Animometer/tests/simple/tiled-canvas-image.html:
2527         * Animometer/tests/template/template-canvas.html:
2528         * Animometer/tests/template/template-css.html:
2529         * Animometer/tests/template/template-svg.html:
2530         * Animometer/tests/text/layering-text.html:
2531         * Animometer/tests/text/text-boxes.html:
2532
2533         Update test harness reporting.
2534
2535         * Animometer/developer.html: Add missing meta charset.
2536         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2537         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2538         formatting the results table.
2539         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2540         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2541         * Animometer/resources/strings.js: Move strings not used by the release harness.
2542
2543         Switch to a pseudo-random number generator.
2544
2545         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2546         pseudo-random number generator.
2547         (_calculateRegression): Reset the generator before running bootstrap.
2548         (bootstrap): Deleted.
2549
2550         Replace Math.random with Pseudo.random.
2551         * Animometer/tests/master/resources/canvas-tests.js:
2552         * Animometer/tests/master/resources/focus.js:
2553         * Animometer/tests/master/resources/particles.js:
2554         * Animometer/tests/resources/main.js:
2555
2556         Use bootstrapping to get confidence interval in the breakpoint.
2557
2558         For the ramp controller, calculate the piecewise regression, and then use
2559         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2560
2561         * Animometer/developer.html: Default to the complexity graph. Add a legend
2562         checkbox to toggle visibility of the bootstrap score and histogram.
2563         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2564         the old raw and average scores in the legend. Add new styles for the data.
2565         * Animometer/resources/debug-runner/graph.js:
2566         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2567         regression line. Now |stdev| is |range|.
2568         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2569         the bootstrap samples. Switch raw samples from circles to X's.
2570         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2571         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2572         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2573         interval.
2574         * Animometer/resources/runner/animometer.js:
2575         (this._processData.findRegression): Factor out the code that determines which
2576         samples to include when calculating the piecewise regression. For series that have
2577         many samples, or a wider range of recorded complexities, throw away the 2.5%
2578         lowest and highest samples before calculating the regression. Keep all samples
2579         if the number of samples to regress is small or the range of complexities is
2580         narrow.
2581         (this._processData._calculateScore): Factor out regression calculation to
2582         findRegression(). Bootstrap the change point of the regression. The score is the
2583         median.
2584         * Animometer/resources/statistics.js:
2585         (_calculateRegression): Correct an issue in the calculation of the regression, where
2586         the denominator can be 0.
2587         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2588         re-samples by random selection with replacement. Return the 95% confidence samples,
2589         the bootstrap median, mean, and the data itself.
2590         * Animometer/resources/strings.js: Add bootstrap.
2591         * Animometer/tests/resources/main.js:
2592         (processSamples): Don't prematurely cut the sample data.
2593
2594         Fix graph drawing.
2595
2596         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2597         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2598         * Animometer/resources/debug-runner/animometer.css:
2599         (#complexity-graph .series.raw circle): Update the color.
2600         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2601         complexity axis, which can vary in domain. For determining the complexity domain,
2602         only use samples after samplingTimeOffset.
2603
2604         Allow dropping results JSON.
2605
2606         * Animometer/developer.html: Add a button.
2607         * Animometer/resources/debug-runner/animometer.css:
2608         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2609         to the dashboard. With JSON output, write out only the options and the raw data.
2610
2611         Teach the harness to evaluate the samples and determine the test score.
2612
2613         This will allow us to update how the score is calculated separately from the samples recorded.
2614         This also prepares the harness to be able to accept JSON of prior runs.
2615
2616         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2617         hierarchy.
2618         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2619
2620         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2621         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2622         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2623         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2624         Group them, and calculate distribution of samples within the same complexity, and add those as
2625         new entries into |complexityAverageSamples|.
2626         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2627         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2628
2629         {
2630             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2631             marks: [...],
2632             samples: {                    // all of the sample data
2633                 controller: [...],
2634                 complexity: [...],        // processed from controller samples
2635                 complexityAverage: [...], // processed from complexity samples
2636             }
2637         }
2638
2639         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2640         now pass the test options to the graph.
2641         (Regression): Move to statistics.js.
2642         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2643         only contains one sample, since we cannot calculate a regression from one sample point.
2644
2645         Teach the test harness to evaluate the data.
2646         * Animometer/resources/runner/animometer.js:
2647         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2648         from the data. The results are stored as:
2649
2650         {
2651             score: /* geomean of iteration score */,
2652             iterationsResults: [
2653                 {
2654                     score: /* geomean of tests */,
2655                     testsResults: {
2656                         suiteName: {
2657                             testName: {
2658                                 controller: {
2659                                     average:
2660                                     concern:
2661                                     stdev:
2662                                     percent:
2663                                 },
2664                                 frameLength: { ... },
2665                                 complexity: {
2666                                     complexity:
2667                                     stdev:
2668                                     segment1:
2669                                     segment2:
2670                                 },
2671                                 complexityAverage: { ... }
2672                             },
2673                             testName: { ... },
2674                         },
2675                         ... next suite ...
2676                     }
2677                 },
2678                 { ...next iteration... }
2679             ]
2680         }
2681
2682         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2683         on what was selected in the form. This will later allow for dropping previous results, and
2684         using those runs' options when calculating scores.
2685         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2686         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2687
2688         Consolidate JS files, and move statistics out to a separate JS.
2689
2690         Preparation for having the Controller only handle recording and storage of the samples,
2691         and leave the evaluation of the test score out to the harness. Move Experiment to
2692         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2693         and move it to utilities.js since the Heap is used only for Experiments.
2694
2695         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2696         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2697         Sampler in main.js.
2698         * Animometer/tests/resources/main.js: Move Sampler here.
2699         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2700         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2701         a max or min heap to Heap, instead of a new Algorithm object.
2702
2703         Update JS files.
2704         * Animometer/developer.html:
2705         * Animometer/index.html:
2706         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2707         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2708         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2709         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2710         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2711         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2712         * Animometer/tests/master/canvas-stage.html:
2713         * Animometer/tests/master/focus.html:
2714         * Animometer/tests/master/image-data.html:
2715         * Animometer/tests/master/multiply.html:
2716         * Animometer/tests/master/particles.html:
2717         * Animometer/tests/misc/canvas-electrons.html:
2718         * Animometer/tests/misc/canvas-stars.html:
2719         * Animometer/tests/misc/compositing-transforms.html:
2720         * Animometer/tests/simple/simple-canvas-paths.html:
2721         * Animometer/tests/simple/tiled-canvas-image.html:
2722         * Animometer/tests/template/template-canvas.html:
2723         * Animometer/tests/template/template-css.html:
2724         * Animometer/tests/template/template-svg.html:
2725         * Animometer/tests/text/layering-text.html:
2726         * Animometer/tests/text/text-boxes.html:
2727
2728         Fix the cursor in the graph analysis when the min
2729         complexity is not 0.
2730
2731         * Animometer/resources/debug-runner/graph.js:
2732         (_addRegression):
2733         (createComplexityGraph):
2734
2735 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2736
2737         Fix some issues in MallocBench
2738         https://bugs.webkit.org/show_bug.cgi?id=154600
2739
2740         Reviewed by Oliver Hunt.
2741
2742         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2743         a part of the build so that it copies to the right place for execution.
2744
2745         * MallocBench/MallocBench/Interpreter.cpp:
2746         (Interpreter::Interpreter): Don't try to open .ops files for writing
2747         because we're only going to read and we might need extra permissions to
2748         write.
2749
2750         (Interpreter::~Interpreter): Give more context when opening a file fails
2751         to help with debugging.
2752
2753         * MallocBench/MallocBench/stress.cpp:
2754         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2755
2756 2016-02-23  Michael Saboff  <msaboff@apple.com>
2757
2758         Unreviewed change to revert extraneous changes made part of change set 196955.
2759
2760         * MallocBench/MallocBench/Interpreter.cpp:
2761         (Interpreter::doMallocOp):
2762         (Interpreter::Thread::switchTo):
2763         (writeData): Deleted.
2764
2765 2016-02-19  Michael Saboff  <msaboff@apple.com>
2766
2767         MallocBench: Added recording for nimlang website, new recording details and added new options
2768         https://bugs.webkit.org/show_bug.cgi?id=154485
2769
2770         Reviewed by Geoff Garen.
2771
2772         Added new capabilities to MallocBench.  These include:
2773             Added a recording of http://nim-lang.org/docs/lib.html.
2774             Added thread id to the recording and the ability to playback switching threads in MallocBench
2775             Added aligned allocations to recordings and the ability to playback
2776             Added --use-thread-id option to honor recorded thread ids
2777             Added --detailed-report to output remaining allocations by size after playback
2778             Added --no-warmup to not run the warm up iteration
2779
2780         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2781         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2782         can access the options that are appropriate.  The Benchmark class also uses the options for
2783         is parallel, run counts and warm up.
2784
2785         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2786         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2787         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2788         without any incompatibilities.
2789
2790         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2791         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2792         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2793         assure that only one thread is really running at a time and a condition variable used to wait
2794         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2795         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2796
2797         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2798         * MallocBench/MallocBench/Benchmark.cpp:
2799         (deallocateHeap):
2800         (Benchmark::Benchmark):
2801         (Benchmark::runOnce):
2802         (Benchmark::run):
2803         * MallocBench/MallocBench/Benchmark.h:
2804         (Benchmark::isValid):
2805         * MallocBench/MallocBench/CommandLine.cpp:
2806         (CommandLine::printUsage):
2807         * MallocBench/MallocBench/CommandLine.h:
2808         (CommandLine::isValid):
2809         (CommandLine::benchmarkName):
2810         (CommandLine::isParallel):
2811         (CommandLine::useThreadID):
2812         (CommandLine::detailedReport):
2813         (CommandLine::warmUp):
2814         (CommandLine::heapSize):
2815         (CommandLine::runs):
2816         * MallocBench/MallocBench/Interpreter.cpp:
2817         (Interpreter::Interpreter):
2818         (Interpreter::run):
2819         (Interpreter::readOps):
2820         (Interpreter::doOnSameThread):
2821         (Interpreter::switchToThread):
2822         (Interpreter::detailedReport):
2823         (compute2toPower):
2824         (writeData):
2825         (Interpreter::doMallocOp):
2826         (Interpreter::Thread::Thread):
2827         (Interpreter::Thread::stop):
2828         (Interpreter::Thread::~Thread):
2829         (Interpreter::Thread::runThread):
2830         (Interpreter::Thread::waitToRun):
2831         (Interpreter::Thread::switchTo):
2832         * MallocBench/MallocBench/Interpreter.h:
2833         (Interpreter::Thread::isMainThread):
2834         * MallocBench/MallocBench/alloc_free.cpp: Added.
2835         (benchmark_alloc_free):
2836         * MallocBench/MallocBench/alloc_free.h: Added.
2837         * MallocBench/MallocBench/balloon.cpp:
2838         (benchmark_balloon):
2839         * MallocBench/MallocBench/balloon.h:
2840         * MallocBench/MallocBench/big.cpp:
2841         (benchmark_big):
2842         * MallocBench/MallocBench/big.h:
2843         * MallocBench/MallocBench/churn.cpp:
2844         (benchmark_churn):
2845         * MallocBench/MallocBench/churn.h:
2846         * MallocBench/MallocBench/facebook.cpp:
2847         (benchmark_facebook):
2848         * MallocBench/MallocBench/facebook.h:
2849         * MallocBench/MallocBench/flickr.cpp:
2850         (benchmark_flickr):
2851         (benchmark_flickr_memory_warning):
2852         * MallocBench/MallocBench/flickr.h:
2853         * MallocBench/MallocBench/fragment.cpp:
2854         (validate):
2855         (benchmark_fragment):
2856         (benchmark_fragment_iterate):
2857         * MallocBench/MallocBench/fragment.h:
2858         * MallocBench/MallocBench/list.cpp:
2859         (benchmark_list_allocate):
2860         (benchmark_list_traverse):
2861         * MallocBench/MallocBench/list.h:
2862         * MallocBench/MallocBench/main.cpp:
2863         (main):
2864         * MallocBench/MallocBench/medium.cpp:
2865         (benchmark_medium):
2866         * MallocBench/MallocBench/medium.h:
2867         * MallocBench/MallocBench/memalign.cpp:
2868         (test):
2869         (benchmark_memalign):
2870         * MallocBench/MallocBench/memalign.h:
2871         * MallocBench/MallocBench/message.cpp:
2872         (benchmark_message_one):
2873         (benchmark_message_many):
2874         * MallocBench/MallocBench/message.h:
2875         * MallocBench/MallocBench/nimlang.cpp: Added.
2876         (benchmark_nimlang):
2877         * MallocBench/MallocBench/nimlang.h: Added.
2878         * MallocBench/MallocBench/nimlang.ops: Added.
2879         * MallocBench/MallocBench/realloc.cpp:
2880         (benchmark_realloc):
2881         * MallocBench/MallocBench/realloc.h:
2882         * MallocBench/MallocBench/reddit.cpp:
2883         (benchmark_reddit):
2884         (benchmark_reddit_memory_warning):
2885         * MallocBench/MallocBench/reddit.h:
2886         * MallocBench/MallocBench/stress.cpp:
2887         (deallocate):
2888         (benchmark_stress):
2889         * MallocBench/MallocBench/stress.h:
2890         * MallocBench/MallocBench/stress_aligned.cpp:
2891         (benchmark_stress_aligned):
2892         * MallocBench/MallocBench/stress_aligned.h:
2893         * MallocBench/MallocBench/theverge.cpp:
2894         (benchmark_theverge):
2895         (benchmark_theverge_memory_warning):
2896         * MallocBench/MallocBench/theverge.h:
2897         * MallocBench/MallocBench/tree.cpp:
2898         (benchmark_tree_allocate):
2899         (benchmark_tree_traverse):
2900         (benchmark_tree_churn):
2901         * MallocBench/MallocBench/tree.h:
2902         * MallocBench/run-malloc-benchmarks:
2903
2904 2016-02-11  Jon Lee  <jonlee@apple.com>
2905
2906         Fix a missing refactoring.
2907
2908         * Animometer/tests/master/resources/multiply.js:
2909         (animate): Move to Utilities.lerp.
2910         (_lerp): Deleted.
2911
2912 2016-02-10  Jon Lee  <jonlee@apple.com>
2913
2914         Add new benchmark tests.
2915         https://bugs.webkit.org/show_bug.cgi?id=154063
2916
2917         Provisionally reviewed by Said Abou-Hallawa.
2918
2919         Add tests for get/put image data, filters, opacity, and css transforms.
2920
2921         * Animometer/resources/runner/benchmark-runner.js:
2922         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2923         the stage.
2924         (this._runNextIteration): Clear the background color style for the results page.
2925         * Animometer/resources/runner/tests.js:
2926         * Animometer/tests/master/focus.html: Added.
2927         * Animometer/tests/master/image-data.html: Added.
2928         * Animometer/tests/master/multiply.html: Added.
2929         * Animometer/tests/master/resources/focus.js: Added.
2930         * Animometer/tests/master/resources/image-data.js: Added.
2931         * Animometer/tests/master/resources/multiply.js: Added.
2932         * Animometer/tests/master/resources/stage.css: Move common styles out.
2933         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
2934         Add Stage.randomSign for randomly setting a direction. Add the notion of the
2935         current timestamp of the test to Benchmark, since some animations cycle through
2936         colors and rely on an incremental counter like the time.
2937
2938 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
2939
2940         Add internal benchmark tests for CSS mix-blend-modes and filters
2941         https://bugs.webkit.org/show_bug.cgi?id=154058
2942
2943         Provisionally reviewed by Jon Lee.
2944
2945         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
2946         "HTML suite" of the debug runner.
2947
2948         * Animometer/resources/extensions.js:
2949         (Utilities.browserPrefix):
2950         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
2951         prefixed style properties.
2952
2953         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2954         Set the mix-blend-mode and the filter to some random values if the options
2955         of the test requested that.
2956
2957         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2958         (parseShapeParameters): Parse the url options "blend" and "filter" and set
2959         the corresponding flags.
2960
2961         * Animometer/tests/resources/main.js:
2962         (randomStyleMixBlendMode):
2963         (randomStyleFilter): Return random mix-blend-mode and filter.
2964
2965 2016-02-08  Jon Lee  <jonlee@apple.com>
2966
2967         Add a ramp controller
2968         https://bugs.webkit.org/show_bug.cgi?id=154028
2969
2970         Provisionally reviewed by Said Abou-Hallawa.
2971
2972         Enhance the graph to include a complexity-fps graph, in addition
2973         to the time graph.
2974
2975         * Animometer/developer.html: Add a ramp option.
2976         * Animometer/resources/debug-runner/animometer.css: Update the style.
2977         * Animometer/resources/strings.js: Flatten the Strings.text constants.
2978         * Animometer/resources/debug-runner/animometer.js:
2979         (ResultsTable.call._addGraphButton): Refactor.
2980         (ResultsTable.call._addTest): Add regression data.
2981         (benchmarkController): Add a form that allows the user to switch between the two forms,
2982         Add a form that allows the user to toggle different data. Hide certain header columns
2983         depending on the selected controller.
2984         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
2985         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
2986         * Animometer/resources/runner/animometer.js:
2987         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
2988         * Animometer/tests/resources/main.js:
2989         (Controller): Allow options to specify the capacity for sample arrays.
2990         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
2991         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
2992         error. Sweep across the samples in time (which could be backward depending on the controller)
2993         and calculate the intersection point.
2994         (RampController): This controller assumes that the target frame rate is below
2995         58 FPS. It runs in two stages. The first stage quickly determines the order of
2996         magnitude of objects needed to stress the system by the setting the complexity
2997         to increasingly difficult tiers. Perform a series of ramps descending from a
2998         high-water mark of complexity. The complexity needed to reach the target frame
2999         length is done by performing a piecewise regression on each ramp, and track a
3000         running average of these values. For the next ramp, make that running average
3001         the center of the ramp. With a minimum complexity of 0, the high-water mark is
3002         twice that average. The score is based on the highest complexity that can
3003         reach 60 fps.
3004
3005 2016-02-08  Jon Lee  <jonlee@apple.com>
3006
3007         Address Said's comments on the benchmark, and do some clean up.
3008
3009         * Animometer/developer.html:
3010         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
3011         * Animometer/resources/debug-runner/animometer.js: Use the right
3012         Strings constants.
3013         * Animometer/resources/debug-runner/graph.js:
3014         (_addRegressionLine): Add missing code to draw the line and standard
3015         deviation highlight.
3016         (onGraphTypeChanged): Remove unneeded variables
3017         (onTimeGraphOptionsChanged):
3018         * Animometer/resources/runner/benchmark-runner.js:
3019         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
3020         _suitesSamplers to _suitesResults.
3021         * Animometer/tests/resources/main.js:
3022         (results): Call processSamples().
3023         (update): Change sampling timestamp comparison.
3024         (_animateLoop): Move shouldStop call to before the update.
3025         * Animometer/tests/resources/sampler.js:
3026         (process): Rename to processSamples().
3027
3028 2016-02-07  Jon Lee  <jonlee@apple.com>
3029
3030         Teach Controller to measure intervals, and turn off the frame length estimator.
3031
3032         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
3033         (start): Set the first interval.
3034         (_measureAndResetInterval): Reports the average frame length of the interval that just
3035         completed, and sets up the next interval.
3036         (update): If there is no length, then just use the estimator per frame, otherwise the
3037         estimator measures per interval. Add a didFinishInterval for subclasses to process
3038         prior to recording the sample. Update tune() to include whether an interval had
3039         finished.
3040         (StepController): Step controllers don't measure on an interval basis.
3041
3042 2016-02-07  Jon Lee  <jonlee@apple.com>
3043
3044         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
3045         and switch the parameters for start(), update(), and tune(), so that the timestamp
3046         is first and stage is second.
3047
3048         * Animometer/tests/resources/main.js:
3049
3050 2016-02-07  Jon Lee  <jonlee@apple.com>
3051
3052         Move ResultsTable functionality not needed for release tests out.
3053         Move reporting of score and mean to selection of the time-based graph.
3054
3055         * Animometer/developer.html: Rename graph-options to time-graph-options.
3056         * Animometer/resources/debug-runner/animometer.js:
3057         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
3058         values to "average" objects which can hold stdev. Move graph button and
3059         calculation of noisy measurements here. Sophisticated header processing
3060         is not needed in release suite.
3061         (populateTable): Use DeveloperResultsTable.
3062         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
3063         its own function, and add a new onGraphTypeChanged handler in preparation
3064         of a complexity graph to be added later.
3065         * Animometer/resources/runner/animometer.js:
3066         (ResultsTable): Simplify to just handle test names and scores.
3067
3068 2016-02-07  Jon Lee  <jonlee@apple.com>
3069
3070         Tests: reuse objects already made.
3071
3072         Avoid thrash of object creation and removal by maintaining an index that
3073         moves along the array as the adjust values change. If the tune value
3074         requires more objects than the maximum size of the object array, then create
3075         new objects. This means that the object array size never decreases.
3076
3077         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
3078         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
3079         so the scene will draw the object at offsetIndex to the end of the array.
3080         (tune): Reverse the logic since "removal" of objects is much simpler and
3081         involves simply changing the offsetIndex.
3082         (animate): Update the for loop to draw from offsetIndex to the end.
3083         (complexity): Update the definition.
3084         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
3085         offsetIndex. For these tests, we want to avoid drawing the newest objects,
3086         so the scene will draw the object at index 0 to the object at offsetIndex.
3087         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
3088         which is unneeded. Update the for loop to draw from offsetIndex to the end.
3089         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3090         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
3091         offsetIndex.
3092         * Animometer/tests/simple/resources/simple-canvas.js:
3093         (tune): Update logic. Here, offsetIndex represents the boundary of the last
3094         index to render.
3095         (animate): Update the for loop to draw from 0 to offsetIndex.
3096         (complexity): Update the definition.
3097
3098 2016-02-07  Jon Lee  <jonlee@apple.com>
3099
3100         Tests: refactor and update styles.
3101
3102         * Animometer/tests/resources/main.js: Add helper methods that return
3103         a color that hue rotates based on the date, and a counter value that
3104         increases based on the date. Fix randomInt() to not bias against the min and
3105         max values.
3106
3107         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
3108         * Animometer/tests/master/resources/dom-particles.js: Ditto.
3109         * Animometer/tests/master/resources/particles.js: Ditto.
3110         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
3111         use a rotating color instead of a random color. The fast switching of color
3112         is too vivid to watch.
3113
3114         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3115         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
3116         that the last stop is located at the end.
3117
3118 2016-02-07  Jon Lee  <jonlee@apple.com>
3119
3120         Refactor tune() to not return the complexity of the scene.
3121
3122         We have stage.complexity() now, so returning the complexity through tune
3123         is unnecessary.
3124
3125         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3126         * Animometer/tests/master/resources/canvas-stage.js:
3127         * Animometer/tests/master/resources/particles.js:
3128         * Animometer/tests/misc/resources/canvas-electrons.js:
3129         * Animometer/tests/misc/resources/canvas-stars.js:
3130         * Animometer/tests/resources/main.js:
3131         * Animometer/tests/simple/resources/simple-canvas.js:
3132         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3133         * Animometer/tests/template/resources/template-canvas.js:
3134         * Animometer/tests/template/resources/template-css.js:
3135         * Animometer/tests/template/resources/template-svg.js:
3136         * Animometer/tests/text/resources/layering-text.js:
3137
3138 2016-02-07  Jon Lee  <jonlee@apple.com>
3139
3140         Make the fixed controller a step controller instead. Halfway through the test
3141         it will bump up the complexity 4-fold. Calculate the step timestamp using options
3142         instead of a separate parameter to the Controller constructor.
3143
3144         * Animometer/developer.html: Change value to "step"
3145         * Animometer/resources/debug-runner/animometer.js:
3146         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
3147         * Animometer/tests/resources/main.js:
3148         (update): Provide a hook for subclasses to tune.
3149         (StepController): Maintain a flag determining whether we've stepped, and the time
3150         we should step.
3151         (Benchmark): Use the new StepController.
3152
3153 2016-02-07  Jon Lee  <jonlee@apple.com>
3154
3155         Adjust the FPS graph scale.
3156
3157         Instead of making the FPS graph linearly scale, scale it based on the frame length,
3158         but show the data in terms of FPS. Because it is inversely proportional, and most
3159         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
3160         over half of the available graph space ends up blank.
3161
3162         This means we should convert all of the FPS data to frame length data.
3163
3164         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
3165         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
3166         values being shown, and then pick the min and max values to represent the length of the
3167         cursor.
3168         * Animometer/resources/runner/animometer.js:
3169         * Animometer/resources/strings.js:
3170         * Animometer/tests/resources/main.js:
3171         (processSamples): Add the ability to only sample a range of the data instead of everything
3172         after an offset index. Update sampler to record the frame lengths instead of the frame
3173         rate.
3174
3175 2016-02-07  Jon Lee  <jonlee@apple.com>
3176
3177         Add option to use different methods for retrieving a timestamp.
3178
3179         * Animometer/developer.html: Add performance.now and Date.now options.
3180         * Animometer/resources/runner/animometer.js: Default to performance.now.
3181         (window.benchmarkController.startBenchmark):
3182         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
3183         (run): Use _getTimestamp.
3184         (_animateLoop): Ditto.
3185
3186 2016-02-07  Jon Lee  <jonlee@apple.com>
3187
3188         Allow adding any number of markers to the graph. The markers can be labeled
3189         and contain timestamp and sample index data. Make it a part of the controller
3190         rather than keeping it in the sampler.
3191
3192         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
3193         * Animometer/resources/debug-runner/graph.js: Create the markers and add
3194         text labels.
3195         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
3196         is just one of the marks provided.
3197         * Animometer/resources/strings.js: Add Strings.json.marks.
3198         * Animometer/tests/resources/main.js:
3199         (Controller): Keep marks here. They are keyed by the marker name, so no two
3200         markers should have the same name.
3201         (recordFirstSample): Refactor to use mark.
3202         (mark): Allows for arbitrary data if needed later. The timestamp maintained
3203         is relative to the absolute start timestamp.
3204         (containsMark): Checks whether a mark with a specific comment exists.
3205         (processSamples): Removes the _startTimestamp offset from the marks before
3206         setting it in results.
3207         * Animometer/tests/resources/sampler.js: Remove marks.
3208
3209 2016-02-07  Jon Lee  <jonlee@apple.com>
3210
3211         Get rid of options member variable in Benchmark.
3212
3213         Options are only needed when initializing the stage or benchmark, so there's no
3214         need to also keep a reference to it.
3215
3216         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
3217         Pass options to Controllers and Stages.
3218         (Controller.Utilities.createClass):
3219         (Benchmark.Utilities.createClass):
3220         (get options): Deleted.
3221
3222         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3223         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3224         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3225         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3226         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3227         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3228         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3229         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3230         * Animometer/tests/master/resources/canvas-stage.js:
3231         * Animometer/tests/master/resources/canvas-tests.js:
3232         * Animometer/tests/master/resources/particles.js:
3233         * Animometer/tests/misc/resources/canvas-electrons.js:
3234         * Animometer/tests/misc/resources/canvas-stars.js:
3235         * Animometer/tests/misc/resources/compositing-transforms.js:
3236         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3237         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3238         * Animometer/tests/template/resources/template-canvas.js:
3239         * Animometer/tests/template/resources/template-css.js:
3240         * Animometer/tests/template/resources/template-svg.js:
3241         * Animometer/tests/text/resources/layering-text.js:
3242
3243 2016-02-07  Jon Lee  <jonlee@apple.com>
3244
3245         Update how the benchmark is run
3246         https://bugs.webkit.org/show_bug.cgi?id=153960
3247
3248         Provisionally reviewed by Said Abou-Hallawa.
3249
3250         Introduce the notion of a Controller. It is responsible for recording, updating,
3251         and processing the statistics and complexity of the benchmark. This allows
3252         plugging in different Controllers.
3253
3254         This strips most of the functionality from Animator and BenchmarkState, so fold
3255         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
3256         are responsible for driving the animation loop.
3257
3258         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
3259         maintains a fixed complexity, and the other adapts the complexity to meet a
3260         fixed FPS.
3261
3262         Fix the Kalman estimator to be modeled on a scalar variable with no model.
3263
3264         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
3265         replace it with a Controller. Add a FixedController and refactor the previous controller
3266         to an AdaptiveController.
3267
3268         (Controller): Controllers own the estimator and the sampler. When a new frame is
3269         displayed, the animation loop calls update(). The estimator and sampler record
3270         stats, then tune. Samplers can track multiple series of data. The basic controller
3271         tracks timestamp, complexity, and estimated frame rate.
3272                 The Kalman estimation is based on the frame length rather than the frame
3273         rate. Because FPS is inverse proportional to frame length, in the case where the measured
3274         frame length is very small, the FPS ends up being a wildly large number (in the order of
3275         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
3276         for it to settle back down. Using frame length reduces the impact of these spikes.
3277                 Converging the estimation takes enough time to avoid initializing it immediately
3278         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
3279         before running it in earnest. Allow controllers an opportunity to set the complexity
3280         before starting recording.
3281                 When the benchmark is complete, the controller has an opportunity to process
3282         the samples. The default implementation calculates the raw FPS based on the time
3283         difference of the samples, and calculates the complexity score. This is moved from
3284         Benchmark.processSamples.
3285
3286         (Controller): Initialize timestamps. These are at first relative to the start of the
3287         benchmark, but are offset by the absolute start time during start(). By default maintain
3288         3 data series, but subclasses can override.
3289         (start): Calls recordFirstSample() for subclasses to override if needed.
3290         (recordFirstSample): For basic controller, start sampling at the beginning.
3291         (update): Update the frame length estimator and sample.
3292         (shouldStop): Checks that the time is before _endTimestamp.
3293         (results): Returns the processed samples.
3294         (processSamples): Iterate through the sample data and collate them. Include scores.
3295
3296         (FixedComplexityController): Controller that tunes the stage to the desired complexity
3297         prior to starting, and keeps it at that complexity.
3298
3299         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
3300         raw frame rate.
3301                 The previous version of this controller ignored the frame that came after the
3302         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
3303         compared to the noise of the system overall. Stop ignoring that frame and include all
3304         frames in the measurements.
3305
3306         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
3307         selected. Most of the loop's functionality is in Controller, so remove here.
3308         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
3309         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
3310         a brief period before calling Controller.start().
3311
3312         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates
3313         a scalar variable, and makes basic assumptions regarding the model. As a result
3314         none of the linear algebra classes are needed, so remove Matrix, Vector3, and Matrix3.
3315         (SimpleKalmanEstimator): Calculate the gain based on the provided process and
3316         measurement errors.
3317         (KalmanEstimator): Deleted.
3318         (IdentityEstimator): Deleted.
3319         (PIDController): Refactor to use the Utilities.createClass() helper.
3320
3321         The Kalman filter algorithm is explained here http://greg.czerniak.info/guides/kalman1/.
3322         The state, represented by a scalar, is the estimated frame length. There is no user
3323         transition of the state, and the state is the same as the measurement. With this model,
3324         the estimation error converges, so calculate the gain ahead of time.
3325
3326         * Animometer/developer.html: Remove fixed-after-warmup since it is not useful.
3327         Replace the option to toggle the estimator, and make it possible to customize the
3328         estimator's error parameters. Show raw FPS by default, and remove interval FPS,
3329         which will be shown instead of the filtered raw FPS.
3330         * Animometer/resources/debug-runner/animometer.css: Put the header behind the graph.
3331         Remove #intervalFPS rules; move the color to #filteredFPS.
3332         * Animometer/resources/debug-runner/graph.js:
3333         (updateGraphData): Update the hr style to force the layout to be calculated
3334         correctly. Change the tick format to be in terms of seconds, since the timestamps
3335         are in milliseconds. Remove interval data.
3336         * Animometer/resources/runner/animometer.js:
3337         (window.benchmarkController.startBenchmark): Set Kalman parameters.
3338         * Animometer/resources/runner/benchmark-runner.js:
3339         (_runBenchmarkAndRecordResults): When a benchmark completes, expect it to return
3340         the final data, rather than passing a sampler from the controller. This avoids
3341         needing to expose the sampler variable in the benchmark.
3342         * Animometer/tests/resources/sampler.js:
3343         (process): Move the setting of the target frame rate to AdaptiveController.
3344
3345 2016-02-06  Jon Lee  <jonlee@apple.com>
3346
3347         Code clean up: Move Rotater function closer to Stage static methods.
3348         The Rotater is used together with those methods; keep them close.
3349
3350         * Animometer/tests/resources/main.js:
3351
3352 2016-02-06  Jon Lee  <jonlee@apple.com>
3353
3354         Update the JS includes due to ResultsTable move.
3355
3356         * Animometer/developer.html:
3357         * Animometer/index.html:
3358
3359 2016-02-06  Jon Lee  <jonlee@apple.com>
3360
3361         Move createElement and createSVGElement to Utilities.
3362
3363         * Animometer/resources/extensions.js:
3364         (Utilities.createElement): Added.
3365         (Utilities.createSVGElement): Added.
3366         (DocumentExtension.createElement): Deleted.
3367         (DocumentExtension.createSvgElement): Deleted.
3368
3369         * Animometer/resources/debug-runner/animometer.js:
3370         * Animometer/resources/runner/animometer.js:
3371         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3372         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js:
3373         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3374
3375 2016-02-06  Jon Lee  <jonlee@apple.com>
3376
3377         Add a convenience function for creating a class.
3378
3379         The pattern for creating a class is common enough to add as a Utilities
3380         helper function. It also makes it easy to collapse class definitions when
3381         editing.
3382
3383         * Animometer/resources/debug-runner/animometer.js: Move ProgressBar definition,
3384         since it is only used here.
3385         * Animometer/resources/runner/animometer.js: Move ResultsDashboard and
3386         ResultsTable definition, since it is only used here.
3387         * Animometer/resources/extensions.js: Move Utilities definition to the top. Convert
3388         Point, Insets, SimplePromise.
3389         (ProgressBar): Moved to animometer.js.
3390         (ResultsDashboard): Moved to animometer.js.
3391         (ResultsTable): Moved to animometer.js.
3392         * Animometer/resources/runner/benchmark-runner.js: Convert BenchmarkRunnerState,
3393         BenchmarkRunner.
3394         * Animometer/tests/resources/main.js: Convert Rotater, Stage, Animator, Benchmark.
3395         * Animometer/tests/resources/sampler.js: Convert Experiment, Sampler.
3396
3397         Convert test primitives.
3398         * Animometer/tests/master/resources/canvas-tests.js: Convert CanvasLineSegment,
3399         CanvasArc, CanvasLinePoint.
3400         * Animometer/tests/simple/resources/simple-canvas-paths.js: Convert CanvasLineSegment,
3401         CanvasLinePoint, CanvasQuadraticSegment, CanvasQuadraticPoint, CanvasBezierSegment,
3402         CanvasBezierPoint, CanvasArcToSegment, CanvasArcToSegmentFill, CanvasArcSegment,
3403         CanvasArcSegmentFill, CanvasRect, CanvasRectFill.
3404         * Animometer/tests/simple/resources/tiled-canvas-image.js: Convert CanvasImageTile.
3405
3406 2016-02-06  Jon Lee  <jonlee@apple.com>
3407
3408         Minor improvements to debug harness.
3409
3410         * Animometer/developer.html:
3411         * Animometer/resources/debug-runner/animometer.css:
3412         (#suites): Put the complexity text boxes closer to the test names.
3413         (#options):
3414         (#rawFPS circle): Make the interval FPS appear as a separate data series, with a line.
3415         (#intervalFPS path):
3416         (#intervalFPS circle):
3417         * Animometer/resources/debug-runner/animometer.js:
3418         (window.optionsManager.updateLocalStorageFromUI): Convert number inputs from text.
3419         (window.suitesManager._onChangeTestCheckbox): Refactor to take a checkbox.
3420         (window.suitesManager._createTestElement): Enhance such that typing into the complexity
3421         input will automatically select that test for running.
3422         (window.suitesManager.updateLocalStorageFromJSON): Make the harness work for private
3423         browsing.
3424         * Animometer/resources/debug-runner/graph.js: Separate the intervalFPS data, and show
3425         more accuracy in timestamps.
3426
3427 2016-02-06  Jon Lee  <jonlee@apple.com>
3428
3429         Refactor helper methods for getting random values for a stage.
3430
3431         Instead of requiring a Stage instance, just attach it to the Stage object.
3432
3433         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3434         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3435         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3436         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3437         * Animometer/tests/master/resources/canvas-tests.js:
3438         * Animometer/tests/master/resources/particles.js:
3439         * Animometer/tests/misc/resources/canvas-electrons.js:
3440         * Animometer/tests/misc/resources/canvas-stars.js:
3441         * Animometer/tests/misc/resources/compositing-transforms.js:
3442         * Animometer/tests/resources/main.js:
3443         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3444
3445 2016-02-05  Said Abou-Hallawa  <sabouhallawa@apple.com>
3446
3447         Add a new graphics test for CanvasRenderingContext2D functions: getImageData and putImageData
3448         https://bugs.webkit.org/show_bug.cgi?id=151716
3449
3450         Reviewed by Darin Adler.
3451
3452         The purpose of this test is to measure the performance of getImageData
3453         and putImageData functions. This test draws a background on the canvas
3454         and then gets some random tiles from this background and draw them in
3455         destinations different from their original sources.
3456
3457         * Animometer/resources/debug-runner/tests.js: Adding the new test to the canvas simple tests suite.
3458
3459         * Animometer/resources/extensions.js:
3460         (Array.prototype.shuffle): Shuffles the elements of an array.
3461
3462         (Point.zero): Returns a new Point object whose x and y are equal zero.
3463         (Point.prototype.str): Used for debugging the Point object.
3464
3465         * Animometer/tests/simple/resources/tiled-canvas-image.js: Added.
3466         (CanvasImageTile):
3467         (CanvasImageTile.prototype.getImageData):
3468         (CanvasImageTile.prototype.putImageData):
3469         (Stage.call.initialize):
3470         (Stage.call._createTiles):
3471         (Stage.call._nextTilePosition):
3472         (Stage.call.tune):
3473         (Stage.call._drawBackground):
3474         (Stage.call.animate):
3475         (Stage.call.complexity):
3476         (Stage.call):
3477         * Animometer/tests/simple/tiled-canvas-image.html: Added.
3478
3479 2016-01-07  Jon Lee  <jonlee@apple.com>
3480
3481         Fix new test.
3482
3483         * Animometer/resources/runner/tests.js: Wrong URL from an
3484         old patch.
3485         * Animometer/tests/master/particles.html:
3486         * Animometer/tests/master/resources/dom-particles.js:
3487         (Particle.call.reset): Figured out a simpler way to set up
3488         the particles.
3489         (this.move.reset): Deleted.
3490         (this.move._applyAttributes): Deleted.
3491         * Animometer/tests/master/resources/particles.js:
3492         (Particle): Call move() after reset().
3493
3494 2016-01-07  Jon Lee  <jonlee@apple.com>
3495
3496         Update benchmark test suite
3497         https://bugs.webkit.org/show_bug.cgi?id=152679
3498
3499         Reviewed by Simon Fraser.
3500
3501         Add a new test. The test has a rotating background
3502         gradient, and does a better job physically simulating
3503         particles.
3504
3505         * Animometer/resources/extensions.js: Teach Point to take constants as well as other Points.
3506         (Point.prototype.length): Added.
3507         (Point.prototype.normalize): Added.
3508         * Animometer/resources/runner/tests.js: Add the test to the master suite.
3509         * Animometer/tests/master/particles.html: Added.
3510         * Animometer/tests/master/resources/particles.js: Added. Parent class for different kinds of particles.
3511         (Particle):
3512         (Particle.prototype.reset): If the particle starts slowing down in terms of its animation,
3513         reset it.
3514         (Particle.prototype.animate): Bounce off the walls elastically, and include gravity.
3515         (Particle.prototype.move): Subclasses should override.
3516         (ParticlesStage): Stage includes a rotating gradient background.
3517         * Animometer/tests/master/resources/dom-particles.js: Added. Creates a <div> and adds it to
3518         the stage.
3519         * Animometer/tests/resources/star.svg: Added.
3520
3521 2016-01-03  Jon Lee  <jonlee@apple.com>
3522
3523         Update benchmark test suite
3524         https://bugs.webkit.org/show_bug.cgi?id=152679
3525
3526         Reviewed by Simon Fraser.
3527
3528         Move algorithm.js and sampler.js to tests/ and benchmark-runner.js to runner/.
3529
3530         Needed by both harnesses.
3531         * Animometer/resources/runner/benchmark-runner.js: Renamed from PerformanceTests/Animometer/resources/debug-runner/benchmark-runner.js.
3532         * Animometer/developer.html:
3533         * Animometer/index.html:
3534
3535         Needed only by the tests. Move to tests/. Statistics, in sampler.js, is used by ResultsDashboard, so move that
3536         into extensions.js.
3537         * Animometer/resources/extensions.js:
3538         * Animometer/tests/resources/algorithm.js: Renamed from PerformanceTests/Animometer/resources/algorithm.js.
3539         * Animometer/tests/resources/sampler.js: Renamed from PerformanceTests/Animometer/resources/sampler.js.
3540         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
3541         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
3542         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3543         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3544         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
3545         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
3546         * Animometer/tests/master/canvas-stage.html:
3547         * Animometer/tests/misc/canvas-electrons.html:
3548         * Animometer/tests/misc/canvas-stars.html:
3549         * Animometer/tests/misc/compositing-transforms.html:
3550         * Animometer/tests/simple/simple-canvas-paths.html:
3551         * Animometer/tests/template/template-canvas.html:
3552         * Animometer/tests/template/template-css.html:
3553         * Animometer/tests/template/template-svg.html:
3554         * Animometer/tests/text/layering-text.html:
3555         * Animometer/tests/text/text-boxes.html:
3556
3557 2016-01-07  Jon Lee  <jonlee@apple.com>
3558
3559         Update benchmark test suite
3560         https://bugs.webkit.org/show_bug.cgi?id=152679
3561
3562         Reviewed by Simon Fraser.
3563
3564         Fix tests for other browsers.
3565
3566         * Animometer/resources/extensions.js:
3567         (Point.elementClientSize): Some browsers return 0 for SVG clientWidth and clientHeight.
3568         Use getBoundingClientRect() instead.
3569         * Animometer/tests/misc/resources/canvas-electrons.js:
3570         (CanvasElectron.prototype._draw): Some browsers don't support ellipse.
3571
3572 2016-01-07  Jon Lee  <jonlee@apple.com>
3573
3574         Add a waitUntilReady() step
3575         https://bugs.webkit.org/show_bug.cgi?id=152862
3576
3577         Reviewed by Simon Fraser.
3578
3579         Add a waitUntilReady() callback that lets the benchmark complete
3580         its setup before running the benchmark.
3581
3582         * Animometer/tests/resources/main.js:
3583         (Benchmark.prototype.run): First call waitUntilReady, which returns
3584         a promise. When the promise resolves, run everything that was in this
3585         function.
3586         (Benchmark.prototype.waitUntilReady): Default implementation returns
3587         a resolved promise.
3588         (Benchmark.prototype.resolveWhenFinished): Deleted.
3589         * Animometer/tests/template/resources/template-canvas.js:
3590         (new.TemplateCanvasStage.waitUntilReady): Example on how to override.
3591
3592 2016-01-03  Jon Lee  <jonlee@apple.com>
3593
3594         Update data reporting and analysis
3595         https://bugs.webkit.org/show_bug.cgi?id=152670
3596
3597         Reviewed by Simon Fraser.
3598
3599         Show new graph data. Provide controls to show different series data. Provide an
3600         interactive cursor that shows the data at a given sample.
3601
3602         * Animometer/developer.html: Add a nav section in #results. Each part of the graph
3603         has a checkbox for visual toggling, as well as companion spans to contain the data.
3604                 The numbers will always be shown even if the SVG isn't.
3605         * Animometer/resources/debug-runner/animometer.css:
3606         (#suites): Adjust spacing when doing fixed complexity.
3607         (#test-graph nav): Place the nav in the upper right corner.
3608         (#test-graph-data > svg): Fix the FPS scale from 0-60. It makes the raw FPS goes past
3609         that scale. Allow it to show.
3610         (.target-fps): Add a dotted line for where the benchmark is supposed to settle for FPS.
3611         (#cursor line): The cursor contains a line and highlight circles for the data being shown.
3612         (#cursor circle):
3613         (#complexity path): This and rules afterward are named by series type.
3614         (#complexity circle):
3615         (#filteredFPS path):
3616         (#filteredFPS circle):
3617         (#rawFPS path):
3618         (#intervalFPS circle):
3619         (.left-samples): Deleted.
3620         (.right-samples): Deleted.
3621         * Animometer/resources/debug-runner/animometer.js:
3622         (initialize): Add a "changed" listener when the checkboxes change in the nav.
3623         (onBenchmarkOptionsChanged): Renamed.
3624         (showTestGraph): All graph data is passed in as graphData instead of as arguments.
3625         * Animometer/resources/debug-runner/graph.js: Extend BenchmarkController. When showing
3626         a new graph, call updateGraphData(). It creates all of the d3 graphs. onGraphOptionsChanged()
3627         toggles the data on and off.
3628         (updateGraphData): Add the axes. Add the average lines and markers for sample time and
3629         target FPS. Add the cursor group. Use helper function addData() to add the data. On top of
3630         everything add a transparent area which will catch all of the mouse events. When the mouse
3631         moves in the graph, find the closest data point, show the data in the nav area, and highlight
3632         the data points.
3633         (addData): Adds a line and circle for each data point. Also adds a highlight cursor with a
3634         size a little larger than the circle radius for the data points.
3635         (onGraphOptionsChanged): Called when data is visually toggled.
3636         (showOrHideNodes): Helper function to toggle the .hidden class.
3637         * Animometer/resources/extensions.js:
3638         (ResultsDashboard.prototype.get data): Get rid of the arguments for _processData.
3639         (ResultsTable.prototype._addGraphButton): Shove all of the graph data into a singular object.
3640
3641         Producing the JSON can take a while with all of the data. Make it on-demand with a
3642         button.
3643
3644         * Animometer/resources/debug-runner/animometer.js:
3645         (showResults): When showing the results, don't serialize the JSON data. Move that to...
3646         (showJSONResults): ...here. Remove the button.
3647
3648         * Animometer/developer.html: Add a button. The button will remove itself and populate
3649         the textarea with the JSON data.
3650         * Animometer/resources/debug-runner/animometer.css:
3651         (.hidden): Add a universal hidden class.
3652         (#results button.small-button): Promote the small-button styles to the whole results
3653         section for use in the JSON button.
3654         (#results button.small-button:active):
3655         (#results-data button.small-button): Deleted.
3656         (#results-data button.small-button:active): Deleted.
3657
3658         Refactor how Animator does its recording.
3659
3660         * Animometer/tests/resources/math.js: Create a new, simple estimator that just returns
3661         the same interval frame rate for adjustment.
3662         * Animometer/tests/resources/main.js:
3663         (Animator): Remove _dropFrameCount, and make variables more accurate described.
3664         (Animator.prototype.initialize): Use the identity estimator instead of using a bool.
3665         (Animator.prototype._intervalTimeDelta): Rename, only used internally.
3666         (Animator.prototype._shouldRequestAnotherFrame): Assume we drop one frame for adjustment
3667         of the scene. If we are within the number of frames to measure for the interval, just
3668         record the timestamp. Otherwise we are ready to evaluate and adjust the scene. Record
3669         the interval frame rate and the estimator's frame rate.
3670
3671         Avoid processing the data through the Experiment while the test is running. Reconfigure
3672         the sampler to just record the raw samples. After the test is done, run the samples through
3673         the Experiment to get the score.
3674
3675         * Animometer/resources/sampler.js:
3676         (Experiment): Fold _init() into the constructor since nobody else will call it. This is not
3677         needed until the test concludes, so remove startSampling(). Clients should just call sample().
3678         (Sampler): Pre-allocate arrays given the number of data points being recorded, and a capacity
3679         of how many samples will be used. The processor is a called when it's time to process the data
3680         since that is the client also telling the Sampler what to record.
3681                 Introduce the notion of marks as well, which allows the client to mark when an
3682         event occurs. When we mark sample start, we can attach the timestamp there, instead of storing
3683         it separately.
3684         (Sampler.prototype.startSampling): Deleted. Clients should just call record().
3685         (Sampler.prototype.record): The data to record is passed in as variable arguments.
3686         (Sampler.prototype.mark): When adding a mark, a client needs to provide a unique string, and
3687         can provide extra data object for later retrieval.
3688         (Sampler.prototype.process): Renamed from toJSON. Trim the sampling arrays to what was used.
3689         Call the processor to process the samples.
3690         * Animometer/resources/debug-runner/benchmark-runner.js:
3691         (BenchmarkRunner.prototype._runBenchmarkAndRecordResults): Call process().
3692
3693         * Animometer/resources/strings.js: Add some new strings, remove the graph ones since they are
3694         not used.
3695         * Animometer/tests/resources/main.js:
3696         (Benchmark): Create a sampler with 4 series. The maximum number of points expected is the
3697         number of seconds multiplied by 60 fps. Benchmark, as a client of the Sampler, knows about all
3698         of the data being added to the Sampler. It is added through record(), and processed through
3699         processSamples().
3700         (Benchmark.prototype.update): Mark when we've passed warmup and are starting to sample. Include
3701         the timestamp in the custom data for the mark. This avoids the need to store is separately in
3702         the Sampler. Fold what was in record() here, since nothing else needs this functionality.
3703         record() now just relays the information to the sampler.
3704         (Benchmark.prototype.record): Called by Animator, which provides the data to the sampler.
3705         Animator's calls to this is part of a later patch. Requires each stage to return its complexity.
3706         (Benchmark.prototype.processSamples): If the sampling mark exists, add it to the results.
3707                 Go through all of the samples. All samples contain a timestamp and complexity. We
3708         calculate "raw FPS" which is the time differential from the previous sample. At regular intervals
3709         the Kalman-filtered FPS and the interval average FPS are also recorded. We also create two
3710         experiments, to get the scores for the complexity and smoothed FPS, and add those samples to
3711         the experiments. Grab those scores and add them into results also.
3712
3713         Add complexity() to the tests for Benchmark.record().
3714         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3715         * Animometer/tests/misc/resources/canvas-electrons.js:
3716         * Animometer/tests/misc/resources/canvas-stars.js:
3717         * Animometer/tests/text/resources/layering-text.js:
3718
3719 2015-12-27  Jon Lee  <jonlee@apple.com>
3720
3721         Simplify the test harness
3722         https://bugs.webkit.org/show_bug.cgi?id=152562
3723
3724         Reviewed by Simon Fraser.
3725
3726         Update the simple canvas tests. For the paths, start from the center instead of the
3727         top-left corner. Instead of using a coordinate limit, use a canonized factor, and
3728         use that along both the x and y axes, so that more capable tests use more of the
3729         canvas.
3730
3731         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3732         (CanvasLinePoint): Rewrite to use the coordinate maximum factor.
3733         (CanvasQuadraticPoint): Ditto.
3734         (CanvasBezierPoint): Ditto.
3735         * Animometer/tests/simple/resources/simple-canvas.js:
3736         (tune): Calculate a factor instead of a maximum coordinate.
3737
3738 2015-12-27  Jon Lee  <jonlee@apple.com>
3739
3740         Simplify the test harness
3741         https://bugs.webkit.org/show_bug.cgi?id=152562
3742
3743         Reviewed by Simon Fraser.
3744
3745         All of the benchmarks use the default Animator(). Don't require new tests
3746         to pass a new instance, and instead just make one in the Benchmark constructor.
3747
3748         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3749         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3750         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3751         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3752         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3753         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3754         * Animometer/tests/master/resources/canvas-tests.js:
3755         * Animometer/tests/misc/resources/canvas-electrons.js:
3756         * Animometer/tests/misc/resources/canvas-stars.js:
3757         * Animometer/tests/misc/resources/compositing-transforms.js:
3758         * Animometer/tests/resources/main.js:
3759         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3760         * Animometer/tests/template/resources/template-canvas.js:
3761         * Animometer/tests/template/resources/template-css.js:
3762         * Animometer/tests/template/resources/template-svg.js:
3763         * Animometer/tests/text/resources/layering-text.js:
3764         * Animometer/tests/text/resources/text-boxes.js:
3765
3766         Refactor the template.
3767
3768         * Animometer/tests/template/resources/template-canvas.js:
3769         * Animometer/tests/template/resources/template-css.js:
3770         * Animometer/tests/template/resources/template-svg.js:
3771         * Animometer/tests/template/template-canvas.html:
3772         * Animometer/tests/template/template-css.html:
3773         * Animometer/tests/template/template-svg.html:
3774
3775         Refactor the SVG suite.
3776
3777         * Animometer/tests/bouncing-particles/bouncing-svg-images.html: Move scripts to the end.
3778         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html: Ditto.
3779
3780         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Remove extraneous includes
3781         to stage.js.
3782         * Animometer/tests/text/text-boxes.html: Ditto.
3783
3784         BouncingCanvasParticlesBenchmark is not necessary. Use Benchmark directly when subclassing.
3785         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js: Remove
3786         BouncingCanvasParticlesBenchmark.
3787         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js: Use Benchmark.
3788         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js: Ditto.
3789
3790         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js: Require the shape
3791         in the constructor instead of having subclasses set the private variable.
3792
3793         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js: Refactor.
3794         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3795
3796         Refactor the HTML suite.
3797
3798         Move scripts to the end.
3799         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3800         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3801         * Animometer/tests/text/layering-text.html:
3802         * Animometer/tests/text/text-boxes.html:
3803
3804         Refactor to use the new variables.
3805         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3806         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3807         * Animometer/tests/text/resources/layering-text.js:
3808         * Animometer/tests/text/resources/text-boxes.js:
3809
3810         Refactor the bouncing canvas tests.
3811
3812         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html: Move scripts to the end.
3813         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Move scripts to the end.
3814
3815         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js: Promote a few
3816         properties to "public" since they are used by subclasses.
3817         (BouncingParticlesStage): Fix the constructor, which was missing "this". Make particles
3818         "public" for subclasses.
3819         (BouncingParticlesStage.initialize): Fix the max velocity, which was accidentally changed.
3820         * Animometer/tests/misc/resources/compositing-transforms.js: Refactor.
3821
3822         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3823         BouncingCanvasParticlesAnimator is no longer needed.
3824         (BouncingCanvasParticle): Change constructor to take a shape as a parameter instead of
3825         having subclasses set the variable.
3826
3827         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js: Refactor.
3828         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js: Refactor.
3829
3830         Move example/ files into misc/.
3831