Unreviewed, fix Windows Debug build
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-12-13  Brady Eidson  <beidson@apple.com>
2
3         Add a PerfTest targeting IDBObjectStore.get().
4         https://bugs.webkit.org/show_bug.cgi?id=165816
5
6         Reviewed by Alex Christensen.
7
8         * IndexedDB/objectstore-get.html: Added.
9
10 2016-12-13  Brady Eidson  <beidson@apple.com>
11
12         Add a PerfTest targeting IDBIndex.get().
13         https://bugs.webkit.org/show_bug.cgi?id=165803
14
15         Reviewed by Alex Christensen.
16
17         * IndexedDB/index-get.html: Added.
18
19 2016-12-12  Brady Eidson  <beidson@apple.com>
20
21         More IndexedDB perf tests.
22         https://bugs.webkit.org/show_bug.cgi?id=165634
23
24         Reviewed by Sam Weinig.
25
26         * IndexedDB/index-multientry.html:
27         * IndexedDB/large-number-of-inserts-responsiveness.html: Added.
28         * IndexedDB/large-number-of-inserts.html: Added.
29         * IndexedDB/objectstore-cursor.html: Added. Runtime cut in 1/4th compared to r209672.
30
31         * resources/runner.js:
32
33 2016-12-12  Commit Queue  <commit-queue@webkit.org>
34
35         Unreviewed, rolling out r209672.
36         https://bugs.webkit.org/show_bug.cgi?id=165766
37
38         IndexedDB/objectstore-cursor.html perf test always times out
39         (Requested by ap on #webkit).
40
41         Reverted changeset:
42
43         "More IndexedDB perf tests."
44         https://bugs.webkit.org/show_bug.cgi?id=165634
45         http://trac.webkit.org/changeset/209672
46
47 2016-12-10  Brady Eidson  <beidson@apple.com>
48
49         More IndexedDB perf tests.
50         https://bugs.webkit.org/show_bug.cgi?id=165634
51
52         Reviewed by Sam Weinig.
53
54         * IndexedDB/index-multientry.html:
55         * IndexedDB/large-number-of-inserts-responsiveness.html: Added.
56         * IndexedDB/large-number-of-inserts.html: Added.
57         * IndexedDB/objectstore-cursor.html: Added.
58         
59         * resources/runner.js: Add "track responsiveness" functionality to PerfTestRunner.
60
61 2016-12-06  Filip Pizlo  <fpizlo@apple.com>
62
63         Concurrent GC should be stable enough to land enabled
64         https://bugs.webkit.org/show_bug.cgi?id=164990
65
66         Reviewed by Geoffrey Garen.
67         
68         Made CDjs more configurable and refined the "large.js" configuration. I was using that one and
69         the new "long.js" configuration to tune concurrent eden GCs.
70         
71         Added a new way of running Splay in browser, which using chartjs to plot the execution times of
72         2000 iterations. This includes the minified chartjs.
73
74         * JetStream/Octane2/splay-detail.html: Added.
75         * JetStream/cdjs/benchmark.js:
76         (benchmarkImpl):
77         (benchmark):
78         * JetStream/cdjs/long.js: Added.
79
80 2016-12-07  Brady Eidson  <beidson@apple.com>
81
82         Add IDB perf tests stressing key size.
83         https://bugs.webkit.org/show_bug.cgi?id=165567
84
85         Reviewed by Alex Christensen.
86
87         * IndexedDB/large-array-keys.html: Added.
88         * IndexedDB/large-binary-keys.html: Added.
89         * IndexedDB/large-string-keys.html: Added.
90
91 2016-12-05  Brady Eidson  <beidson@apple.com>
92
93         Add an IndexedDB perf test to PerformanceTests.
94         https://bugs.webkit.org/show_bug.cgi?id=165430
95
96         Reviewed by Alex Christensen.
97
98         * IndexedDB/index-multientry.html: Added.
99
100 2016-12-02  Filip Pizlo  <fpizlo@apple.com>
101
102         ES6SampleBench should report an average for Steady State so that all of the numbers are comparable
103         https://bugs.webkit.org/show_bug.cgi?id=165325
104
105         Reviewed by Saam Barati.
106
107         This makes all of the numbers that ES6SampleBench reports comparable to each other: they all speak of the time
108         it took to run an iteration of something.
109
110         * ES6SampleBench/results.js:
111         (Results.prototype.reportResult):
112
113 2016-11-18  Jer Noble  <jer.noble@apple.com>
114
115         Add some performance tests for various aspects of media loading and playback.
116         https://bugs.webkit.org/show_bug.cgi?id=164977
117
118         Reviewed by Darin Adler.
119
120         Add new tests for a few aspects of media playback; namely: how quickly  media elements fire
121         the "canplaythrough" event when all data is immediately available, how quickly HLS playback
122         switches resolutions, and at what playback rate MSE-backed video can play without dropping
123         frames. Skip these tests by default, as they're not runnable on all ports, and they require
124         a webserver (run-webkit-httpd) to complete on macOS.
125
126         * Media/HLSCanPlayThrough.html: Added.
127         * Media/HLSGearChange.html: Added.
128         * Media/MSECanPlayThrough.html: Added.
129         * Media/MSEPlaybackRate.html: Added.
130         * Media/StandardCanPlayThrough.html: Added.
131         * Media/hls/1080p/iframe_index.m3u8: Added.
132         * Media/hls/1080p/prog_index.m3u8: Added.
133         * Media/hls/1080p/test.ts: Added.
134         * Media/hls/480p/iframe_index.m3u8: Added.
135         * Media/hls/480p/prog_index.m3u8: Added.
136         * Media/hls/480p/test.ts: Added.
137         * Media/hls/720p/iframe_index.m3u8: Added.
138         * Media/hls/720p/prog_index.m3u8: Added.
139         * Media/hls/720p/test.ts: Added.
140         * Media/hls/720p/test.ts.back: Added.
141         * Media/hls/index.m3u8: Added.
142         * Media/media-source-loader.js: Added.
143         (MediaSourceLoader):
144         (MediaSourceLoader.prototype.loadManifest):
145         (MediaSourceLoader.prototype.loadManifestSucceeded):
146         (MediaSourceLoader.prototype.loadManifestFailed):
147         (MediaSourceLoader.prototype.loadMediaData):
148         (MediaSourceLoader.prototype.loadMediaDataSucceeded):
149         (MediaSourceLoader.prototype.loadMediaDataFailed):
150         (MediaSourceLoader.prototype.get type):
151         (MediaSourceLoader.prototype.get duration):
152         (MediaSourceLoader.prototype.get initSegment):
153         (MediaSourceLoader.prototype.get mediaSegmentsLength):
154         (MediaSourceLoader.prototype.mediaSegments):
155         (MediaSourceLoader.prototype.get everyMediaSegment):
156         * Media/test-fragmented-video.json: Added.
157         * Media/test-fragmented-video.mp4: Added.
158         * Media/test.mp4: Added.
159         * Skipped:
160
161 2016-11-18  Filip Pizlo  <fpizlo@apple.com>
162
163         Concurrent GC should be able to run splay in debug mode and earley/raytrace in release mode with no perf regression
164         https://bugs.webkit.org/show_bug.cgi?id=164282
165
166         Reviewed by Geoffrey Garen and Oliver Hunt.
167         
168         CDjs is a fun benchmark for stressing concurrent GCs, but to really give the GC a good
169         workout you need to increase the amount of work that the test does. This adds a second
170         configuration of the benchmark that has more aircraft. It uses much more memory and causes us
171         to do more GCs and those GCs take longer.
172
173         * JetStream/cdjs/benchmark.js:
174         (benchmarkImpl):
175         (benchmark):
176         * JetStream/cdjs/large.js: Added.
177
178 2016-11-14  Filip Pizlo  <fpizlo@apple.com>
179
180         Unreviewed, revert unintended change.
181
182         * ES6SampleBench/Air/benchmark.js:
183
184 2016-10-03  Saam Barati  <sbarati@apple.com>
185
186         MapHash should speculate on the type of its child node
187         https://bugs.webkit.org/show_bug.cgi?id=161922
188
189         Reviewed by Filip Pizlo.
190
191         I gave the main generator a name so it's easier to see what
192         it is when using the sampling profiler.
193
194         * ES6SampleBench/Basic/ast.js:
195         (Basic.Program):
196
197 2016-09-19  Sergio Villar Senin  <svillar@igalia.com>
198
199         [css-grid] Remove the x2 computation of row sizes with indefinite heights
200         https://bugs.webkit.org/show_bug.cgi?id=162150
201
202         Reviewed by Darin Adler.
203
204         Added a new test case which checks the layout performance of grids inside other grids, i.e,
205         grids acting both as grid container and grid item.
206
207         * Layout/nested-grid.html: Added.
208
209 2016-09-09  Simon Fraser  <simon.fraser@apple.com>
210
211         Perf test Animation/css-accelerated-animation.html failing
212         https://bugs.webkit.org/show_bug.cgi?id=161795
213
214         Skip Animation/css-accelerated-animation.html since this only works as a MobileSafari
215         perf test.
216
217         * Skipped:
218
219 2016-09-08  Simon Fraser  <simon.fraser@apple.com>
220
221         Add a content-animation test with accelerated CSS animations
222         https://bugs.webkit.org/show_bug.cgi?id=161776
223
224         Reviewed by Dean Jackson.
225
226         Add a test that measures the frame rate of accelerated CSS animations.
227
228         This is like css-animation.html (which animates 'left' and 'top') but animates
229         transforms instead. In order to get animation in X and Y we make two nested elements
230         and set transformX() on one, and transformY() on the other.
231
232         * Animation/css-accelerated-animation.html: Added.
233
234 2016-08-23  Saam Barati  <sbarati@apple.com>
235
236         It should be easy to run ES6SampleBench from the jsc shell
237         https://bugs.webkit.org/show_bug.cgi?id=161085
238
239         Reviewed by Yusuke Suzuki.
240
241         This patch makes ES6 sample bench runnable through the `jsc` shell.
242         To do that, you need to be in the PerformanceTests/ES6SampleBench
243         directory and run `jsc cli.js`. To make this work, the benchmark
244         is now aware of being run in two modes: via the browser, and via
245         the shell. Each entry point will set a variable `isInBrowser`,
246         and the benchmark will do different things based on if that
247         variable is true or false.
248
249         * ES6SampleBench/Air/benchmark.js:
250         * ES6SampleBench/Air/stress-test.js:
251         * ES6SampleBench/Basic/benchmark.js:
252         (runBenchmark):
253         * ES6SampleBench/Basic/stress-test.js:
254         * ES6SampleBench/air_benchmark.js:
255         * ES6SampleBench/basic_benchmark.js:
256         * ES6SampleBench/cli.js: Added.
257         (return.doRun):
258         (makeBenchmarkRunner):
259         * ES6SampleBench/driver.js:
260         (Driver):
261         (Driver.prototype._recomputeSummary):
262         (Driver.prototype._iterate.window.setTimeout):
263         (Driver.prototype._iterate):
264         (Driver.prototype._updateIterations):
265         * ES6SampleBench/glue.js:
266         (reportResult):
267         * ES6SampleBench/index.html:
268         * ES6SampleBench/results.js:
269         (Results):
270         (Results.prototype.reportRunning):
271         (Results.prototype.reportDone):
272         (Results.prototype.reportError):
273         * ES6SampleBench/stats.js:
274         (Stats):
275         (Stats.prototype.toString):
276         (Stats.prototype._update):
277
278 2016-08-01  Said Abou-Hallawa  <sabouhallawa@apple.com>
279
280         Add an option to run the MotionMark tests with classic tile size (512x512)
281         https://bugs.webkit.org/show_bug.cgi?id=160371
282
283         Reviewed by Darin Adler.
284
285         Setting the body to large size (3000x3000) and overflow to scroll forces
286         the classic tile size (512x512). This option does not affect the canvas
287         tests because the canvas is displayed on one tile regardless of its size.
288
289         * Animometer/developer.html:
290         * Animometer/resources/debug-runner/animometer.css:
291         (body.showing-test-container.tiles-big):
292         (body.showing-test-container.tiles-classic):
293         * Animometer/resources/debug-runner/animometer.js:
294         * Animometer/resources/runner/animometer.js:
295         (window.benchmarkController.startBenchmark):
296
297 2016-06-29  Filip Pizlo  <fpizlo@apple.com>
298
299         Generators violate bytecode liveness validation
300         https://bugs.webkit.org/show_bug.cgi?id=159279
301
302         Reviewed by Yusuke Suzuki.
303
304         Add Basic to our test harness.
305
306         Also made some cosmetic changes to the benchmark harness.
307
308         * ES6SampleBench/Basic/basic-tests.yaml: Added.
309         * ES6SampleBench/Basic/stress-test.js: Added.
310         (preciseTime):
311         * ES6SampleBench/driver.js:
312         (Driver):
313         (Driver.prototype.start):
314         (Driver.prototype.reportError):
315         * ES6SampleBench/glue.js:
316         * ES6SampleBench/index.html:
317
318 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
319
320         ES6SampleBench should have a harness
321         https://bugs.webkit.org/show_bug.cgi?id=159246
322
323         Reviewed by Saam Barati.
324         
325         This adds a simple web harness for ES6SampleBench. It runs Air and Basic 10 times for 200
326         iterations each and reports three metrics:
327         
328         First iteration: the time it takes for the first iteration to run. This is the first
329         iteration after the benchmark is loaded into the iframe, so it's representative of what
330         would happen if one of these workloads only ran for a short time.
331         
332         Worst 2%: of the last 199 iterations, the average of the worst 2% iterations. If code like
333         any of these workloads was used in an important event handler, you'd want that code to run
334         well in the worst case in addition to having great throughput.
335         
336         Steady state: the total of the last 199 iterations. This is representative of what would
337         happen if you ran code like this for a long time.
338         
339         The total score is the geomean of the firstIteration/worstCase/steadyState numbers of the
340         two benchmarks.
341         
342         The harness does statistics using Student's T-distribution confidence intervals.
343
344         * ES6SampleBench/Basic/benchmark.js:
345         (Benchmark):
346         * ES6SampleBench/air_benchmark.js: Added.
347         * ES6SampleBench/basic_benchmark.js: Added.
348         * ES6SampleBench/driver.js: Added.
349         (Driver):
350         (Driver.prototype.addBenchmark):
351         (Driver.prototype.start):
352         (Driver.prototype.reportResult):
353         (Driver.prototype.reportError):
354         (Driver.prototype._recomputeSummary.Geomean):
355         (Driver.prototype._recomputeSummary.Geomean.prototype.add):
356         (Driver.prototype._recomputeSummary.Geomean.prototype.get result):
357         (Driver.prototype._recomputeSummary):
358         (Driver.prototype._iterate):
359         (Driver.prototype._updateIterations):
360         * ES6SampleBench/glue.js: Added.
361         * ES6SampleBench/index.html: Added.
362         * ES6SampleBench/results.js: Added.
363         (Results):
364         (Results.prototype.get benchmark):
365         (Results.prototype.reset):
366         (Results.prototype.reportRunning):
367         (Results.prototype.reportDone):
368         (Results.prototype.reportResult.averageAbovePercentile):
369         (Results.prototype.reportResult):
370         (Results.prototype.reportError):
371         * ES6SampleBench/stats.js: Added.
372         (Stats):
373         (Stats.prototype.reset):
374         (Stats.prototype.add):
375         (Stats.prototype.get numIterations):
376         (Stats.prototype.valueForIteration):
377         (Stats.get result.tDist):
378         (Stats.prototype.get result):
379         (Stats.prototype.toString):
380         (Stats.prototype._update):
381         * ES6SampleBench/style.css: Added.
382         (body):
383         (body, th, tr):
384         (h1, h2, h3, h4):
385         (h1):
386         (h2):
387         (h3):
388         (hr):
389         (address):
390         (img):
391         (.underline):
392         (ol.loweralpha):
393         (ol.upperalpha):
394         (ol.lowerroman):
395         (ol.upperroman):
396         (ol.arabic):
397         (.banner-link:link, .banner-link:visited):
398         (:link, :visited):
399         (h4 :link, h4 :visited, h5 :link, h5 :visited, h6 :link, h6 :visited):
400         (.anchor:link, .anchor:visited):
401         (* > .anchor:link, * > .anchor:visited):
402         (span:hover .anchor):
403         (a.forbidden, span.forbidden):
404         (a.missing:hover):
405         (a.closed:link, a.closed:visited, span.closed):
406         (pre):
407         (div.code):
408         (div.code pre):
409         (dt):
410         (dd):
411         (dd:last-child):
412         (.site-logo):
413         (.site-logo .tagline):
414         (table):
415         (#contents):
416         (p):
417         (p:last-child):
418         (th):
419         (td):
420
421 2016-06-28  Jon Lee  <jonlee@apple.com>
422
423         Update focus test
424         https://bugs.webkit.org/show_bug.cgi?id=159242
425         rdar://problem/27070007
426
427         Reviewed by Dean Jackson.
428         Provisionally reviewed by Said Abou-Hallawa.
429
430         Move previous test to dom suite, and update the test for better reporting of frame rate, although
431         it uses a different rendering path.
432
433         * Animometer/resources/debug-runner/tests.js: Add to dom suite.
434         * Animometer/tests/dom/focus.html: Copied from PerformanceTests/Animometer/tests/master/focus.html.
435         * Animometer/tests/dom/resources/focus.js: Copied from PerformanceTests/Animometer/tests/master/resources/focus.js.
436         * Animometer/tests/master/focus.html: Remove center element.
437         * Animometer/tests/master/resources/focus.js: Use narrower size range with smaller particles. Remove the
438         container elements. Inline getBlurValue and getOpacityValue since they are only called once.
439
440 2016-06-28  Filip Pizlo  <fpizlo@apple.com>
441
442         Move Air.js and Basic into ES6SampleBench
443
444         Rubber stamped by Geoffrey Garen.
445         
446         We want to group our ES6 benchmarks together, and eventually, we want to give them a
447         common harness.
448
449         * Air.js: Removed.
450         * Air.js/README.md: Removed.
451         * Air.js/airjs-tests.yaml: Removed.
452         * Air.js/all.js: Removed.
453         * Air.js/allocate_stack.js: Removed.
454         * Air.js/arg.js: Removed.
455         * Air.js/basic_block.js: Removed.
456         * Air.js/benchmark.js: Removed.
457         * Air.js/code.js: Removed.
458         * Air.js/custom.js: Removed.
459         * Air.js/frequented_block.js: Removed.
460         * Air.js/insertion_set.js: Removed.
461         * Air.js/inst.js: Removed.
462         * Air.js/liveness.js: Removed.
463         * Air.js/make_dist.sh: Removed.
464         * Air.js/opcode.js: Removed.
465         * Air.js/payload-airjs-ACLj8C.js: Removed.
466         * Air.js/payload-gbemu-executeIteration.js: Removed.
467         * Air.js/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
468         * Air.js/payload-typescript-scanIdentifier.js: Removed.
469         * Air.js/reg.js: Removed.
470         * Air.js/stack_slot.js: Removed.
471         * Air.js/stress-test.js: Removed.
472         * Air.js/strip-hash.rb: Removed.
473         * Air.js/symbols.js: Removed.
474         * Air.js/test.html: Removed.
475         * Air.js/test.js: Removed.
476         * Air.js/tmp.js: Removed.
477         * Air.js/tmp_base.js: Removed.
478         * Air.js/util.js: Removed.
479         * Basic: Removed.
480         * Basic/ast.js: Removed.
481         * Basic/basic.js: Removed.
482         * Basic/benchmark.js: Removed.
483         * Basic/caseless_map.js: Removed.
484         * Basic/lexer.js: Removed.
485         * Basic/number.js: Removed.
486         * Basic/parser.js: Removed.
487         * Basic/random.js: Removed.
488         * Basic/state.js: Removed.
489         * Basic/test.html: Removed.
490         * Basic/test.js: Removed.
491         * Basic/util.js: Removed.
492         * ES6SampleBench: Added.
493         * ES6SampleBench/Air: Copied from PerformanceTests/Air.js.
494         * ES6SampleBench/Basic: Copied from PerformanceTests/Basic.
495         * Skipped:
496
497 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
498
499         Add a ES6 generator benchmark
500         https://bugs.webkit.org/show_bug.cgi?id=159101
501
502         Rubber stamped by Keith Miller.
503         
504         This adds a Basic interpreter loosely based on ECMA-55:
505         
506         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
507         
508         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
509         walk interpreter where the walking functions for statements are generators that call each
510         other with yield*. This enables the interpreter to look like an AST walk even though it can
511         yield at INPUT and PRINT statements.
512         
513         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
514         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
515         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
516         parser.rb for example.
517         
518         The benchmark runs a handful of simple Basic programs. The longest-running one computes
519         prime numbers.
520         
521         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
522
523         * Basic: Added.
524         * Basic/ast.js: Added.
525         (Basic.NumberApply):
526         (Basic.Variable):
527         (Basic.Const):
528         (Basic.NumberPow):
529         (Basic.NumberMul):
530         (Basic.NumberDiv):
531         (Basic.NumberNeg):
532         (Basic.NumberAdd):
533         (Basic.NumberSub):
534         (Basic.StringVar):
535         (Basic.Equals):
536         (Basic.NotEquals):
537         (Basic.LessThan):
538         (Basic.GreaterThan):
539         (Basic.LessEqual):
540         (Basic.GreaterEqual):
541         (Basic.GoTo):
542         (Basic.GoSub):
543         (Basic.Def):
544         (Basic.Let):
545         (Basic.If):
546         (Basic.Return):
547         (Basic.Stop):
548         (Basic.On):
549         (sideState.shouldStop):
550         (Basic.For):
551         (Basic.Next):
552         (Basic.Print):
553         (Basic.Input):
554         (Basic.Read):
555         (Basic.Restore):
556         (Basic.Dim):
557         (Basic.Randomize):
558         (Basic.End):
559         (Basic.Program):
560         * Basic/basic.js: Added.
561         (prepare):
562         (simulate):
563         * Basic/benchmark.js: Added.
564         (Benchmark):
565         (Benchmark.prototype.runIteration.expect):
566         (Benchmark.prototype.runIteration):
567         (runBenchmark):
568         * Basic/caseless_map.js: Added.
569         (CaselessMap):
570         * Basic/lexer.js: Added.
571         (lex.consumeWhitespace):
572         (lex.consume):
573         (lex):
574         * Basic/lexer_test.js: Added.
575         * Basic/number.js: Added.
576         (NumberValue):
577         (NumberValue.prototype.get value):
578         (NumberValue.prototype.apply):
579         (NumberValue.prototype.leftApply):
580         (NumberValue.prototype.assign):
581         (NumberArray.):
582         (NumberArray):
583         (NumberArray.prototype.apply):
584         (NumberArray.prototype.leftApply):
585         (NumberFunction):
586         (NumberFunction.prototype.apply):
587         (NumberFunction.prototype.leftApply):
588         (NativeFunction):
589         (NativeFunction.prototype.apply):
590         (NativeFunction.prototype.leftApply):
591         * Basic/parser.js: Added.
592         (parse):
593         (parse.pushToken):
594         (parse.peekToken):
595         (parse.consumeKind):
596         (parse.consumeToken):
597         (parse.parseVariable):
598         (parse.parseNumericExpression.parsePrimary):
599         (parse.parseNumericExpression.parseFactor):
600         (parse.parseNumericExpression.parseTerm):
601         (parse.parseNumericExpression):
602         (parse.parseConstant):
603         (parse.parseStringExpression):
604         (parse.isStringExpression):
605         (parse.parseRelationalExpression):
606         (parse.parseNonNegativeInteger):
607         (parse.parseGoToStatement):
608         (parse.parseGoSubStatement):
609         (parse.parseStatement):
610         (parse.parseStatements):
611         * Basic/random.js: Added.
612         (createRNG):
613         (createRNGWithFixedSeed):
614         (createRNGWithRandomSeed):
615         * Basic/state.js: Added.
616         (State):
617         (State.prototype.getValue):
618         (State.prototype.getSideState):
619         (State.prototype.abort):
620         (State.prototype.validate):
621         * Basic/test.html: Added.
622         * Basic/test.js: Added.
623         * Basic/util.js: Added.
624         (this.performance.performance.now.currentTime):
625         (else.this.preciseTime.currentTime):
626         (else.currentTime):
627         * Skipped: Make sure that we don't run Basic yet.
628
629 2016-06-21  Jon Lee  <jonlee@apple.com>
630
631         Update canvas size when benchmark begins
632         https://bugs.webkit.org/show_bug.cgi?id=159010
633
634         Reviewed by Dean Jackson.
635
636         Previously we would evaluate the media queries and assign the canvas size to the test
637         on body.onload. Instead, do it once the user starts the benchmark.
638
639         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
640         to benchmarkController._startBenchmark.
641         * Animometer/resources/runner/animometer.js: Ditto.
642
643 2016-06-21  Jon Lee  <jonlee@apple.com>
644
645         Add new timestamp option
646         https://bugs.webkit.org/show_bug.cgi?id=159006
647
648         Reviewed by Dean Jackson.
649
650         Add a new option to take timestamps from the rAF callback.
651
652         * Animometer/developer.html: Added option.
653         * Animometer/tests/resources/main.js:
654         (Benchmark): Fall back to using the rAF timestamp if performance.now()
655         is not available.
656         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
657         local var instead of accessing private var.
658
659 2016-06-21  Jon Lee  <jonlee@apple.com>
660
661         Improvements to Animometer benchmark
662         https://bugs.webkit.org/show_bug.cgi?id=157738
663
664         Reviewed by Dean Jackson.
665         Provisionally reviewed by Said Abou-Hallawa.
666
667         Update tests.
668
669         * Animometer/tests/master/text.html: Ensure only three text sizes for
670         the three canvases.
671         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
672         particle sizes.
673         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
674         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
675         reduce some calculations per frame. Fix the placement of the particles which might
676         otherwise be culled.
677         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
678         to encourage larger scores.
679
680 2016-06-21  Jon Lee  <jonlee@apple.com>
681
682         Improvements to Animometer benchmark
683         https://bugs.webkit.org/show_bug.cgi?id=157738
684
685         Reviewed by Dean Jackson.
686         Provisionally reviewed by Said Abou-Hallawa.
687
688         Include confidence interval for the final score, and store the canvas
689         size in the serialization so that it is accurately shown in results.
690
691         * Animometer/developer.html: Add a "confidence" div.
692         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
693         * Animometer/resources/debug-runner/animometer.js: Look at options, and
694         if the configuration is included, update the body class based on it
695         (similar to what we do when we first load the page). That way, if you
696         drag-and-drop previous results in, that configuration is reflected in
697         the dashboard. Show the full confidence interval.
698
699         * Animometer/resources/debug-runner/animometer.css:
700         * Animometer/resources/debug-runner/animometer.js: Style update.
701         * Animometer/resources/runner/animometer.css:
702
703         * Animometer/resources/runner/animometer.js:
704         (_processData): Propagate the confidence interval values out and calculate
705         the lower and upper bounds. For now, shortcut the aggregate calculation,
706         since we only go through one iteration.
707         (this._processData.calculateScore): Propagate the confidence interval out
708         to be next to the score. Depending on the controller these values are
709         calculated differently.
710         (this._processData._getResultsProperty): Convenience function.
711         (this._processData.get score): Refactor.
712         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
713         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
714         (window.sectionsManager.setSectionScore):
715         (window.benchmarkController._startBenchmark): When the benchmark starts, note
716         the canvas size and add it to options. That way it will be automatically be
717         serialized.
718         (window.benchmarkController.showResults): Include the maximum deviation
719         percentage.
720         * Animometer/resources/runner/lines.svg: Make the background line up with the
721         skew.
722         * Animometer/resources/runner/tests.js:
723         (Headers.details.text): Refactor.
724         * Animometer/resources/statistics.js:
725         (Statistics.largestDeviationPercentage): Convenience function to calculate
726         the deviation percentage on either end and return the largest deviation.
727         * Animometer/resources/strings.js:
728
729         Allow specifying a regression profile to use instead of taking the one
730         with the lowest error.
731
732         Address an issue in the focus test when the regression calculated ends
733         up overestimating the change point, causing a cascade of tougher
734         ramps. The reason behind this is that at max complexity of an initial
735         ramp, the frame length is very high, and it influences the second
736         segment of the piecewise regression strongly, causing it to be very
737         steep. As a result, the first segment, expected to be flat, ends up
738         covering a higher range of complexity. That makes the change point
739         much higher than it should be. To avoid this, we will add a sanity
740         check on the maximum value of the ramp. If the regression's projected
741         value at the maximum complexity of the current ramp is very slow (less
742         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
743         include the regression's change point in the change point estimator.
744         That estimator is used as the midpoint of the next ramp, and including
745         the change point from a poor regression can bake in the error. The
746         controller already knows how to adjust for ramps that are too easy for
747         the system.
748
749         * Animometer/resources/runner/animometer.js:
750         (this._processData.findRegression): Takes a preferred profile and gives that to
751         Regression.
752         (this._processData.calculateScore): With the ramp controller, take the profile
753         of the ramp that was used the most when calculating the ramp's regression. That
754         profile is what is used for the test's score.
755         * Animometer/resources/statistics.js:
756         (Regression.Utilities.createClass): Update to take an options object which can
757         specify a profile to calculate with. Otherwise it will continue to use both and
758         select the one with the lower error.
759         (_calculateRegression): Fix an issue where we claim 0 error if the regression
760         calculation fails due to divide-by-zero. Instead reject that regression calculation
761         by giving it Number.MAX_VALUE.
762         * Animometer/resources/strings.js: New strings for marking a regression as flat
763         or slope.
764         * Animometer/tests/resources/main.js:
765         (RampController): Rename the thresholds for clarity. Add a threshold that, if
766         exceeded, will lower the maximum complexity of the next ramp.
767         (tune): Relax the cdf check to consider whether the interval definitely falls in
768         the desired frame length threshold.
769         (processSamples): Include the profile in the ramp.
770
771         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
772         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
773
774         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
775         by default.
776         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
777         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
778         the order in which they appear in the patch:
779
780         - With a longer test length use longer ramps with longer intervals to get more data at each
781         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
782         spend more time there to find the right order of magnitude, but increase it during the
783         ramps to 120 ms.
784         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
785         never sample the minimum complexity. Instead of lerping max to min complexity from time
786         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
787         we can have at least one interval sample at the min complexity for that ramp.
788         - Some regression calculations only come out with one line segment rather than the two
789         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
790         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
791         we ensure that at least part of the ramp is covering a complexity range that the system can
792         handle at full 60.
793         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
794
795         Update the format used to serialize the results for analysis.
796
797         Each data point used to have named properties for fields like complexity and frame rate.
798         In addition the serialized numbers had rounding errors that took up many characters.
799         Update the format by introducing a new data container called SampleData, which contains a
800         field map. The map maps a string to an array index. Each data point is an array, so, to
801         get a stat, use the field map to get the array index into the data point. This allows future
802         versions to track other data, and reduces the size of the output string by two-thirds.
803
804         * Animometer/resources/extensions.js:
805         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
806         precision, and converts it back to a number.
807         (SampleData): New class that contains sample data and a field map that maps properties to
808         an array index.
809         (get length): Number of data points.
810         (addField): Add a field to the field map.
811         (push): Add a data point.
812         (sort): Sort the data.
813         (slice): Return new SampleData object with sliced data.
814         (forEach): Iterate over the data with provided function.
815         (createDatum):
816         (getFieldInDatum): Returns the data point associated with the field name by looking it up
817         in the field map in the datum provided, which can be the datum object itself (an array) or
818         an index into the data member variable.
819         (setFieldInDatum): Sets the data point associated with the field name.
820         (at): Returns the data point at the provided index.
821         (toArray): Serializes the data where the field map serves as property names for each point.
822
823         * Animometer/resources/debug-runner/graph.js:
824         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
825         graph to use, since the old format was much easier to work with when displaying the graphs.
826         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
827         * Animometer/resources/runner/animometer.css:
828         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
829         to only go to 3 digits of precision for purposes of reducing the data size.
830         * Animometer/resources/strings.js: Add new strings to put into the field maps.
831         * Animometer/tests/resources/main.js: Refactor to use SampleData.
832
833         * Animometer/developer.html:
834         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
835         tests.js include.
836         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
837         * Animometer/resources/debug-runner/graph.js:
838         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
839         controller, since not all controllers do bootstrapping.
840         * Animometer/resources/debug-runner/tests.js: Update header text.
841         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
842         * Animometer/resources/runner/animometer.js:
843         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
844         (ResultsTable._addBody): Add tbody element.
845         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
846         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
847         * Animometer/resources/runner/tests.js:
848         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
849         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
850         on either side of the bootstrap median.
851         * Animometer/resources/statistics.js:
852         (bootstrap): Include the confidence percentage in the return object.
853
854         Report canvas size in results.
855
856         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
857         canvas was used.
858         * Animometer/index.html: Ditto.
859         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
860         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
861         body class size.
862         * Animometer/resources/runner/animometer.js:
863         (window.benchmarkController.initialize): Update styles to set the canvas based on the
864         body class size.
865         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
866         class based on the size of the device.
867
868         * Animometer/developer.html: Refactor to include the main CSS file, and redo
869         the layout so that it doesn't rely on flexbox.
870         * Animometer/resources/debug-runner/animometer.css:
871         * Animometer/resources/debug-runner/animometer.js:
872         (updateDisplay): Since various parts of the script alter the body class, we can't
873         replace the className directly. Instead, remove all display-based values and then add
874         the one that was selected.
875         * Animometer/resources/debug-runner/graph.js:
876         (updateGraphData): To set the size of the graph, use window.innerHeight.
877         * Animometer/resources/runner/animometer.js:
878         (window.sectionsManager.showSection): Since various parts of the script alter the body
879         class, we can't replace the className directly. Remove all of the section classes
880         individually and then add the one desired.
881         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
882         stage.
883
884 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
885
886         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
887         https://bugs.webkit.org/show_bug.cgi?id=158674
888
889         Reviewed by Michael Saboff.
890         
891         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
892         Math.floor(x / 3) * 3 instead.
893         
894         This is a benign change, because having extra arguments to a Shuffle is not something we
895         actually take advantage of yet. But I think it's best to match the original C++ code's
896         intent.
897
898         * Air.js/custom.js:
899         (const.ShuffleCustom.forEachArg):
900
901 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
902
903         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
904
905         * Skipped:
906
907 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
908
909         Make it easy to package Air.js
910         https://bugs.webkit.org/show_bug.cgi?id=158652
911
912         Reviewed by Benjamin Poulain.
913         
914         If you want to give Air.js to someone, you can now do:
915         
916         cd PerformanceTests/Air.js
917         ./make_dist.sh
918         
919         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
920         the benchmark, just send either of those things and tell them to look at index.html.
921         
922         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
923         https://daringfireball.net/projects/markdown/
924
925         * Air.js/make_dist.sh: Added.
926         * Air.js/test.html:
927
928 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
929
930         Unreviewed, make the link to test.html into an actual link.
931
932         * Air.js/README.md:
933
934 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
935
936         Fix some text in Air.js/README.md
937         https://bugs.webkit.org/show_bug.cgi?id=158650
938
939         Reviewed by Benjamin Poulain.
940         
941         I read the text again and found bugs:
942         
943         - We never actually say how to run the benchmark. This change adds a blurb about how to run
944           it.
945
946         - We both say that allocateStack is responsible for the bulk of the running time and that
947           we haven't measured where the bulk of the time is spent. This changes the text to say that
948           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
949           not measure this.
950
951         * Air.js/README.md:
952
953 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
954
955         Air.js should have some documentation
956         https://bugs.webkit.org/show_bug.cgi?id=158648
957
958         Reviewed by Keith Miller.
959         
960         I want to be able to point people at a document if they want to know more about this
961         benchmark.
962
963         * Air.js/README.md: Added.
964
965 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
966
967         Rename JSAir to Air.js.
968
969         Rubber stamped by Mark Lam.
970
971         * Air.js: Copied from PerformanceTests/JSAir.
972         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
973         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
974         (Benchmark):
975         * Air.js/jsair-tests.yaml: Removed.
976         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
977         * Air.js/payload-jsair-ACLj8C.js: Removed.
978         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
979         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
980         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
981         * JSAir: Removed.
982         * JSAir/all.js: Removed.
983         * JSAir/allocate_stack.js: Removed.
984         * JSAir/arg.js: Removed.
985         * JSAir/basic_block.js: Removed.
986         * JSAir/benchmark.js: Removed.
987         * JSAir/code.js: Removed.
988         * JSAir/custom.js: Removed.
989         * JSAir/frequented_block.js: Removed.
990         * JSAir/insertion_set.js: Removed.
991         * JSAir/inst.js: Removed.
992         * JSAir/jsair-tests.yaml: Removed.
993         * JSAir/liveness.js: Removed.
994         * JSAir/opcode.js: Removed.
995         * JSAir/payload-gbemu-executeIteration.js: Removed.
996         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
997         * JSAir/payload-jsair-ACLj8C.js: Removed.
998         * JSAir/payload-typescript-scanIdentifier.js: Removed.
999         * JSAir/reg.js: Removed.
1000         * JSAir/stack_slot.js: Removed.
1001         * JSAir/stress-test.js: Removed.
1002         * JSAir/strip-hash.rb: Removed.
1003         * JSAir/symbols.js: Removed.
1004         * JSAir/test.html: Removed.
1005         * JSAir/test.js: Removed.
1006         * JSAir/tmp.js: Removed.
1007         * JSAir/tmp_base.js: Removed.
1008         * JSAir/util.js: Removed.
1009
1010 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
1011
1012         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
1013         https://bugs.webkit.org/show_bug.cgi?id=158571
1014
1015         Reviewed by Keith Miller.
1016         
1017         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
1018         iterations and then tries to do any number of "bonus" iterations until it's been running for
1019         two seconds. Since this is the sort of test that isn't really meant to stress anything in
1020         particular, I think it's OK if it is time-limited in this way. The worst case is that some
1021         of its failures will be flaky, but I think that they would have been flaky anyway given the
1022         complexity of the test.
1023
1024         * JSAir/benchmark.js:
1025         (Benchmark):
1026         (Benchmark.prototype.runIteration):
1027         (benchmark): Deleted.
1028         * JSAir/jsair-tests.yaml:
1029         * JSAir/stress-test.js: Added.
1030         (preciseTime):
1031         * JSAir/test.html:
1032         * JSAir/test.js:
1033
1034 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
1035
1036         Unreviewed, teach the perf bots not to run JSAir.
1037
1038         * Skipped:
1039
1040 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
1041
1042         Use more ES6 features in JSAir
1043         https://bugs.webkit.org/show_bug.cgi?id=158497
1044
1045         Reviewed by Keith Miller.
1046         
1047         This improves JSAir with the following ES6 features suggested by JoePeck:
1048         
1049         - String interpolation.
1050         - Destructuring inside PatchCustom.
1051         - Default arguments.
1052         
1053         All of these things are on hot paths.
1054         
1055         Note that I didn't use string interpolation everywhere that I could, only in those places
1056         where it made the code more readable. In Ruby, I used the style that if the interpolation
1057         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
1058         strings) then it's better to use regular strcat. I think that's what I carried over to here.
1059         
1060         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
1061         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
1062         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
1063         that function from being optimized then it will hurt so good.
1064         
1065         I also reenabled tail calls in a few places.
1066         
1067         This change doesn't seem to change the performance of the benchmark for us. That's expected
1068         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
1069         added in a separate change and that change did make the benchmark overall more expensive.
1070
1071         * JSAir/allocate_stack.js:
1072         (allocateStack):
1073         * JSAir/arg.js:
1074         (Arg.createBitImm64):
1075         (Arg.createAddr):
1076         (Arg.createStack):
1077         (Arg.logScale):
1078         (Arg.createIndex):
1079         * JSAir/basic_block.js:
1080         (BasicBlock.get headerString):
1081         (BasicBlock.prototype.get if):
1082         (BasicBlock):
1083         * JSAir/benchmark.js:
1084         (benchmark):
1085         * JSAir/code.js:
1086         (Code):
1087         (Code.prototype.addBlock):
1088         (Code.prototype.addStackSlot):
1089         (Code.prototype.newTmp):
1090         (Code.prototype.get size):
1091         (Code.prototype.get blocks):
1092         (Code.prototype.get stackSlots):
1093         (Code.prototype.tmps):
1094         (Code.prototype.get callArgAreaSize):
1095         (Code.prototype.toString):
1096         * JSAir/custom.js:
1097         (const.PatchCustom.forEachArg):
1098         * JSAir/inst.js:
1099         (Inst):
1100         * JSAir/reg.js:
1101         (Reg.prototype.toString):
1102         * JSAir/util.js:
1103         (symbolName):
1104         (lowerSymbolName):
1105
1106 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1107
1108         Add result validation to JSAir
1109         https://bugs.webkit.org/show_bug.cgi?id=158493
1110
1111         Reviewed by Saam Barati.
1112         
1113         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
1114         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
1115         check the Code before and after allocateStack, and compare against hashes we got from C++.
1116         
1117         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
1118         allocating things correctly because I was concatting a Set to an Array, which doesn't really
1119         work. Now these bugs are fixed.
1120         
1121         The checking step adds to the running time so I reduced the number of iterations. The
1122         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
1123         total. This is probably OK. It's better to verify the results even if the running time is
1124         not all in the "core" of the algorithm.
1125         
1126         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
1127
1128         * JSAir/allocate_stack.js:
1129         * JSAir/arg.js:
1130         (Arg.createImm):
1131         (Arg.createBigImm):
1132         (Arg.createBitImm):
1133         (Arg.createBitImm64):
1134         (Arg.createWidth):
1135         (Arg.createSpecial):
1136         (Arg.prototype.get kind):
1137         (Arg.prototype.get isTmp):
1138         (Arg.prototype.get isImm):
1139         (Arg.prototype.get isSomeImm):
1140         (Arg.prototype.get isSomeBigImm):
1141         (Arg.prototype.get isCondition):
1142         (Arg.prototype.get isWidth):
1143         (Arg.prototype.get isSpecial):
1144         (Arg.prototype.get isAlive):
1145         (Arg.prototype.get tmp):
1146         (Arg.prototype.get value):
1147         (Arg.prototype.get lowValue):
1148         (Arg.prototype.get highValue):
1149         (Arg.prototype.get base):
1150         (Arg.prototype.get isGP):
1151         (Arg.prototype.get isFP):
1152         (Arg.prototype.isValidForm):
1153         (Arg.prototype.get isInvertible):
1154         (Arg.kindCode):
1155         (Arg.prototype.hash):
1156         (Arg.prototype.toString):
1157         (Arg):
1158         * JSAir/basic_block.js:
1159         (BasicBlock.get successorBlocks):
1160         * JSAir/benchmark.js:
1161         (benchmark):
1162         * JSAir/code.js:
1163         (Code.prototype.setFrameSize):
1164         (Code.prototype.hash):
1165         (Code.prototype.toString):
1166         (Code):
1167         * JSAir/inst.js:
1168         (Inst.prototype.get hasNonArgEffects):
1169         (Inst.prototype.hash):
1170         (Inst.prototype.toString):
1171         (Inst):
1172         * JSAir/jsair-tests.yaml: Added.
1173         * JSAir/opcode.js:
1174         (Inst_forEachArg):
1175         (Inst_hasNonArgEffects):
1176         (opcodeCode):
1177         * JSAir/payload-gbemu-executeIteration.js:
1178         (createPayloadGbemuExecuteIteration):
1179         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
1180         (createPayloadImagingGaussianBlurGaussianBlur):
1181         * JSAir/payload-jsair-ACLj8C.js:
1182         (createPayloadJSAirACLj8C):
1183         * JSAir/payload-typescript-scanIdentifier.js:
1184         (createPayloadTypescriptScanIdentifier):
1185         * JSAir/reg.js:
1186         (Reg.prototype.get isReg):
1187         (Reg.prototype.hash):
1188         (Reg.prototype.toString):
1189         * JSAir/stack_slot.js:
1190         (StackSlot.prototype.setOffsetFromFP):
1191         (StackSlot.prototype.hash):
1192         (StackSlot.prototype.toString):
1193         * JSAir/symbols.js:
1194         (relCondCode):
1195         (resCondCode):
1196         (doubleCondCode):
1197         * JSAir/test.html:
1198         * JSAir/tmp.js:
1199         (Tmp.prototype.get isReg):
1200         (Tmp.prototype.hash):
1201         (Tmp.prototype.toString):
1202         * JSAir/util.js:
1203         (roundUpToMultipleOf):
1204         (symbolName):
1205
1206 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
1207
1208         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
1209         https://bugs.webkit.org/show_bug.cgi?id=158318
1210
1211         Reviewed by Saam Barati.
1212         
1213         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
1214         implementation of Air's allocateStack() phase along with all of Air needed to run that
1215         phase. This includes things like stack slots, registers, temporaries, basic blocks,
1216         instructions, and all of the code for iterating over, inspecting, and modifying those
1217         things.
1218         
1219         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
1220         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
1221         four Air IRs:
1222         
1223         - Octane/gbemu's largest function, executeIteration.
1224         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
1225         - Octane/typescript's largest function that is actually hot, scanIdentifier.
1226         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
1227         
1228         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
1229         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
1230         C++ Air::allocateStack() phase on which it is based.
1231         
1232         JSAir uses the following ES6 features:
1233         
1234         - Symbol.
1235         - for-of.
1236         - arrow functions.
1237         - Map/Set.
1238         - let/const.
1239         - classes.
1240         
1241         All of these things are used in anger and should end up on the hot path. There is also code
1242         that uses Proxies, but it ends up being dead.
1243         
1244         We can improve this even more:
1245         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
1246         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
1247         
1248         * JSAir: Added.
1249         * JSAir/all.js: Added.
1250         * JSAir/allocate_stack.js: Added.
1251         (allocateStack.attemptAssignment):
1252         (allocateStack.assign):
1253         (allocateStack.interfere):
1254         (allocateStack.):
1255         (allocateStack):
1256         * JSAir/arg.js: Added.
1257         (Arg):
1258         (Arg.isAnyUse):
1259         (Arg.isColdUse):
1260         (Arg.isWarmUse):
1261         (Arg.cooled):
1262         (Arg.isEarlyUse):
1263         (Arg.isLateUse):
1264         (Arg.isAnyDef):
1265         (Arg.isEarlyDef):
1266         (Arg.isLateDef):
1267         (Arg.isZDef):
1268         (Arg.typeForB3Type):
1269         (Arg.widthForB3Type):
1270         (Arg.conservativeWidth):
1271         (Arg.minimumWidth):
1272         (Arg.bytes):
1273         (Arg.widthForBytes):
1274         (Arg.createTmp):
1275         (Arg.fromReg):
1276         (Arg.createImm):
1277         (Arg.createBigImm):
1278         (Arg.createBitImm):
1279         (Arg.createBitImm64):
1280         (Arg.createAddr):
1281         (Arg.createStack):
1282         (Arg.createCallArg):
1283         (Arg.createStackAddr):
1284         (Arg.isValidScale):
1285         (Arg.logScale):
1286         (Arg.createIndex):
1287         (Arg.createRelCond):
1288         (Arg.createResCond):
1289         (Arg.createDoubleCond):
1290         (Arg.createWidth):
1291         (Arg.prototype.get kind):
1292         (Arg.prototype.get isTmp):
1293         (Arg.prototype.get isImm):
1294         (Arg.prototype.get isBigImm):
1295         (Arg.prototype.get isBitImm):
1296         (Arg.prototype.get isBitImm64):
1297         (Arg.prototype.get isSomeImm):
1298         (Arg.prototype.get isAddr):
1299         (Arg.prototype.get isStack):
1300         (Arg.prototype.get isCallArg):
1301         (Arg.prototype.get isIndex):
1302         (Arg.prototype.get isMemory):
1303         (Arg.prototype.get isStackMemory):
1304         (Arg.prototype.get isRelCond):
1305         (Arg.prototype.get isResCond):
1306         (Arg.prototype.get isDoubleCond):
1307         (Arg.prototype.get isCondition):
1308         (Arg.prototype.get isWidth):
1309         (Arg.prototype.get isAlive):
1310         (Arg.prototype.get tmp):
1311         (Arg.prototype.get value):
1312         (Arg.prototype.get base):
1313         (Arg.prototype.get hasOffset):
1314         (Arg.prototype.get offset):
1315         (Arg.prototype.get stackSlot):
1316         (Arg.prototype.get index):
1317         (Arg.prototype.get scale):
1318         (Arg.prototype.get logScale):
1319         (Arg.prototype.get width):
1320         (Arg.prototype.get isGPTmp):
1321         (Arg.prototype.get isFPTmp):
1322         (Arg.prototype.get isGP):
1323         (Arg.prototype.get isFP):
1324         (Arg.prototype.get hasType):
1325         (Arg.prototype.get type):
1326         (Arg.prototype.isType):
1327         (Arg.prototype.isCompatibleType):
1328         (Arg.prototype.get isGPR):
1329         (Arg.prototype.get gpr):
1330         (Arg.prototype.get isFPR):
1331         (Arg.prototype.get fpr):
1332         (Arg.prototype.get isReg):
1333         (Arg.prototype.get reg):
1334         (Arg.isValidImmForm):
1335         (Arg.isValidBitImmForm):
1336         (Arg.isValidBitImm64Form):
1337         (Arg.isValidAddrForm):
1338         (Arg.isValidIndexForm):
1339         (Arg.prototype.isValidForm):
1340         (Arg.prototype.forEachTmpFast):
1341         (Arg.prototype.usesTmp):
1342         (Arg.prototype.forEachTmp):
1343         (Arg.prototype.is):
1344         (Arg.prototype.as):
1345         (Arg.prototype.forEachFast):
1346         (Arg.prototype.forEach):
1347         (Arg.extract):
1348         (Arg.forEachFast):
1349         (Arg.forEach):
1350         (Arg.prototype.get condition):
1351         (Arg.prototype.get isInvertible):
1352         (Arg.prototype.toString):
1353         * JSAir/basic_block.js: Added.
1354         (BasicBlock):
1355         (BasicBlock.prototype.get index):
1356         (BasicBlock.prototype.get size):
1357         (BasicBlock.prototype.Symbol.iterator):
1358         (BasicBlock.prototype.at):
1359         (BasicBlock.get last):
1360         (BasicBlock.get insts):
1361         (BasicBlock.get numSuccessors):
1362         (BasicBlock.get successors):
1363         (BasicBlock.get successorBlocks.):
1364         (BasicBlock.get successorBlocks):
1365         (BasicBlock.set get numPredecessors):
1366         (BasicBlock.get predecessors):
1367         (BasicBlock.get frequency):
1368         (BasicBlock.get headerString):
1369         (BasicBlock.get footerString):
1370         * JSAir/benchmark.js: Added.
1371         (benchmark):
1372         * JSAir/code.js: Added.
1373         (Code):
1374         (Code.prototype.addBlock):
1375         (Code.prototype.addStackSlot):
1376         (Code.prototype.newTmp):
1377         (Code.prototype.get size):
1378         (Code.prototype.at):
1379         (Code.prototype.Symbol.iterator):
1380         (Code.prototype.get blocks):
1381         (Code.prototype.get stackSlots):
1382         (Code.prototype.tmps):
1383         (Code.prototype.get callArgAreaSize):
1384         (Code.prototype.requestCallArgAreaSize):
1385         (Code.prototype.get frameSize):
1386         (Code.prototype.setFrameSize):
1387         (Code.prototype.toString):
1388         * JSAir/custom.js: Added.
1389         (const.ShuffleCustom.forEachArg):
1390         (const.ShuffleCustom.hasNonArgNonControlEffects):
1391         (const.PatchCustom.forEachArg):
1392         (const.PatchCustom.hasNonArgNonControlEffects):
1393         (const.CCallCustom.forEachArg):
1394         (const.CCallCustom.hasNonArgNonControlEffects):
1395         (const.ColdCCallCustom.forEachArg):
1396         (const.ColdCCallCustom.hasNonArgNonControlEffects):
1397         * JSAir/frequented_block.js: Added.
1398         (FrequentedBlock):
1399         (FrequentedBlock.prototype.toString):
1400         * JSAir/insertion_set.js: Added.
1401         (Insertion):
1402         (Insertion.prototype.get index):
1403         (Insertion.prototype.get element):
1404         (Insertion.prototype.lessThan):
1405         (InsertionSet):
1406         (InsertionSet.prototype.appendInsertion):
1407         (InsertionSet.prototype.append):
1408         (InsertionSet.prototype.execute):
1409         * JSAir/inst.js: Added.
1410         (Inst):
1411         (Inst.prototype.append):
1412         (Inst.prototype.clear):
1413         (Inst.prototype.get opcode):
1414         (Inst.prototype.get args):
1415         (Inst.prototype.visitArg):
1416         (Inst.prototype.forEachTmpFast):
1417         (Inst.prototype.forEachArg):
1418         (Inst.prototype.forEachTmp):
1419         (Inst.prototype.forEach):
1420         (Inst.forEachDef):
1421         (Inst.forEachDefWithExtraClobberedRegs):
1422         (Inst.prototype.get hasNonArgEffects):
1423         (Inst.prototype.toString):
1424         * JSAir/liveness.js: Added.
1425         (Liveness):
1426         (Liveness.prototype.get thing):
1427         (Liveness.prototype.get code):
1428         (Liveness.prototype.get liveAtHead):
1429         (Liveness.prototype.get liveAtTail):
1430         (Liveness.prototype.localCalc.LocalCalc):
1431         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
1432         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
1433         (Liveness.prototype.localCalc):
1434         * JSAir/opcode.js: Added.
1435         (Inst_forEachArg):
1436         (Inst_hasNonArgEffects):
1437         * JSAir/payload-gbemu-executeIteration.js: Added.
1438         (createPayloadGbemuExecuteIteration):
1439         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
1440         (createPayloadImagingGaussianBlurGaussianBlur):
1441         * JSAir/payload-jsair-ACLj8C.js: Added.
1442         (createPayloadJSAirACLj8C):
1443         * JSAir/payload-typescript-scanIdentifier.js: Added.
1444         (createPayloadTypescriptScanIdentifier):
1445         * JSAir/reg.js: Added.
1446         (Reg):
1447         (Reg.fromReg):
1448         (Reg.prototype.get index):
1449         (Reg.prototype.get type):
1450         (Reg.prototype.get name):
1451         (Reg.prototype.get isCalleeSave):
1452         (Reg.prototype.get isReg):
1453         (Reg.prototype.toString):
1454         (Reg.extract):
1455         (Reg.forEachFast):
1456         (Reg.forEach):
1457         (newGPR):
1458         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
1459         * JSAir/stack_slot.js: Added.
1460         (StackSlot):
1461         (StackSlot.prototype.get byteSize):
1462         (StackSlot.prototype.get kind):
1463         (StackSlot.prototype.get isLocked):
1464         (StackSlot.prototype.get isSpill):
1465         (StackSlot.prototype.get index):
1466         (StackSlot.prototype.ensureSize):
1467         (StackSlot.prototype.get alignment):
1468         (StackSlot.prototype.get offsetFromFP):
1469         (StackSlot.prototype.setOffsetFromFP):
1470         (StackSlot.prototype.toString):
1471         (StackSlot.extract):
1472         (StackSlot.forEachFast):
1473         (StackSlot.forEach):
1474         * JSAir/symbols.js: Added.
1475         * JSAir/test.html: Added.
1476         * JSAir/test.js: Added.
1477         * JSAir/tmp.js: Added.
1478         (Tmp):
1479         (Tmp.fromReg):
1480         (Tmp.prototype.get index):
1481         (Tmp.prototype.get type):
1482         (Tmp.prototype.get isReg):
1483         (Tmp.prototype.toString):
1484         (Tmp.extract):
1485         (Tmp.forEachFast):
1486         (Tmp.forEach):
1487         * JSAir/tmp_base.js: Added.
1488         (TmpBase.prototype.get isGP):
1489         (TmpBase.prototype.get isFP):
1490         (TmpBase.prototype.get isGPR):
1491         (TmpBase.prototype.get isFPR):
1492         (TmpBase.prototype.get reg):
1493         (TmpBase.prototype.get gpr):
1494         (TmpBase.prototype.get fpr):
1495         (TmpBase):
1496         * JSAir/util.js: Added.
1497         (isRepresentableAsInt32):
1498         (addIndexed):
1499         (roundUpToMultipleOf):
1500         (symbolName):
1501         (mergeIntoSet):
1502         (nonEmptyRangesOverlap):
1503         (rangesOverlap):
1504         (removeAllMatching):
1505         (swap):
1506         (bubble):
1507         (bubbleSort):
1508         (currentTime):
1509         (else.currentTime):
1510
1511 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1512
1513         [JSC] Allow JSBench to use precise time
1514         https://bugs.webkit.org/show_bug.cgi?id=158050
1515
1516         Reviewed by Geoffrey Garen.
1517
1518         * JSBench/amazon-chrome-win/urem.js:
1519         (else.window.performance.window.performance.now.currentTimeInMS):
1520         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1521         (else.else.currentTimeInMS):
1522         (onload.cb):
1523         (onload):
1524         * JSBench/amazon-chrome/urem.js:
1525         (else.window.performance.window.performance.now.currentTimeInMS):
1526         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1527         (else.else.currentTimeInMS):
1528         (onload.cb):
1529         (onload):
1530         * JSBench/amazon-firefox-win/urm.js:
1531         (else.window.performance.window.performance.now.currentTimeInMS):
1532         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1533         (else.else.currentTimeInMS):
1534         (onload.cb):
1535         (onload):
1536         * JSBench/amazon-firefox/urm.js:
1537         (else.window.performance.window.performance.now.currentTimeInMS):
1538         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1539         (else.else.currentTimeInMS):
1540         (onload.cb):
1541         (onload):
1542         * JSBench/amazon-safari/urem.js:
1543         (else.window.performance.window.performance.now.currentTimeInMS):
1544         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1545         (else.else.currentTimeInMS):
1546         (onload.cb):
1547         (onload):
1548         * JSBench/facebook-chrome-win/urem.js:
1549         (else.window.performance.window.performance.now.currentTimeInMS):
1550         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1551         (else.else.currentTimeInMS):
1552         (onload.cb):
1553         (onload):
1554         * JSBench/facebook-chrome/urem.js:
1555         (else.window.performance.window.performance.now.currentTimeInMS):
1556         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1557         (else.else.currentTimeInMS):
1558         (onload.cb):
1559         (onload):
1560         * JSBench/facebook-firefox-win/urem.js:
1561         (else.window.performance.window.performance.now.currentTimeInMS):
1562         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1563         (else.else.currentTimeInMS):
1564         (onload.cb):
1565         (onload):
1566         * JSBench/facebook-firefox/urem.js:
1567         (else.window.performance.window.performance.now.currentTimeInMS):
1568         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1569         (else.else.currentTimeInMS):
1570         (onload.cb):
1571         (onload):
1572         * JSBench/facebook-safari/urem.js:
1573         (else.window.performance.window.performance.now.currentTimeInMS):
1574         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1575         (else.else.currentTimeInMS):
1576         (onload.cb):
1577         (onload):
1578         * JSBench/google-chrome-win/urem.js:
1579         (else.window.performance.window.performance.now.currentTimeInMS):
1580         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1581         (else.else.currentTimeInMS):
1582         (onload.cb):
1583         (onload):
1584         * JSBench/google-chrome/urem.js:
1585         (else.window.performance.window.performance.now.currentTimeInMS):
1586         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1587         (else.else.currentTimeInMS):
1588         (onload.cb):
1589         (onload):
1590         * JSBench/google-firefox-win/urem.js:
1591         (else.window.performance.window.performance.now.currentTimeInMS):
1592         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1593         (else.else.currentTimeInMS):
1594         (onload.cb):
1595         (onload):
1596         * JSBench/google-firefox/uem.js:
1597         (else.window.performance.window.performance.now.currentTimeInMS):
1598         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1599         (else.else.currentTimeInMS):
1600         (onload.cb):
1601         (onload):
1602         * JSBench/google-safari/urem.js:
1603         (else.window.performance.window.performance.now.currentTimeInMS):
1604         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1605         (else.else.currentTimeInMS):
1606         (onload.cb):
1607         (onload):
1608         * JSBench/harness.js:
1609         (runBenchmark.window.currentTimeInMS):
1610         (runBenchmark.else.window.currentTimeInMS):
1611         * JSBench/twitter-chrome-win/rem.js:
1612         (else.window.performance.window.performance.now.currentTimeInMS):
1613         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1614         (else.else.currentTimeInMS):
1615         (onload.cb):
1616         (onload):
1617         * JSBench/twitter-chrome/urem.js:
1618         (else.window.performance.window.performance.now.currentTimeInMS):
1619         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1620         (else.else.currentTimeInMS):
1621         (onload.cb):
1622         (onload):
1623         * JSBench/twitter-firefox-win/urem.js:
1624         (else.window.performance.window.performance.now.currentTimeInMS):
1625         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1626         (else.else.currentTimeInMS):
1627         (onload.cb):
1628         (onload):
1629         * JSBench/twitter-firefox/urem.js:
1630         (else.window.performance.window.performance.now.currentTimeInMS):
1631         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1632         (else.else.currentTimeInMS):
1633         (onload.cb):
1634         (onload):
1635         * JSBench/twitter-safari/urem.js:
1636         (else.window.performance.window.performance.now.currentTimeInMS):
1637         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1638         (else.else.currentTimeInMS):
1639         (onload.cb):
1640         (onload):
1641         * JSBench/yahoo-chrome-win/urem.js:
1642         (else.window.performance.window.performance.now.currentTimeInMS):
1643         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1644         (else.else.currentTimeInMS):
1645         (onload.cb):
1646         (onload):
1647         * JSBench/yahoo-chrome/urem.js:
1648         (else.window.performance.window.performance.now.currentTimeInMS):
1649         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1650         (else.else.currentTimeInMS):
1651         (onload.cb):
1652         (onload):
1653         * JSBench/yahoo-firefox-win/urem.js:
1654         (else.window.performance.window.performance.now.currentTimeInMS):
1655         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1656         (else.else.currentTimeInMS):
1657         (onload.cb):
1658         (onload):
1659         * JSBench/yahoo-firefox/urem.js:
1660         (else.window.performance.window.performance.now.currentTimeInMS):
1661         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1662         (else.else.currentTimeInMS):
1663         (onload.cb):
1664         (onload):
1665         * JSBench/yahoo-safari/urem.js:
1666         (else.window.performance.window.performance.now.currentTimeInMS):
1667         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1668         (else.else.currentTimeInMS):
1669         (onload.cb):
1670         (onload):
1671
1672 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1673
1674         replaceable own properties seem to ignore replacement after property caching
1675         https://bugs.webkit.org/show_bug.cgi?id=158091
1676
1677         Reviewed by Darin Adler.
1678
1679         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1680         * MallocBench/MallocBench/Benchmark.cpp:
1681         * MallocBench/MallocBench/Interpreter.cpp:
1682         (Interpreter::doMallocOp):
1683         * MallocBench/MallocBench/Interpreter.h:
1684         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1685         * MallocBench/MallocBench/jetstream.cpp: Added.
1686         (benchmark_jetstream):
1687         * MallocBench/MallocBench/jetstream.h: Added.
1688
1689 2016-05-25  Keith Miller  <keith_miller@apple.com>
1690
1691         Unreviewed, add JSBench to the skipped list for now since it doesn't
1692         work currently.
1693
1694         * Skipped:
1695
1696 2016-05-17  Keith Miller  <keith_miller@apple.com>
1697         We should have JSBench in PerformanceTests
1698         https://bugs.webkit.org/show_bug.cgi?id=157952
1699
1700         Rubber-stamped by Saam Barati.
1701
1702         There are some slight changes to the layout of the test directory
1703         to make it work nicely with run-jsc-benchmarks. Before JSBench
1704         had each of the browser specific sub-tests in a sub-directory.
1705         These have been flattened e.g. amazon/safari/ has become
1706         amazon-safari/.
1707
1708         * JSBench/amazon-chrome-win/urem.html: Added.
1709         * JSBench/amazon-chrome-win/urem.js: Added.
1710         * JSBench/amazon-chrome/urem.html: Added.
1711         * JSBench/amazon-chrome/urem.js: Added.
1712         * JSBench/amazon-firefox-win/urm.html: Added.
1713         * JSBench/amazon-firefox-win/urm.js: Added.
1714         * JSBench/amazon-firefox/urm.html: Added.
1715         * JSBench/amazon-firefox/urm.js: Added.
1716         * JSBench/amazon-safari/urem.html: Added.
1717         * JSBench/amazon-safari/urem.js: Added.
1718         * JSBench/browsercheck.js: Added.
1719         * JSBench/facebook-chrome-win/urem.html: Added.
1720         * JSBench/facebook-chrome-win/urem.js: Added.
1721         * JSBench/facebook-chrome/urem.html: Added.
1722         * JSBench/facebook-chrome/urem.js: Added.
1723         * JSBench/facebook-firefox-win/urem.html: Added.
1724         * JSBench/facebook-firefox-win/urem.js: Added.
1725         * JSBench/facebook-firefox/urem.html: Added.
1726         * JSBench/facebook-firefox/urem.js: Added.
1727         * JSBench/facebook-safari/urem.html: Added.
1728         * JSBench/facebook-safari/urem.js: Added.
1729         * JSBench/google-chrome-win/urem.html: Added.
1730         * JSBench/google-chrome-win/urem.js: Added.
1731         * JSBench/google-chrome/urem.html: Added.
1732         * JSBench/google-chrome/urem.js: Added.
1733         * JSBench/google-firefox-win/urem.html: Added.
1734         * JSBench/google-firefox-win/urem.js: Added.
1735         * JSBench/google-firefox/uem.html: Added.
1736         * JSBench/google-firefox/uem.js: Added.
1737         * JSBench/google-safari/urem.html: Added.
1738         * JSBench/google-safari/urem.js: Added.
1739         * JSBench/harness.html: Added.
1740         * JSBench/harness.js: Added.
1741         * JSBench/harness.py: Added.
1742         * JSBench/index.html: Added.
1743         * JSBench/reload.html: Added.
1744         * JSBench/twitter-chrome-win/rem.html: Added.
1745         * JSBench/twitter-chrome-win/rem.js: Added.
1746         * JSBench/twitter-chrome/urem.html: Added.
1747         * JSBench/twitter-chrome/urem.js: Added.
1748         * JSBench/twitter-firefox-win/urem.html: Added.
1749         * JSBench/twitter-firefox-win/urem.js: Added.
1750         * JSBench/twitter-firefox/urem.html: Added.
1751         * JSBench/twitter-firefox/urem.js: Added.
1752         * JSBench/twitter-safari/urem.html: Added.
1753         * JSBench/twitter-safari/urem.js: Added.
1754         * JSBench/yahoo-chrome-win/urem.html: Added.
1755         * JSBench/yahoo-chrome-win/urem.js: Added.
1756         * JSBench/yahoo-chrome/urem.html: Added.
1757         * JSBench/yahoo-chrome/urem.js: Added.
1758         * JSBench/yahoo-firefox-win/urem.html: Added.
1759         * JSBench/yahoo-firefox-win/urem.js: Added.
1760         * JSBench/yahoo-firefox/urem.html: Added.
1761         * JSBench/yahoo-firefox/urem.js: Added.
1762         * JSBench/yahoo-safari/urem.html: Added.
1763         * JSBench/yahoo-safari/urem.js: Added.
1764
1765 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1766
1767         run-benchmark's results should contain Animometer's debug output
1768         https://bugs.webkit.org/show_bug.cgi?id=157941
1769
1770         Reviewed by Stephanie Lewis.
1771
1772         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1773
1774         * Animometer/resources/debug-runner/animometer.js:
1775         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1776
1777 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1778
1779         Make Animometer work in all browsers
1780         https://bugs.webkit.org/show_bug.cgi?id=157855
1781         rdar://problem/26338521
1782
1783         Reviewed by Jon Lee.
1784
1785         * Animometer/resources/runner/logo.svg: Use a symbol instead
1786         of putting the id on the root svg. This works in all browsers.
1787
1788 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1789
1790         Update Animometer design
1791         https://bugs.webkit.org/show_bug.cgi?id=157449
1792
1793         Reviewed by Darin Adler.
1794
1795         * Animometer/developer.html: Stop including runner/animometer.css.
1796         * Animometer/index.html: Udpated elements to fit new styles.
1797
1798         * Animometer/resources/debug-runner/animometer.css:
1799         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1800
1801         * Animometer/resources/runner/animometer.css:
1802         New styles for the design. Drop flex box for broad browser support.
1803
1804         * Animometer/resources/runner/animometer.js:
1805         (ResultsTable.clear): Use textContent.
1806         (window.sectionsManager.showSection): Add class to the body.
1807         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1808
1809         * Animometer/resources/runner/crystal.svg: Added.
1810         * Animometer/resources/runner/lines.svg: Added.
1811         * Animometer/resources/runner/logo.svg: Added.
1812
1813         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1814
1815 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1816
1817         [css-grid] Unprefix CSS Grid Layout properties
1818         https://bugs.webkit.org/show_bug.cgi?id=157137
1819
1820         Reviewed by Simon Fraser.
1821
1822         Remove "-webkit" prefix from all the grid layout properties,
1823         including the display value.
1824         Update the source code to remove the prefix where it was used too.
1825
1826         * Layout/auto-grid-lots-of-data.html:
1827         * Layout/fixed-grid-lots-of-data.html:
1828         * Layout/fixed-grid-lots-of-stretched-data.html:
1829
1830 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1831
1832         bmalloc: Misc improvements to MallocBench
1833         https://bugs.webkit.org/show_bug.cgi?id=157004
1834
1835         Reviewed by Darin Adler.
1836
1837         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1838         modes for focused memory testing.
1839
1840         * MallocBench/MallocBench/Benchmark.cpp:
1841         (Benchmark::printReport): Clarified output.
1842
1843         (Benchmark::currentMemoryBytes): Added compressed memory because top
1844         does the same. (It always happens to zero in the benchmarks we run. But
1845         this is good for sanity.)
1846
1847         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1848         variance.
1849
1850         * MallocBench/MallocBench/alloc_free.cpp:
1851         (benchmark_alloc_free): Cycle a single allocation in order to stress
1852         the effect of merging on calls to madvise.
1853
1854         * MallocBench/MallocBench/big.cpp:
1855         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1856         our large allocator doesn't kick in until 64kB.
1857
1858         * MallocBench/MallocBench/medium.cpp:
1859         (benchmark_medium): Test all the way down to 1kB because our large
1860         allocator used to service 1kB allocations and 1kB is an interesting
1861         middle size where memory is unusually large but allocation throughput
1862         still matters.
1863
1864         * MallocBench/MallocBench/stress.cpp:
1865         (benchmark_stress): Reduced the churn count to match stress_aligned
1866         because this test was taking too long to complete.
1867
1868         * MallocBench/MallocBench/stress_aligned.cpp:
1869         (benchmark_stress_aligned): Our new large allocator can handle even
1870         more absurdly large values.
1871
1872 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1873
1874         Add a content animation test that uses SVG animation.
1875         https://bugs.webkit.org/show_bug.cgi?id=156827
1876
1877         * Animation/svg-animation.html: Added.
1878         * Skipped:
1879
1880 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1881
1882         Skip two content animation tests which are only meant for iOS testing.
1883
1884         * Animation/css-animation.html: Added.
1885         * Animation/raf-animation.html: Added.
1886
1887         * Skipped:
1888
1889 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1890
1891         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1892         https://bugs.webkit.org/show_bug.cgi?id=156827
1893
1894         Add two files missing from the previous commit.
1895
1896         * Animation/css-animation.html: Added.
1897         * Animation/raf-animation.html: Added.
1898
1899 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1900
1901         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1902         https://bugs.webkit.org/show_bug.cgi?id=156827
1903
1904         Reviewed by Stephanie Lewis.
1905
1906         Two new files for the content-animation suite.
1907
1908         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1909         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1910         result with a placeholder for framerate, which is collected in native code.
1911
1912         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1913         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1914         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1915         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1916         complete.
1917
1918         * Animation/css-animation.html: Added.
1919         * Animation/raf-animation.html: Added.
1920
1921 2016-04-15  Jon Lee  <jonlee@apple.com>
1922
1923         Animometer test could report a NaN
1924         https://bugs.webkit.org/show_bug.cgi?id=156646
1925
1926         Reviewed by Darin Adler.
1927         Provisionally reviewed by Said Abou-Hallawa.
1928
1929         * Animometer/tests/resources/main.js:
1930         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1931         reacts based on how well the system handles the load. The assumption was that it would handle at least
1932         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1933         end up setting an upper bound of NaN.
1934
1935         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1936         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1937         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1938         1 particle, set it to currentComplexity.
1939
1940 2016-04-09  Jon Lee  <jonlee@apple.com>
1941
1942         Update Animometer to accommodate different screens
1943         https://bugs.webkit.org/show_bug.cgi?id=156449
1944
1945         Reviewed by Darin Adler.
1946         Provisionally reviewed by Said Abou-Hallawa.
1947
1948         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1949         * Animometer/resources/debug-runner/animometer.css:
1950         (@media screen and (min-device-width: 1800px)): Deleted.
1951         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1952         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1953         and height with orientation change.
1954         * Animometer/resources/runner/animometer.css: Similar.
1955         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1956         (screen and (max-device-height: 414px) and (orientation: landscape)):
1957         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1958         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1959         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1960         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1961         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1962         (#results footer): Add padding below the button for testing again.
1963         * Animometer/tests/master/multiply.html: Remove the center text.
1964         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1965         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1966
1967 2016-04-08  Jon Lee  <jonlee@apple.com>
1968
1969         Have Animometer benchmark always start with complexity of 1
1970         https://bugs.webkit.org/show_bug.cgi?id=156432
1971
1972         Reviewed by Ryosuke Niwa.
1973
1974         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1975         set its minimum complexities to 1 instead of 0.
1976
1977 2016-04-08  Jon Lee  <jonlee@apple.com>
1978
1979         Fix SVG benchmark test
1980         https://bugs.webkit.org/show_bug.cgi?id=156410
1981
1982         Reviewed by Dean Jackson.
1983
1984         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1985         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1986         (Stage.call._setupTiles): Refactor.
1987         * Animometer/tests/master/resources/particles.js:
1988         (Particle.prototype.reset): Use Point.center.
1989         (complexity): We are not using a gradient background anymore, so remove the +1.
1990         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1991         instead of CSS transform.
1992
1993 2016-04-06  Jon Lee  <jonlee@apple.com>
1994
1995         Update master benchmark with SVG test
1996         https://bugs.webkit.org/show_bug.cgi?id=156273
1997
1998         Reviewed by Dean Jackson.
1999         Provisionally reviewed by Said Abou-Hallawa.
2000
2001         Switch masks tests for SVG path test.
2002
2003         * Animometer/resources/debug-runner/tests.js: Move mask test here.
2004         * Animometer/resources/runner/tests.js: Add SVG test here.
2005         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
2006         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
2007
2008         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
2009         partially obscured.
2010         * Animometer/tests/master/resources/svg-particles.js: Added.
2011         (Particle): The particle is either a path object or a rect using a path as a clip. The
2012         same path is used either way. For each particle create a linear gradient with a random
2013         rotation.
2014         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
2015         This makes the test more generic in case other shapes need to be tested.
2016         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
2017         particle's gradient, and one that holds the shape templates.
2018
2019 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
2020
2021         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
2022         https://bugs.webkit.org/show_bug.cgi?id=148470 
2023
2024         Reviewed by Darin Adler.
2025
2026         * Skipped: Unskip the Bindings/event-target-wrapper test.
2027
2028 2016-03-23  Jon Lee  <jonlee@apple.com>
2029
2030         Update focus and leaves tests
2031         https://bugs.webkit.org/show_bug.cgi?id=155825
2032
2033         Reviewed by Simon Fraser.
2034
2035         Particles would improperly disappear, before they were fully off stage. Update the calculation.
2036         * Animometer/tests/dom/resources/leaves.js:
2037         * Animometer/tests/master/resources/leaves.js:
2038
2039         * Animometer/tests/master/focus.html: Update the center element styling.
2040         * Animometer/tests/master/resources/focus.js:
2041         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
2042         to spread. It should be about 3x more space than the blur radius on each side.
2043         (Stage.call.initialize): Ditto for the center element.
2044
2045 2016-03-23  Jon Lee  <jonlee@apple.com>
2046
2047         Update support for other platforms
2048         https://bugs.webkit.org/show_bug.cgi?id=155824
2049
2050         Reviewed by Simon Fraser.
2051
2052         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
2053         be handled in the release stylesheet.
2054         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
2055         when retrieving radio elements with a name, instead of the selected value.
2056         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
2057         (.frame-container): Move overflow:hidden to #stage.
2058         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
2059         * Animometer/tests/resources/stage.css:
2060         (body): Remove overflow:hidden.
2061         (#stage): Set overflow:hidden here.
2062         (#center-text): Moved from master/resources/stage.css.
2063
2064         Update stylesheet hrefs.
2065         * Animometer/tests/master/canvas-stage.html:
2066         * Animometer/tests/master/focus.html:
2067         * Animometer/tests/master/leaves.html:
2068         * Animometer/tests/master/multiply.html:
2069         * Animometer/tests/master/particles.html:
2070         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
2071
2072 2016-03-23  Jon Lee  <jonlee@apple.com>
2073
2074         Make the benchmark require device to be in landscape orientation
2075         https://bugs.webkit.org/show_bug.cgi?id=155822
2076         rdar://problem/25258650
2077
2078         Reviewed by Ryosuke Niwa.
2079
2080         Check that the device is in landscape orientation. If not, disable the button to start it,
2081         and show a warning message.
2082
2083         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
2084         warning message that appears if the orientation is incorrect on mobile devices.
2085         * Animometer/index.html: Ditto.
2086
2087         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
2088         stylesheet. Update the style to accommodate the new UI.
2089         * Animometer/resources/runner/animometer.css:
2090
2091         * Animometer/resources/runner/animometer.js:
2092         (window.benchmarkController.initialize): Add the orientation listener is needed.
2093         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
2094         to see for support of window.orientation.
2095         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
2096         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
2097         (window.benchmarkController.updateStartButtonState):
2098         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
2099         a boolean about whether at least one test is selected. That will be used in
2100         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
2101         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
2102         that at least one test is selected.
2103
2104 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
2105
2106         MallocBench: consolidate regression testing for aligned allocation
2107         https://bugs.webkit.org/show_bug.cgi?id=155762
2108
2109         Reviewed by Michael Saboff.
2110
2111         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2112         * MallocBench/MallocBench/Benchmark.cpp:
2113         * MallocBench/MallocBench/memalign.cpp: Removed.
2114         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
2115         covers this and much more.
2116
2117         * MallocBench/MallocBench/stress_aligned.cpp:
2118         (benchmark_stress_aligned): Include specific tests for extreme sizes
2119         and alignments.
2120
2121 2016-03-21  Jon Lee  <jonlee@apple.com>
2122
2123         Update benchmark tests
2124         https://bugs.webkit.org/show_bug.cgi?id=155723
2125
2126         Reviewed by Darin Adler.
2127         Provisionally reviewed by Said Abou-Hallawa.
2128
2129         Add quadratic and bezier segments to the canvas path test.
2130
2131         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
2132         Rename the test.
2133         * Animometer/tests/master/resources/canvas-stage.js:
2134         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
2135         * Animometer/tests/master/resources/canvas-tests.js:
2136         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
2137         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
2138         class definition.
2139         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
2140         canvas are not cut off when the stroke size is thick.
2141         (CanvasQuadraticSegment): Added.
2142         (CanvasBezierSegment): Added.
2143         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
2144         are short compared to the curved ones, make it twice as likely to render a line segment.
2145         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
2146
2147         Add a helper method that selects a random element from an array.
2148
2149         * Animometer/tests/resources/main.js:
2150         (Stage.randomElementInArray): Select a random element from the provided array.
2151
2152         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
2153         * Animometer/tests/dom/resources/leaves.js: Ditto.
2154         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2155         * Animometer/tests/master/resources/image-data.js: Ditto.
2156         * Animometer/tests/master/resources/leaves.js: Ditto.
2157         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
2158
2159         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
2160         include the full simple canvas suite for perf testing.
2161
2162         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
2163         suite.
2164         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
2165         that random selects an object to render.
2166
2167         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
2168         When updating the perf bot script, we will include the suites up to this one, but exclude
2169         the basic canvas suite.
2170
2171         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
2172
2173         * Animometer/resources/debug-runner/tests.js:
2174         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
2175         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
2176
2177         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
2178         canvas tests.
2179
2180         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
2181         * Animometer/tests/misc/canvas-electrons.html: Removed.
2182         * Animometer/tests/misc/canvas-stars.html: Removed.
2183         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
2184         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
2185         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
2186
2187         Merge text tests together into one.
2188
2189         * Animometer/resources/runner/tests.js: Remove international.html.
2190         * Animometer/tests/master/international.html: Removed.
2191         * Animometer/tests/master/resources/text.js:
2192         (animate): Update styling. Manually calculate gradients for the shadow particles.
2193         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
2194         step for x since there will be a little more room.
2195         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
2196
2197 2016-03-20  Jon Lee  <jonlee@apple.com>
2198
2199         Add a link to show debug data
2200         https://bugs.webkit.org/show_bug.cgi?id=155724
2201
2202         Reviewed by Simon Fraser.
2203
2204         * Animometer/developer.html: Attach the onclick handler to the score.
2205         * Animometer/index.html: Ditto.
2206
2207 2016-03-18  Dean Jackson  <dino@apple.com>
2208
2209         Add a basic WebGL test to Animometer
2210         https://bugs.webkit.org/show_bug.cgi?id=155475
2211         <rdar://problem/25156860>
2212
2213         Reviewed by Simon Fraser and Jon Lee.
2214
2215         Add a pretty simple WebGL test to Animometer
2216         which tries to draw a number of animated triangles.
2217         The result still needs a bit of tuning.
2218
2219         * Animometer/resources/debug-runner/tests.js: Add a new
2220         Suite for "3D" tests.
2221         * Animometer/tests/3d/resources/webgl.js: Added.
2222         * Animometer/tests/3d/webgl.html: Added.
2223
2224 2016-03-18  Jon Lee  <jonlee@apple.com>
2225
2226         Add support for statically linking to a specific test
2227         https://bugs.webkit.org/show_bug.cgi?id=155631
2228
2229         Rubber-stamped by Darin Adler.
2230
2231         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
2232         both the preset and the manually set test sessions.
2233         * Animometer/resources/debug-runner/animometer.css:
2234         (.tree .link): Style the "link" UI.
2235         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
2236         to optionsManager since this is a visual option and has nothing to do with the suites
2237         settings. Update the construction of the test UI by including a "link" after each test.
2238         Clicking on that link brings up a JS prompt with a URL and a query string with the current
2239         parameters of the controller, and selected test. Pasting this URL into the location bar will
2240         automatically start running the selected test.
2241         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
2242         that matches the provided parameters. Returns an object similar to the form in
2243         suitesManager.updateLocalStorageFromUI.
2244         (benchmarkController.initialize): After settings up the events and options, try parsing the
2245         query string and running the benchmark immediately. Otherwise, fall back to the form.
2246         (benchmarkController.startBenchmark): Store the options and suites into member variables for
2247         reuse in restartBenchmark.
2248         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
2249         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
2250         the search for the test succeeded.
2251         * Animometer/resources/extensions.js:
2252         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
2253         into a query-string-friendly version.
2254         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
2255         format.
2256         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
2257         with properties and values.
2258
2259 2016-03-16  Jon Lee  <jonlee@apple.com>
2260
2261         Add a new benchmark test
2262         https://bugs.webkit.org/show_bug.cgi?id=155570
2263
2264         Reviewed by Simon Fraser.
2265
2266         New Leaves test includes various image sizes and opacity.
2267
2268         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
2269         * Animometer/tests/dom/leaves.html: Added.
2270         * Animometer/tests/dom/resources/leaves.js: Added. Override the
2271         (Particle.call.reset): Uses a range of sizes, and opacity.
2272         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
2273         (Particle.call.move): Set transform and opacity.
2274         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
2275         can be used in this test. Update the relative path so that it works in both the master
2276         and dom test suite.
2277
2278 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
2279
2280         Add developer Animometer test that bounces P3-tagged images
2281         https://bugs.webkit.org/show_bug.cgi?id=155511
2282
2283         Reviewed by Tim Horton.
2284         
2285         Add a test for rendering performance of tagged images. The 5 images are tagged
2286         with the Display P3 colorspace.
2287
2288         * Animometer/resources/debug-runner/tests.js:
2289         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
2290         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
2291         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
2292         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
2293         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
2294         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
2295         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
2296
2297 2016-03-09  Jon Lee  <jonlee@apple.com>
2298
2299         Enhance existing Animometer tests
2300         https://bugs.webkit.org/show_bug.cgi?id=155261
2301
2302         Reviewed by Simon Fraser.
2303
2304         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
2305         the filled circles. To expose more of the gradient, add another circle.
2306         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
2307         undulating stop points and colors. Fill the circles twice; once with
2308         the solid color, and once with the gradient.
2309
2310         * Animometer/tests/master/resources/dom-particles.js: Refactor the
2311         emission variables into a separate stage for this test. Add a colorOffset
2312         variable to make the colors of each particle slightly different, since
2313         the ramp controller can add large numbers of particles all at once, which
2314         would otherwise get all the same color.
2315         * Animometer/tests/master/resources/particles.js:
2316         (initialize): Remove the code specific to the SVG mask test.
2317
2318         * Animometer/tests/master/resources/image-data.js:
2319         (initialize): Remove unused local variable.
2320         * Animometer/tests/master/resources/multiply.js:
2321         (initialize): Make the test harder by adding more total particles.
2322
2323 2016-03-09  Jon Lee  <jonlee@apple.com>
2324
2325         Add text tests
2326         https://bugs.webkit.org/show_bug.cgi?id=155257
2327
2328         Reviewed by Simon Fraser.
2329
2330         * Animometer/resources/extensions.js:
2331         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
2332         assuming that two of the control points are at (0,0) and (1,1). Taken from
2333         WebCore/platform/graphics/UnitBezier.h
2334         * Animometer/resources/runner/tests.js: Add a test for English text and one
2335         for international text.
2336         * Animometer/tests/master/international.html: Added.
2337         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
2338         #template div which it will copy. The copies are placed behind the template, and
2339         are set with different colors each frame. They are moved around with CSS transform.
2340         * Animometer/tests/master/text.html: Added.
2341
2342         Remove the other text tests, since these ones cover the same techniques.
2343         * Animometer/tests/text/layering-text.html: Removed.
2344         * Animometer/tests/text/resources/layering-text.js: Removed.
2345         * Animometer/tests/text/resources/text-boxes.js: Removed.
2346         * Animometer/tests/text/text-boxes.html: Removed.
2347         * Animometer/resources/debug-runner/tests.js:
2348
2349 2016-03-09  Jon Lee  <jonlee@apple.com>
2350
2351         Add a new image test
2352         https://bugs.webkit.org/show_bug.cgi?id=155232
2353
2354         Reviewed by Dean Jackson.
2355         Provisionally reviewed by Said Abou-Hallawa.
2356
2357         The image test renders PNGs and moves them with translate and rotate
2358         transforms. Each particle has a lifetime, and when the lifetime ends or
2359         the particle goes offscreen, it resets itself somewhere on the stage.
2360
2361         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
2362         images test, because this one tests the same technique.
2363         * Animometer/resources/runner/tests.js: Added here as "Leaves".
2364         * Animometer/tests/master/leaves.html: Added.
2365         * Animometer/tests/master/resources/particles.js: Refactor out the parts
2366         specific to the DOM particles test. Consequently make velocity a public
2367         member.
2368         (initialize): The options parameter is never used, so remove it.
2369         (animate): Remove unused local variable.
2370         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
2371         moves back and forth across the canvas. That point affects the velocity
2372         of the particles. When the focal point is on the leftmost side, it is
2373         between [-6, -2], and set in reset(). When the focal point is on the rightmost
2374         side, it will be from [2, 6].
2375         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
2376         this test here from particles.js.
2377
2378         New images.
2379         * Animometer/tests/master/resources/compass100.png: Added.
2380         * Animometer/tests/master/resources/console100.png: Added.
2381         * Animometer/tests/master/resources/contribute100.png: Added.
2382         * Animometer/tests/master/resources/debugger100.png: Added.
2383         * Animometer/tests/master/resources/inspector100.png: Added.
2384         * Animometer/tests/master/resources/layout100.png: Added.
2385         * Animometer/tests/master/resources/performance100.png: Added.
2386         * Animometer/tests/master/resources/script100.png: Added.
2387         * Animometer/tests/master/resources/shortcuts100.png: Added.
2388         * Animometer/tests/master/resources/standards100.png: Added.
2389         * Animometer/tests/master/resources/storage100.png: Added.
2390         * Animometer/tests/master/resources/styles100.png: Added.
2391         * Animometer/tests/master/resources/timeline100.png: Added.
2392
2393 2016-03-03  Jon Lee  <jonlee@apple.com>
2394
2395         Add ability to retrieve raw data from release harness
2396         https://bugs.webkit.org/show_bug.cgi?id=155026
2397
2398         Reviewed by Simon Fraser.
2399
2400         * Animometer/developer.html: Remove the special UI in the debug
2401         harness.
2402         * Animometer/resources/runner/animometer.css: Add styles for the
2403         overlay.
2404         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
2405         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
2406         the overlay.
2407         (window.benchmarkController.selectResults): Cycle the cases around
2408         so that the first 's' press selects both the benchmark score and
2409         the individual test scores.
2410         * Animometer/resources/debug-runner/animometer.css: Remove
2411         unneeded rules.
2412         * Animometer/resources/debug-runner/animometer.js: Make the same
2413         call to handleKeyPress.
2414
2415 2016-03-03  Jon Lee  <jonlee@apple.com>
2416
2417         Make sure multiply test particles have at least some opacity
2418         https://bugs.webkit.org/show_bug.cgi?id=155027
2419
2420         Reviewed by Simon Fraser.
2421
2422         * Animometer/tests/master/resources/multiply.js:
2423         (initialize): Have the elements spin a little faster to make it
2424         more obvious when the system is being stressed.
2425         (_addTile):
2426         (animate): Make sure each element being animated has at least 1%
2427         opacity.
2428
2429 2016-03-03  Jon Lee  <jonlee@apple.com>
2430
2431         Update image test
2432         https://bugs.webkit.org/show_bug.cgi?id=154962
2433
2434         Rubber-stamped by Darin Adler.
2435
2436         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
2437         * Animometer/tests/master/resources/image-data.js:
2438         (initialize): Update to load multiple images serially.
2439         (_loadImage):
2440         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
2441         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
2442         (_refreshElement): Place element in a tile grid.
2443         (animate):
2444         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
2445         * Animometer/tests/master/resources/compass.svg: Added.
2446         * Animometer/tests/master/resources/console.svg: Added.
2447         * Animometer/tests/master/resources/contribute.svg: Added.
2448         * Animometer/tests/master/resources/debugger.svg: Added.
2449         * Animometer/tests/master/resources/inspector.svg: Added.
2450         * Animometer/tests/master/resources/layout.svg: Added.
2451         * Animometer/tests/master/resources/performance.svg: Added.
2452         * Animometer/tests/master/resources/script.svg: Added.
2453         * Animometer/tests/master/resources/shortcuts.svg: Added.
2454         * Animometer/tests/master/resources/standards.svg: Added.
2455         * Animometer/tests/master/resources/storage.svg: Added.
2456         * Animometer/tests/master/resources/styles.svg: Added.
2457         * Animometer/tests/master/resources/timeline.svg: Added.
2458
2459 2016-03-02  Jon Lee  <jonlee@apple.com>
2460
2461         Add some new controllers, and refine tests
2462         https://bugs.webkit.org/show_bug.cgi?id=154914
2463
2464         Reviewed by Simon Fraser.
2465
2466         Improve tests.
2467
2468         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
2469         in a container element. Expand the container element by the max blur radius, and clip
2470         overflow. This way, when the blur is applied, it avoids causing layer resizes.
2471         * Animometer/tests/master/resources/focus.js:
2472         (FocusElement.Utilities.createClass): Create a container element, and put the particle
2473         inside.
2474         (hide): Set display:none.
2475         (show): Set display:block.
2476         (animate): Apply filters to the container element.
2477         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
2478         keep them in the stage, but set the display style instead. Use this._offsetIndex to
2479         keep track of which elements are displayed.
2480         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
2481         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
2482         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
2483         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
2484         stage appear less black when the complexity gets large enough.
2485         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
2486         frame.
2487
2488 2016-03-02  Jon Lee  <jonlee@apple.com>
2489
2490         Add some new controllers, and refine tests
2491         https://bugs.webkit.org/show_bug.cgi?id=154914
2492
2493         Reviewed by Simon Fraser.
2494
2495         Add a controller that centers around 30 fps instead of 60 fps.
2496
2497         * Animometer/developer.html: Add a new option.
2498         * Animometer/resources/debug-runner/animometer.js:
2499         * Animometer/resources/runner/animometer.js:
2500         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2501         check the controller, and use a 30 fps baseline if needed.
2502         * Animometer/resources/statistics.js:
2503         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2504         frame length.
2505         * Animometer/tests/resources/main.js:
2506         (tune): Override some of the constants in RampController. Move those constants out for
2507         easier reading.
2508
2509         Add a fixed controller, with no step.
2510
2511         * Animometer/developer.html: Add a controller that takes no step.
2512         * Animometer/resources/debug-runner/animometer.js:
2513         * Animometer/tests/resources/main.js:
2514         (Rotater.Utilities.createClass):
2515
2516         Switch to ramp controller as default.
2517
2518         * Animometer/developer.html: Increase the test length to 20 seconds.
2519         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2520         since that is a more accurate description.
2521         * Animometer/resources/debug-runner/graph.js:
2522         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2523
2524 2016-02-26  Jon Lee  <jonlee@apple.com>
2525
2526         Address Dean's comments in 154673.
2527
2528         * Animometer/developer.html:
2529         * Animometer/resources/debug-runner/animometer.js:
2530         * Animometer/resources/debug-runner/graph.js:
2531
2532 2016-02-25  Jon Lee  <jonlee@apple.com>
2533
2534         Update animation benchmark and tests
2535         https://bugs.webkit.org/show_bug.cgi?id=154673
2536
2537         Reviewed by Dean Jackson.
2538
2539         Update test visuals.
2540
2541         * Animometer/tests/master/resources/canvas-tests.js:
2542         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2543         Update circle position and radius to minimize impact.
2544         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2545         have 3 locations for emitting particles.
2546         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2547         more color.
2548         (initialize): Fix some of the math for laying out the tiles.
2549         (animate): When a tile isn't used, set visibility: hidden.
2550
2551 2016-02-24  Jon Lee  <jonlee@apple.com>
2552
2553         Update animation benchmark and tests
2554         https://bugs.webkit.org/show_bug.cgi?id=154673
2555
2556         Reviewed by Dean Jackson.
2557
2558         Update the ramp controller.
2559
2560         The controller refines the complexity interval to test across.
2561
2562         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2563         (Regression): For the flat regression, force the first segment to be at 60 fps.
2564         (valueAt): Add convenience function to return interpolated value based on the regression used.
2565         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2566         errors.
2567         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2568         to be reset.
2569
2570         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2571         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2572         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2573         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2574         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2575         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2576         parameters.
2577         (update): During the tier phase, it is possible that the highest complexity possible for a test
2578         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2579         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2580         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2581         FPS at each tier.
2582         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2583         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2584         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2585         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2586         FPS to drop, we reset the minimum complexity.
2587
2588         Have the bootstrap calculation occur between tests. Clean up harness.
2589
2590         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2591         completed to avoid doing all of it at the end before showing the results. Clean up
2592         parameters being passed around.
2593         * Animometer/resources/debug-runner/tests.js:
2594         (text):
2595         * Animometer/resources/runner/animometer.js:
2596         (this._processData.calculateScore): Save the results to the same object holding the data.
2597         (this._processData._processData): In the case where a file is dragged, calculate the score
2598         serially. Grab the results object and move it to the results variable and remove it from
2599         the data object. This avoids serializing the results into the JSON.
2600         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2601         resample size to shorten the wait.
2602         * Animometer/resources/runner/benchmark-runner.js:
2603         * Animometer/resources/statistics.js:
2604         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2605         floats and integers causes an alphabetical sort to occur.
2606         * Animometer/resources/strings.js:
2607
2608         Add meta charset so that encodings between harness and test match.
2609
2610         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2611         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2612         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2613         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2614         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2615         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2616         * Animometer/tests/master/canvas-stage.html:
2617         * Animometer/tests/master/focus.html:
2618         * Animometer/tests/master/image-data.html:
2619         * Animometer/tests/master/multiply.html:
2620         * Animometer/tests/master/particles.html:
2621         * Animometer/tests/misc/canvas-electrons.html:
2622         * Animometer/tests/misc/canvas-stars.html:
2623         * Animometer/tests/misc/compositing-transforms.html:
2624         * Animometer/tests/simple/simple-canvas-paths.html:
2625         * Animometer/tests/simple/tiled-canvas-image.html:
2626         * Animometer/tests/template/template-canvas.html:
2627         * Animometer/tests/template/template-css.html:
2628         * Animometer/tests/template/template-svg.html:
2629         * Animometer/tests/text/layering-text.html:
2630         * Animometer/tests/text/text-boxes.html:
2631
2632         Update test harness reporting.
2633
2634         * Animometer/developer.html: Add missing meta charset.
2635         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2636         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2637         formatting the results table.
2638         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2639         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2640         * Animometer/resources/strings.js: Move strings not used by the release harness.
2641
2642         Switch to a pseudo-random number generator.
2643
2644         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2645         pseudo-random number generator.
2646         (_calculateRegression): Reset the generator before running bootstrap.
2647         (bootstrap): Deleted.
2648
2649         Replace Math.random with Pseudo.random.
2650         * Animometer/tests/master/resources/canvas-tests.js:
2651         * Animometer/tests/master/resources/focus.js:
2652         * Animometer/tests/master/resources/particles.js:
2653         * Animometer/tests/resources/main.js:
2654
2655         Use bootstrapping to get confidence interval in the breakpoint.
2656
2657         For the ramp controller, calculate the piecewise regression, and then use
2658         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2659
2660         * Animometer/developer.html: Default to the complexity graph. Add a legend
2661         checkbox to toggle visibility of the bootstrap score and histogram.
2662         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2663         the old raw and average scores in the legend. Add new styles for the data.
2664         * Animometer/resources/debug-runner/graph.js:
2665         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2666         regression line. Now |stdev| is |range|.
2667         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2668         the bootstrap samples. Switch raw samples from circles to X's.
2669         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2670         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2671         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2672         interval.
2673         * Animometer/resources/runner/animometer.js:
2674         (this._processData.findRegression): Factor out the code that determines which
2675         samples to include when calculating the piecewise regression. For series that have
2676         many samples, or a wider range of recorded complexities, throw away the 2.5%
2677         lowest and highest samples before calculating the regression. Keep all samples
2678         if the number of samples to regress is small or the range of complexities is
2679         narrow.
2680         (this._processData._calculateScore): Factor out regression calculation to
2681         findRegression(). Bootstrap the change point of the regression. The score is the
2682         median.
2683         * Animometer/resources/statistics.js:
2684         (_calculateRegression): Correct an issue in the calculation of the regression, where
2685         the denominator can be 0.
2686         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2687         re-samples by random selection with replacement. Return the 95% confidence samples,
2688         the bootstrap median, mean, and the data itself.
2689         * Animometer/resources/strings.js: Add bootstrap.
2690         * Animometer/tests/resources/main.js:
2691         (processSamples): Don't prematurely cut the sample data.
2692
2693         Fix graph drawing.
2694
2695         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2696         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2697         * Animometer/resources/debug-runner/animometer.css:
2698         (#complexity-graph .series.raw circle): Update the color.
2699         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2700         complexity axis, which can vary in domain. For determining the complexity domain,
2701         only use samples after samplingTimeOffset.
2702
2703         Allow dropping results JSON.
2704
2705         * Animometer/developer.html: Add a button.
2706         * Animometer/resources/debug-runner/animometer.css:
2707         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2708         to the dashboard. With JSON output, write out only the options and the raw data.
2709
2710         Teach the harness to evaluate the samples and determine the test score.
2711
2712         This will allow us to update how the score is calculated separately from the samples recorded.
2713         This also prepares the harness to be able to accept JSON of prior runs.
2714
2715         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2716         hierarchy.
2717         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2718
2719         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2720         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2721         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2722         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2723         Group them, and calculate distribution of samples within the same complexity, and add those as
2724         new entries into |complexityAverageSamples|.
2725         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2726         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2727
2728         {
2729             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2730             marks: [...],
2731             samples: {                    // all of the sample data
2732                 controller: [...],
2733                 complexity: [...],        // processed from controller samples
2734                 complexityAverage: [...], // processed from complexity samples
2735             }
2736         }
2737
2738         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2739         now pass the test options to the graph.
2740         (Regression): Move to statistics.js.
2741         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2742         only contains one sample, since we cannot calculate a regression from one sample point.
2743
2744         Teach the test harness to evaluate the data.
2745         * Animometer/resources/runner/animometer.js:
2746         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2747         from the data. The results are stored as:
2748
2749         {
2750             score: /* geomean of iteration score */,
2751             iterationsResults: [
2752                 {
2753                     score: /* geomean of tests */,
2754                     testsResults: {
2755                         suiteName: {
2756                             testName: {
2757                                 controller: {
2758                                     average:
2759                                     concern:
2760                                     stdev:
2761                                     percent:
2762                                 },
2763                                 frameLength: { ... },
2764                                 complexity: {
2765                                     complexity:
2766                                     stdev:
2767                                     segment1:
2768                                     segment2:
2769                                 },
2770                                 complexityAverage: { ... }
2771                             },
2772                             testName: { ... },
2773                         },
2774                         ... next suite ...
2775                     }
2776                 },
2777                 { ...next iteration... }
2778             ]
2779         }
2780
2781         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2782         on what was selected in the form. This will later allow for dropping previous results, and
2783         using those runs' options when calculating scores.
2784         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2785         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2786
2787         Consolidate JS files, and move statistics out to a separate JS.
2788
2789         Preparation for having the Controller only handle recording and storage of the samples,
2790         and leave the evaluation of the test score out to the harness. Move Experiment to
2791         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2792         and move it to utilities.js since the Heap is used only for Experiments.
2793
2794         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2795         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2796         Sampler in main.js.
2797         * Animometer/tests/resources/main.js: Move Sampler here.
2798         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2799         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2800         a max or min heap to Heap, instead of a new Algorithm object.
2801
2802         Update JS files.
2803         * Animometer/developer.html:
2804         * Animometer/index.html:
2805         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2806         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2807         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2808         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2809         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2810         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2811         * Animometer/tests/master/canvas-stage.html:
2812         * Animometer/tests/master/focus.html:
2813         * Animometer/tests/master/image-data.html:
2814         * Animometer/tests/master/multiply.html:
2815         * Animometer/tests/master/particles.html:
2816         * Animometer/tests/misc/canvas-electrons.html:
2817         * Animometer/tests/misc/canvas-stars.html:
2818         * Animometer/tests/misc/compositing-transforms.html:
2819         * Animometer/tests/simple/simple-canvas-paths.html:
2820         * Animometer/tests/simple/tiled-canvas-image.html:
2821         * Animometer/tests/template/template-canvas.html:
2822         * Animometer/tests/template/template-css.html:
2823         * Animometer/tests/template/template-svg.html:
2824         * Animometer/tests/text/layering-text.html:
2825         * Animometer/tests/text/text-boxes.html:
2826
2827         Fix the cursor in the graph analysis when the min
2828         complexity is not 0.
2829
2830         * Animometer/resources/debug-runner/graph.js:
2831         (_addRegression):
2832         (createComplexityGraph):
2833
2834 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2835
2836         Fix some issues in MallocBench
2837         https://bugs.webkit.org/show_bug.cgi?id=154600
2838
2839         Reviewed by Oliver Hunt.
2840
2841         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2842         a part of the build so that it copies to the right place for execution.
2843
2844         * MallocBench/MallocBench/Interpreter.cpp:
2845         (Interpreter::Interpreter): Don't try to open .ops files for writing
2846         because we're only going to read and we might need extra permissions to
2847         write.
2848
2849         (Interpreter::~Interpreter): Give more context when opening a file fails
2850         to help with debugging.
2851
2852         * MallocBench/MallocBench/stress.cpp:
2853         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2854
2855 2016-02-23  Michael Saboff  <msaboff@apple.com>
2856
2857         Unreviewed change to revert extraneous changes made part of change set 196955.
2858
2859         * MallocBench/MallocBench/Interpreter.cpp:
2860         (Interpreter::doMallocOp):
2861         (Interpreter::Thread::switchTo):
2862         (writeData): Deleted.
2863
2864 2016-02-19  Michael Saboff  <msaboff@apple.com>
2865
2866         MallocBench: Added recording for nimlang website, new recording details and added new options
2867         https://bugs.webkit.org/show_bug.cgi?id=154485
2868
2869         Reviewed by Geoff Garen.
2870
2871         Added new capabilities to MallocBench.  These include:
2872             Added a recording of http://nim-lang.org/docs/lib.html.
2873             Added thread id to the recording and the ability to playback switching threads in MallocBench
2874             Added aligned allocations to recordings and the ability to playback
2875             Added --use-thread-id option to honor recorded thread ids
2876             Added --detailed-report to output remaining allocations by size after playback
2877             Added --no-warmup to not run the warm up iteration
2878
2879         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2880         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2881         can access the options that are appropriate.  The Benchmark class also uses the options for
2882         is parallel, run counts and warm up.
2883
2884         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2885         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2886         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2887         without any incompatibilities.
2888
2889         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2890         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2891         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2892         assure that only one thread is really running at a time and a condition variable used to wait
2893         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2894         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2895
2896         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2897         * MallocBench/MallocBench/Benchmark.cpp:
2898         (deallocateHeap):
2899         (Benchmark::Benchmark):
2900         (Benchmark::runOnce):
2901         (Benchmark::run):
2902         * MallocBench/MallocBench/Benchmark.h:
2903         (Benchmark::isValid):
2904         * MallocBench/MallocBench/CommandLine.cpp:
2905         (CommandLine::printUsage):
2906         * MallocBench/MallocBench/CommandLine.h:
2907         (CommandLine::isValid):
2908         (CommandLine::benchmarkName):
2909         (CommandLine::isParallel):
2910         (CommandLine::useThreadID):
2911         (CommandLine::detailedReport):
2912         (CommandLine::warmUp):
2913         (CommandLine::heapSize):
2914         (CommandLine::runs):
2915         * MallocBench/MallocBench/Interpreter.cpp:
2916         (Interpreter::Interpreter):
2917         (Interpreter::run):
2918         (Interpreter::readOps):
2919         (Interpreter::doOnSameThread):
2920         (Interpreter::switchToThread):
2921         (Interpreter::detailedReport):
2922         (compute2toPower):
2923         (writeData):
2924         (Interpreter::doMallocOp):
2925         (Interpreter::Thread::Thread):
2926         (Interpreter::Thread::stop):
2927         (Interpreter::Thread::~Thread):
2928         (Interpreter::Thread::runThread):
2929         (Interpreter::Thread::waitToRun):
2930         (Interpreter::Thread::switchTo):
2931         * MallocBench/MallocBench/Interpreter.h:
2932         (Interpreter::Thread::isMainThread):
2933         * MallocBench/MallocBench/alloc_free.cpp: Added.
2934         (benchmark_alloc_free):
2935         * MallocBench/MallocBench/alloc_free.h: Added.
2936         * MallocBench/MallocBench/balloon.cpp:
2937         (benchmark_balloon):
2938         * MallocBench/MallocBench/balloon.h:
2939         * MallocBench/MallocBench/big.cpp:
2940         (benchmark_big):
2941         * MallocBench/MallocBench/big.h:
2942         * MallocBench/MallocBench/churn.cpp:
2943         (benchmark_churn):
2944         * MallocBench/MallocBench/churn.h:
2945         * MallocBench/MallocBench/facebook.cpp:
2946         (benchmark_facebook):
2947         * MallocBench/MallocBench/facebook.h:
2948         * MallocBench/MallocBench/flickr.cpp:
2949         (benchmark_flickr):
2950         (benchmark_flickr_memory_warning):
2951         * MallocBench/MallocBench/flickr.h:
2952         * MallocBench/MallocBench/fragment.cpp:
2953         (validate):
2954         (benchmark_fragment):
2955         (benchmark_fragment_iterate):
2956         * MallocBench/MallocBench/fragment.h:
2957         * MallocBench/MallocBench/list.cpp:
2958         (benchmark_list_allocate):
2959         (benchmark_list_traverse):
2960         * MallocBench/MallocBench/list.h:
2961         * MallocBench/MallocBench/main.cpp:
2962         (main):
2963         * MallocBench/MallocBench/medium.cpp:
2964         (benchmark_medium):
2965         * MallocBench/MallocBench/medium.h:
2966         * MallocBench/MallocBench/memalign.cpp:
2967         (test):
2968         (benchmark_memalign):
2969         * MallocBench/MallocBench/memalign.h:
2970         * MallocBench/MallocBench/message.cpp:
2971         (benchmark_message_one):
2972         (benchmark_message_many):
2973         * MallocBench/MallocBench/message.h:
2974         * MallocBench/MallocBench/nimlang.cpp: Added.
2975         (benchmark_nimlang):
2976         * MallocBench/MallocBench/nimlang.h: Added.
2977         * MallocBench/MallocBench/nimlang.ops: Added.
2978         * MallocBench/MallocBench/realloc.cpp:
2979         (benchmark_realloc):
2980         * MallocBench/MallocBench/realloc.h:
2981         * MallocBench/MallocBench/reddit.cpp:
2982         (benchmark_reddit):
2983         (benchmark_reddit_memory_warning):
2984         * MallocBench/MallocBench/reddit.h:
2985         * MallocBench/MallocBench/stress.cpp:
2986         (deallocate):
2987         (benchmark_stress):
2988         * MallocBench/MallocBench/stress.h:
2989         * MallocBench/MallocBench/stress_aligned.cpp:
2990         (benchmark_stress_aligned):
2991         * MallocBench/MallocBench/stress_aligned.h:
2992         * MallocBench/MallocBench/theverge.cpp:
2993         (benchmark_theverge):
2994         (benchmark_theverge_memory_warning):
2995         * MallocBench/MallocBench/theverge.h:
2996         * MallocBench/MallocBench/tree.cpp:
2997         (benchmark_tree_allocate):
2998         (benchmark_tree_traverse):
2999         (benchmark_tree_churn):
3000         * MallocBench/MallocBench/tree.h:
3001         * MallocBench/run-malloc-benchmarks:
3002
3003 2016-02-11  Jon Lee  <jonlee@apple.com>
3004
3005         Fix a missing refactoring.
3006
3007         * Animometer/tests/master/resources/multiply.js:
3008         (animate): Move to Utilities.lerp.
3009         (_lerp): Deleted.
3010
3011 2016-02-10  Jon Lee  <jonlee@apple.com>
3012
3013         Add new benchmark tests.
3014         https://bugs.webkit.org/show_bug.cgi?id=154063
3015
3016         Provisionally reviewed by Said Abou-Hallawa.
3017
3018         Add tests for get/put image data, filters, opacity, and css transforms.
3019
3020         * Animometer/resources/runner/benchmark-runner.js:
3021         (_runBenchmarkAndRecordResults): Update the body background color to match that of
3022         the stage.
3023         (this._runNextIteration): Clear the background color style for the results page.
3024         * Animometer/resources/runner/tests.js:
3025         * Animometer/tests/master/focus.html: Added.
3026         * Animometer/tests/master/image-data.html: Added.
3027         * Animometer/tests/master/multiply.html: Added.
3028         * Animometer/tests/master/resources/focus.js: Added.
3029         * Animometer/tests/master/resources/image-data.js: Added.
3030         * Animometer/tests/master/resources/multiply.js: Added.
3031         * Animometer/tests/master/resources/stage.css: Move common styles out.
3032         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
3033         Add Stage.randomSign for randomly setting a direction. Add the notion of the
3034         current timestamp of the test to Benchmark, since some animations cycle through
3035         colors and rely on an incremental counter like the time.
3036
3037 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
3038
3039         Add internal benchmark tests for CSS mix-blend-modes and filters
3040         https://bugs.webkit.org/show_bug.cgi?id=154058
3041
3042         Provisionally reviewed by Jon Lee.
3043
3044         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
3045         "HTML suite" of the debug runner.
3046
3047         * Animometer/resources/extensions.js:
3048         (Utilities.browserPrefix):
3049         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
3050         prefixed style properties.
3051
3052         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3053         Set the mix-blend-mode and the filter to some random values if the options
3054         of the test requested that.
3055
3056         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3057         (parseShapeParameters): Parse the url options "blend" and "filter" and set
3058         the corresponding flags.
3059
3060         * Animometer/tests/resources/main.js:
3061         (randomStyleMixBlendMode):
3062         (randomStyleFilter): Return random mix-blend-mode and filter.
3063
3064 2016-02-08  Jon Lee  <jonlee@apple.com>
3065
3066         Add a ramp controller
3067         https://bugs.webkit.org/show_bug.cgi?id=154028
3068
3069         Provisionally reviewed by Said Abou-Hallawa.
3070
3071         Enhance the graph to include a complexity-fps graph, in addition
3072         to the time graph.
3073
3074         * Animometer/developer.html: Add a ramp option.
3075         * Animometer/resources/debug-runner/animometer.css: Update the style.
3076         * Animometer/resources/strings.js: Flatten the Strings.text constants.
3077         * Animometer/resources/debug-runner/animometer.js:
3078         (ResultsTable.call._addGraphButton): Refactor.
3079         (ResultsTable.call._addTest): Add regression data.
3080         (benchmarkController): Add a form that allows the user to switch between the two forms,
3081         Add a form that allows the user to toggle different data. Hide certain header columns
3082         depending on the selected controller.
3083         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
3084         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
3085         * Animometer/resources/runner/animometer.js:
3086         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
3087         * Animometer/tests/resources/main.js:
3088         (Controller): Allow options to specify the capacity for sample arrays.
3089         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
3090         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
3091         error. Sweep across the samples in time (which could be backward depending on the controller)
3092         and calculate the intersection point.
3093         (RampController): This controller assumes that the target frame rate is below
3094         58 FPS. It runs in two stages. The first stage quickly determines the order of
3095         magnitude of objects needed to stress the system by the setting the complexity
3096         to increasingly difficult tiers. Perform a series of ramps descending from a
3097         high-water mark of complexity. The complexity needed to reach the target frame
3098         length is done by performing a piecewise regression on each ramp, and track a
3099         running average of these values. For the next ramp, make that running average
3100         the center of the ramp. With a minimum complexity of 0, the high-water mark is
3101         twice that average. The score is based on the highest complexity that can
3102         reach 60 fps.
3103
3104 2016-02-08  Jon Lee  <jonlee@apple.com>
3105
3106         Address Said's comments on the benchmark, and do some clean up.
3107
3108         * Animometer/developer.html:
3109         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
3110         * Animometer/resources/debug-runner/animometer.js: Use the right
3111         Strings constants.
3112         * Animometer/resources/debug-runner/graph.js:
3113         (_addRegressionLine): Add missing code to draw the line and standard
3114         deviation highlight.
3115         (onGraphTypeChanged): Remove unneeded variables
3116         (onTimeGraphOptionsChanged):
3117         * Animometer/resources/runner/benchmark-runner.js:
3118         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
3119         _suitesSamplers to _suitesResults.
3120         * Animometer/tests/resources/main.js:
3121         (results): Call processSamples().
3122         (update): Change sampling timestamp comparison.
3123         (_animateLoop): Move shouldStop call to before the update.
3124         * Animometer/tests/resources/sampler.js:
3125         (process): Rename to processSamples().
3126
3127 2016-02-07  Jon Lee  <jonlee@apple.com>
3128
3129         Teach Controller to measure intervals, and turn off the frame length estimator.
3130
3131         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
3132         (start): Set the first interval.
3133         (_measureAndResetInterval): Reports the average frame length of the interval that just
3134         completed, and sets up the next interval.
3135         (update): If there is no length, then just use the estimator per frame, otherwise the
3136         estimator measures per interval. Add a didFinishInterval for subclasses to process
3137         prior to recording the sample. Update tune() to include whether an interval had
3138         finished.
3139         (StepController): Step controllers don't measure on an interval basis.
3140
3141 2016-02-07  Jon Lee  <jonlee@apple.com>
3142
3143         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
3144         and switch the parameters for start(), update(), and tune(), so that the timestamp
3145         is first and stage is second.
3146
3147         * Animometer/tests/resources/main.js:
3148
3149 2016-02-07  Jon Lee  <jonlee@apple.com>
3150
3151         Move ResultsTable functionality not needed for release tests out.
3152         Move reporting of score and mean to selection of the time-based graph.
3153
3154         * Animometer/developer.html: Rename graph-options to time-graph-options.
3155         * Animometer/resources/debug-runner/animometer.js:
3156         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
3157         values to "average" objects which can hold stdev. Move graph button and
3158         calculation of noisy measurements here. Sophisticated header processing
3159         is not needed in release suite.
3160         (populateTable): Use DeveloperResultsTable.
3161         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
3162         its own function, and add a new onGraphTypeChanged handler in preparation
3163         of a complexity graph to be added later.
3164         * Animometer/resources/runner/animometer.js:
3165         (ResultsTable): Simplify to just handle test names and scores.
3166
3167 2016-02-07  Jon Lee  <jonlee@apple.com>
3168
3169         Tests: reuse objects already made.
3170
3171         Avoid thrash of object creation and removal by maintaining an index that
3172         moves along the array as the adjust values change. If the tune value
3173         requires more objects than the maximum size of the object array, then create
3174         new objects. This means that the object array size never decreases.
3175
3176         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
3177         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
3178         so the scene will draw the object at offsetIndex to the end of the array.
3179         (tune): Reverse the logic since "removal" of objects is much simpler and
3180         involves simply changing the offsetIndex.
3181         (animate): Update the for loop to draw from offsetIndex to the end.
3182         (complexity): Update the definition.
3183         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
3184         offsetIndex. For these tests, we want to avoid drawing the newest objects,
3185         so the scene will draw the object at index 0 to the object at offsetIndex.
3186         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
3187         which is unneeded. Update the for loop to draw from offsetIndex to the end.
3188         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3189         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
3190         offsetIndex.
3191         * Animometer/tests/simple/resources/simple-canvas.js:
3192         (tune): Update logic. Here, offsetIndex represents the boundary of the last
3193         index to render.
3194         (animate): Update the for loop to draw from 0 to offsetIndex.
3195         (complexity): Update the definition.
3196
3197 2016-02-07  Jon Lee  <jonlee@apple.com>
3198
3199         Tests: refactor and update styles.
3200
3201         * Animometer/tests/resources/main.js: Add helper methods that return
3202         a color that hue rotates based on the date, and a counter value that
3203         increases based on the date. Fix randomInt() to not bias against the min and
3204         max values.
3205
3206         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
3207         * Animometer/tests/master/resources/dom-particles.js: Ditto.
3208         * Animometer/tests/master/resources/particles.js: Ditto.
3209         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
3210         use a rotating color instead of a random color. The fast switching of color
3211         is too vivid to watch.
3212
3213         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3214         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
3215         that the last stop is located at the end.
3216
3217 2016-02-07  Jon Lee  <jonlee@apple.com>
3218
3219         Refactor tune() to not return the complexity of the scene.
3220
3221         We have stage.complexity() now, so returning the complexity through tune
3222         is unnecessary.
3223
3224         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3225         * Animometer/tests/master/resources/canvas-stage.js:
3226         * Animometer/tests/master/resources/particles.js:
3227         * Animometer/tests/misc/resources/canvas-electrons.js:
3228         * Animometer/tests/misc/resources/canvas-stars.js:
3229         * Animometer/tests/resources/main.js:
3230         * Animometer/tests/simple/resources/simple-canvas.js:
3231         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3232         * Animometer/tests/template/resources/template-canvas.js:
3233         * Animometer/tests/template/resources/template-css.js:
3234         * Animometer/tests/template/resources/template-svg.js:
3235         * Animometer/tests/text/resources/layering-text.js:
3236
3237 2016-02-07  Jon Lee  <jonlee@apple.com>
3238
3239         Make the fixed controller a step controller instead. Halfway through the test
3240         it will bump up the complexity 4-fold. Calculate the step timestamp using options
3241         instead of a separate parameter to the Controller constructor.
3242
3243         * Animometer/developer.html: Change value to "step"
3244         * Animometer/resources/debug-runner/animometer.js:
3245         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
3246         * Animometer/tests/resources/main.js:
3247         (update): Provide a hook for subclasses to tune.
3248         (StepController): Maintain a flag determining whether we've stepped, and the time
3249         we should step.
3250         (Benchmark): Use the new StepController.
3251
3252 2016-02-07  Jon Lee  <jonlee@apple.com>
3253
3254         Adjust the FPS graph scale.
3255
3256         Instead of making the FPS graph linearly scale, scale it based on the frame length,
3257         but show the data in terms of FPS. Because it is inversely proportional, and most
3258         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
3259         over half of the available graph space ends up blank.
3260
3261         This means we should convert all of the FPS data to frame length data.
3262
3263         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
3264         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
3265         values being shown, and then pick the min and max values to represent the length of the
3266         cursor.
3267         * Animometer/resources/runner/animometer.js:
3268         * Animometer/resources/strings.js:
3269         * Animometer/tests/resources/main.js:
3270         (processSamples): Add the ability to only sample a range of the data instead of everything
3271         after an offset index. Update sampler to record the frame lengths instead of the frame
3272         rate.
3273
3274 2016-02-07  Jon Lee  <jonlee@apple.com>
3275
3276         Add option to use different methods for retrieving a timestamp.
3277
3278         * Animometer/developer.html: Add performance.now and Date.now options.
3279         * Animometer/resources/runner/animometer.js: Default to performance.now.
3280         (window.benchmarkController.startBenchmark):
3281         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
3282         (run): Use _getTimestamp.
3283         (_animateLoop): Ditto.
3284
3285 2016-02-07  Jon Lee  <jonlee@apple.com>
3286
3287         Allow adding any number of markers to the graph. The markers can be labeled
3288         and contain timestamp and sample index data. Make it a part of the controller
3289         rather than keeping it in the sampler.
3290
3291         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
3292         * Animometer/resources/debug-runner/graph.js: Create the markers and add
3293         text labels.
3294         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
3295         is just one of the marks provided.
3296         * Animometer/resources/strings.js: Add Strings.json.marks.
3297         * Animometer/tests/resources/main.js:
3298         (Controller): Keep marks here. They are keyed by the marker name, so no two
3299         markers should have the same name.
3300         (recordFirstSample): Refactor to use mark.
3301         (mark): Allows for arbitrary data if needed later. The timestamp maintained
3302         is relative to the absolute start timestamp.
3303         (containsMark): Checks whether a mark with a specific comment exists.
3304         (processSamples): Removes the _startTimestamp offset from the marks before
3305         setting it in results.
3306         * Animometer/tests/resources/sampler.js: Remove marks.
3307
3308 2016-02-07  Jon Lee  <jonlee@apple.com>
3309
3310         Get rid of options member variable in Benchmark.
3311
3312         Options are only needed when initializing the stage or benchmark, so there's no
3313         need to also keep a reference to it.
3314
3315         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
3316         Pass options to Controllers and Stages.
3317         (Controller.Utilities.createClass):
3318         (Benchmark.Utilities.createClass):
3319         (get options): Deleted.
3320
3321         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3322         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3323         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3324         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3325         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3326         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3327         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3328         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3329         * Animometer/tests/master/resources/canvas-stage.js:
3330         * Animometer/tests/master/resources/canvas-tests.js:
3331         * Animometer/tests/master/resources/particles.js:
3332         * Animometer/tests/misc/resources/canvas-electrons.js:
3333         * Animometer/tests/misc/resources/canvas-stars.js:
3334         * Animometer/tests/misc/resources/compositing-transforms.js:
3335         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3336         * Animometer/tests/simple/resources/tiled-canvas-image.js:
3337         * Animometer/tests/template/resources/template-canvas.js:
3338         *