Add a ES6 generator benchmark
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-06-24  Filip Pizlo  <fpizlo@apple.com>
2
3         Add a ES6 generator benchmark
4         https://bugs.webkit.org/show_bug.cgi?id=159101
5
6         Rubber stamped by Keith Miller.
7         
8         This adds a Basic interpreter loosely based on ECMA-55:
9         
10         http://www.ecma-international.org/publications/files/ECMA-ST-WITHDRAWN/ECMA-55,%201st%20Edition,%20January%201978.pdf
11         
12         It includes a lexer that is a generator, a parser that uses regular expressions, and an AST
13         walk interpreter where the walking functions for statements are generators that call each
14         other with yield*. This enables the interpreter to look like an AST walk even though it can
15         yield at INPUT and PRINT statements.
16         
17         This also uses for-of, classes, Map, and WeakMap. It also uses deprecated-but-awesome RegExp
18         features like RegExp.lastMatch and RegExp.rightContext. I did it that way because this is
19         how I've always written lexers in dynamic languages; see offlineasm's lex() method in
20         parser.rb for example.
21         
22         The benchmark runs a handful of simple Basic programs. The longest-running one computes
23         prime numbers.
24         
25         Includes a command-line and web harness. On my machine it runs in 2-3 seconds.
26
27         * Basic: Added.
28         * Basic/ast.js: Added.
29         (Basic.NumberApply):
30         (Basic.Variable):
31         (Basic.Const):
32         (Basic.NumberPow):
33         (Basic.NumberMul):
34         (Basic.NumberDiv):
35         (Basic.NumberNeg):
36         (Basic.NumberAdd):
37         (Basic.NumberSub):
38         (Basic.StringVar):
39         (Basic.Equals):
40         (Basic.NotEquals):
41         (Basic.LessThan):
42         (Basic.GreaterThan):
43         (Basic.LessEqual):
44         (Basic.GreaterEqual):
45         (Basic.GoTo):
46         (Basic.GoSub):
47         (Basic.Def):
48         (Basic.Let):
49         (Basic.If):
50         (Basic.Return):
51         (Basic.Stop):
52         (Basic.On):
53         (sideState.shouldStop):
54         (Basic.For):
55         (Basic.Next):
56         (Basic.Print):
57         (Basic.Input):
58         (Basic.Read):
59         (Basic.Restore):
60         (Basic.Dim):
61         (Basic.Randomize):
62         (Basic.End):
63         (Basic.Program):
64         * Basic/basic.js: Added.
65         (prepare):
66         (simulate):
67         * Basic/benchmark.js: Added.
68         (Benchmark):
69         (Benchmark.prototype.runIteration.expect):
70         (Benchmark.prototype.runIteration):
71         (runBenchmark):
72         * Basic/caseless_map.js: Added.
73         (CaselessMap):
74         * Basic/lexer.js: Added.
75         (lex.consumeWhitespace):
76         (lex.consume):
77         (lex):
78         * Basic/lexer_test.js: Added.
79         * Basic/number.js: Added.
80         (NumberValue):
81         (NumberValue.prototype.get value):
82         (NumberValue.prototype.apply):
83         (NumberValue.prototype.leftApply):
84         (NumberValue.prototype.assign):
85         (NumberArray.):
86         (NumberArray):
87         (NumberArray.prototype.apply):
88         (NumberArray.prototype.leftApply):
89         (NumberFunction):
90         (NumberFunction.prototype.apply):
91         (NumberFunction.prototype.leftApply):
92         (NativeFunction):
93         (NativeFunction.prototype.apply):
94         (NativeFunction.prototype.leftApply):
95         * Basic/parser.js: Added.
96         (parse):
97         (parse.pushToken):
98         (parse.peekToken):
99         (parse.consumeKind):
100         (parse.consumeToken):
101         (parse.parseVariable):
102         (parse.parseNumericExpression.parsePrimary):
103         (parse.parseNumericExpression.parseFactor):
104         (parse.parseNumericExpression.parseTerm):
105         (parse.parseNumericExpression):
106         (parse.parseConstant):
107         (parse.parseStringExpression):
108         (parse.isStringExpression):
109         (parse.parseRelationalExpression):
110         (parse.parseNonNegativeInteger):
111         (parse.parseGoToStatement):
112         (parse.parseGoSubStatement):
113         (parse.parseStatement):
114         (parse.parseStatements):
115         * Basic/random.js: Added.
116         (createRNG):
117         (createRNGWithFixedSeed):
118         (createRNGWithRandomSeed):
119         * Basic/state.js: Added.
120         (State):
121         (State.prototype.getValue):
122         (State.prototype.getSideState):
123         (State.prototype.abort):
124         (State.prototype.validate):
125         * Basic/test.html: Added.
126         * Basic/test.js: Added.
127         * Basic/util.js: Added.
128         (this.performance.performance.now.currentTime):
129         (else.this.preciseTime.currentTime):
130         (else.currentTime):
131         * Skipped: Make sure that we don't run Basic yet.
132
133 2016-06-21  Jon Lee  <jonlee@apple.com>
134
135         Update canvas size when benchmark begins
136         https://bugs.webkit.org/show_bug.cgi?id=159010
137
138         Reviewed by Dean Jackson.
139
140         Previously we would evaluate the media queries and assign the canvas size to the test
141         on body.onload. Instead, do it once the user starts the benchmark.
142
143         * Animometer/resources/debug-runner/animometer.js: Move benchmarkController.determineCanvasSize()
144         to benchmarkController._startBenchmark.
145         * Animometer/resources/runner/animometer.js: Ditto.
146
147 2016-06-21  Jon Lee  <jonlee@apple.com>
148
149         Add new timestamp option
150         https://bugs.webkit.org/show_bug.cgi?id=159006
151
152         Reviewed by Dean Jackson.
153
154         Add a new option to take timestamps from the rAF callback.
155
156         * Animometer/developer.html: Added option.
157         * Animometer/tests/resources/main.js:
158         (Benchmark): Fall back to using the rAF timestamp if performance.now()
159         is not available.
160         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
161         local var instead of accessing private var.
162
163 2016-06-21  Jon Lee  <jonlee@apple.com>
164
165         Improvements to Animometer benchmark
166         https://bugs.webkit.org/show_bug.cgi?id=157738
167
168         Reviewed by Dean Jackson.
169         Provisionally reviewed by Said Abou-Hallawa.
170
171         Update tests.
172
173         * Animometer/tests/master/text.html: Ensure only three text sizes for
174         the three canvases.
175         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
176         particle sizes.
177         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
178         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
179         reduce some calculations per frame. Fix the placement of the particles which might
180         otherwise be culled.
181         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
182         to encourage larger scores.
183
184 2016-06-21  Jon Lee  <jonlee@apple.com>
185
186         Improvements to Animometer benchmark
187         https://bugs.webkit.org/show_bug.cgi?id=157738
188
189         Reviewed by Dean Jackson.
190         Provisionally reviewed by Said Abou-Hallawa.
191
192         Include confidence interval for the final score, and store the canvas
193         size in the serialization so that it is accurately shown in results.
194
195         * Animometer/developer.html: Add a "confidence" div.
196         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
197         * Animometer/resources/debug-runner/animometer.js: Look at options, and
198         if the configuration is included, update the body class based on it
199         (similar to what we do when we first load the page). That way, if you
200         drag-and-drop previous results in, that configuration is reflected in
201         the dashboard. Show the full confidence interval.
202
203         * Animometer/resources/debug-runner/animometer.css:
204         * Animometer/resources/debug-runner/animometer.js: Style update.
205         * Animometer/resources/runner/animometer.css:
206
207         * Animometer/resources/runner/animometer.js:
208         (_processData): Propagate the confidence interval values out and calculate
209         the lower and upper bounds. For now, shortcut the aggregate calculation,
210         since we only go through one iteration.
211         (this._processData.calculateScore): Propagate the confidence interval out
212         to be next to the score. Depending on the controller these values are
213         calculated differently.
214         (this._processData._getResultsProperty): Convenience function.
215         (this._processData.get score): Refactor.
216         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
217         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
218         (window.sectionsManager.setSectionScore):
219         (window.benchmarkController._startBenchmark): When the benchmark starts, note
220         the canvas size and add it to options. That way it will be automatically be
221         serialized.
222         (window.benchmarkController.showResults): Include the maximum deviation
223         percentage.
224         * Animometer/resources/runner/lines.svg: Make the background line up with the
225         skew.
226         * Animometer/resources/runner/tests.js:
227         (Headers.details.text): Refactor.
228         * Animometer/resources/statistics.js:
229         (Statistics.largestDeviationPercentage): Convenience function to calculate
230         the deviation percentage on either end and return the largest deviation.
231         * Animometer/resources/strings.js:
232
233         Allow specifying a regression profile to use instead of taking the one
234         with the lowest error.
235
236         Address an issue in the focus test when the regression calculated ends
237         up overestimating the change point, causing a cascade of tougher
238         ramps. The reason behind this is that at max complexity of an initial
239         ramp, the frame length is very high, and it influences the second
240         segment of the piecewise regression strongly, causing it to be very
241         steep. As a result, the first segment, expected to be flat, ends up
242         covering a higher range of complexity. That makes the change point
243         much higher than it should be. To avoid this, we will add a sanity
244         check on the maximum value of the ramp. If the regression's projected
245         value at the maximum complexity of the current ramp is very slow (less
246         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
247         include the regression's change point in the change point estimator.
248         That estimator is used as the midpoint of the next ramp, and including
249         the change point from a poor regression can bake in the error. The
250         controller already knows how to adjust for ramps that are too easy for
251         the system.
252
253         * Animometer/resources/runner/animometer.js:
254         (this._processData.findRegression): Takes a preferred profile and gives that to
255         Regression.
256         (this._processData.calculateScore): With the ramp controller, take the profile
257         of the ramp that was used the most when calculating the ramp's regression. That
258         profile is what is used for the test's score.
259         * Animometer/resources/statistics.js:
260         (Regression.Utilities.createClass): Update to take an options object which can
261         specify a profile to calculate with. Otherwise it will continue to use both and
262         select the one with the lower error.
263         (_calculateRegression): Fix an issue where we claim 0 error if the regression
264         calculation fails due to divide-by-zero. Instead reject that regression calculation
265         by giving it Number.MAX_VALUE.
266         * Animometer/resources/strings.js: New strings for marking a regression as flat
267         or slope.
268         * Animometer/tests/resources/main.js:
269         (RampController): Rename the thresholds for clarity. Add a threshold that, if
270         exceeded, will lower the maximum complexity of the next ramp.
271         (tune): Relax the cdf check to consider whether the interval definitely falls in
272         the desired frame length threshold.
273         (processSamples): Include the profile in the ramp.
274
275         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
276         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
277
278         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
279         by default.
280         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
281         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
282         the order in which they appear in the patch:
283
284         - With a longer test length use longer ramps with longer intervals to get more data at each
285         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
286         spend more time there to find the right order of magnitude, but increase it during the
287         ramps to 120 ms.
288         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
289         never sample the minimum complexity. Instead of lerping max to min complexity from time
290         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
291         we can have at least one interval sample at the min complexity for that ramp.
292         - Some regression calculations only come out with one line segment rather than the two
293         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
294         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
295         we ensure that at least part of the ramp is covering a complexity range that the system can
296         handle at full 60.
297         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
298
299         Update the format used to serialize the results for analysis.
300
301         Each data point used to have named properties for fields like complexity and frame rate.
302         In addition the serialized numbers had rounding errors that took up many characters.
303         Update the format by introducing a new data container called SampleData, which contains a
304         field map. The map maps a string to an array index. Each data point is an array, so, to
305         get a stat, use the field map to get the array index into the data point. This allows future
306         versions to track other data, and reduces the size of the output string by two-thirds.
307
308         * Animometer/resources/extensions.js:
309         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
310         precision, and converts it back to a number.
311         (SampleData): New class that contains sample data and a field map that maps properties to
312         an array index.
313         (get length): Number of data points.
314         (addField): Add a field to the field map.
315         (push): Add a data point.
316         (sort): Sort the data.
317         (slice): Return new SampleData object with sliced data.
318         (forEach): Iterate over the data with provided function.
319         (createDatum):
320         (getFieldInDatum): Returns the data point associated with the field name by looking it up
321         in the field map in the datum provided, which can be the datum object itself (an array) or
322         an index into the data member variable.
323         (setFieldInDatum): Sets the data point associated with the field name.
324         (at): Returns the data point at the provided index.
325         (toArray): Serializes the data where the field map serves as property names for each point.
326
327         * Animometer/resources/debug-runner/graph.js:
328         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
329         graph to use, since the old format was much easier to work with when displaying the graphs.
330         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
331         * Animometer/resources/runner/animometer.css:
332         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
333         to only go to 3 digits of precision for purposes of reducing the data size.
334         * Animometer/resources/strings.js: Add new strings to put into the field maps.
335         * Animometer/tests/resources/main.js: Refactor to use SampleData.
336
337         * Animometer/developer.html:
338         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
339         tests.js include.
340         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
341         * Animometer/resources/debug-runner/graph.js:
342         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
343         controller, since not all controllers do bootstrapping.
344         * Animometer/resources/debug-runner/tests.js: Update header text.
345         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
346         * Animometer/resources/runner/animometer.js:
347         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
348         (ResultsTable._addBody): Add tbody element.
349         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
350         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
351         * Animometer/resources/runner/tests.js:
352         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
353         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
354         on either side of the bootstrap median.
355         * Animometer/resources/statistics.js:
356         (bootstrap): Include the confidence percentage in the return object.
357
358         Report canvas size in results.
359
360         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
361         canvas was used.
362         * Animometer/index.html: Ditto.
363         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
364         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
365         body class size.
366         * Animometer/resources/runner/animometer.js:
367         (window.benchmarkController.initialize): Update styles to set the canvas based on the
368         body class size.
369         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
370         class based on the size of the device.
371
372         * Animometer/developer.html: Refactor to include the main CSS file, and redo
373         the layout so that it doesn't rely on flexbox.
374         * Animometer/resources/debug-runner/animometer.css:
375         * Animometer/resources/debug-runner/animometer.js:
376         (updateDisplay): Since various parts of the script alter the body class, we can't
377         replace the className directly. Instead, remove all display-based values and then add
378         the one that was selected.
379         * Animometer/resources/debug-runner/graph.js:
380         (updateGraphData): To set the size of the graph, use window.innerHeight.
381         * Animometer/resources/runner/animometer.js:
382         (window.sectionsManager.showSection): Since various parts of the script alter the body
383         class, we can't replace the className directly. Remove all of the section classes
384         individually and then add the one desired.
385         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
386         stage.
387
388 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
389
390         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
391         https://bugs.webkit.org/show_bug.cgi?id=158674
392
393         Reviewed by Michael Saboff.
394         
395         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
396         Math.floor(x / 3) * 3 instead.
397         
398         This is a benign change, because having extra arguments to a Shuffle is not something we
399         actually take advantage of yet. But I think it's best to match the original C++ code's
400         intent.
401
402         * Air.js/custom.js:
403         (const.ShuffleCustom.forEachArg):
404
405 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
406
407         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
408
409         * Skipped:
410
411 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
412
413         Make it easy to package Air.js
414         https://bugs.webkit.org/show_bug.cgi?id=158652
415
416         Reviewed by Benjamin Poulain.
417         
418         If you want to give Air.js to someone, you can now do:
419         
420         cd PerformanceTests/Air.js
421         ./make_dist.sh
422         
423         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
424         the benchmark, just send either of those things and tell them to look at index.html.
425         
426         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
427         https://daringfireball.net/projects/markdown/
428
429         * Air.js/make_dist.sh: Added.
430         * Air.js/test.html:
431
432 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
433
434         Unreviewed, make the link to test.html into an actual link.
435
436         * Air.js/README.md:
437
438 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
439
440         Fix some text in Air.js/README.md
441         https://bugs.webkit.org/show_bug.cgi?id=158650
442
443         Reviewed by Benjamin Poulain.
444         
445         I read the text again and found bugs:
446         
447         - We never actually say how to run the benchmark. This change adds a blurb about how to run
448           it.
449
450         - We both say that allocateStack is responsible for the bulk of the running time and that
451           we haven't measured where the bulk of the time is spent. This changes the text to say that
452           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
453           not measure this.
454
455         * Air.js/README.md:
456
457 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
458
459         Air.js should have some documentation
460         https://bugs.webkit.org/show_bug.cgi?id=158648
461
462         Reviewed by Keith Miller.
463         
464         I want to be able to point people at a document if they want to know more about this
465         benchmark.
466
467         * Air.js/README.md: Added.
468
469 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
470
471         Rename JSAir to Air.js.
472
473         Rubber stamped by Mark Lam.
474
475         * Air.js: Copied from PerformanceTests/JSAir.
476         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
477         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
478         (Benchmark):
479         * Air.js/jsair-tests.yaml: Removed.
480         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
481         * Air.js/payload-jsair-ACLj8C.js: Removed.
482         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
483         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
484         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
485         * JSAir: Removed.
486         * JSAir/all.js: Removed.
487         * JSAir/allocate_stack.js: Removed.
488         * JSAir/arg.js: Removed.
489         * JSAir/basic_block.js: Removed.
490         * JSAir/benchmark.js: Removed.
491         * JSAir/code.js: Removed.
492         * JSAir/custom.js: Removed.
493         * JSAir/frequented_block.js: Removed.
494         * JSAir/insertion_set.js: Removed.
495         * JSAir/inst.js: Removed.
496         * JSAir/jsair-tests.yaml: Removed.
497         * JSAir/liveness.js: Removed.
498         * JSAir/opcode.js: Removed.
499         * JSAir/payload-gbemu-executeIteration.js: Removed.
500         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
501         * JSAir/payload-jsair-ACLj8C.js: Removed.
502         * JSAir/payload-typescript-scanIdentifier.js: Removed.
503         * JSAir/reg.js: Removed.
504         * JSAir/stack_slot.js: Removed.
505         * JSAir/stress-test.js: Removed.
506         * JSAir/strip-hash.rb: Removed.
507         * JSAir/symbols.js: Removed.
508         * JSAir/test.html: Removed.
509         * JSAir/test.js: Removed.
510         * JSAir/tmp.js: Removed.
511         * JSAir/tmp_base.js: Removed.
512         * JSAir/util.js: Removed.
513
514 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
515
516         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
517         https://bugs.webkit.org/show_bug.cgi?id=158571
518
519         Reviewed by Keith Miller.
520         
521         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
522         iterations and then tries to do any number of "bonus" iterations until it's been running for
523         two seconds. Since this is the sort of test that isn't really meant to stress anything in
524         particular, I think it's OK if it is time-limited in this way. The worst case is that some
525         of its failures will be flaky, but I think that they would have been flaky anyway given the
526         complexity of the test.
527
528         * JSAir/benchmark.js:
529         (Benchmark):
530         (Benchmark.prototype.runIteration):
531         (benchmark): Deleted.
532         * JSAir/jsair-tests.yaml:
533         * JSAir/stress-test.js: Added.
534         (preciseTime):
535         * JSAir/test.html:
536         * JSAir/test.js:
537
538 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
539
540         Unreviewed, teach the perf bots not to run JSAir.
541
542         * Skipped:
543
544 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
545
546         Use more ES6 features in JSAir
547         https://bugs.webkit.org/show_bug.cgi?id=158497
548
549         Reviewed by Keith Miller.
550         
551         This improves JSAir with the following ES6 features suggested by JoePeck:
552         
553         - String interpolation.
554         - Destructuring inside PatchCustom.
555         - Default arguments.
556         
557         All of these things are on hot paths.
558         
559         Note that I didn't use string interpolation everywhere that I could, only in those places
560         where it made the code more readable. In Ruby, I used the style that if the interpolation
561         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
562         strings) then it's better to use regular strcat. I think that's what I carried over to here.
563         
564         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
565         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
566         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
567         that function from being optimized then it will hurt so good.
568         
569         I also reenabled tail calls in a few places.
570         
571         This change doesn't seem to change the performance of the benchmark for us. That's expected
572         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
573         added in a separate change and that change did make the benchmark overall more expensive.
574
575         * JSAir/allocate_stack.js:
576         (allocateStack):
577         * JSAir/arg.js:
578         (Arg.createBitImm64):
579         (Arg.createAddr):
580         (Arg.createStack):
581         (Arg.logScale):
582         (Arg.createIndex):
583         * JSAir/basic_block.js:
584         (BasicBlock.get headerString):
585         (BasicBlock.prototype.get if):
586         (BasicBlock):
587         * JSAir/benchmark.js:
588         (benchmark):
589         * JSAir/code.js:
590         (Code):
591         (Code.prototype.addBlock):
592         (Code.prototype.addStackSlot):
593         (Code.prototype.newTmp):
594         (Code.prototype.get size):
595         (Code.prototype.get blocks):
596         (Code.prototype.get stackSlots):
597         (Code.prototype.tmps):
598         (Code.prototype.get callArgAreaSize):
599         (Code.prototype.toString):
600         * JSAir/custom.js:
601         (const.PatchCustom.forEachArg):
602         * JSAir/inst.js:
603         (Inst):
604         * JSAir/reg.js:
605         (Reg.prototype.toString):
606         * JSAir/util.js:
607         (symbolName):
608         (lowerSymbolName):
609
610 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
611
612         Add result validation to JSAir
613         https://bugs.webkit.org/show_bug.cgi?id=158493
614
615         Reviewed by Saam Barati.
616         
617         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
618         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
619         check the Code before and after allocateStack, and compare against hashes we got from C++.
620         
621         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
622         allocating things correctly because I was concatting a Set to an Array, which doesn't really
623         work. Now these bugs are fixed.
624         
625         The checking step adds to the running time so I reduced the number of iterations. The
626         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
627         total. This is probably OK. It's better to verify the results even if the running time is
628         not all in the "core" of the algorithm.
629         
630         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
631
632         * JSAir/allocate_stack.js:
633         * JSAir/arg.js:
634         (Arg.createImm):
635         (Arg.createBigImm):
636         (Arg.createBitImm):
637         (Arg.createBitImm64):
638         (Arg.createWidth):
639         (Arg.createSpecial):
640         (Arg.prototype.get kind):
641         (Arg.prototype.get isTmp):
642         (Arg.prototype.get isImm):
643         (Arg.prototype.get isSomeImm):
644         (Arg.prototype.get isSomeBigImm):
645         (Arg.prototype.get isCondition):
646         (Arg.prototype.get isWidth):
647         (Arg.prototype.get isSpecial):
648         (Arg.prototype.get isAlive):
649         (Arg.prototype.get tmp):
650         (Arg.prototype.get value):
651         (Arg.prototype.get lowValue):
652         (Arg.prototype.get highValue):
653         (Arg.prototype.get base):
654         (Arg.prototype.get isGP):
655         (Arg.prototype.get isFP):
656         (Arg.prototype.isValidForm):
657         (Arg.prototype.get isInvertible):
658         (Arg.kindCode):
659         (Arg.prototype.hash):
660         (Arg.prototype.toString):
661         (Arg):
662         * JSAir/basic_block.js:
663         (BasicBlock.get successorBlocks):
664         * JSAir/benchmark.js:
665         (benchmark):
666         * JSAir/code.js:
667         (Code.prototype.setFrameSize):
668         (Code.prototype.hash):
669         (Code.prototype.toString):
670         (Code):
671         * JSAir/inst.js:
672         (Inst.prototype.get hasNonArgEffects):
673         (Inst.prototype.hash):
674         (Inst.prototype.toString):
675         (Inst):
676         * JSAir/jsair-tests.yaml: Added.
677         * JSAir/opcode.js:
678         (Inst_forEachArg):
679         (Inst_hasNonArgEffects):
680         (opcodeCode):
681         * JSAir/payload-gbemu-executeIteration.js:
682         (createPayloadGbemuExecuteIteration):
683         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
684         (createPayloadImagingGaussianBlurGaussianBlur):
685         * JSAir/payload-jsair-ACLj8C.js:
686         (createPayloadJSAirACLj8C):
687         * JSAir/payload-typescript-scanIdentifier.js:
688         (createPayloadTypescriptScanIdentifier):
689         * JSAir/reg.js:
690         (Reg.prototype.get isReg):
691         (Reg.prototype.hash):
692         (Reg.prototype.toString):
693         * JSAir/stack_slot.js:
694         (StackSlot.prototype.setOffsetFromFP):
695         (StackSlot.prototype.hash):
696         (StackSlot.prototype.toString):
697         * JSAir/symbols.js:
698         (relCondCode):
699         (resCondCode):
700         (doubleCondCode):
701         * JSAir/test.html:
702         * JSAir/tmp.js:
703         (Tmp.prototype.get isReg):
704         (Tmp.prototype.hash):
705         (Tmp.prototype.toString):
706         * JSAir/util.js:
707         (roundUpToMultipleOf):
708         (symbolName):
709
710 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
711
712         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
713         https://bugs.webkit.org/show_bug.cgi?id=158318
714
715         Reviewed by Saam Barati.
716         
717         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
718         implementation of Air's allocateStack() phase along with all of Air needed to run that
719         phase. This includes things like stack slots, registers, temporaries, basic blocks,
720         instructions, and all of the code for iterating over, inspecting, and modifying those
721         things.
722         
723         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
724         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
725         four Air IRs:
726         
727         - Octane/gbemu's largest function, executeIteration.
728         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
729         - Octane/typescript's largest function that is actually hot, scanIdentifier.
730         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
731         
732         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
733         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
734         C++ Air::allocateStack() phase on which it is based.
735         
736         JSAir uses the following ES6 features:
737         
738         - Symbol.
739         - for-of.
740         - arrow functions.
741         - Map/Set.
742         - let/const.
743         - classes.
744         
745         All of these things are used in anger and should end up on the hot path. There is also code
746         that uses Proxies, but it ends up being dead.
747         
748         We can improve this even more:
749         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
750         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
751         
752         * JSAir: Added.
753         * JSAir/all.js: Added.
754         * JSAir/allocate_stack.js: Added.
755         (allocateStack.attemptAssignment):
756         (allocateStack.assign):
757         (allocateStack.interfere):
758         (allocateStack.):
759         (allocateStack):
760         * JSAir/arg.js: Added.
761         (Arg):
762         (Arg.isAnyUse):
763         (Arg.isColdUse):
764         (Arg.isWarmUse):
765         (Arg.cooled):
766         (Arg.isEarlyUse):
767         (Arg.isLateUse):
768         (Arg.isAnyDef):
769         (Arg.isEarlyDef):
770         (Arg.isLateDef):
771         (Arg.isZDef):
772         (Arg.typeForB3Type):
773         (Arg.widthForB3Type):
774         (Arg.conservativeWidth):
775         (Arg.minimumWidth):
776         (Arg.bytes):
777         (Arg.widthForBytes):
778         (Arg.createTmp):
779         (Arg.fromReg):
780         (Arg.createImm):
781         (Arg.createBigImm):
782         (Arg.createBitImm):
783         (Arg.createBitImm64):
784         (Arg.createAddr):
785         (Arg.createStack):
786         (Arg.createCallArg):
787         (Arg.createStackAddr):
788         (Arg.isValidScale):
789         (Arg.logScale):
790         (Arg.createIndex):
791         (Arg.createRelCond):
792         (Arg.createResCond):
793         (Arg.createDoubleCond):
794         (Arg.createWidth):
795         (Arg.prototype.get kind):
796         (Arg.prototype.get isTmp):
797         (Arg.prototype.get isImm):
798         (Arg.prototype.get isBigImm):
799         (Arg.prototype.get isBitImm):
800         (Arg.prototype.get isBitImm64):
801         (Arg.prototype.get isSomeImm):
802         (Arg.prototype.get isAddr):
803         (Arg.prototype.get isStack):
804         (Arg.prototype.get isCallArg):
805         (Arg.prototype.get isIndex):
806         (Arg.prototype.get isMemory):
807         (Arg.prototype.get isStackMemory):
808         (Arg.prototype.get isRelCond):
809         (Arg.prototype.get isResCond):
810         (Arg.prototype.get isDoubleCond):
811         (Arg.prototype.get isCondition):
812         (Arg.prototype.get isWidth):
813         (Arg.prototype.get isAlive):
814         (Arg.prototype.get tmp):
815         (Arg.prototype.get value):
816         (Arg.prototype.get base):
817         (Arg.prototype.get hasOffset):
818         (Arg.prototype.get offset):
819         (Arg.prototype.get stackSlot):
820         (Arg.prototype.get index):
821         (Arg.prototype.get scale):
822         (Arg.prototype.get logScale):
823         (Arg.prototype.get width):
824         (Arg.prototype.get isGPTmp):
825         (Arg.prototype.get isFPTmp):
826         (Arg.prototype.get isGP):
827         (Arg.prototype.get isFP):
828         (Arg.prototype.get hasType):
829         (Arg.prototype.get type):
830         (Arg.prototype.isType):
831         (Arg.prototype.isCompatibleType):
832         (Arg.prototype.get isGPR):
833         (Arg.prototype.get gpr):
834         (Arg.prototype.get isFPR):
835         (Arg.prototype.get fpr):
836         (Arg.prototype.get isReg):
837         (Arg.prototype.get reg):
838         (Arg.isValidImmForm):
839         (Arg.isValidBitImmForm):
840         (Arg.isValidBitImm64Form):
841         (Arg.isValidAddrForm):
842         (Arg.isValidIndexForm):
843         (Arg.prototype.isValidForm):
844         (Arg.prototype.forEachTmpFast):
845         (Arg.prototype.usesTmp):
846         (Arg.prototype.forEachTmp):
847         (Arg.prototype.is):
848         (Arg.prototype.as):
849         (Arg.prototype.forEachFast):
850         (Arg.prototype.forEach):
851         (Arg.extract):
852         (Arg.forEachFast):
853         (Arg.forEach):
854         (Arg.prototype.get condition):
855         (Arg.prototype.get isInvertible):
856         (Arg.prototype.toString):
857         * JSAir/basic_block.js: Added.
858         (BasicBlock):
859         (BasicBlock.prototype.get index):
860         (BasicBlock.prototype.get size):
861         (BasicBlock.prototype.Symbol.iterator):
862         (BasicBlock.prototype.at):
863         (BasicBlock.get last):
864         (BasicBlock.get insts):
865         (BasicBlock.get numSuccessors):
866         (BasicBlock.get successors):
867         (BasicBlock.get successorBlocks.):
868         (BasicBlock.get successorBlocks):
869         (BasicBlock.set get numPredecessors):
870         (BasicBlock.get predecessors):
871         (BasicBlock.get frequency):
872         (BasicBlock.get headerString):
873         (BasicBlock.get footerString):
874         * JSAir/benchmark.js: Added.
875         (benchmark):
876         * JSAir/code.js: Added.
877         (Code):
878         (Code.prototype.addBlock):
879         (Code.prototype.addStackSlot):
880         (Code.prototype.newTmp):
881         (Code.prototype.get size):
882         (Code.prototype.at):
883         (Code.prototype.Symbol.iterator):
884         (Code.prototype.get blocks):
885         (Code.prototype.get stackSlots):
886         (Code.prototype.tmps):
887         (Code.prototype.get callArgAreaSize):
888         (Code.prototype.requestCallArgAreaSize):
889         (Code.prototype.get frameSize):
890         (Code.prototype.setFrameSize):
891         (Code.prototype.toString):
892         * JSAir/custom.js: Added.
893         (const.ShuffleCustom.forEachArg):
894         (const.ShuffleCustom.hasNonArgNonControlEffects):
895         (const.PatchCustom.forEachArg):
896         (const.PatchCustom.hasNonArgNonControlEffects):
897         (const.CCallCustom.forEachArg):
898         (const.CCallCustom.hasNonArgNonControlEffects):
899         (const.ColdCCallCustom.forEachArg):
900         (const.ColdCCallCustom.hasNonArgNonControlEffects):
901         * JSAir/frequented_block.js: Added.
902         (FrequentedBlock):
903         (FrequentedBlock.prototype.toString):
904         * JSAir/insertion_set.js: Added.
905         (Insertion):
906         (Insertion.prototype.get index):
907         (Insertion.prototype.get element):
908         (Insertion.prototype.lessThan):
909         (InsertionSet):
910         (InsertionSet.prototype.appendInsertion):
911         (InsertionSet.prototype.append):
912         (InsertionSet.prototype.execute):
913         * JSAir/inst.js: Added.
914         (Inst):
915         (Inst.prototype.append):
916         (Inst.prototype.clear):
917         (Inst.prototype.get opcode):
918         (Inst.prototype.get args):
919         (Inst.prototype.visitArg):
920         (Inst.prototype.forEachTmpFast):
921         (Inst.prototype.forEachArg):
922         (Inst.prototype.forEachTmp):
923         (Inst.prototype.forEach):
924         (Inst.forEachDef):
925         (Inst.forEachDefWithExtraClobberedRegs):
926         (Inst.prototype.get hasNonArgEffects):
927         (Inst.prototype.toString):
928         * JSAir/liveness.js: Added.
929         (Liveness):
930         (Liveness.prototype.get thing):
931         (Liveness.prototype.get code):
932         (Liveness.prototype.get liveAtHead):
933         (Liveness.prototype.get liveAtTail):
934         (Liveness.prototype.localCalc.LocalCalc):
935         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
936         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
937         (Liveness.prototype.localCalc):
938         * JSAir/opcode.js: Added.
939         (Inst_forEachArg):
940         (Inst_hasNonArgEffects):
941         * JSAir/payload-gbemu-executeIteration.js: Added.
942         (createPayloadGbemuExecuteIteration):
943         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
944         (createPayloadImagingGaussianBlurGaussianBlur):
945         * JSAir/payload-jsair-ACLj8C.js: Added.
946         (createPayloadJSAirACLj8C):
947         * JSAir/payload-typescript-scanIdentifier.js: Added.
948         (createPayloadTypescriptScanIdentifier):
949         * JSAir/reg.js: Added.
950         (Reg):
951         (Reg.fromReg):
952         (Reg.prototype.get index):
953         (Reg.prototype.get type):
954         (Reg.prototype.get name):
955         (Reg.prototype.get isCalleeSave):
956         (Reg.prototype.get isReg):
957         (Reg.prototype.toString):
958         (Reg.extract):
959         (Reg.forEachFast):
960         (Reg.forEach):
961         (newGPR):
962         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
963         * JSAir/stack_slot.js: Added.
964         (StackSlot):
965         (StackSlot.prototype.get byteSize):
966         (StackSlot.prototype.get kind):
967         (StackSlot.prototype.get isLocked):
968         (StackSlot.prototype.get isSpill):
969         (StackSlot.prototype.get index):
970         (StackSlot.prototype.ensureSize):
971         (StackSlot.prototype.get alignment):
972         (StackSlot.prototype.get offsetFromFP):
973         (StackSlot.prototype.setOffsetFromFP):
974         (StackSlot.prototype.toString):
975         (StackSlot.extract):
976         (StackSlot.forEachFast):
977         (StackSlot.forEach):
978         * JSAir/symbols.js: Added.
979         * JSAir/test.html: Added.
980         * JSAir/test.js: Added.
981         * JSAir/tmp.js: Added.
982         (Tmp):
983         (Tmp.fromReg):
984         (Tmp.prototype.get index):
985         (Tmp.prototype.get type):
986         (Tmp.prototype.get isReg):
987         (Tmp.prototype.toString):
988         (Tmp.extract):
989         (Tmp.forEachFast):
990         (Tmp.forEach):
991         * JSAir/tmp_base.js: Added.
992         (TmpBase.prototype.get isGP):
993         (TmpBase.prototype.get isFP):
994         (TmpBase.prototype.get isGPR):
995         (TmpBase.prototype.get isFPR):
996         (TmpBase.prototype.get reg):
997         (TmpBase.prototype.get gpr):
998         (TmpBase.prototype.get fpr):
999         (TmpBase):
1000         * JSAir/util.js: Added.
1001         (isRepresentableAsInt32):
1002         (addIndexed):
1003         (roundUpToMultipleOf):
1004         (symbolName):
1005         (mergeIntoSet):
1006         (nonEmptyRangesOverlap):
1007         (rangesOverlap):
1008         (removeAllMatching):
1009         (swap):
1010         (bubble):
1011         (bubbleSort):
1012         (currentTime):
1013         (else.currentTime):
1014
1015 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
1016
1017         [JSC] Allow JSBench to use precise time
1018         https://bugs.webkit.org/show_bug.cgi?id=158050
1019
1020         Reviewed by Geoffrey Garen.
1021
1022         * JSBench/amazon-chrome-win/urem.js:
1023         (else.window.performance.window.performance.now.currentTimeInMS):
1024         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1025         (else.else.currentTimeInMS):
1026         (onload.cb):
1027         (onload):
1028         * JSBench/amazon-chrome/urem.js:
1029         (else.window.performance.window.performance.now.currentTimeInMS):
1030         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1031         (else.else.currentTimeInMS):
1032         (onload.cb):
1033         (onload):
1034         * JSBench/amazon-firefox-win/urm.js:
1035         (else.window.performance.window.performance.now.currentTimeInMS):
1036         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1037         (else.else.currentTimeInMS):
1038         (onload.cb):
1039         (onload):
1040         * JSBench/amazon-firefox/urm.js:
1041         (else.window.performance.window.performance.now.currentTimeInMS):
1042         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1043         (else.else.currentTimeInMS):
1044         (onload.cb):
1045         (onload):
1046         * JSBench/amazon-safari/urem.js:
1047         (else.window.performance.window.performance.now.currentTimeInMS):
1048         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1049         (else.else.currentTimeInMS):
1050         (onload.cb):
1051         (onload):
1052         * JSBench/facebook-chrome-win/urem.js:
1053         (else.window.performance.window.performance.now.currentTimeInMS):
1054         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1055         (else.else.currentTimeInMS):
1056         (onload.cb):
1057         (onload):
1058         * JSBench/facebook-chrome/urem.js:
1059         (else.window.performance.window.performance.now.currentTimeInMS):
1060         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1061         (else.else.currentTimeInMS):
1062         (onload.cb):
1063         (onload):
1064         * JSBench/facebook-firefox-win/urem.js:
1065         (else.window.performance.window.performance.now.currentTimeInMS):
1066         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1067         (else.else.currentTimeInMS):
1068         (onload.cb):
1069         (onload):
1070         * JSBench/facebook-firefox/urem.js:
1071         (else.window.performance.window.performance.now.currentTimeInMS):
1072         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1073         (else.else.currentTimeInMS):
1074         (onload.cb):
1075         (onload):
1076         * JSBench/facebook-safari/urem.js:
1077         (else.window.performance.window.performance.now.currentTimeInMS):
1078         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1079         (else.else.currentTimeInMS):
1080         (onload.cb):
1081         (onload):
1082         * JSBench/google-chrome-win/urem.js:
1083         (else.window.performance.window.performance.now.currentTimeInMS):
1084         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1085         (else.else.currentTimeInMS):
1086         (onload.cb):
1087         (onload):
1088         * JSBench/google-chrome/urem.js:
1089         (else.window.performance.window.performance.now.currentTimeInMS):
1090         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1091         (else.else.currentTimeInMS):
1092         (onload.cb):
1093         (onload):
1094         * JSBench/google-firefox-win/urem.js:
1095         (else.window.performance.window.performance.now.currentTimeInMS):
1096         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1097         (else.else.currentTimeInMS):
1098         (onload.cb):
1099         (onload):
1100         * JSBench/google-firefox/uem.js:
1101         (else.window.performance.window.performance.now.currentTimeInMS):
1102         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1103         (else.else.currentTimeInMS):
1104         (onload.cb):
1105         (onload):
1106         * JSBench/google-safari/urem.js:
1107         (else.window.performance.window.performance.now.currentTimeInMS):
1108         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1109         (else.else.currentTimeInMS):
1110         (onload.cb):
1111         (onload):
1112         * JSBench/harness.js:
1113         (runBenchmark.window.currentTimeInMS):
1114         (runBenchmark.else.window.currentTimeInMS):
1115         * JSBench/twitter-chrome-win/rem.js:
1116         (else.window.performance.window.performance.now.currentTimeInMS):
1117         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1118         (else.else.currentTimeInMS):
1119         (onload.cb):
1120         (onload):
1121         * JSBench/twitter-chrome/urem.js:
1122         (else.window.performance.window.performance.now.currentTimeInMS):
1123         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1124         (else.else.currentTimeInMS):
1125         (onload.cb):
1126         (onload):
1127         * JSBench/twitter-firefox-win/urem.js:
1128         (else.window.performance.window.performance.now.currentTimeInMS):
1129         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1130         (else.else.currentTimeInMS):
1131         (onload.cb):
1132         (onload):
1133         * JSBench/twitter-firefox/urem.js:
1134         (else.window.performance.window.performance.now.currentTimeInMS):
1135         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1136         (else.else.currentTimeInMS):
1137         (onload.cb):
1138         (onload):
1139         * JSBench/twitter-safari/urem.js:
1140         (else.window.performance.window.performance.now.currentTimeInMS):
1141         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1142         (else.else.currentTimeInMS):
1143         (onload.cb):
1144         (onload):
1145         * JSBench/yahoo-chrome-win/urem.js:
1146         (else.window.performance.window.performance.now.currentTimeInMS):
1147         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1148         (else.else.currentTimeInMS):
1149         (onload.cb):
1150         (onload):
1151         * JSBench/yahoo-chrome/urem.js:
1152         (else.window.performance.window.performance.now.currentTimeInMS):
1153         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1154         (else.else.currentTimeInMS):
1155         (onload.cb):
1156         (onload):
1157         * JSBench/yahoo-firefox-win/urem.js:
1158         (else.window.performance.window.performance.now.currentTimeInMS):
1159         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1160         (else.else.currentTimeInMS):
1161         (onload.cb):
1162         (onload):
1163         * JSBench/yahoo-firefox/urem.js:
1164         (else.window.performance.window.performance.now.currentTimeInMS):
1165         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1166         (else.else.currentTimeInMS):
1167         (onload.cb):
1168         (onload):
1169         * JSBench/yahoo-safari/urem.js:
1170         (else.window.performance.window.performance.now.currentTimeInMS):
1171         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1172         (else.else.currentTimeInMS):
1173         (onload.cb):
1174         (onload):
1175
1176 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1177
1178         replaceable own properties seem to ignore replacement after property caching
1179         https://bugs.webkit.org/show_bug.cgi?id=158091
1180
1181         Reviewed by Darin Adler.
1182
1183         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1184         * MallocBench/MallocBench/Benchmark.cpp:
1185         * MallocBench/MallocBench/Interpreter.cpp:
1186         (Interpreter::doMallocOp):
1187         * MallocBench/MallocBench/Interpreter.h:
1188         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1189         * MallocBench/MallocBench/jetstream.cpp: Added.
1190         (benchmark_jetstream):
1191         * MallocBench/MallocBench/jetstream.h: Added.
1192
1193 2016-05-25  Keith Miller  <keith_miller@apple.com>
1194
1195         Unreviewed, add JSBench to the skipped list for now since it doesn't
1196         work currently.
1197
1198         * Skipped:
1199
1200 2016-05-17  Keith Miller  <keith_miller@apple.com>
1201         We should have JSBench in PerformanceTests
1202         https://bugs.webkit.org/show_bug.cgi?id=157952
1203
1204         Rubber-stamped by Saam Barati.
1205
1206         There are some slight changes to the layout of the test directory
1207         to make it work nicely with run-jsc-benchmarks. Before JSBench
1208         had each of the browser specific sub-tests in a sub-directory.
1209         These have been flattened e.g. amazon/safari/ has become
1210         amazon-safari/.
1211
1212         * JSBench/amazon-chrome-win/urem.html: Added.
1213         * JSBench/amazon-chrome-win/urem.js: Added.
1214         * JSBench/amazon-chrome/urem.html: Added.
1215         * JSBench/amazon-chrome/urem.js: Added.
1216         * JSBench/amazon-firefox-win/urm.html: Added.
1217         * JSBench/amazon-firefox-win/urm.js: Added.
1218         * JSBench/amazon-firefox/urm.html: Added.
1219         * JSBench/amazon-firefox/urm.js: Added.
1220         * JSBench/amazon-safari/urem.html: Added.
1221         * JSBench/amazon-safari/urem.js: Added.
1222         * JSBench/browsercheck.js: Added.
1223         * JSBench/facebook-chrome-win/urem.html: Added.
1224         * JSBench/facebook-chrome-win/urem.js: Added.
1225         * JSBench/facebook-chrome/urem.html: Added.
1226         * JSBench/facebook-chrome/urem.js: Added.
1227         * JSBench/facebook-firefox-win/urem.html: Added.
1228         * JSBench/facebook-firefox-win/urem.js: Added.
1229         * JSBench/facebook-firefox/urem.html: Added.
1230         * JSBench/facebook-firefox/urem.js: Added.
1231         * JSBench/facebook-safari/urem.html: Added.
1232         * JSBench/facebook-safari/urem.js: Added.
1233         * JSBench/google-chrome-win/urem.html: Added.
1234         * JSBench/google-chrome-win/urem.js: Added.
1235         * JSBench/google-chrome/urem.html: Added.
1236         * JSBench/google-chrome/urem.js: Added.
1237         * JSBench/google-firefox-win/urem.html: Added.
1238         * JSBench/google-firefox-win/urem.js: Added.
1239         * JSBench/google-firefox/uem.html: Added.
1240         * JSBench/google-firefox/uem.js: Added.
1241         * JSBench/google-safari/urem.html: Added.
1242         * JSBench/google-safari/urem.js: Added.
1243         * JSBench/harness.html: Added.
1244         * JSBench/harness.js: Added.
1245         * JSBench/harness.py: Added.
1246         * JSBench/index.html: Added.
1247         * JSBench/reload.html: Added.
1248         * JSBench/twitter-chrome-win/rem.html: Added.
1249         * JSBench/twitter-chrome-win/rem.js: Added.
1250         * JSBench/twitter-chrome/urem.html: Added.
1251         * JSBench/twitter-chrome/urem.js: Added.
1252         * JSBench/twitter-firefox-win/urem.html: Added.
1253         * JSBench/twitter-firefox-win/urem.js: Added.
1254         * JSBench/twitter-firefox/urem.html: Added.
1255         * JSBench/twitter-firefox/urem.js: Added.
1256         * JSBench/twitter-safari/urem.html: Added.
1257         * JSBench/twitter-safari/urem.js: Added.
1258         * JSBench/yahoo-chrome-win/urem.html: Added.
1259         * JSBench/yahoo-chrome-win/urem.js: Added.
1260         * JSBench/yahoo-chrome/urem.html: Added.
1261         * JSBench/yahoo-chrome/urem.js: Added.
1262         * JSBench/yahoo-firefox-win/urem.html: Added.
1263         * JSBench/yahoo-firefox-win/urem.js: Added.
1264         * JSBench/yahoo-firefox/urem.html: Added.
1265         * JSBench/yahoo-firefox/urem.js: Added.
1266         * JSBench/yahoo-safari/urem.html: Added.
1267         * JSBench/yahoo-safari/urem.js: Added.
1268
1269 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1270
1271         run-benchmark's results should contain Animometer's debug output
1272         https://bugs.webkit.org/show_bug.cgi?id=157941
1273
1274         Reviewed by Stephanie Lewis.
1275
1276         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1277
1278         * Animometer/resources/debug-runner/animometer.js:
1279         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1280
1281 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1282
1283         Make Animometer work in all browsers
1284         https://bugs.webkit.org/show_bug.cgi?id=157855
1285         rdar://problem/26338521
1286
1287         Reviewed by Jon Lee.
1288
1289         * Animometer/resources/runner/logo.svg: Use a symbol instead
1290         of putting the id on the root svg. This works in all browsers.
1291
1292 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1293
1294         Update Animometer design
1295         https://bugs.webkit.org/show_bug.cgi?id=157449
1296
1297         Reviewed by Darin Adler.
1298
1299         * Animometer/developer.html: Stop including runner/animometer.css.
1300         * Animometer/index.html: Udpated elements to fit new styles.
1301
1302         * Animometer/resources/debug-runner/animometer.css:
1303         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1304
1305         * Animometer/resources/runner/animometer.css:
1306         New styles for the design. Drop flex box for broad browser support.
1307
1308         * Animometer/resources/runner/animometer.js:
1309         (ResultsTable.clear): Use textContent.
1310         (window.sectionsManager.showSection): Add class to the body.
1311         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1312
1313         * Animometer/resources/runner/crystal.svg: Added.
1314         * Animometer/resources/runner/lines.svg: Added.
1315         * Animometer/resources/runner/logo.svg: Added.
1316
1317         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1318
1319 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1320
1321         [css-grid] Unprefix CSS Grid Layout properties
1322         https://bugs.webkit.org/show_bug.cgi?id=157137
1323
1324         Reviewed by Simon Fraser.
1325
1326         Remove "-webkit" prefix from all the grid layout properties,
1327         including the display value.
1328         Update the source code to remove the prefix where it was used too.
1329
1330         * Layout/auto-grid-lots-of-data.html:
1331         * Layout/fixed-grid-lots-of-data.html:
1332         * Layout/fixed-grid-lots-of-stretched-data.html:
1333
1334 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1335
1336         bmalloc: Misc improvements to MallocBench
1337         https://bugs.webkit.org/show_bug.cgi?id=157004
1338
1339         Reviewed by Darin Adler.
1340
1341         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1342         modes for focused memory testing.
1343
1344         * MallocBench/MallocBench/Benchmark.cpp:
1345         (Benchmark::printReport): Clarified output.
1346
1347         (Benchmark::currentMemoryBytes): Added compressed memory because top
1348         does the same. (It always happens to zero in the benchmarks we run. But
1349         this is good for sanity.)
1350
1351         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1352         variance.
1353
1354         * MallocBench/MallocBench/alloc_free.cpp:
1355         (benchmark_alloc_free): Cycle a single allocation in order to stress
1356         the effect of merging on calls to madvise.
1357
1358         * MallocBench/MallocBench/big.cpp:
1359         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1360         our large allocator doesn't kick in until 64kB.
1361
1362         * MallocBench/MallocBench/medium.cpp:
1363         (benchmark_medium): Test all the way down to 1kB because our large
1364         allocator used to service 1kB allocations and 1kB is an interesting
1365         middle size where memory is unusually large but allocation throughput
1366         still matters.
1367
1368         * MallocBench/MallocBench/stress.cpp:
1369         (benchmark_stress): Reduced the churn count to match stress_aligned
1370         because this test was taking too long to complete.
1371
1372         * MallocBench/MallocBench/stress_aligned.cpp:
1373         (benchmark_stress_aligned): Our new large allocator can handle even
1374         more absurdly large values.
1375
1376 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1377
1378         Add a content animation test that uses SVG animation.
1379         https://bugs.webkit.org/show_bug.cgi?id=156827
1380
1381         * Animation/svg-animation.html: Added.
1382         * Skipped:
1383
1384 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1385
1386         Skip two content animation tests which are only meant for iOS testing.
1387
1388         * Animation/css-animation.html: Added.
1389         * Animation/raf-animation.html: Added.
1390
1391         * Skipped:
1392
1393 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1394
1395         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1396         https://bugs.webkit.org/show_bug.cgi?id=156827
1397
1398         Add two files missing from the previous commit.
1399
1400         * Animation/css-animation.html: Added.
1401         * Animation/raf-animation.html: Added.
1402
1403 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1404
1405         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1406         https://bugs.webkit.org/show_bug.cgi?id=156827
1407
1408         Reviewed by Stephanie Lewis.
1409
1410         Two new files for the content-animation suite.
1411
1412         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1413         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1414         result with a placeholder for framerate, which is collected in native code.
1415
1416         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1417         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1418         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1419         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1420         complete.
1421
1422         * Animation/css-animation.html: Added.
1423         * Animation/raf-animation.html: Added.
1424
1425 2016-04-15  Jon Lee  <jonlee@apple.com>
1426
1427         Animometer test could report a NaN
1428         https://bugs.webkit.org/show_bug.cgi?id=156646
1429
1430         Reviewed by Darin Adler.
1431         Provisionally reviewed by Said Abou-Hallawa.
1432
1433         * Animometer/tests/resources/main.js:
1434         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1435         reacts based on how well the system handles the load. The assumption was that it would handle at least
1436         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1437         end up setting an upper bound of NaN.
1438
1439         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1440         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1441         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1442         1 particle, set it to currentComplexity.
1443
1444 2016-04-09  Jon Lee  <jonlee@apple.com>
1445
1446         Update Animometer to accommodate different screens
1447         https://bugs.webkit.org/show_bug.cgi?id=156449
1448
1449         Reviewed by Darin Adler.
1450         Provisionally reviewed by Said Abou-Hallawa.
1451
1452         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1453         * Animometer/resources/debug-runner/animometer.css:
1454         (@media screen and (min-device-width: 1800px)): Deleted.
1455         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1456         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1457         and height with orientation change.
1458         * Animometer/resources/runner/animometer.css: Similar.
1459         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1460         (screen and (max-device-height: 414px) and (orientation: landscape)):
1461         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1462         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1463         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1464         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1465         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1466         (#results footer): Add padding below the button for testing again.
1467         * Animometer/tests/master/multiply.html: Remove the center text.
1468         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1469         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1470
1471 2016-04-08  Jon Lee  <jonlee@apple.com>
1472
1473         Have Animometer benchmark always start with complexity of 1
1474         https://bugs.webkit.org/show_bug.cgi?id=156432
1475
1476         Reviewed by Ryosuke Niwa.
1477
1478         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1479         set its minimum complexities to 1 instead of 0.
1480
1481 2016-04-08  Jon Lee  <jonlee@apple.com>
1482
1483         Fix SVG benchmark test
1484         https://bugs.webkit.org/show_bug.cgi?id=156410
1485
1486         Reviewed by Dean Jackson.
1487
1488         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1489         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1490         (Stage.call._setupTiles): Refactor.
1491         * Animometer/tests/master/resources/particles.js:
1492         (Particle.prototype.reset): Use Point.center.
1493         (complexity): We are not using a gradient background anymore, so remove the +1.
1494         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1495         instead of CSS transform.
1496
1497 2016-04-06  Jon Lee  <jonlee@apple.com>
1498
1499         Update master benchmark with SVG test
1500         https://bugs.webkit.org/show_bug.cgi?id=156273
1501
1502         Reviewed by Dean Jackson.
1503         Provisionally reviewed by Said Abou-Hallawa.
1504
1505         Switch masks tests for SVG path test.
1506
1507         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1508         * Animometer/resources/runner/tests.js: Add SVG test here.
1509         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1510         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1511
1512         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1513         partially obscured.
1514         * Animometer/tests/master/resources/svg-particles.js: Added.
1515         (Particle): The particle is either a path object or a rect using a path as a clip. The
1516         same path is used either way. For each particle create a linear gradient with a random
1517         rotation.
1518         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1519         This makes the test more generic in case other shapes need to be tested.
1520         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1521         particle's gradient, and one that holds the shape templates.
1522
1523 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1524
1525         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1526         https://bugs.webkit.org/show_bug.cgi?id=148470 
1527
1528         Reviewed by Darin Adler.
1529
1530         * Skipped: Unskip the Bindings/event-target-wrapper test.
1531
1532 2016-03-23  Jon Lee  <jonlee@apple.com>
1533
1534         Update focus and leaves tests
1535         https://bugs.webkit.org/show_bug.cgi?id=155825
1536
1537         Reviewed by Simon Fraser.
1538
1539         Particles would improperly disappear, before they were fully off stage. Update the calculation.
1540         * Animometer/tests/dom/resources/leaves.js:
1541         * Animometer/tests/master/resources/leaves.js:
1542
1543         * Animometer/tests/master/focus.html: Update the center element styling.
1544         * Animometer/tests/master/resources/focus.js:
1545         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
1546         to spread. It should be about 3x more space than the blur radius on each side.
1547         (Stage.call.initialize): Ditto for the center element.
1548
1549 2016-03-23  Jon Lee  <jonlee@apple.com>
1550
1551         Update support for other platforms
1552         https://bugs.webkit.org/show_bug.cgi?id=155824
1553
1554         Reviewed by Simon Fraser.
1555
1556         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
1557         be handled in the release stylesheet.
1558         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
1559         when retrieving radio elements with a name, instead of the selected value.
1560         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
1561         (.frame-container): Move overflow:hidden to #stage.
1562         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
1563         * Animometer/tests/resources/stage.css:
1564         (body): Remove overflow:hidden.
1565         (#stage): Set overflow:hidden here.
1566         (#center-text): Moved from master/resources/stage.css.
1567
1568         Update stylesheet hrefs.
1569         * Animometer/tests/master/canvas-stage.html:
1570         * Animometer/tests/master/focus.html:
1571         * Animometer/tests/master/leaves.html:
1572         * Animometer/tests/master/multiply.html:
1573         * Animometer/tests/master/particles.html:
1574         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
1575
1576 2016-03-23  Jon Lee  <jonlee@apple.com>
1577
1578         Make the benchmark require device to be in landscape orientation
1579         https://bugs.webkit.org/show_bug.cgi?id=155822
1580         rdar://problem/25258650
1581
1582         Reviewed by Ryosuke Niwa.
1583
1584         Check that the device is in landscape orientation. If not, disable the button to start it,
1585         and show a warning message.
1586
1587         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
1588         warning message that appears if the orientation is incorrect on mobile devices.
1589         * Animometer/index.html: Ditto.
1590
1591         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
1592         stylesheet. Update the style to accommodate the new UI.
1593         * Animometer/resources/runner/animometer.css:
1594
1595         * Animometer/resources/runner/animometer.js:
1596         (window.benchmarkController.initialize): Add the orientation listener is needed.
1597         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
1598         to see for support of window.orientation.
1599         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
1600         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
1601         (window.benchmarkController.updateStartButtonState):
1602         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
1603         a boolean about whether at least one test is selected. That will be used in
1604         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
1605         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
1606         that at least one test is selected.
1607
1608 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
1609
1610         MallocBench: consolidate regression testing for aligned allocation
1611         https://bugs.webkit.org/show_bug.cgi?id=155762
1612
1613         Reviewed by Michael Saboff.
1614
1615         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1616         * MallocBench/MallocBench/Benchmark.cpp:
1617         * MallocBench/MallocBench/memalign.cpp: Removed.
1618         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
1619         covers this and much more.
1620
1621         * MallocBench/MallocBench/stress_aligned.cpp:
1622         (benchmark_stress_aligned): Include specific tests for extreme sizes
1623         and alignments.
1624
1625 2016-03-21  Jon Lee  <jonlee@apple.com>
1626
1627         Update benchmark tests
1628         https://bugs.webkit.org/show_bug.cgi?id=155723
1629
1630         Reviewed by Darin Adler.
1631         Provisionally reviewed by Said Abou-Hallawa.
1632
1633         Add quadratic and bezier segments to the canvas path test.
1634
1635         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
1636         Rename the test.
1637         * Animometer/tests/master/resources/canvas-stage.js:
1638         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
1639         * Animometer/tests/master/resources/canvas-tests.js:
1640         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
1641         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
1642         class definition.
1643         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
1644         canvas are not cut off when the stroke size is thick.
1645         (CanvasQuadraticSegment): Added.
1646         (CanvasBezierSegment): Added.
1647         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
1648         are short compared to the curved ones, make it twice as likely to render a line segment.
1649         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
1650
1651         Add a helper method that selects a random element from an array.
1652
1653         * Animometer/tests/resources/main.js:
1654         (Stage.randomElementInArray): Select a random element from the provided array.
1655
1656         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
1657         * Animometer/tests/dom/resources/leaves.js: Ditto.
1658         * Animometer/tests/master/resources/dom-particles.js: Ditto.
1659         * Animometer/tests/master/resources/image-data.js: Ditto.
1660         * Animometer/tests/master/resources/leaves.js: Ditto.
1661         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
1662
1663         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
1664         include the full simple canvas suite for perf testing.
1665
1666         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
1667         suite.
1668         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
1669         that random selects an object to render.
1670
1671         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
1672         When updating the perf bot script, we will include the suites up to this one, but exclude
1673         the basic canvas suite.
1674
1675         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
1676
1677         * Animometer/resources/debug-runner/tests.js:
1678         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
1679         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
1680
1681         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
1682         canvas tests.
1683
1684         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
1685         * Animometer/tests/misc/canvas-electrons.html: Removed.
1686         * Animometer/tests/misc/canvas-stars.html: Removed.
1687         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
1688         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
1689         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
1690
1691         Merge text tests together into one.
1692
1693         * Animometer/resources/runner/tests.js: Remove international.html.
1694         * Animometer/tests/master/international.html: Removed.
1695         * Animometer/tests/master/resources/text.js:
1696         (animate): Update styling. Manually calculate gradients for the shadow particles.
1697         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
1698         step for x since there will be a little more room.
1699         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
1700
1701 2016-03-20  Jon Lee  <jonlee@apple.com>
1702
1703         Add a link to show debug data
1704         https://bugs.webkit.org/show_bug.cgi?id=155724
1705
1706         Reviewed by Simon Fraser.
1707
1708         * Animometer/developer.html: Attach the onclick handler to the score.
1709         * Animometer/index.html: Ditto.
1710
1711 2016-03-18  Dean Jackson  <dino@apple.com>
1712
1713         Add a basic WebGL test to Animometer
1714         https://bugs.webkit.org/show_bug.cgi?id=155475
1715         <rdar://problem/25156860>
1716
1717         Reviewed by Simon Fraser and Jon Lee.
1718
1719         Add a pretty simple WebGL test to Animometer
1720         which tries to draw a number of animated triangles.
1721         The result still needs a bit of tuning.
1722
1723         * Animometer/resources/debug-runner/tests.js: Add a new
1724         Suite for "3D" tests.
1725         * Animometer/tests/3d/resources/webgl.js: Added.
1726         * Animometer/tests/3d/webgl.html: Added.
1727
1728 2016-03-18  Jon Lee  <jonlee@apple.com>
1729
1730         Add support for statically linking to a specific test
1731         https://bugs.webkit.org/show_bug.cgi?id=155631
1732
1733         Rubber-stamped by Darin Adler.
1734
1735         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
1736         both the preset and the manually set test sessions.
1737         * Animometer/resources/debug-runner/animometer.css:
1738         (.tree .link): Style the "link" UI.
1739         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
1740         to optionsManager since this is a visual option and has nothing to do with the suites
1741         settings. Update the construction of the test UI by including a "link" after each test.
1742         Clicking on that link brings up a JS prompt with a URL and a query string with the current
1743         parameters of the controller, and selected test. Pasting this URL into the location bar will
1744         automatically start running the selected test.
1745         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
1746         that matches the provided parameters. Returns an object similar to the form in
1747         suitesManager.updateLocalStorageFromUI.
1748         (benchmarkController.initialize): After settings up the events and options, try parsing the
1749         query string and running the benchmark immediately. Otherwise, fall back to the form.
1750         (benchmarkController.startBenchmark): Store the options and suites into member variables for
1751         reuse in restartBenchmark.
1752         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
1753         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
1754         the search for the test succeeded.
1755         * Animometer/resources/extensions.js:
1756         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
1757         into a query-string-friendly version.
1758         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
1759         format.
1760         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
1761         with properties and values.
1762
1763 2016-03-16  Jon Lee  <jonlee@apple.com>
1764
1765         Add a new benchmark test
1766         https://bugs.webkit.org/show_bug.cgi?id=155570
1767
1768         Reviewed by Simon Fraser.
1769
1770         New Leaves test includes various image sizes and opacity.
1771
1772         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
1773         * Animometer/tests/dom/leaves.html: Added.
1774         * Animometer/tests/dom/resources/leaves.js: Added. Override the
1775         (Particle.call.reset): Uses a range of sizes, and opacity.
1776         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
1777         (Particle.call.move): Set transform and opacity.
1778         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
1779         can be used in this test. Update the relative path so that it works in both the master
1780         and dom test suite.
1781
1782 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
1783
1784         Add developer Animometer test that bounces P3-tagged images
1785         https://bugs.webkit.org/show_bug.cgi?id=155511
1786
1787         Reviewed by Tim Horton.
1788         
1789         Add a test for rendering performance of tagged images. The 5 images are tagged
1790         with the Display P3 colorspace.
1791
1792         * Animometer/resources/debug-runner/tests.js:
1793         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
1794         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
1795         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
1796         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
1797         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
1798         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
1799         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
1800
1801 2016-03-09  Jon Lee  <jonlee@apple.com>
1802
1803         Enhance existing Animometer tests
1804         https://bugs.webkit.org/show_bug.cgi?id=155261
1805
1806         Reviewed by Simon Fraser.
1807
1808         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
1809         the filled circles. To expose more of the gradient, add another circle.
1810         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
1811         undulating stop points and colors. Fill the circles twice; once with
1812         the solid color, and once with the gradient.
1813
1814         * Animometer/tests/master/resources/dom-particles.js: Refactor the
1815         emission variables into a separate stage for this test. Add a colorOffset
1816         variable to make the colors of each particle slightly different, since
1817         the ramp controller can add large numbers of particles all at once, which
1818         would otherwise get all the same color.
1819         * Animometer/tests/master/resources/particles.js:
1820         (initialize): Remove the code specific to the SVG mask test.
1821
1822         * Animometer/tests/master/resources/image-data.js:
1823         (initialize): Remove unused local variable.
1824         * Animometer/tests/master/resources/multiply.js:
1825         (initialize): Make the test harder by adding more total particles.
1826
1827 2016-03-09  Jon Lee  <jonlee@apple.com>
1828
1829         Add text tests
1830         https://bugs.webkit.org/show_bug.cgi?id=155257
1831
1832         Reviewed by Simon Fraser.
1833
1834         * Animometer/resources/extensions.js:
1835         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
1836         assuming that two of the control points are at (0,0) and (1,1). Taken from
1837         WebCore/platform/graphics/UnitBezier.h
1838         * Animometer/resources/runner/tests.js: Add a test for English text and one
1839         for international text.
1840         * Animometer/tests/master/international.html: Added.
1841         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
1842         #template div which it will copy. The copies are placed behind the template, and
1843         are set with different colors each frame. They are moved around with CSS transform.
1844         * Animometer/tests/master/text.html: Added.
1845
1846         Remove the other text tests, since these ones cover the same techniques.
1847         * Animometer/tests/text/layering-text.html: Removed.
1848         * Animometer/tests/text/resources/layering-text.js: Removed.
1849         * Animometer/tests/text/resources/text-boxes.js: Removed.
1850         * Animometer/tests/text/text-boxes.html: Removed.
1851         * Animometer/resources/debug-runner/tests.js:
1852
1853 2016-03-09  Jon Lee  <jonlee@apple.com>
1854
1855         Add a new image test
1856         https://bugs.webkit.org/show_bug.cgi?id=155232
1857
1858         Reviewed by Dean Jackson.
1859         Provisionally reviewed by Said Abou-Hallawa.
1860
1861         The image test renders PNGs and moves them with translate and rotate
1862         transforms. Each particle has a lifetime, and when the lifetime ends or
1863         the particle goes offscreen, it resets itself somewhere on the stage.
1864
1865         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
1866         images test, because this one tests the same technique.
1867         * Animometer/resources/runner/tests.js: Added here as "Leaves".
1868         * Animometer/tests/master/leaves.html: Added.
1869         * Animometer/tests/master/resources/particles.js: Refactor out the parts
1870         specific to the DOM particles test. Consequently make velocity a public
1871         member.
1872         (initialize): The options parameter is never used, so remove it.
1873         (animate): Remove unused local variable.
1874         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
1875         moves back and forth across the canvas. That point affects the velocity
1876         of the particles. When the focal point is on the leftmost side, it is
1877         between [-6, -2], and set in reset(). When the focal point is on the rightmost
1878         side, it will be from [2, 6].
1879         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
1880         this test here from particles.js.
1881
1882         New images.
1883         * Animometer/tests/master/resources/compass100.png: Added.
1884         * Animometer/tests/master/resources/console100.png: Added.
1885         * Animometer/tests/master/resources/contribute100.png: Added.
1886         * Animometer/tests/master/resources/debugger100.png: Added.
1887         * Animometer/tests/master/resources/inspector100.png: Added.
1888         * Animometer/tests/master/resources/layout100.png: Added.
1889         * Animometer/tests/master/resources/performance100.png: Added.
1890         * Animometer/tests/master/resources/script100.png: Added.
1891         * Animometer/tests/master/resources/shortcuts100.png: Added.
1892         * Animometer/tests/master/resources/standards100.png: Added.
1893         * Animometer/tests/master/resources/storage100.png: Added.
1894         * Animometer/tests/master/resources/styles100.png: Added.
1895         * Animometer/tests/master/resources/timeline100.png: Added.
1896
1897 2016-03-03  Jon Lee  <jonlee@apple.com>
1898
1899         Add ability to retrieve raw data from release harness
1900         https://bugs.webkit.org/show_bug.cgi?id=155026
1901
1902         Reviewed by Simon Fraser.
1903
1904         * Animometer/developer.html: Remove the special UI in the debug
1905         harness.
1906         * Animometer/resources/runner/animometer.css: Add styles for the
1907         overlay.
1908         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
1909         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
1910         the overlay.
1911         (window.benchmarkController.selectResults): Cycle the cases around
1912         so that the first 's' press selects both the benchmark score and
1913         the individual test scores.
1914         * Animometer/resources/debug-runner/animometer.css: Remove
1915         unneeded rules.
1916         * Animometer/resources/debug-runner/animometer.js: Make the same
1917         call to handleKeyPress.
1918
1919 2016-03-03  Jon Lee  <jonlee@apple.com>
1920
1921         Make sure multiply test particles have at least some opacity
1922         https://bugs.webkit.org/show_bug.cgi?id=155027
1923
1924         Reviewed by Simon Fraser.
1925
1926         * Animometer/tests/master/resources/multiply.js:
1927         (initialize): Have the elements spin a little faster to make it
1928         more obvious when the system is being stressed.
1929         (_addTile):
1930         (animate): Make sure each element being animated has at least 1%
1931         opacity.
1932
1933 2016-03-03  Jon Lee  <jonlee@apple.com>
1934
1935         Update image test
1936         https://bugs.webkit.org/show_bug.cgi?id=154962
1937
1938         Rubber-stamped by Darin Adler.
1939
1940         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
1941         * Animometer/tests/master/resources/image-data.js:
1942         (initialize): Update to load multiple images serially.
1943         (_loadImage):
1944         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
1945         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
1946         (_refreshElement): Place element in a tile grid.
1947         (animate):
1948         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
1949         * Animometer/tests/master/resources/compass.svg: Added.
1950         * Animometer/tests/master/resources/console.svg: Added.
1951         * Animometer/tests/master/resources/contribute.svg: Added.
1952         * Animometer/tests/master/resources/debugger.svg: Added.
1953         * Animometer/tests/master/resources/inspector.svg: Added.
1954         * Animometer/tests/master/resources/layout.svg: Added.
1955         * Animometer/tests/master/resources/performance.svg: Added.
1956         * Animometer/tests/master/resources/script.svg: Added.
1957         * Animometer/tests/master/resources/shortcuts.svg: Added.
1958         * Animometer/tests/master/resources/standards.svg: Added.
1959         * Animometer/tests/master/resources/storage.svg: Added.
1960         * Animometer/tests/master/resources/styles.svg: Added.
1961         * Animometer/tests/master/resources/timeline.svg: Added.
1962
1963 2016-03-02  Jon Lee  <jonlee@apple.com>
1964
1965         Add some new controllers, and refine tests
1966         https://bugs.webkit.org/show_bug.cgi?id=154914
1967
1968         Reviewed by Simon Fraser.
1969
1970         Improve tests.
1971
1972         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
1973         in a container element. Expand the container element by the max blur radius, and clip
1974         overflow. This way, when the blur is applied, it avoids causing layer resizes.
1975         * Animometer/tests/master/resources/focus.js:
1976         (FocusElement.Utilities.createClass): Create a container element, and put the particle
1977         inside.
1978         (hide): Set display:none.
1979         (show): Set display:block.
1980         (animate): Apply filters to the container element.
1981         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
1982         keep them in the stage, but set the display style instead. Use this._offsetIndex to
1983         keep track of which elements are displayed.
1984         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
1985         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
1986         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
1987         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
1988         stage appear less black when the complexity gets large enough.
1989         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
1990         frame.
1991
1992 2016-03-02  Jon Lee  <jonlee@apple.com>
1993
1994         Add some new controllers, and refine tests
1995         https://bugs.webkit.org/show_bug.cgi?id=154914
1996
1997         Reviewed by Simon Fraser.
1998
1999         Add a controller that centers around 30 fps instead of 60 fps.
2000
2001         * Animometer/developer.html: Add a new option.
2002         * Animometer/resources/debug-runner/animometer.js:
2003         * Animometer/resources/runner/animometer.js:
2004         (this._processData.findRegression): When calculating the complexity-frameLength regression,
2005         check the controller, and use a 30 fps baseline if needed.
2006         * Animometer/resources/statistics.js:
2007         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
2008         frame length.
2009         * Animometer/tests/resources/main.js:
2010         (tune): Override some of the constants in RampController. Move those constants out for
2011         easier reading.
2012
2013         Add a fixed controller, with no step.
2014
2015         * Animometer/developer.html: Add a controller that takes no step.
2016         * Animometer/resources/debug-runner/animometer.js:
2017         * Animometer/tests/resources/main.js:
2018         (Rotater.Utilities.createClass):
2019
2020         Switch to ramp controller as default.
2021
2022         * Animometer/developer.html: Increase the test length to 20 seconds.
2023         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
2024         since that is a more accurate description.
2025         * Animometer/resources/debug-runner/graph.js:
2026         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
2027
2028 2016-02-26  Jon Lee  <jonlee@apple.com>
2029
2030         Address Dean's comments in 154673.
2031
2032         * Animometer/developer.html:
2033         * Animometer/resources/debug-runner/animometer.js:
2034         * Animometer/resources/debug-runner/graph.js:
2035
2036 2016-02-25  Jon Lee  <jonlee@apple.com>
2037
2038         Update animation benchmark and tests
2039         https://bugs.webkit.org/show_bug.cgi?id=154673
2040
2041         Reviewed by Dean Jackson.
2042
2043         Update test visuals.
2044
2045         * Animometer/tests/master/resources/canvas-tests.js:
2046         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
2047         Update circle position and radius to minimize impact.
2048         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
2049         have 3 locations for emitting particles.
2050         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
2051         more color.
2052         (initialize): Fix some of the math for laying out the tiles.
2053         (animate): When a tile isn't used, set visibility: hidden.
2054
2055 2016-02-24  Jon Lee  <jonlee@apple.com>
2056
2057         Update animation benchmark and tests
2058         https://bugs.webkit.org/show_bug.cgi?id=154673
2059
2060         Reviewed by Dean Jackson.
2061
2062         Update the ramp controller.
2063
2064         The controller refines the complexity interval to test across.
2065
2066         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
2067         (Regression): For the flat regression, force the first segment to be at 60 fps.
2068         (valueAt): Add convenience function to return interpolated value based on the regression used.
2069         (_calculateRegression): Include the number of points included for both segments, and the piecewise
2070         errors.
2071         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
2072         to be reset.
2073
2074         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
2075         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
2076         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
2077         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
2078         boundary for each ramp, and an estimator for all the frames within an interval. The first two
2079         are used to determine the parameters of the next ramp, and the latter allows us to refine the
2080         parameters.
2081         (update): During the tier phase, it is possible that the highest complexity possible for a test
2082         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
2083         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
2084         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
2085         FPS at each tier.
2086         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
2087         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
2088         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
2089         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
2090         FPS to drop, we reset the minimum complexity.
2091
2092         Have the bootstrap calculation occur between tests. Clean up harness.
2093
2094         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
2095         completed to avoid doing all of it at the end before showing the results. Clean up
2096         parameters being passed around.
2097         * Animometer/resources/debug-runner/tests.js:
2098         (text):
2099         * Animometer/resources/runner/animometer.js:
2100         (this._processData.calculateScore): Save the results to the same object holding the data.
2101         (this._processData._processData): In the case where a file is dragged, calculate the score
2102         serially. Grab the results object and move it to the results variable and remove it from
2103         the data object. This avoids serializing the results into the JSON.
2104         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
2105         resample size to shorten the wait.
2106         * Animometer/resources/runner/benchmark-runner.js:
2107         * Animometer/resources/statistics.js:
2108         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
2109         floats and integers causes an alphabetical sort to occur.
2110         * Animometer/resources/strings.js:
2111
2112         Add meta charset so that encodings between harness and test match.
2113
2114         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2115         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2116         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2117         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2118         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2119         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2120         * Animometer/tests/master/canvas-stage.html:
2121         * Animometer/tests/master/focus.html:
2122         * Animometer/tests/master/image-data.html:
2123         * Animometer/tests/master/multiply.html:
2124         * Animometer/tests/master/particles.html:
2125         * Animometer/tests/misc/canvas-electrons.html:
2126         * Animometer/tests/misc/canvas-stars.html:
2127         * Animometer/tests/misc/compositing-transforms.html:
2128         * Animometer/tests/simple/simple-canvas-paths.html:
2129         * Animometer/tests/simple/tiled-canvas-image.html:
2130         * Animometer/tests/template/template-canvas.html:
2131         * Animometer/tests/template/template-css.html:
2132         * Animometer/tests/template/template-svg.html:
2133         * Animometer/tests/text/layering-text.html:
2134         * Animometer/tests/text/text-boxes.html:
2135
2136         Update test harness reporting.
2137
2138         * Animometer/developer.html: Add missing meta charset.
2139         * Animometer/index.html: Remove unnecessary utf-8 declaration.
2140         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
2141         formatting the results table.
2142         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
2143         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
2144         * Animometer/resources/strings.js: Move strings not used by the release harness.
2145
2146         Switch to a pseudo-random number generator.
2147
2148         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2149         pseudo-random number generator.
2150         (_calculateRegression): Reset the generator before running bootstrap.
2151         (bootstrap): Deleted.
2152
2153         Replace Math.random with Pseudo.random.
2154         * Animometer/tests/master/resources/canvas-tests.js:
2155         * Animometer/tests/master/resources/focus.js:
2156         * Animometer/tests/master/resources/particles.js:
2157         * Animometer/tests/resources/main.js:
2158
2159         Use bootstrapping to get confidence interval in the breakpoint.
2160
2161         For the ramp controller, calculate the piecewise regression, and then use
2162         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2163
2164         * Animometer/developer.html: Default to the complexity graph. Add a legend
2165         checkbox to toggle visibility of the bootstrap score and histogram.
2166         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2167         the old raw and average scores in the legend. Add new styles for the data.
2168         * Animometer/resources/debug-runner/graph.js:
2169         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2170         regression line. Now |stdev| is |range|.
2171         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2172         the bootstrap samples. Switch raw samples from circles to X's.
2173         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2174         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2175         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2176         interval.
2177         * Animometer/resources/runner/animometer.js:
2178         (this._processData.findRegression): Factor out the code that determines which
2179         samples to include when calculating the piecewise regression. For series that have
2180         many samples, or a wider range of recorded complexities, throw away the 2.5%
2181         lowest and highest samples before calculating the regression. Keep all samples
2182         if the number of samples to regress is small or the range of complexities is
2183         narrow.
2184         (this._processData._calculateScore): Factor out regression calculation to
2185         findRegression(). Bootstrap the change point of the regression. The score is the
2186         median.
2187         * Animometer/resources/statistics.js:
2188         (_calculateRegression): Correct an issue in the calculation of the regression, where
2189         the denominator can be 0.
2190         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2191         re-samples by random selection with replacement. Return the 95% confidence samples,
2192         the bootstrap median, mean, and the data itself.
2193         * Animometer/resources/strings.js: Add bootstrap.
2194         * Animometer/tests/resources/main.js:
2195         (processSamples): Don't prematurely cut the sample data.
2196
2197         Fix graph drawing.
2198
2199         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2200         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2201         * Animometer/resources/debug-runner/animometer.css:
2202         (#complexity-graph .series.raw circle): Update the color.
2203         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2204         complexity axis, which can vary in domain. For determining the complexity domain,
2205         only use samples after samplingTimeOffset.
2206
2207         Allow dropping results JSON.
2208
2209         * Animometer/developer.html: Add a button.
2210         * Animometer/resources/debug-runner/animometer.css:
2211         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2212         to the dashboard. With JSON output, write out only the options and the raw data.
2213
2214         Teach the harness to evaluate the samples and determine the test score.
2215
2216         This will allow us to update how the score is calculated separately from the samples recorded.
2217         This also prepares the harness to be able to accept JSON of prior runs.
2218
2219         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2220         hierarchy.
2221         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2222
2223         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2224         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2225         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2226         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2227         Group them, and calculate distribution of samples within the same complexity, and add those as
2228         new entries into |complexityAverageSamples|.
2229         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2230         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2231
2232         {
2233             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2234             marks: [...],
2235             samples: {                    // all of the sample data
2236                 controller: [...],
2237                 complexity: [...],        // processed from controller samples
2238                 complexityAverage: [...], // processed from complexity samples
2239             }
2240         }
2241
2242         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2243         now pass the test options to the graph.
2244         (Regression): Move to statistics.js.
2245         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2246         only contains one sample, since we cannot calculate a regression from one sample point.
2247
2248         Teach the test harness to evaluate the data.
2249         * Animometer/resources/runner/animometer.js:
2250         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2251         from the data. The results are stored as:
2252
2253         {
2254             score: /* geomean of iteration score */,
2255             iterationsResults: [
2256                 {
2257                     score: /* geomean of tests */,
2258                     testsResults: {
2259                         suiteName: {
2260                             testName: {
2261                                 controller: {
2262                                     average:
2263                                     concern:
2264                                     stdev:
2265                                     percent:
2266                                 },
2267                                 frameLength: { ... },
2268                                 complexity: {
2269                                     complexity:
2270                                     stdev:
2271                                     segment1:
2272                                     segment2:
2273                                 },
2274                                 complexityAverage: { ... }
2275                             },
2276                             testName: { ... },
2277                         },
2278                         ... next suite ...
2279                     }
2280                 },
2281                 { ...next iteration... }
2282             ]
2283         }
2284
2285         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2286         on what was selected in the form. This will later allow for dropping previous results, and
2287         using those runs' options when calculating scores.
2288         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2289         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2290
2291         Consolidate JS files, and move statistics out to a separate JS.
2292
2293         Preparation for having the Controller only handle recording and storage of the samples,
2294         and leave the evaluation of the test score out to the harness. Move Experiment to
2295         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2296         and move it to utilities.js since the Heap is used only for Experiments.
2297
2298         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2299         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2300         Sampler in main.js.
2301         * Animometer/tests/resources/main.js: Move Sampler here.
2302         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2303         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2304         a max or min heap to Heap, instead of a new Algorithm object.
2305
2306         Update JS files.
2307         * Animometer/developer.html:
2308         * Animometer/index.html:
2309         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2310         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2311         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2312         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2313         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2314         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2315         * Animometer/tests/master/canvas-stage.html:
2316         * Animometer/tests/master/focus.html:
2317         * Animometer/tests/master/image-data.html:
2318         * Animometer/tests/master/multiply.html:
2319         * Animometer/tests/master/particles.html:
2320         * Animometer/tests/misc/canvas-electrons.html:
2321         * Animometer/tests/misc/canvas-stars.html:
2322         * Animometer/tests/misc/compositing-transforms.html:
2323         * Animometer/tests/simple/simple-canvas-paths.html:
2324         * Animometer/tests/simple/tiled-canvas-image.html:
2325         * Animometer/tests/template/template-canvas.html:
2326         * Animometer/tests/template/template-css.html:
2327         * Animometer/tests/template/template-svg.html:
2328         * Animometer/tests/text/layering-text.html:
2329         * Animometer/tests/text/text-boxes.html:
2330
2331         Fix the cursor in the graph analysis when the min
2332         complexity is not 0.
2333
2334         * Animometer/resources/debug-runner/graph.js:
2335         (_addRegression):
2336         (createComplexityGraph):
2337
2338 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2339
2340         Fix some issues in MallocBench
2341         https://bugs.webkit.org/show_bug.cgi?id=154600
2342
2343         Reviewed by Oliver Hunt.
2344
2345         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2346         a part of the build so that it copies to the right place for execution.
2347
2348         * MallocBench/MallocBench/Interpreter.cpp:
2349         (Interpreter::Interpreter): Don't try to open .ops files for writing
2350         because we're only going to read and we might need extra permissions to
2351         write.
2352
2353         (Interpreter::~Interpreter): Give more context when opening a file fails
2354         to help with debugging.
2355
2356         * MallocBench/MallocBench/stress.cpp:
2357         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2358
2359 2016-02-23  Michael Saboff  <msaboff@apple.com>
2360
2361         Unreviewed change to revert extraneous changes made part of change set 196955.
2362
2363         * MallocBench/MallocBench/Interpreter.cpp:
2364         (Interpreter::doMallocOp):
2365         (Interpreter::Thread::switchTo):
2366         (writeData): Deleted.
2367
2368 2016-02-19  Michael Saboff  <msaboff@apple.com>
2369
2370         MallocBench: Added recording for nimlang website, new recording details and added new options
2371         https://bugs.webkit.org/show_bug.cgi?id=154485
2372
2373         Reviewed by Geoff Garen.
2374
2375         Added new capabilities to MallocBench.  These include:
2376             Added a recording of http://nim-lang.org/docs/lib.html.
2377             Added thread id to the recording and the ability to playback switching threads in MallocBench
2378             Added aligned allocations to recordings and the ability to playback
2379             Added --use-thread-id option to honor recorded thread ids
2380             Added --detailed-report to output remaining allocations by size after playback
2381             Added --no-warmup to not run the warm up iteration
2382
2383         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2384         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2385         can access the options that are appropriate.  The Benchmark class also uses the options for
2386         is parallel, run counts and warm up.
2387
2388         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2389         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2390         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2391         without any incompatibilities.
2392
2393         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2394         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2395         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2396         assure that only one thread is really running at a time and a condition variable used to wait
2397         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2398         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2399
2400         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2401         * MallocBench/MallocBench/Benchmark.cpp:
2402         (deallocateHeap):
2403         (Benchmark::Benchmark):
2404         (Benchmark::runOnce):
2405         (Benchmark::run):
2406         * MallocBench/MallocBench/Benchmark.h:
2407         (Benchmark::isValid):
2408         * MallocBench/MallocBench/CommandLine.cpp:
2409         (CommandLine::printUsage):
2410         * MallocBench/MallocBench/CommandLine.h:
2411         (CommandLine::isValid):
2412         (CommandLine::benchmarkName):
2413         (CommandLine::isParallel):
2414         (CommandLine::useThreadID):
2415         (CommandLine::detailedReport):
2416         (CommandLine::warmUp):
2417         (CommandLine::heapSize):
2418         (CommandLine::runs):
2419         * MallocBench/MallocBench/Interpreter.cpp:
2420         (Interpreter::Interpreter):
2421         (Interpreter::run):
2422         (Interpreter::readOps):
2423         (Interpreter::doOnSameThread):
2424         (Interpreter::switchToThread):
2425         (Interpreter::detailedReport):
2426         (compute2toPower):
2427         (writeData):
2428         (Interpreter::doMallocOp):
2429         (Interpreter::Thread::Thread):
2430         (Interpreter::Thread::stop):
2431         (Interpreter::Thread::~Thread):
2432         (Interpreter::Thread::runThread):
2433         (Interpreter::Thread::waitToRun):
2434         (Interpreter::Thread::switchTo):
2435         * MallocBench/MallocBench/Interpreter.h:
2436         (Interpreter::Thread::isMainThread):
2437         * MallocBench/MallocBench/alloc_free.cpp: Added.
2438         (benchmark_alloc_free):
2439         * MallocBench/MallocBench/alloc_free.h: Added.
2440         * MallocBench/MallocBench/balloon.cpp:
2441         (benchmark_balloon):
2442         * MallocBench/MallocBench/balloon.h:
2443         * MallocBench/MallocBench/big.cpp:
2444         (benchmark_big):
2445         * MallocBench/MallocBench/big.h:
2446         * MallocBench/MallocBench/churn.cpp:
2447         (benchmark_churn):
2448         * MallocBench/MallocBench/churn.h:
2449         * MallocBench/MallocBench/facebook.cpp:
2450         (benchmark_facebook):
2451         * MallocBench/MallocBench/facebook.h:
2452         * MallocBench/MallocBench/flickr.cpp:
2453         (benchmark_flickr):
2454         (benchmark_flickr_memory_warning):
2455         * MallocBench/MallocBench/flickr.h:
2456         * MallocBench/MallocBench/fragment.cpp:
2457         (validate):
2458         (benchmark_fragment):
2459         (benchmark_fragment_iterate):
2460         * MallocBench/MallocBench/fragment.h:
2461         * MallocBench/MallocBench/list.cpp:
2462         (benchmark_list_allocate):
2463         (benchmark_list_traverse):
2464         * MallocBench/MallocBench/list.h:
2465         * MallocBench/MallocBench/main.cpp:
2466         (main):
2467         * MallocBench/MallocBench/medium.cpp:
2468         (benchmark_medium):
2469         * MallocBench/MallocBench/medium.h:
2470         * MallocBench/MallocBench/memalign.cpp:
2471         (test):
2472         (benchmark_memalign):
2473         * MallocBench/MallocBench/memalign.h:
2474         * MallocBench/MallocBench/message.cpp:
2475         (benchmark_message_one):
2476         (benchmark_message_many):
2477         * MallocBench/MallocBench/message.h:
2478         * MallocBench/MallocBench/nimlang.cpp: Added.
2479         (benchmark_nimlang):
2480         * MallocBench/MallocBench/nimlang.h: Added.
2481         * MallocBench/MallocBench/nimlang.ops: Added.
2482         * MallocBench/MallocBench/realloc.cpp:
2483         (benchmark_realloc):
2484         * MallocBench/MallocBench/realloc.h:
2485         * MallocBench/MallocBench/reddit.cpp:
2486         (benchmark_reddit):
2487         (benchmark_reddit_memory_warning):
2488         * MallocBench/MallocBench/reddit.h:
2489         * MallocBench/MallocBench/stress.cpp:
2490         (deallocate):
2491         (benchmark_stress):
2492         * MallocBench/MallocBench/stress.h:
2493         * MallocBench/MallocBench/stress_aligned.cpp:
2494         (benchmark_stress_aligned):
2495         * MallocBench/MallocBench/stress_aligned.h:
2496         * MallocBench/MallocBench/theverge.cpp:
2497         (benchmark_theverge):
2498         (benchmark_theverge_memory_warning):
2499         * MallocBench/MallocBench/theverge.h:
2500         * MallocBench/MallocBench/tree.cpp:
2501         (benchmark_tree_allocate):
2502         (benchmark_tree_traverse):
2503         (benchmark_tree_churn):
2504         * MallocBench/MallocBench/tree.h:
2505         * MallocBench/run-malloc-benchmarks:
2506
2507 2016-02-11  Jon Lee  <jonlee@apple.com>
2508
2509         Fix a missing refactoring.
2510
2511         * Animometer/tests/master/resources/multiply.js:
2512         (animate): Move to Utilities.lerp.
2513         (_lerp): Deleted.
2514
2515 2016-02-10  Jon Lee  <jonlee@apple.com>
2516
2517         Add new benchmark tests.
2518         https://bugs.webkit.org/show_bug.cgi?id=154063
2519
2520         Provisionally reviewed by Said Abou-Hallawa.
2521
2522         Add tests for get/put image data, filters, opacity, and css transforms.
2523
2524         * Animometer/resources/runner/benchmark-runner.js:
2525         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2526         the stage.
2527         (this._runNextIteration): Clear the background color style for the results page.
2528         * Animometer/resources/runner/tests.js:
2529         * Animometer/tests/master/focus.html: Added.
2530         * Animometer/tests/master/image-data.html: Added.
2531         * Animometer/tests/master/multiply.html: Added.
2532         * Animometer/tests/master/resources/focus.js: Added.
2533         * Animometer/tests/master/resources/image-data.js: Added.
2534         * Animometer/tests/master/resources/multiply.js: Added.
2535         * Animometer/tests/master/resources/stage.css: Move common styles out.
2536         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
2537         Add Stage.randomSign for randomly setting a direction. Add the notion of the
2538         current timestamp of the test to Benchmark, since some animations cycle through
2539         colors and rely on an incremental counter like the time.
2540
2541 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
2542
2543         Add internal benchmark tests for CSS mix-blend-modes and filters
2544         https://bugs.webkit.org/show_bug.cgi?id=154058
2545
2546         Provisionally reviewed by Jon Lee.
2547
2548         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
2549         "HTML suite" of the debug runner.
2550
2551         * Animometer/resources/extensions.js:
2552         (Utilities.browserPrefix):
2553         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
2554         prefixed style properties.
2555
2556         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2557         Set the mix-blend-mode and the filter to some random values if the options
2558         of the test requested that.
2559
2560         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2561         (parseShapeParameters): Parse the url options "blend" and "filter" and set
2562         the corresponding flags.
2563
2564         * Animometer/tests/resources/main.js:
2565         (randomStyleMixBlendMode):
2566         (randomStyleFilter): Return random mix-blend-mode and filter.
2567
2568 2016-02-08  Jon Lee  <jonlee@apple.com>
2569
2570         Add a ramp controller
2571         https://bugs.webkit.org/show_bug.cgi?id=154028
2572
2573         Provisionally reviewed by Said Abou-Hallawa.
2574
2575         Enhance the graph to include a complexity-fps graph, in addition
2576         to the time graph.
2577
2578         * Animometer/developer.html: Add a ramp option.
2579         * Animometer/resources/debug-runner/animometer.css: Update the style.
2580         * Animometer/resources/strings.js: Flatten the Strings.text constants.
2581         * Animometer/resources/debug-runner/animometer.js:
2582         (ResultsTable.call._addGraphButton): Refactor.
2583         (ResultsTable.call._addTest): Add regression data.
2584         (benchmarkController): Add a form that allows the user to switch between the two forms,
2585         Add a form that allows the user to toggle different data. Hide certain header columns
2586         depending on the selected controller.
2587         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
2588         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
2589         * Animometer/resources/runner/animometer.js:
2590         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
2591         * Animometer/tests/resources/main.js:
2592         (Controller): Allow options to specify the capacity for sample arrays.
2593         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
2594         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
2595         error. Sweep across the samples in time (which could be backward depending on the controller)
2596         and calculate the intersection point.
2597         (RampController): This controller assumes that the target frame rate is below
2598         58 FPS. It runs in two stages. The first stage quickly determines the order of
2599         magnitude of objects needed to stress the system by the setting the complexity
2600         to increasingly difficult tiers. Perform a series of ramps descending from a
2601         high-water mark of complexity. The complexity needed to reach the target frame
2602         length is done by performing a piecewise regression on each ramp, and track a
2603         running average of these values. For the next ramp, make that running average
2604         the center of the ramp. With a minimum complexity of 0, the high-water mark is
2605         twice that average. The score is based on the highest complexity that can
2606         reach 60 fps.
2607
2608 2016-02-08  Jon Lee  <jonlee@apple.com>
2609
2610         Address Said's comments on the benchmark, and do some clean up.
2611
2612         * Animometer/developer.html:
2613         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
2614         * Animometer/resources/debug-runner/animometer.js: Use the right
2615         Strings constants.
2616         * Animometer/resources/debug-runner/graph.js:
2617         (_addRegressionLine): Add missing code to draw the line and standard
2618         deviation highlight.
2619         (onGraphTypeChanged): Remove unneeded variables
2620         (onTimeGraphOptionsChanged):
2621         * Animometer/resources/runner/benchmark-runner.js:
2622         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
2623         _suitesSamplers to _suitesResults.
2624         * Animometer/tests/resources/main.js:
2625         (results): Call processSamples().
2626         (update): Change sampling timestamp comparison.
2627         (_animateLoop): Move shouldStop call to before the update.
2628         * Animometer/tests/resources/sampler.js:
2629         (process): Rename to processSamples().
2630
2631 2016-02-07  Jon Lee  <jonlee@apple.com>
2632
2633         Teach Controller to measure intervals, and turn off the frame length estimator.
2634
2635         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
2636         (start): Set the first interval.
2637         (_measureAndResetInterval): Reports the average frame length of the interval that just
2638         completed, and sets up the next interval.
2639         (update): If there is no length, then just use the estimator per frame, otherwise the
2640         estimator measures per interval. Add a didFinishInterval for subclasses to process
2641         prior to recording the sample. Update tune() to include whether an interval had
2642         finished.
2643         (StepController): Step controllers don't measure on an interval basis.
2644
2645 2016-02-07  Jon Lee  <jonlee@apple.com>
2646
2647         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
2648         and switch the parameters for start(), update(), and tune(), so that the timestamp
2649         is first and stage is second.
2650
2651         * Animometer/tests/resources/main.js:
2652
2653 2016-02-07  Jon Lee  <jonlee@apple.com>
2654
2655         Move ResultsTable functionality not needed for release tests out.
2656         Move reporting of score and mean to selection of the time-based graph.
2657
2658         * Animometer/developer.html: Rename graph-options to time-graph-options.
2659         * Animometer/resources/debug-runner/animometer.js:
2660         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
2661         values to "average" objects which can hold stdev. Move graph button and
2662         calculation of noisy measurements here. Sophisticated header processing
2663         is not needed in release suite.
2664         (populateTable): Use DeveloperResultsTable.
2665         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
2666         its own function, and add a new onGraphTypeChanged handler in preparation
2667         of a complexity graph to be added later.
2668         * Animometer/resources/runner/animometer.js:
2669         (ResultsTable): Simplify to just handle test names and scores.
2670
2671 2016-02-07  Jon Lee  <jonlee@apple.com>
2672
2673         Tests: reuse objects already made.
2674
2675         Avoid thrash of object creation and removal by maintaining an index that
2676         moves along the array as the adjust values change. If the tune value
2677         requires more objects than the maximum size of the object array, then create
2678         new objects. This means that the object array size never decreases.
2679
2680         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
2681         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
2682         so the scene will draw the object at offsetIndex to the end of the array.
2683         (tune): Reverse the logic since "removal" of objects is much simpler and
2684         involves simply changing the offsetIndex.
2685         (animate): Update the for loop to draw from offsetIndex to the end.
2686         (complexity): Update the definition.
2687         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
2688         offsetIndex. For these tests, we want to avoid drawing the newest objects,
2689         so the scene will draw the object at index 0 to the object at offsetIndex.
2690         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
2691         which is unneeded. Update the for loop to draw from offsetIndex to the end.
2692         * Animometer/tests/simple/resources/simple-canvas-paths.js:
2693         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
2694         offsetIndex.
2695         * Animometer/tests/simple/resources/simple-canvas.js:
2696         (tune): Update logic. Here, offsetIndex represents the boundary of the last
2697         index to render.
2698         (animate): Update the for loop to draw from 0 to offsetIndex.
2699         (complexity): Update the definition.
2700
2701 2016-02-07  Jon Lee  <jonlee@apple.com>
2702
2703         Tests: refactor and update styles.
2704
2705         * Animometer/tests/resources/main.js: Add helper methods that return
2706         a color that hue rotates based on the date, and a counter value that
2707         increases based on the date. Fix randomInt() to not bias against the min and
2708         max values.
2709
2710         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
2711         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2712         * Animometer/tests/master/resources/particles.js: Ditto.
2713         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
2714         use a rotating color instead of a random color. The fast switching of color
2715         is too vivid to watch.
2716
2717         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2718         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
2719         that the last stop is located at the end.
2720
2721 2016-02-07  Jon Lee  <jonlee@apple.com>
2722
2723         Refactor tune() to not return the complexity of the scene.
2724
2725         We have stage.complexity() now, so returning the complexity through tune
2726         is unnecessary.
2727
2728         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2729         * Animometer/tests/master/resources/canvas-stage.js:
2730         * Animometer/tests/master/resources/particles.js:
2731         * Animometer/tests/misc/resources/canvas-electrons.js:
2732         * Animometer/tests/misc/resources/canvas-stars.js:
2733         * Animometer/tests/resources/main.js:
2734         * Animometer/tests/simple/resources/simple-canvas.js:
2735         * Animometer/tests/simple/resources/tiled-canvas-image.js:
2736         * Animometer/tests/template/resources/template-canvas.js:
2737         * Animometer/tests/template/resources/template-css.js:
2738         * Animometer/tests/template/resources/template-svg.js:
2739         * Animometer/tests/text/resources/layering-text.js:
2740
2741 2016-02-07  Jon Lee  <jonlee@apple.com>
2742
2743         Make the fixed controller a step controller instead. Halfway through the test
2744         it will bump up the complexity 4-fold. Calculate the step timestamp using options
2745         instead of a separate parameter to the Controller constructor.
2746
2747         * Animometer/developer.html: Change value to "step"
2748         * Animometer/resources/debug-runner/animometer.js:
2749         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
2750         * Animometer/tests/resources/main.js:
2751         (update): Provide a hook for subclasses to tune.
2752         (StepController): Maintain a flag determining whether we've stepped, and the time
2753         we should step.
2754         (Benchmark): Use the new StepController.
2755
2756 2016-02-07  Jon Lee  <jonlee@apple.com>
2757
2758         Adjust the FPS graph scale.
2759
2760         Instead of making the FPS graph linearly scale, scale it based on the frame length,
2761         but show the data in terms of FPS. Because it is inversely proportional, and most
2762         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
2763         over half of the available graph space ends up blank.
2764
2765         This means we should convert all of the FPS data to frame length data.
2766
2767         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
2768         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
2769         values being shown, and then pick the min and max values to represent the length of the
2770         cursor.
2771         * Animometer/resources/runner/animometer.js:
2772         * Animometer/resources/strings.js:
2773         * Animometer/tests/resources/main.js:
2774         (processSamples): Add the ability to only sample a range of the data instead of everything
2775         after an offset index. Update sampler to record the frame lengths instead of the frame
2776         rate.
2777
2778 2016-02-07  Jon Lee  <jonlee@apple.com>
2779
2780         Add option to use different methods for retrieving a timestamp.
2781
2782         * Animometer/developer.html: Add performance.now and Date.now options.
2783         * Animometer/resources/runner/animometer.js: Default to performance.now.
2784         (window.benchmarkController.startBenchmark):
2785         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
2786         (run): Use _getTimestamp.
2787         (_animateLoop): Ditto.
2788
2789 2016-02-07  Jon Lee  <jonlee@apple.com>
2790
2791         Allow adding any number of markers to the graph. The markers can be labeled
2792         and contain timestamp and sample index data. Make it a part of the controller
2793         rather than keeping it in the sampler.
2794
2795         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
2796         * Animometer/resources/debug-runner/graph.js: Create the markers and add
2797         text labels.
2798         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
2799         is just one of the marks provided.
2800         * Animometer/resources/strings.js: Add Strings.json.marks.
2801         * Animometer/tests/resources/main.js:
2802         (Controller): Keep marks here. They are keyed by the marker name, so no two
2803         markers should have the same name.
2804         (recordFirstSample): Refactor to use mark.
2805         (mark): Allows for arbitrary data if needed later. The timestamp maintained
2806         is relative to the absolute start timestamp.
2807         (containsMark): Checks whether a mark with a specific comment exists.
2808         (processSamples): Removes the _startTimestamp offset from the marks before
2809         setting it in results.
2810         * Animometer/tests/resources/sampler.js: Remove marks.
2811
2812 2016-02-07  Jon Lee  <jonlee@apple.com>
2813
2814         Get rid of options member variable in Benchmark.
2815
2816         Options are only needed when initializing the stage or benchmark, so there's no
2817         need to also keep a reference to it.
2818
2819         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
2820         Pass options to Controllers and Stages.
2821         (Controller.Utilities.createClass):
2822         (Benchmark.Utilities.createClass):
2823         (get options): Deleted.
2824
2825         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
2826         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
2827         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
2828         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
2829         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2830         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2831         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
2832         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2833         * Animometer/tests/master/resources/canvas-stage.js:
2834         * Animometer/tests/master/resources/canvas-tests.js:
2835         * Animometer/tests/master/resources/particles.js:
2836         * Animometer/tests/misc/resources/canvas-electrons.js:
2837         * Animometer/tests/misc/resources/canvas-stars.js:
2838         * Animometer/tests/misc/resources/compositing-transforms.js:
2839         * Animometer/tests/simple/resources/simple-canvas-paths.js:
2840         * Animometer/tests/simple/resources/tiled-canvas-image.js:
2841         * Animometer/tests/template/resources/template-canvas.js:
2842         * Animometer/tests/template/resources/template-css.js:
2843         * Animometer/tests/template/resources/template-svg.js:
2844         * Animometer/tests/text/resources/layering-text.js:
2845
2846 2016-02-07  Jon Lee  <jonlee@apple.com>
2847
2848         Update how the benchmark is run
2849         https://bugs.webkit.org/show_bug.cgi?id=153960
2850
2851         Provisionally reviewed by Said Abou-Hallawa.
2852
2853         Introduce the notion of a Controller. It is responsible for recording, updating,
2854         and processing the statistics and complexity of the benchmark. This allows
2855         plugging in different Controllers.
2856
2857         This strips most of the functionality from Animator and BenchmarkState, so fold
2858         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
2859         are responsible for driving the animation loop.
2860
2861         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
2862         maintains a fixed complexity, and the other adapts the complexity to meet a
2863         fixed FPS.
2864
2865         Fix the Kalman estimator to be modeled on a scalar variable with no model.
2866
2867         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
2868         replace it with a Controller. Add a FixedController and refactor the previous controller
2869         to an AdaptiveController.
2870
2871         (Controller): Controllers own the estimator and the sampler. When a new frame is
2872         displayed, the animation loop calls update(). The estimator and sampler record
2873         stats, then tune. Samplers can track multiple series of data. The basic controller
2874         tracks timestamp, complexity, and estimated frame rate.
2875                 The Kalman estimation is based on the frame length rather than the frame
2876         rate. Because FPS is inverse proportional to frame length, in the case where the measured
2877         frame length is very small, the FPS ends up being a wildly large number (in the order of
2878         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
2879         for it to settle back down. Using frame length reduces the impact of these spikes.
2880                 Converging the estimation takes enough time to avoid initializing it immediately
2881         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
2882         before running it in earnest. Allow controllers an opportunity to set the complexity
2883         before starting recording.
2884                 When the benchmark is complete, the controller has an opportunity to process
2885         the samples. The default implementation calculates the raw FPS based on the time
2886         difference of the samples, and calculates the complexity score. This is moved from
2887         Benchmark.processSamples.
2888
2889         (Controller): Initialize timestamps. These are at first relative to the start of the
2890         benchmark, but are offset by the absolute start time during start(). By default maintain
2891         3 data series, but subclasses can override.
2892         (start): Calls recordFirstSample() for subclasses to override if needed.
2893         (recordFirstSample): For basic controller, start sampling at the beginning.
2894         (update): Update the frame length estimator and sample.
2895         (shouldStop): Checks that the time is before _endTimestamp.
2896         (results): Returns the processed samples.
2897         (processSamples): Iterate through the sample data and collate them. Include scores.
2898
2899         (FixedComplexityController): Controller that tunes the stage to the desired complexity
2900         prior to starting, and keeps it at that complexity.
2901
2902         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
2903         raw frame rate.
2904                 The previous version of this controller ignored the frame that came after the
2905         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
2906         compared to the noise of the system overall. Stop ignoring that frame and include all
2907         frames in the measurements.
2908
2909         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
2910         selected. Most of the loop's functionality is in Controller, so remove here.
2911         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
2912         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
2913         a brief period before calling Controller.start().
2914
2915         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates
2916         a scalar variable, and makes basic assumptions regarding the model. As a result
2917         none of the linear algebra classes are needed, so remove Matrix, Vector3, and Matrix3.
2918         (SimpleKalmanEstimator): Calculate the gain based on the provided process and
2919         measurement errors.
2920         (KalmanEstimator): Deleted.
2921         (IdentityEstimator): Deleted.
2922         (PIDController): Refactor to use the Utilities.createClass() helper.
2923
2924         The Kalman filter algorithm is explained here http://greg.czerniak.info/guides/kalman1/.
2925         The state, represented by a scalar, is the estimated frame length. There is no user
2926         transition of the state, and the state is the same as the measurement. With this model,
2927         the estimation error converges, so calculate the gain ahead of time.
2928
2929         * Animometer/developer.html: Remove fixed-after-warmup since it is not useful.
2930         Replace the option to toggle the estimator, and make it possible to customize the
2931         estimator's error parameters. Show raw FPS by default, and remove interval FPS,
2932         which will be shown instead of the filtered raw FPS.
2933         * Animometer/resources/debug-runner/animometer.css: Put the header behind the graph.
2934         Remove #intervalFPS rules; move the color to #filteredFPS.
2935         * Animometer/resources/debug-runner/graph.js:
2936         (updateGraphData): Update the hr style to force the layout to be calculated
2937         correctly. Change the tick format to be in terms of seconds, since the timestamps
2938         are in milliseconds. Remove interval data.
2939         * Animometer/resources/runner/animometer.js:
2940         (window.benchmarkController.startBenchmark): Set Kalman parameters.
2941         * Animometer/resources/runner/benchmark-runner.js:
2942         (_runBenchmarkAndRecordResults): When a benchmark completes, expect it to return
2943         the final data, rather than passing a sampler from the controller. This avoids
2944         needing to expose the sampler variable in the benchmark.
2945         * Animometer/tests/resources/sampler.js:
2946         (process): Move the setting of the target frame rate to AdaptiveController.
2947
2948 2016-02-06  Jon Lee  <jonlee@apple.com>
2949
2950         Code clean up: Move Rotater function closer to Stage static methods.
2951         The Rotater is used together with those methods; keep them close.
2952
2953         * Animometer/tests/resources/main.js:
2954
2955 2016-02-06  Jon Lee  <jonlee@apple.com>
2956
2957         Update the JS includes due to ResultsTable move.
2958
2959         * Animometer/developer.html:
2960         * Animometer/index.html:
2961
2962 2016-02-06  Jon Lee  <jonlee@apple.com>
2963
2964         Move createElement and createSVGElement to Utilities.
2965
2966         * Animometer/resources/extensions.js:
2967         (Utilities.createElement): Added.
2968         (Utilities.createSVGElement): Added.
2969         (DocumentExtension.createElement): Deleted.
2970         (DocumentExtension.createSvgElement): Deleted.
2971
2972         * Animometer/resources/debug-runner/animometer.js:
2973         * Animometer/resources/runner/animometer.js:
2974         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
2975         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js:
2976         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2977
2978 2016-02-06  Jon Lee  <jonlee@apple.com>
2979
2980         Add a convenience function for creating a class.
2981
2982         The pattern for creating a class is common enough to add as a Utilities
2983         helper function. It also makes it easy to collapse class definitions when
2984         editing.
2985
2986         * Animometer/resources/debug-runner/animometer.js: Move ProgressBar definition,
2987         since it is only used here.
2988         * Animometer/resources/runner/animometer.js: Move ResultsDashboard and
2989         ResultsTable definition, since it is only used here.
2990         * Animometer/resources/extensions.js: Move Utilities definition to the top. Convert
2991         Point, Insets, SimplePromise.
2992         (ProgressBar): Moved to animometer.js.
2993         (ResultsDashboard): Moved to animometer.js.
2994         (ResultsTable): Moved to animometer.js.
2995         * Animometer/resources/runner/benchmark-runner.js: Convert BenchmarkRunnerState,
2996         BenchmarkRunner.
2997         * Animometer/tests/resources/main.js: Convert Rotater, Stage, Animator, Benchmark.
2998         * Animometer/tests/resources/sampler.js: Convert Experiment, Sampler.
2999
3000         Convert test primitives.
3001         * Animometer/tests/master/resources/canvas-tests.js: Convert CanvasLineSegment,
3002         CanvasArc, CanvasLinePoint.
3003         * Animometer/tests/simple/resources/simple-canvas-paths.js: Convert CanvasLineSegment,
3004         CanvasLinePoint, CanvasQuadraticSegment, CanvasQuadraticPoint, CanvasBezierSegment,
3005         CanvasBezierPoint, CanvasArcToSegment, CanvasArcToSegmentFill, CanvasArcSegment,
3006         CanvasArcSegmentFill, CanvasRect, CanvasRectFill.
3007         * Animometer/tests/simple/resources/tiled-canvas-image.js: Convert CanvasImageTile.
3008
3009 2016-02-06  Jon Lee  <jonlee@apple.com>
3010
3011         Minor improvements to debug harness.
3012
3013         * Animometer/developer.html:
3014         * Animometer/resources/debug-runner/animometer.css:
3015         (#suites): Put the complexity text boxes closer to the test names.
3016         (#options):
3017         (#rawFPS circle): Make the interval FPS appear as a separate data series, with a line.
3018         (#intervalFPS path):
3019         (#intervalFPS circle):
3020         * Animometer/resources/debug-runner/animometer.js:
3021         (window.optionsManager.updateLocalStorageFromUI): Convert number inputs from text.
3022         (window.suitesManager._onChangeTestCheckbox): Refactor to take a checkbox.
3023         (window.suitesManager._createTestElement): Enhance such that typing into the complexity
3024         input will automatically select that test for running.
3025         (window.suitesManager.updateLocalStorageFromJSON): Make the harness work for private
3026         browsing.
3027         * Animometer/resources/debug-runner/graph.js: Separate the intervalFPS data, and show
3028         more accuracy in timestamps.
3029
3030 2016-02-06  Jon Lee  <jonlee@apple.com>
3031
3032         Refactor helper methods for getting random values for a stage.
3033
3034         Instead of requiring a Stage instance, just attach it to the Stage object.
3035
3036         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3037         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3038         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3039         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3040         * Animometer/tests/master/resources/canvas-tests.js:
3041         * Animometer/tests/master/resources/particles.js:
3042         * Animometer/tests/misc/resources/canvas-electrons.js:
3043         * Animometer/tests/misc/resources/canvas-stars.js:
3044         * Animometer/tests/misc/resources/compositing-transforms.js:
3045         * Animometer/tests/resources/main.js:
3046         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3047
3048 2016-02-05  Said Abou-Hallawa  <sabouhallawa@apple.com>
3049
3050         Add a new graphics test for CanvasRenderingContext2D functions: getImageData and putImageData
3051         https://bugs.webkit.org/show_bug.cgi?id=151716
3052
3053         Reviewed by Darin Adler.
3054
3055         The purpose of this test is to measure the performance of getImageData
3056         and putImageData functions. This test draws a background on the canvas
3057         and then gets some random tiles from this background and draw them in
3058         destinations different from their original sources.
3059
3060         * Animometer/resources/debug-runner/tests.js: Adding the new test to the canvas simple tests suite.
3061
3062         * Animometer/resources/extensions.js:
3063         (Array.prototype.shuffle): Shuffles the elements of an array.
3064
3065         (Point.zero): Returns a new Point object whose x and y are equal zero.
3066         (Point.prototype.str): Used for debugging the Point object.
3067
3068         * Animometer/tests/simple/resources/tiled-canvas-image.js: Added.
3069         (CanvasImageTile):
3070         (CanvasImageTile.prototype.getImageData):
3071         (CanvasImageTile.prototype.putImageData):
3072         (Stage.call.initialize):
3073         (Stage.call._createTiles):
3074         (Stage.call._nextTilePosition):
3075         (Stage.call.tune):
3076         (Stage.call._drawBackground):
3077         (Stage.call.animate):
3078         (Stage.call.complexity):
3079         (Stage.call):
3080         * Animometer/tests/simple/tiled-canvas-image.html: Added.
3081
3082 2016-01-07  Jon Lee  <jonlee@apple.com>
3083
3084         Fix new test.
3085
3086         * Animometer/resources/runner/tests.js: Wrong URL from an
3087         old patch.
3088         * Animometer/tests/master/particles.html:
3089         * Animometer/tests/master/resources/dom-particles.js:
3090         (Particle.call.reset): Figured out a simpler way to set up
3091         the particles.
3092         (this.move.reset): Deleted.
3093         (this.move._applyAttributes): Deleted.
3094         * Animometer/tests/master/resources/particles.js:
3095         (Particle): Call move() after reset().
3096
3097 2016-01-07  Jon Lee  <jonlee@apple.com>
3098
3099         Update benchmark test suite
3100         https://bugs.webkit.org/show_bug.cgi?id=152679
3101
3102         Reviewed by Simon Fraser.
3103
3104         Add a new test. The test has a rotating background
3105         gradient, and does a better job physically simulating
3106         particles.
3107
3108         * Animometer/resources/extensions.js: Teach Point to take constants as well as other Points.
3109         (Point.prototype.length): Added.
3110         (Point.prototype.normalize): Added.
3111         * Animometer/resources/runner/tests.js: Add the test to the master suite.
3112         * Animometer/tests/master/particles.html: Added.
3113         * Animometer/tests/master/resources/particles.js: Added. Parent class for different kinds of particles.
3114         (Particle):
3115         (Particle.prototype.reset): If the particle starts slowing down in terms of its animation,
3116         reset it.
3117         (Particle.prototype.animate): Bounce off the walls elastically, and include gravity.
3118         (Particle.prototype.move): Subclasses should override.
3119         (ParticlesStage): Stage includes a rotating gradient background.
3120         * Animometer/tests/master/resources/dom-particles.js: Added. Creates a <div> and adds it to
3121         the stage.
3122         * Animometer/tests/resources/star.svg: Added.
3123
3124 2016-01-03  Jon Lee  <jonlee@apple.com>
3125
3126         Update benchmark test suite
3127         https://bugs.webkit.org/show_bug.cgi?id=152679
3128
3129         Reviewed by Simon Fraser.
3130
3131         Move algorithm.js and sampler.js to tests/ and benchmark-runner.js to runner/.
3132
3133         Needed by both harnesses.
3134         * Animometer/resources/runner/benchmark-runner.js: Renamed from PerformanceTests/Animometer/resources/debug-runner/benchmark-runner.js.
3135         * Animometer/developer.html:
3136         * Animometer/index.html:
3137
3138         Needed only by the tests. Move to tests/. Statistics, in sampler.js, is used by ResultsDashboard, so move that
3139         into extensions.js.
3140         * Animometer/resources/extensions.js:
3141         * Animometer/tests/resources/algorithm.js: Renamed from PerformanceTests/Animometer/resources/algorithm.js.
3142         * Animometer/tests/resources/sampler.js: Renamed from PerformanceTests/Animometer/resources/sampler.js.
3143         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
3144         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
3145         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3146         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3147         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
3148         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
3149         * Animometer/tests/master/canvas-stage.html:
3150         * Animometer/tests/misc/canvas-electrons.html:
3151         * Animometer/tests/misc/canvas-stars.html:
3152         * Animometer/tests/misc/compositing-transforms.html:
3153         * Animometer/tests/simple/simple-canvas-paths.html:
3154         * Animometer/tests/template/template-canvas.html:
3155         * Animometer/tests/template/template-css.html:
3156         * Animometer/tests/template/template-svg.html:
3157         * Animometer/tests/text/layering-text.html:
3158         * Animometer/tests/text/text-boxes.html:
3159
3160 2016-01-07  Jon Lee  <jonlee@apple.com>
3161
3162         Update benchmark test suite
3163         https://bugs.webkit.org/show_bug.cgi?id=152679
3164
3165         Reviewed by Simon Fraser.
3166
3167         Fix tests for other browsers.
3168
3169         * Animometer/resources/extensions.js:
3170         (Point.elementClientSize): Some browsers return 0 for SVG clientWidth and clientHeight.
3171         Use getBoundingClientRect() instead.
3172         * Animometer/tests/misc/resources/canvas-electrons.js:
3173         (CanvasElectron.prototype._draw): Some browsers don't support ellipse.
3174
3175 2016-01-07  Jon Lee  <jonlee@apple.com>
3176
3177         Add a waitUntilReady() step
3178         https://bugs.webkit.org/show_bug.cgi?id=152862
3179
3180         Reviewed by Simon Fraser.
3181
3182         Add a waitUntilReady() callback that lets the benchmark complete
3183         its setup before running the benchmark.
3184
3185         * Animometer/tests/resources/main.js:
3186         (Benchmark.prototype.run): First call waitUntilReady, which returns
3187         a promise. When the promise resolves, run everything that was in this
3188         function.
3189         (Benchmark.prototype.waitUntilReady): Default implementation returns
3190         a resolved promise.
3191         (Benchmark.prototype.resolveWhenFinished): Deleted.
3192         * Animometer/tests/template/resources/template-canvas.js:
3193         (new.TemplateCanvasStage.waitUntilReady): Example on how to override.
3194
3195 2016-01-03  Jon Lee  <jonlee@apple.com>
3196
3197         Update data reporting and analysis
3198         https://bugs.webkit.org/show_bug.cgi?id=152670
3199
3200         Reviewed by Simon Fraser.
3201
3202         Show new graph data. Provide controls to show different series data. Provide an
3203         interactive cursor that shows the data at a given sample.
3204
3205         * Animometer/developer.html: Add a nav section in #results. Each part of the graph
3206         has a checkbox for visual toggling, as well as companion spans to contain the data.
3207                 The numbers will always be shown even if the SVG isn't.
3208         * Animometer/resources/debug-runner/animometer.css:
3209         (#suites): Adjust spacing when doing fixed complexity.
3210         (#test-graph nav): Place the nav in the upper right corner.
3211         (#test-graph-data > svg): Fix the FPS scale from 0-60. It makes the raw FPS goes past
3212         that scale. Allow it to show.
3213         (.target-fps): Add a dotted line for where the benchmark is supposed to settle for FPS.
3214         (#cursor line): The cursor contains a line and highlight circles for the data being shown.
3215         (#cursor circle):
3216         (#complexity path): This and rules afterward are named by series type.
3217         (#complexity circle):
3218         (#filteredFPS path):
3219         (#filteredFPS circle):
3220         (#rawFPS path):
3221         (#intervalFPS circle):
3222         (.left-samples): Deleted.
3223         (.right-samples): Deleted.
3224         * Animometer/resources/debug-runner/animometer.js:
3225         (initialize): Add a "changed" listener when the checkboxes change in the nav.
3226         (onBenchmarkOptionsChanged): Renamed.
3227         (showTestGraph): All graph data is passed in as graphData instead of as arguments.
3228         * Animometer/resources/debug-runner/graph.js: Extend BenchmarkController. When showing
3229         a new graph, call updateGraphData(). It creates all of the d3 graphs. onGraphOptionsChanged()
3230         toggles the data on and off.
3231         (updateGraphData): Add the axes. Add the average lines and markers for sample time and
3232         target FPS. Add the cursor group. Use helper function addData() to add the data. On top of
3233         everything add a transparent area which will catch all of the mouse events. When the mouse
3234         moves in the graph, find the closest data point, show the data in the nav area, and highlight
3235         the data points.
3236         (addData): Adds a line and circle for each data point. Also adds a highlight cursor with a
3237         size a little larger than the circle radius for the data points.
3238         (onGraphOptionsChanged): Called when data is visually toggled.
3239         (showOrHideNodes): Helper function to toggle the .hidden class.
3240         * Animometer/resources/extensions.js:
3241         (ResultsDashboard.prototype.get data): Get rid of the arguments for _processData.
3242         (ResultsTable.prototype._addGraphButton): Shove all of the graph data into a singular object.
3243
3244         Producing the JSON can take a while with all of the data. Make it on-demand with a
3245         button.
3246
3247         * Animometer/resources/debug-runner/animometer.js:
3248         (showResults): When showing the results, don't serialize the JSON data. Move that to...
3249         (showJSONResults): ...here. Remove the button.
3250
3251         * Animometer/developer.html: Add a button. The button will remove itself and populate
3252         the textarea with the JSON data.
3253         * Animometer/resources/debug-runner/animometer.css:
3254         (.hidden): Add a universal hidden class.
3255         (#results button.small-button): Promote the small-button styles to the whole results
3256         section for use in the JSON button.
3257         (#results button.small-button:active):
3258         (#results-data button.small-button): Deleted.
3259         (#results-data button.small-button:active): Deleted.
3260
3261         Refactor how Animator does its recording.
3262
3263         * Animometer/tests/resources/math.js: Create a new, simple estimator that just returns
3264         the same interval frame rate for adjustment.
3265         * Animometer/tests/resources/main.js:
3266         (Animator): Remove _dropFrameCount, and make variables more accurate described.
3267         (Animator.prototype.initialize): Use the identity estimator instead of using a bool.
3268         (Animator.prototype._intervalTimeDelta): Rename, only used internally.
3269         (Animator.prototype._shouldRequestAnotherFrame): Assume we drop one frame for adjustment
3270         of the scene. If we are within the number of frames to measure for the interval, just
3271         record the timestamp. Otherwise we are ready to evaluate and adjust the scene. Record
3272         the interval frame rate and the estimator's frame rate.
3273
3274         Avoid processing the data through the Experiment while the test is running. Reconfigure
3275         the sampler to just record the raw samples. After the test is done, run the samples through
3276         the Experiment to get the score.
3277
3278         * Animometer/resources/sampler.js:
3279         (Experiment): Fold _init() into the constructor since nobody else will call it. This is not
3280         needed until the test concludes, so remove startSampling(). Clients should just call sample().
3281         (Sampler): Pre-allocate arrays given the number of data points being recorded, and a capacity
3282         of how many samples will be used. The processor is a called when it's time to process the data
3283         since that is the client also telling the Sampler what to record.
3284                 Introduce the notion of marks as well, which allows the client to mark when an
3285         event occurs. When we mark sample start, we can attach the timestamp there, instead of storing
3286         it separately.
3287         (Sampler.prototype.startSampling): Deleted. Clients should just call record().
3288         (Sampler.prototype.record): The data to record is passed in as variable arguments.
3289         (Sampler.prototype.mark): When adding a mark, a client needs to provide a unique string, and
3290         can provide extra data object for later retrieval.
3291         (Sampler.prototype.process): Renamed from toJSON. Trim the sampling arrays to what was used.
3292         Call the processor to process the samples.
3293         * Animometer/resources/debug-runner/benchmark-runner.js:
3294         (BenchmarkRunner.prototype._runBenchmarkAndRecordResults): Call process().
3295
3296 &