d7306d513ffd6f791ade1bcd5fc57d0972c145de
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2016-06-21  Jon Lee  <jonlee@apple.com>
2
3         Add new timestamp option
4         https://bugs.webkit.org/show_bug.cgi?id=159006
5
6         Reviewed by Dean Jackson.
7
8         Add a new option to take timestamps from the rAF callback.
9
10         * Animometer/developer.html: Added option.
11         * Animometer/tests/resources/main.js:
12         (Benchmark): Fall back to using the rAF timestamp if performance.now()
13         is not available.
14         (Benchmark._animateLoop): Update how timestamp is set. Prefer to use
15         local var instead of accessing private var.
16
17 2016-06-21  Jon Lee  <jonlee@apple.com>
18
19         Improvements to Animometer benchmark
20         https://bugs.webkit.org/show_bug.cgi?id=157738
21
22         Reviewed by Dean Jackson.
23         Provisionally reviewed by Said Abou-Hallawa.
24
25         Update tests.
26
27         * Animometer/tests/master/text.html: Ensure only three text sizes for
28         the three canvases.
29         * Animometer/tests/master/focus.html: Reduce the text size to fit with smaller
30         particle sizes.
31         * Animometer/tests/master/resources/focus.js: Remove the quadratic distribution for
32         particle sizes, and make it linear. Reduce the size variance. Shuffle the math to
33         reduce some calculations per frame. Fix the placement of the particles which might
34         otherwise be culled.
35         * Animometer/tests/master/resources/image-data.js: Reduce the particle size
36         to encourage larger scores.
37
38 2016-06-21  Jon Lee  <jonlee@apple.com>
39
40         Improvements to Animometer benchmark
41         https://bugs.webkit.org/show_bug.cgi?id=157738
42
43         Reviewed by Dean Jackson.
44         Provisionally reviewed by Said Abou-Hallawa.
45
46         Include confidence interval for the final score, and store the canvas
47         size in the serialization so that it is accurately shown in results.
48
49         * Animometer/developer.html: Add a "confidence" div.
50         * Animometer/index.html: Ditto. Convert "mean" to "confidence".
51         * Animometer/resources/debug-runner/animometer.js: Look at options, and
52         if the configuration is included, update the body class based on it
53         (similar to what we do when we first load the page). That way, if you
54         drag-and-drop previous results in, that configuration is reflected in
55         the dashboard. Show the full confidence interval.
56
57         * Animometer/resources/debug-runner/animometer.css:
58         * Animometer/resources/debug-runner/animometer.js: Style update.
59         * Animometer/resources/runner/animometer.css:
60
61         * Animometer/resources/runner/animometer.js:
62         (_processData): Propagate the confidence interval values out and calculate
63         the lower and upper bounds. For now, shortcut the aggregate calculation,
64         since we only go through one iteration.
65         (this._processData.calculateScore): Propagate the confidence interval out
66         to be next to the score. Depending on the controller these values are
67         calculated differently.
68         (this._processData._getResultsProperty): Convenience function.
69         (this._processData.get score): Refactor.
70         (this._processData.get scoreLowerBound): Get the aggregate lower bound.
71         (this._processData.get scoreUpperBound): Get the aggregate upper bound.
72         (window.sectionsManager.setSectionScore):
73         (window.benchmarkController._startBenchmark): When the benchmark starts, note
74         the canvas size and add it to options. That way it will be automatically be
75         serialized.
76         (window.benchmarkController.showResults): Include the maximum deviation
77         percentage.
78         * Animometer/resources/runner/lines.svg: Make the background line up with the
79         skew.
80         * Animometer/resources/runner/tests.js:
81         (Headers.details.text): Refactor.
82         * Animometer/resources/statistics.js:
83         (Statistics.largestDeviationPercentage): Convenience function to calculate
84         the deviation percentage on either end and return the largest deviation.
85         * Animometer/resources/strings.js:
86
87         Allow specifying a regression profile to use instead of taking the one
88         with the lowest error.
89
90         Address an issue in the focus test when the regression calculated ends
91         up overestimating the change point, causing a cascade of tougher
92         ramps. The reason behind this is that at max complexity of an initial
93         ramp, the frame length is very high, and it influences the second
94         segment of the piecewise regression strongly, causing it to be very
95         steep. As a result, the first segment, expected to be flat, ends up
96         covering a higher range of complexity. That makes the change point
97         much higher than it should be. To avoid this, we will add a sanity
98         check on the maximum value of the ramp. If the regression's projected
99         value at the maximum complexity of the current ramp is very slow (less
100         than 20 fps), 1) reduce the maximum complexity by 20%, and 2) do not
101         include the regression's change point in the change point estimator.
102         That estimator is used as the midpoint of the next ramp, and including
103         the change point from a poor regression can bake in the error. The
104         controller already knows how to adjust for ramps that are too easy for
105         the system.
106
107         * Animometer/resources/runner/animometer.js:
108         (this._processData.findRegression): Takes a preferred profile and gives that to
109         Regression.
110         (this._processData.calculateScore): With the ramp controller, take the profile
111         of the ramp that was used the most when calculating the ramp's regression. That
112         profile is what is used for the test's score.
113         * Animometer/resources/statistics.js:
114         (Regression.Utilities.createClass): Update to take an options object which can
115         specify a profile to calculate with. Otherwise it will continue to use both and
116         select the one with the lower error.
117         (_calculateRegression): Fix an issue where we claim 0 error if the regression
118         calculation fails due to divide-by-zero. Instead reject that regression calculation
119         by giving it Number.MAX_VALUE.
120         * Animometer/resources/strings.js: New strings for marking a regression as flat
121         or slope.
122         * Animometer/tests/resources/main.js:
123         (RampController): Rename the thresholds for clarity. Add a threshold that, if
124         exceeded, will lower the maximum complexity of the next ramp.
125         (tune): Relax the cdf check to consider whether the interval definitely falls in
126         the desired frame length threshold.
127         (processSamples): Include the profile in the ramp.
128
129         Update ramp controller test. Increase the length of the test to 30 seconds, and extend
130         the interval to 120 ms during sampling. Improve the estimation of the ramp parameters.
131
132         * Animometer/developer.html: Change default to 30 seconds, and don't show the progress bar
133         by default.
134         * Animometer/resources/runner/animometer.js: Change default to 30 seconds.
135         * Animometer/tests/resources/main.js: A number of improvements to the ramp controller, in
136         the order in which they appear in the patch:
137
138         - With a longer test length use longer ramps with longer intervals to get more data at each
139         complexity. Keep the 100 ms interval length during the ramp up phase since we don't need to
140         spend more time there to find the right order of magnitude, but increase it during the
141         ramps to 120 ms.
142         - The ramp linearly interpolates the complexity to render based on its timestamp, but it would
143         never sample the minimum complexity. Instead of lerping max to min complexity from time
144         0 to t where t is the ramp length, instead lerp from 0 to (t - intervalSampleLength) so that
145         we can have at least one interval sample at the min complexity for that ramp.
146         - Some regression calculations only come out with one line segment rather than the two
147         we expect. This could be due to a noisy ramp or the ramp's range is too narrow. If that's the
148         case, influence the minimum complexity of the next ramp towards the lowest bound of 1, so that
149         we ensure that at least part of the ramp is covering a complexity range that the system can
150         handle at full 60.
151         - Remove an assignment to interpolatedFrameLength since that is never subsequently used.
152
153         Update the format used to serialize the results for analysis.
154
155         Each data point used to have named properties for fields like complexity and frame rate.
156         In addition the serialized numbers had rounding errors that took up many characters.
157         Update the format by introducing a new data container called SampleData, which contains a
158         field map. The map maps a string to an array index. Each data point is an array, so, to
159         get a stat, use the field map to get the array index into the data point. This allows future
160         versions to track other data, and reduces the size of the output string by two-thirds.
161
162         * Animometer/resources/extensions.js:
163         (Utilities.toFixedNumber): Add convenience function that truncates the number to a fixed
164         precision, and converts it back to a number.
165         (SampleData): New class that contains sample data and a field map that maps properties to
166         an array index.
167         (get length): Number of data points.
168         (addField): Add a field to the field map.
169         (push): Add a data point.
170         (sort): Sort the data.
171         (slice): Return new SampleData object with sliced data.
172         (forEach): Iterate over the data with provided function.
173         (createDatum):
174         (getFieldInDatum): Returns the data point associated with the field name by looking it up
175         in the field map in the datum provided, which can be the datum object itself (an array) or
176         an index into the data member variable.
177         (setFieldInDatum): Sets the data point associated with the field name.
178         (at): Returns the data point at the provided index.
179         (toArray): Serializes the data where the field map serves as property names for each point.
180
181         * Animometer/resources/debug-runner/graph.js:
182         (updateGraphData): Remove unused _testData. Convert the data to the old array format for the
183         graph to use, since the old format was much easier to work with when displaying the graphs.
184         (onGraphTypeChanged): For some controllers, no alternative score or mean is provided.
185         * Animometer/resources/runner/animometer.css:
186         * Animometer/resources/runner/animometer.js: Refactor to use SampleData. Update JSON output
187         to only go to 3 digits of precision for purposes of reducing the data size.
188         * Animometer/resources/strings.js: Add new strings to put into the field maps.
189         * Animometer/tests/resources/main.js: Refactor to use SampleData.
190
191         * Animometer/developer.html:
192         * Animometer/index.html: Restructure results table for both pages. Add charset attribute to
193         tests.js include.
194         * Animometer/resources/debug-runner/animometer.css: Clear out styles from release runner.
195         * Animometer/resources/debug-runner/graph.js:
196         (onGraphTypeChanged): Update score and mean if bootstrap results are available from the
197         controller, since not all controllers do bootstrapping.
198         * Animometer/resources/debug-runner/tests.js: Update header text.
199         * Animometer/resources/runner/animometer.css: Include confidence interval in results.
200         * Animometer/resources/runner/animometer.js:
201         (ResultsTable._addHeader): Header contents can be HTML, so use innerHTML instead.
202         (ResultsTable._addBody): Add tbody element.
203         (ResultsTable._addTest): Allow a data cell to invoke a JS function to get its contents.
204         (window.benchmarkController.showResults): Add table that includes tests' confidence intervals.
205         * Animometer/resources/runner/tests.js:
206         (Headers.details.text): Add new details table that includes bootstrap confidence interval.
207         The interval can be asymmetric, but for simplicity, report the maximum deviation percentage
208         on either side of the bootstrap median.
209         * Animometer/resources/statistics.js:
210         (bootstrap): Include the confidence percentage in the return object.
211
212         Report canvas size in results.
213
214         * Animometer/developer.html: Add markup to indicate whether a small, medium, or large
215         canvas was used.
216         * Animometer/index.html: Ditto.
217         * Animometer/resources/debug-runner/animometer.js: Call determineCanvasSize().
218         * Animometer/resources/runner/animometer.css: Update styles to set the canvas based on the
219         body class size.
220         * Animometer/resources/runner/animometer.js:
221         (window.benchmarkController.initialize): Update styles to set the canvas based on the
222         body class size.
223         (window.benchmarkController.determineCanvasSize): Run various media queries and set the body
224         class based on the size of the device.
225
226         * Animometer/developer.html: Refactor to include the main CSS file, and redo
227         the layout so that it doesn't rely on flexbox.
228         * Animometer/resources/debug-runner/animometer.css:
229         * Animometer/resources/debug-runner/animometer.js:
230         (updateDisplay): Since various parts of the script alter the body class, we can't
231         replace the className directly. Instead, remove all display-based values and then add
232         the one that was selected.
233         * Animometer/resources/debug-runner/graph.js:
234         (updateGraphData): To set the size of the graph, use window.innerHeight.
235         * Animometer/resources/runner/animometer.js:
236         (window.sectionsManager.showSection): Since various parts of the script alter the body
237         class, we can't replace the className directly. Remove all of the section classes
238         individually and then add the one desired.
239         * Animometer/tests/resources/stage.css: Remove -apple-system as a font to use in the
240         stage.
241
242 2016-06-12  Filip Pizlo  <fpizlo@apple.com>
243
244         Fix round-down goof in Air.js's ShuffleCustom.forEachArg
245         https://bugs.webkit.org/show_bug.cgi?id=158674
246
247         Reviewed by Michael Saboff.
248         
249         x / 3 * 3 is not how you round down to multiples of 3 in JavaScript. You need to do
250         Math.floor(x / 3) * 3 instead.
251         
252         This is a benign change, because having extra arguments to a Shuffle is not something we
253         actually take advantage of yet. But I think it's best to match the original C++ code's
254         intent.
255
256         * Air.js/custom.js:
257         (const.ShuffleCustom.forEachArg):
258
259 2016-06-11  Filip Pizlo  <fpizlo@apple.com>
260
261         Unreviewed, skip Air.js. It got unskipped when I renamed it from JSAir.
262
263         * Skipped:
264
265 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
266
267         Make it easy to package Air.js
268         https://bugs.webkit.org/show_bug.cgi?id=158652
269
270         Reviewed by Benjamin Poulain.
271         
272         If you want to give Air.js to someone, you can now do:
273         
274         cd PerformanceTests/Air.js
275         ./make_dist.sh
276         
277         This will create Air.js.tar.gz and a directory called Air.js. If you want to send someone
278         the benchmark, just send either of those things and tell them to look at index.html.
279         
280         You may have to edit make_dist.sh for wherever you have Markdown.pl. You can get that from
281         https://daringfireball.net/projects/markdown/
282
283         * Air.js/make_dist.sh: Added.
284         * Air.js/test.html:
285
286 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
287
288         Unreviewed, make the link to test.html into an actual link.
289
290         * Air.js/README.md:
291
292 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
293
294         Fix some text in Air.js/README.md
295         https://bugs.webkit.org/show_bug.cgi?id=158650
296
297         Reviewed by Benjamin Poulain.
298         
299         I read the text again and found bugs:
300         
301         - We never actually say how to run the benchmark. This change adds a blurb about how to run
302           it.
303
304         - We both say that allocateStack is responsible for the bulk of the running time and that
305           we haven't measured where the bulk of the time is spent. This changes the text to say that
306           it was a goal to make allocateStack be the hottest part of the benchmark, but that we did
307           not measure this.
308
309         * Air.js/README.md:
310
311 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
312
313         Air.js should have some documentation
314         https://bugs.webkit.org/show_bug.cgi?id=158648
315
316         Reviewed by Keith Miller.
317         
318         I want to be able to point people at a document if they want to know more about this
319         benchmark.
320
321         * Air.js/README.md: Added.
322
323 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
324
325         Rename JSAir to Air.js.
326
327         Rubber stamped by Mark Lam.
328
329         * Air.js: Copied from PerformanceTests/JSAir.
330         * Air.js/airjs-tests.yaml: Copied from PerformanceTests/JSAir/jsair-tests.yaml.
331         * Air.js/benchmark.js: Copied from PerformanceTests/JSAir/benchmark.js.
332         (Benchmark):
333         * Air.js/jsair-tests.yaml: Removed.
334         * Air.js/payload-airjs-ACLj8C.js: Copied from PerformanceTests/JSAir/payload-jsair-ACLj8C.js.
335         * Air.js/payload-jsair-ACLj8C.js: Removed.
336         * Air.js/stress-test.js: Copied from PerformanceTests/JSAir/stress-test.js.
337         * Air.js/test.html: Copied from PerformanceTests/JSAir/test.html.
338         * Air.js/test.js: Copied from PerformanceTests/JSAir/test.js.
339         * JSAir: Removed.
340         * JSAir/all.js: Removed.
341         * JSAir/allocate_stack.js: Removed.
342         * JSAir/arg.js: Removed.
343         * JSAir/basic_block.js: Removed.
344         * JSAir/benchmark.js: Removed.
345         * JSAir/code.js: Removed.
346         * JSAir/custom.js: Removed.
347         * JSAir/frequented_block.js: Removed.
348         * JSAir/insertion_set.js: Removed.
349         * JSAir/inst.js: Removed.
350         * JSAir/jsair-tests.yaml: Removed.
351         * JSAir/liveness.js: Removed.
352         * JSAir/opcode.js: Removed.
353         * JSAir/payload-gbemu-executeIteration.js: Removed.
354         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Removed.
355         * JSAir/payload-jsair-ACLj8C.js: Removed.
356         * JSAir/payload-typescript-scanIdentifier.js: Removed.
357         * JSAir/reg.js: Removed.
358         * JSAir/stack_slot.js: Removed.
359         * JSAir/stress-test.js: Removed.
360         * JSAir/strip-hash.rb: Removed.
361         * JSAir/symbols.js: Removed.
362         * JSAir/test.html: Removed.
363         * JSAir/test.js: Removed.
364         * JSAir/tmp.js: Removed.
365         * JSAir/tmp_base.js: Removed.
366         * JSAir/util.js: Removed.
367
368 2016-06-10  Filip Pizlo  <fpizlo@apple.com>
369
370         JSC Stress Test failing: jsair-tests.yaml/test.js.ftl-eager-no-cjit
371         https://bugs.webkit.org/show_bug.cgi?id=158571
372
373         Reviewed by Keith Miller.
374         
375         Introduce a different harness for run-jsc-stress-tests, which runs for a minimum of 10
376         iterations and then tries to do any number of "bonus" iterations until it's been running for
377         two seconds. Since this is the sort of test that isn't really meant to stress anything in
378         particular, I think it's OK if it is time-limited in this way. The worst case is that some
379         of its failures will be flaky, but I think that they would have been flaky anyway given the
380         complexity of the test.
381
382         * JSAir/benchmark.js:
383         (Benchmark):
384         (Benchmark.prototype.runIteration):
385         (benchmark): Deleted.
386         * JSAir/jsair-tests.yaml:
387         * JSAir/stress-test.js: Added.
388         (preciseTime):
389         * JSAir/test.html:
390         * JSAir/test.js:
391
392 2016-06-09  Filip Pizlo  <fpizlo@apple.com>
393
394         Unreviewed, teach the perf bots not to run JSAir.
395
396         * Skipped:
397
398 2016-06-08  Filip Pizlo  <fpizlo@apple.com>
399
400         Use more ES6 features in JSAir
401         https://bugs.webkit.org/show_bug.cgi?id=158497
402
403         Reviewed by Keith Miller.
404         
405         This improves JSAir with the following ES6 features suggested by JoePeck:
406         
407         - String interpolation.
408         - Destructuring inside PatchCustom.
409         - Default arguments.
410         
411         All of these things are on hot paths.
412         
413         Note that I didn't use string interpolation everywhere that I could, only in those places
414         where it made the code more readable. In Ruby, I used the style that if the interpolation
415         expression has any non-trivial stuff (like a ternary operator, a chain of calls, or embedded
416         strings) then it's better to use regular strcat. I think that's what I carried over to here.
417         
418         Note that the previous change (Add result validation to JSAir) also made the Proxy code not
419         dead, though it's not necessarily on the hot path. The Proxy isn't called into frequently
420         but it's used from a function that is otherwise hot, so if calling into the Proxy prevents
421         that function from being optimized then it will hurt so good.
422         
423         I also reenabled tail calls in a few places.
424         
425         This change doesn't seem to change the performance of the benchmark for us. That's expected
426         since these ES6 features are cheap. Note that this claim doesn't include Proxy, which was
427         added in a separate change and that change did make the benchmark overall more expensive.
428
429         * JSAir/allocate_stack.js:
430         (allocateStack):
431         * JSAir/arg.js:
432         (Arg.createBitImm64):
433         (Arg.createAddr):
434         (Arg.createStack):
435         (Arg.logScale):
436         (Arg.createIndex):
437         * JSAir/basic_block.js:
438         (BasicBlock.get headerString):
439         (BasicBlock.prototype.get if):
440         (BasicBlock):
441         * JSAir/benchmark.js:
442         (benchmark):
443         * JSAir/code.js:
444         (Code):
445         (Code.prototype.addBlock):
446         (Code.prototype.addStackSlot):
447         (Code.prototype.newTmp):
448         (Code.prototype.get size):
449         (Code.prototype.get blocks):
450         (Code.prototype.get stackSlots):
451         (Code.prototype.tmps):
452         (Code.prototype.get callArgAreaSize):
453         (Code.prototype.toString):
454         * JSAir/custom.js:
455         (const.PatchCustom.forEachArg):
456         * JSAir/inst.js:
457         (Inst):
458         * JSAir/reg.js:
459         (Reg.prototype.toString):
460         * JSAir/util.js:
461         (symbolName):
462         (lowerSymbolName):
463
464 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
465
466         Add result validation to JSAir
467         https://bugs.webkit.org/show_bug.cgi?id=158493
468
469         Reviewed by Saam Barati.
470         
471         This adds the ability to hash a Code in a way that matches the C++ code's hashing of Code.
472         This allows us to check if the Code that JSAir sees is the code that C++ saw. We use this to
473         check the Code before and after allocateStack, and compare against hashes we got from C++.
474         
475         Doing this uncovered bugs. roundUpToMultipleOf wasn't doing anything. allocateStack was not
476         allocating things correctly because I was concatting a Set to an Array, which doesn't really
477         work. Now these bugs are fixed.
478         
479         The checking step adds to the running time so I reduced the number of iterations. The
480         benchmark spends a decent amount of its time computing Code hashes; I think it's around 1/3
481         total. This is probably OK. It's better to verify the results even if the running time is
482         not all in the "core" of the algorithm.
483         
484         Also add a run-jsc-stress-tests yaml file to allow this to run as a test.
485
486         * JSAir/allocate_stack.js:
487         * JSAir/arg.js:
488         (Arg.createImm):
489         (Arg.createBigImm):
490         (Arg.createBitImm):
491         (Arg.createBitImm64):
492         (Arg.createWidth):
493         (Arg.createSpecial):
494         (Arg.prototype.get kind):
495         (Arg.prototype.get isTmp):
496         (Arg.prototype.get isImm):
497         (Arg.prototype.get isSomeImm):
498         (Arg.prototype.get isSomeBigImm):
499         (Arg.prototype.get isCondition):
500         (Arg.prototype.get isWidth):
501         (Arg.prototype.get isSpecial):
502         (Arg.prototype.get isAlive):
503         (Arg.prototype.get tmp):
504         (Arg.prototype.get value):
505         (Arg.prototype.get lowValue):
506         (Arg.prototype.get highValue):
507         (Arg.prototype.get base):
508         (Arg.prototype.get isGP):
509         (Arg.prototype.get isFP):
510         (Arg.prototype.isValidForm):
511         (Arg.prototype.get isInvertible):
512         (Arg.kindCode):
513         (Arg.prototype.hash):
514         (Arg.prototype.toString):
515         (Arg):
516         * JSAir/basic_block.js:
517         (BasicBlock.get successorBlocks):
518         * JSAir/benchmark.js:
519         (benchmark):
520         * JSAir/code.js:
521         (Code.prototype.setFrameSize):
522         (Code.prototype.hash):
523         (Code.prototype.toString):
524         (Code):
525         * JSAir/inst.js:
526         (Inst.prototype.get hasNonArgEffects):
527         (Inst.prototype.hash):
528         (Inst.prototype.toString):
529         (Inst):
530         * JSAir/jsair-tests.yaml: Added.
531         * JSAir/opcode.js:
532         (Inst_forEachArg):
533         (Inst_hasNonArgEffects):
534         (opcodeCode):
535         * JSAir/payload-gbemu-executeIteration.js:
536         (createPayloadGbemuExecuteIteration):
537         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js:
538         (createPayloadImagingGaussianBlurGaussianBlur):
539         * JSAir/payload-jsair-ACLj8C.js:
540         (createPayloadJSAirACLj8C):
541         * JSAir/payload-typescript-scanIdentifier.js:
542         (createPayloadTypescriptScanIdentifier):
543         * JSAir/reg.js:
544         (Reg.prototype.get isReg):
545         (Reg.prototype.hash):
546         (Reg.prototype.toString):
547         * JSAir/stack_slot.js:
548         (StackSlot.prototype.setOffsetFromFP):
549         (StackSlot.prototype.hash):
550         (StackSlot.prototype.toString):
551         * JSAir/symbols.js:
552         (relCondCode):
553         (resCondCode):
554         (doubleCondCode):
555         * JSAir/test.html:
556         * JSAir/tmp.js:
557         (Tmp.prototype.get isReg):
558         (Tmp.prototype.hash):
559         (Tmp.prototype.toString):
560         * JSAir/util.js:
561         (roundUpToMultipleOf):
562         (symbolName):
563
564 2016-06-07  Filip Pizlo  <fpizlo@apple.com>
565
566         Implement Air::allocateStack() in ES6 to see how much of a bad idea that is
567         https://bugs.webkit.org/show_bug.cgi?id=158318
568
569         Reviewed by Saam Barati.
570         
571         This adds a new benchmark for us to play with called JSAir. It's a complete ES6
572         implementation of Air's allocateStack() phase along with all of Air needed to run that
573         phase. This includes things like stack slots, registers, temporaries, basic blocks,
574         instructions, and all of the code for iterating over, inspecting, and modifying those
575         things.
576         
577         To make this work, JSC can now dump Air just before allocateStack() in the form of JS code
578         that creates a Code object that matches exactly what C++ Air saw. This benchmark comprises
579         four Air IRs:
580         
581         - Octane/gbemu's largest function, executeIteration.
582         - Kraken/imaging-gaussian-blur's largest function in OSR entry mode, gaussuanBlur.
583         - Octane/typescript's largest function that is actually hot, scanIdentifier.
584         - JSAir's largest hot function, which is anonymous, so we call it by its hash (ACLj8C).
585         
586         This runs in about 2 seconds on my machine in JSC trunk. It includes both a commandline
587         harness and a web harness. JSAir is almost exactly 100x slower in ES6 in WebKit than the
588         C++ Air::allocateStack() phase on which it is based.
589         
590         JSAir uses the following ES6 features:
591         
592         - Symbol.
593         - for-of.
594         - arrow functions.
595         - Map/Set.
596         - let/const.
597         - classes.
598         
599         All of these things are used in anger and should end up on the hot path. There is also code
600         that uses Proxies, but it ends up being dead.
601         
602         We can improve this even more:
603         I still need to add result validation: https://bugs.webkit.org/show_bug.cgi?id=158493
604         I want to make it use more ES6 features: https://bugs.webkit.org/show_bug.cgi?id=158497
605         
606         * JSAir: Added.
607         * JSAir/all.js: Added.
608         * JSAir/allocate_stack.js: Added.
609         (allocateStack.attemptAssignment):
610         (allocateStack.assign):
611         (allocateStack.interfere):
612         (allocateStack.):
613         (allocateStack):
614         * JSAir/arg.js: Added.
615         (Arg):
616         (Arg.isAnyUse):
617         (Arg.isColdUse):
618         (Arg.isWarmUse):
619         (Arg.cooled):
620         (Arg.isEarlyUse):
621         (Arg.isLateUse):
622         (Arg.isAnyDef):
623         (Arg.isEarlyDef):
624         (Arg.isLateDef):
625         (Arg.isZDef):
626         (Arg.typeForB3Type):
627         (Arg.widthForB3Type):
628         (Arg.conservativeWidth):
629         (Arg.minimumWidth):
630         (Arg.bytes):
631         (Arg.widthForBytes):
632         (Arg.createTmp):
633         (Arg.fromReg):
634         (Arg.createImm):
635         (Arg.createBigImm):
636         (Arg.createBitImm):
637         (Arg.createBitImm64):
638         (Arg.createAddr):
639         (Arg.createStack):
640         (Arg.createCallArg):
641         (Arg.createStackAddr):
642         (Arg.isValidScale):
643         (Arg.logScale):
644         (Arg.createIndex):
645         (Arg.createRelCond):
646         (Arg.createResCond):
647         (Arg.createDoubleCond):
648         (Arg.createWidth):
649         (Arg.prototype.get kind):
650         (Arg.prototype.get isTmp):
651         (Arg.prototype.get isImm):
652         (Arg.prototype.get isBigImm):
653         (Arg.prototype.get isBitImm):
654         (Arg.prototype.get isBitImm64):
655         (Arg.prototype.get isSomeImm):
656         (Arg.prototype.get isAddr):
657         (Arg.prototype.get isStack):
658         (Arg.prototype.get isCallArg):
659         (Arg.prototype.get isIndex):
660         (Arg.prototype.get isMemory):
661         (Arg.prototype.get isStackMemory):
662         (Arg.prototype.get isRelCond):
663         (Arg.prototype.get isResCond):
664         (Arg.prototype.get isDoubleCond):
665         (Arg.prototype.get isCondition):
666         (Arg.prototype.get isWidth):
667         (Arg.prototype.get isAlive):
668         (Arg.prototype.get tmp):
669         (Arg.prototype.get value):
670         (Arg.prototype.get base):
671         (Arg.prototype.get hasOffset):
672         (Arg.prototype.get offset):
673         (Arg.prototype.get stackSlot):
674         (Arg.prototype.get index):
675         (Arg.prototype.get scale):
676         (Arg.prototype.get logScale):
677         (Arg.prototype.get width):
678         (Arg.prototype.get isGPTmp):
679         (Arg.prototype.get isFPTmp):
680         (Arg.prototype.get isGP):
681         (Arg.prototype.get isFP):
682         (Arg.prototype.get hasType):
683         (Arg.prototype.get type):
684         (Arg.prototype.isType):
685         (Arg.prototype.isCompatibleType):
686         (Arg.prototype.get isGPR):
687         (Arg.prototype.get gpr):
688         (Arg.prototype.get isFPR):
689         (Arg.prototype.get fpr):
690         (Arg.prototype.get isReg):
691         (Arg.prototype.get reg):
692         (Arg.isValidImmForm):
693         (Arg.isValidBitImmForm):
694         (Arg.isValidBitImm64Form):
695         (Arg.isValidAddrForm):
696         (Arg.isValidIndexForm):
697         (Arg.prototype.isValidForm):
698         (Arg.prototype.forEachTmpFast):
699         (Arg.prototype.usesTmp):
700         (Arg.prototype.forEachTmp):
701         (Arg.prototype.is):
702         (Arg.prototype.as):
703         (Arg.prototype.forEachFast):
704         (Arg.prototype.forEach):
705         (Arg.extract):
706         (Arg.forEachFast):
707         (Arg.forEach):
708         (Arg.prototype.get condition):
709         (Arg.prototype.get isInvertible):
710         (Arg.prototype.toString):
711         * JSAir/basic_block.js: Added.
712         (BasicBlock):
713         (BasicBlock.prototype.get index):
714         (BasicBlock.prototype.get size):
715         (BasicBlock.prototype.Symbol.iterator):
716         (BasicBlock.prototype.at):
717         (BasicBlock.get last):
718         (BasicBlock.get insts):
719         (BasicBlock.get numSuccessors):
720         (BasicBlock.get successors):
721         (BasicBlock.get successorBlocks.):
722         (BasicBlock.get successorBlocks):
723         (BasicBlock.set get numPredecessors):
724         (BasicBlock.get predecessors):
725         (BasicBlock.get frequency):
726         (BasicBlock.get headerString):
727         (BasicBlock.get footerString):
728         * JSAir/benchmark.js: Added.
729         (benchmark):
730         * JSAir/code.js: Added.
731         (Code):
732         (Code.prototype.addBlock):
733         (Code.prototype.addStackSlot):
734         (Code.prototype.newTmp):
735         (Code.prototype.get size):
736         (Code.prototype.at):
737         (Code.prototype.Symbol.iterator):
738         (Code.prototype.get blocks):
739         (Code.prototype.get stackSlots):
740         (Code.prototype.tmps):
741         (Code.prototype.get callArgAreaSize):
742         (Code.prototype.requestCallArgAreaSize):
743         (Code.prototype.get frameSize):
744         (Code.prototype.setFrameSize):
745         (Code.prototype.toString):
746         * JSAir/custom.js: Added.
747         (const.ShuffleCustom.forEachArg):
748         (const.ShuffleCustom.hasNonArgNonControlEffects):
749         (const.PatchCustom.forEachArg):
750         (const.PatchCustom.hasNonArgNonControlEffects):
751         (const.CCallCustom.forEachArg):
752         (const.CCallCustom.hasNonArgNonControlEffects):
753         (const.ColdCCallCustom.forEachArg):
754         (const.ColdCCallCustom.hasNonArgNonControlEffects):
755         * JSAir/frequented_block.js: Added.
756         (FrequentedBlock):
757         (FrequentedBlock.prototype.toString):
758         * JSAir/insertion_set.js: Added.
759         (Insertion):
760         (Insertion.prototype.get index):
761         (Insertion.prototype.get element):
762         (Insertion.prototype.lessThan):
763         (InsertionSet):
764         (InsertionSet.prototype.appendInsertion):
765         (InsertionSet.prototype.append):
766         (InsertionSet.prototype.execute):
767         * JSAir/inst.js: Added.
768         (Inst):
769         (Inst.prototype.append):
770         (Inst.prototype.clear):
771         (Inst.prototype.get opcode):
772         (Inst.prototype.get args):
773         (Inst.prototype.visitArg):
774         (Inst.prototype.forEachTmpFast):
775         (Inst.prototype.forEachArg):
776         (Inst.prototype.forEachTmp):
777         (Inst.prototype.forEach):
778         (Inst.forEachDef):
779         (Inst.forEachDefWithExtraClobberedRegs):
780         (Inst.prototype.get hasNonArgEffects):
781         (Inst.prototype.toString):
782         * JSAir/liveness.js: Added.
783         (Liveness):
784         (Liveness.prototype.get thing):
785         (Liveness.prototype.get code):
786         (Liveness.prototype.get liveAtHead):
787         (Liveness.prototype.get liveAtTail):
788         (Liveness.prototype.localCalc.LocalCalc):
789         (Liveness.prototype.localCalc.LocalCalc.prototype.get liveSet):
790         (Liveness.prototype.localCalc.LocalCalc.prototype.execute):
791         (Liveness.prototype.localCalc):
792         * JSAir/opcode.js: Added.
793         (Inst_forEachArg):
794         (Inst_hasNonArgEffects):
795         * JSAir/payload-gbemu-executeIteration.js: Added.
796         (createPayloadGbemuExecuteIteration):
797         * JSAir/payload-imaging-gaussian-blur-gaussianBlur.js: Added.
798         (createPayloadImagingGaussianBlurGaussianBlur):
799         * JSAir/payload-jsair-ACLj8C.js: Added.
800         (createPayloadJSAirACLj8C):
801         * JSAir/payload-typescript-scanIdentifier.js: Added.
802         (createPayloadTypescriptScanIdentifier):
803         * JSAir/reg.js: Added.
804         (Reg):
805         (Reg.fromReg):
806         (Reg.prototype.get index):
807         (Reg.prototype.get type):
808         (Reg.prototype.get name):
809         (Reg.prototype.get isCalleeSave):
810         (Reg.prototype.get isReg):
811         (Reg.prototype.toString):
812         (Reg.extract):
813         (Reg.forEachFast):
814         (Reg.forEach):
815         (newGPR):
816         (Reg.gprs.Reg.fprs.Reg.calleeSaveGPRs.Reg.calleeSaveFPRs.Reg.calleeSaves):
817         * JSAir/stack_slot.js: Added.
818         (StackSlot):
819         (StackSlot.prototype.get byteSize):
820         (StackSlot.prototype.get kind):
821         (StackSlot.prototype.get isLocked):
822         (StackSlot.prototype.get isSpill):
823         (StackSlot.prototype.get index):
824         (StackSlot.prototype.ensureSize):
825         (StackSlot.prototype.get alignment):
826         (StackSlot.prototype.get offsetFromFP):
827         (StackSlot.prototype.setOffsetFromFP):
828         (StackSlot.prototype.toString):
829         (StackSlot.extract):
830         (StackSlot.forEachFast):
831         (StackSlot.forEach):
832         * JSAir/symbols.js: Added.
833         * JSAir/test.html: Added.
834         * JSAir/test.js: Added.
835         * JSAir/tmp.js: Added.
836         (Tmp):
837         (Tmp.fromReg):
838         (Tmp.prototype.get index):
839         (Tmp.prototype.get type):
840         (Tmp.prototype.get isReg):
841         (Tmp.prototype.toString):
842         (Tmp.extract):
843         (Tmp.forEachFast):
844         (Tmp.forEach):
845         * JSAir/tmp_base.js: Added.
846         (TmpBase.prototype.get isGP):
847         (TmpBase.prototype.get isFP):
848         (TmpBase.prototype.get isGPR):
849         (TmpBase.prototype.get isFPR):
850         (TmpBase.prototype.get reg):
851         (TmpBase.prototype.get gpr):
852         (TmpBase.prototype.get fpr):
853         (TmpBase):
854         * JSAir/util.js: Added.
855         (isRepresentableAsInt32):
856         (addIndexed):
857         (roundUpToMultipleOf):
858         (symbolName):
859         (mergeIntoSet):
860         (nonEmptyRangesOverlap):
861         (rangesOverlap):
862         (removeAllMatching):
863         (swap):
864         (bubble):
865         (bubbleSort):
866         (currentTime):
867         (else.currentTime):
868
869 2016-05-26  Yusuke Suzuki  <utatane.tea@gmail.com>
870
871         [JSC] Allow JSBench to use precise time
872         https://bugs.webkit.org/show_bug.cgi?id=158050
873
874         Reviewed by Geoffrey Garen.
875
876         * JSBench/amazon-chrome-win/urem.js:
877         (else.window.performance.window.performance.now.currentTimeInMS):
878         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
879         (else.else.currentTimeInMS):
880         (onload.cb):
881         (onload):
882         * JSBench/amazon-chrome/urem.js:
883         (else.window.performance.window.performance.now.currentTimeInMS):
884         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
885         (else.else.currentTimeInMS):
886         (onload.cb):
887         (onload):
888         * JSBench/amazon-firefox-win/urm.js:
889         (else.window.performance.window.performance.now.currentTimeInMS):
890         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
891         (else.else.currentTimeInMS):
892         (onload.cb):
893         (onload):
894         * JSBench/amazon-firefox/urm.js:
895         (else.window.performance.window.performance.now.currentTimeInMS):
896         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
897         (else.else.currentTimeInMS):
898         (onload.cb):
899         (onload):
900         * JSBench/amazon-safari/urem.js:
901         (else.window.performance.window.performance.now.currentTimeInMS):
902         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
903         (else.else.currentTimeInMS):
904         (onload.cb):
905         (onload):
906         * JSBench/facebook-chrome-win/urem.js:
907         (else.window.performance.window.performance.now.currentTimeInMS):
908         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
909         (else.else.currentTimeInMS):
910         (onload.cb):
911         (onload):
912         * JSBench/facebook-chrome/urem.js:
913         (else.window.performance.window.performance.now.currentTimeInMS):
914         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
915         (else.else.currentTimeInMS):
916         (onload.cb):
917         (onload):
918         * JSBench/facebook-firefox-win/urem.js:
919         (else.window.performance.window.performance.now.currentTimeInMS):
920         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
921         (else.else.currentTimeInMS):
922         (onload.cb):
923         (onload):
924         * JSBench/facebook-firefox/urem.js:
925         (else.window.performance.window.performance.now.currentTimeInMS):
926         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
927         (else.else.currentTimeInMS):
928         (onload.cb):
929         (onload):
930         * JSBench/facebook-safari/urem.js:
931         (else.window.performance.window.performance.now.currentTimeInMS):
932         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
933         (else.else.currentTimeInMS):
934         (onload.cb):
935         (onload):
936         * JSBench/google-chrome-win/urem.js:
937         (else.window.performance.window.performance.now.currentTimeInMS):
938         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
939         (else.else.currentTimeInMS):
940         (onload.cb):
941         (onload):
942         * JSBench/google-chrome/urem.js:
943         (else.window.performance.window.performance.now.currentTimeInMS):
944         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
945         (else.else.currentTimeInMS):
946         (onload.cb):
947         (onload):
948         * JSBench/google-firefox-win/urem.js:
949         (else.window.performance.window.performance.now.currentTimeInMS):
950         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
951         (else.else.currentTimeInMS):
952         (onload.cb):
953         (onload):
954         * JSBench/google-firefox/uem.js:
955         (else.window.performance.window.performance.now.currentTimeInMS):
956         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
957         (else.else.currentTimeInMS):
958         (onload.cb):
959         (onload):
960         * JSBench/google-safari/urem.js:
961         (else.window.performance.window.performance.now.currentTimeInMS):
962         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
963         (else.else.currentTimeInMS):
964         (onload.cb):
965         (onload):
966         * JSBench/harness.js:
967         (runBenchmark.window.currentTimeInMS):
968         (runBenchmark.else.window.currentTimeInMS):
969         * JSBench/twitter-chrome-win/rem.js:
970         (else.window.performance.window.performance.now.currentTimeInMS):
971         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
972         (else.else.currentTimeInMS):
973         (onload.cb):
974         (onload):
975         * JSBench/twitter-chrome/urem.js:
976         (else.window.performance.window.performance.now.currentTimeInMS):
977         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
978         (else.else.currentTimeInMS):
979         (onload.cb):
980         (onload):
981         * JSBench/twitter-firefox-win/urem.js:
982         (else.window.performance.window.performance.now.currentTimeInMS):
983         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
984         (else.else.currentTimeInMS):
985         (onload.cb):
986         (onload):
987         * JSBench/twitter-firefox/urem.js:
988         (else.window.performance.window.performance.now.currentTimeInMS):
989         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
990         (else.else.currentTimeInMS):
991         (onload.cb):
992         (onload):
993         * JSBench/twitter-safari/urem.js:
994         (else.window.performance.window.performance.now.currentTimeInMS):
995         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
996         (else.else.currentTimeInMS):
997         (onload.cb):
998         (onload):
999         * JSBench/yahoo-chrome-win/urem.js:
1000         (else.window.performance.window.performance.now.currentTimeInMS):
1001         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1002         (else.else.currentTimeInMS):
1003         (onload.cb):
1004         (onload):
1005         * JSBench/yahoo-chrome/urem.js:
1006         (else.window.performance.window.performance.now.currentTimeInMS):
1007         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1008         (else.else.currentTimeInMS):
1009         (onload.cb):
1010         (onload):
1011         * JSBench/yahoo-firefox-win/urem.js:
1012         (else.window.performance.window.performance.now.currentTimeInMS):
1013         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1014         (else.else.currentTimeInMS):
1015         (onload.cb):
1016         (onload):
1017         * JSBench/yahoo-firefox/urem.js:
1018         (else.window.performance.window.performance.now.currentTimeInMS):
1019         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1020         (else.else.currentTimeInMS):
1021         (onload.cb):
1022         (onload):
1023         * JSBench/yahoo-safari/urem.js:
1024         (else.window.performance.window.performance.now.currentTimeInMS):
1025         (else.else.typeof.preciseTime.string_appeared_here.currentTimeInMS):
1026         (else.else.currentTimeInMS):
1027         (onload.cb):
1028         (onload):
1029
1030 2016-05-25  Geoffrey Garen  <ggaren@apple.com>
1031
1032         replaceable own properties seem to ignore replacement after property caching
1033         https://bugs.webkit.org/show_bug.cgi?id=158091
1034
1035         Reviewed by Darin Adler.
1036
1037         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1038         * MallocBench/MallocBench/Benchmark.cpp:
1039         * MallocBench/MallocBench/Interpreter.cpp:
1040         (Interpreter::doMallocOp):
1041         * MallocBench/MallocBench/Interpreter.h:
1042         * MallocBench/MallocBench/fastMallocLog.63316.ops: Added.
1043         * MallocBench/MallocBench/jetstream.cpp: Added.
1044         (benchmark_jetstream):
1045         * MallocBench/MallocBench/jetstream.h: Added.
1046
1047 2016-05-25  Keith Miller  <keith_miller@apple.com>
1048
1049         Unreviewed, add JSBench to the skipped list for now since it doesn't
1050         work currently.
1051
1052         * Skipped:
1053
1054 2016-05-17  Keith Miller  <keith_miller@apple.com>
1055         We should have JSBench in PerformanceTests
1056         https://bugs.webkit.org/show_bug.cgi?id=157952
1057
1058         Rubber-stamped by Saam Barati.
1059
1060         There are some slight changes to the layout of the test directory
1061         to make it work nicely with run-jsc-benchmarks. Before JSBench
1062         had each of the browser specific sub-tests in a sub-directory.
1063         These have been flattened e.g. amazon/safari/ has become
1064         amazon-safari/.
1065
1066         * JSBench/amazon-chrome-win/urem.html: Added.
1067         * JSBench/amazon-chrome-win/urem.js: Added.
1068         * JSBench/amazon-chrome/urem.html: Added.
1069         * JSBench/amazon-chrome/urem.js: Added.
1070         * JSBench/amazon-firefox-win/urm.html: Added.
1071         * JSBench/amazon-firefox-win/urm.js: Added.
1072         * JSBench/amazon-firefox/urm.html: Added.
1073         * JSBench/amazon-firefox/urm.js: Added.
1074         * JSBench/amazon-safari/urem.html: Added.
1075         * JSBench/amazon-safari/urem.js: Added.
1076         * JSBench/browsercheck.js: Added.
1077         * JSBench/facebook-chrome-win/urem.html: Added.
1078         * JSBench/facebook-chrome-win/urem.js: Added.
1079         * JSBench/facebook-chrome/urem.html: Added.
1080         * JSBench/facebook-chrome/urem.js: Added.
1081         * JSBench/facebook-firefox-win/urem.html: Added.
1082         * JSBench/facebook-firefox-win/urem.js: Added.
1083         * JSBench/facebook-firefox/urem.html: Added.
1084         * JSBench/facebook-firefox/urem.js: Added.
1085         * JSBench/facebook-safari/urem.html: Added.
1086         * JSBench/facebook-safari/urem.js: Added.
1087         * JSBench/google-chrome-win/urem.html: Added.
1088         * JSBench/google-chrome-win/urem.js: Added.
1089         * JSBench/google-chrome/urem.html: Added.
1090         * JSBench/google-chrome/urem.js: Added.
1091         * JSBench/google-firefox-win/urem.html: Added.
1092         * JSBench/google-firefox-win/urem.js: Added.
1093         * JSBench/google-firefox/uem.html: Added.
1094         * JSBench/google-firefox/uem.js: Added.
1095         * JSBench/google-safari/urem.html: Added.
1096         * JSBench/google-safari/urem.js: Added.
1097         * JSBench/harness.html: Added.
1098         * JSBench/harness.js: Added.
1099         * JSBench/harness.py: Added.
1100         * JSBench/index.html: Added.
1101         * JSBench/reload.html: Added.
1102         * JSBench/twitter-chrome-win/rem.html: Added.
1103         * JSBench/twitter-chrome-win/rem.js: Added.
1104         * JSBench/twitter-chrome/urem.html: Added.
1105         * JSBench/twitter-chrome/urem.js: Added.
1106         * JSBench/twitter-firefox-win/urem.html: Added.
1107         * JSBench/twitter-firefox-win/urem.js: Added.
1108         * JSBench/twitter-firefox/urem.html: Added.
1109         * JSBench/twitter-firefox/urem.js: Added.
1110         * JSBench/twitter-safari/urem.html: Added.
1111         * JSBench/twitter-safari/urem.js: Added.
1112         * JSBench/yahoo-chrome-win/urem.html: Added.
1113         * JSBench/yahoo-chrome-win/urem.js: Added.
1114         * JSBench/yahoo-chrome/urem.html: Added.
1115         * JSBench/yahoo-chrome/urem.js: Added.
1116         * JSBench/yahoo-firefox-win/urem.html: Added.
1117         * JSBench/yahoo-firefox-win/urem.js: Added.
1118         * JSBench/yahoo-firefox/urem.html: Added.
1119         * JSBench/yahoo-firefox/urem.js: Added.
1120         * JSBench/yahoo-safari/urem.html: Added.
1121         * JSBench/yahoo-safari/urem.js: Added.
1122
1123 2016-05-20  Ryosuke Niwa  <rniwa@webkit.org>
1124
1125         run-benchmark's results should contain Animometer's debug output
1126         https://bugs.webkit.org/show_bug.cgi?id=157941
1127
1128         Reviewed by Stephanie Lewis.
1129
1130         Made developer.html support the JSON generated by run-benchmark which stores everything under debugOutput.
1131
1132         * Animometer/resources/debug-runner/animometer.js:
1133         (Utilities.initialize): Unwrap debugOutput in the case run-benchmark's result JSON is used.
1134
1135 2016-05-18  Timothy Hatcher  <timothy@apple.com>
1136
1137         Make Animometer work in all browsers
1138         https://bugs.webkit.org/show_bug.cgi?id=157855
1139         rdar://problem/26338521
1140
1141         Reviewed by Jon Lee.
1142
1143         * Animometer/resources/runner/logo.svg: Use a symbol instead
1144         of putting the id on the root svg. This works in all browsers.
1145
1146 2016-05-07  Timothy Hatcher  <timothy@apple.com>
1147
1148         Update Animometer design
1149         https://bugs.webkit.org/show_bug.cgi?id=157449
1150
1151         Reviewed by Darin Adler.
1152
1153         * Animometer/developer.html: Stop including runner/animometer.css.
1154         * Animometer/index.html: Udpated elements to fit new styles.
1155
1156         * Animometer/resources/debug-runner/animometer.css:
1157         Copy the old runner/animometer.css to here so the debug runner is unaffected.
1158
1159         * Animometer/resources/runner/animometer.css:
1160         New styles for the design. Drop flex box for broad browser support.
1161
1162         * Animometer/resources/runner/animometer.js:
1163         (ResultsTable.clear): Use textContent.
1164         (window.sectionsManager.showSection): Add class to the body.
1165         (window.sectionsManager.setSectionScore): Use textContent, not innerHTML.
1166
1167         * Animometer/resources/runner/crystal.svg: Added.
1168         * Animometer/resources/runner/lines.svg: Added.
1169         * Animometer/resources/runner/logo.svg: Added.
1170
1171         * Animometer/resources/runner/tests.js: Shorten test name and title case them.
1172
1173 2016-05-06  Manuel Rego Casasnovas  <rego@igalia.com>
1174
1175         [css-grid] Unprefix CSS Grid Layout properties
1176         https://bugs.webkit.org/show_bug.cgi?id=157137
1177
1178         Reviewed by Simon Fraser.
1179
1180         Remove "-webkit" prefix from all the grid layout properties,
1181         including the display value.
1182         Update the source code to remove the prefix where it was used too.
1183
1184         * Layout/auto-grid-lots-of-data.html:
1185         * Layout/fixed-grid-lots-of-data.html:
1186         * Layout/fixed-grid-lots-of-stretched-data.html:
1187
1188 2016-04-25  Geoffrey Garen  <ggaren@apple.com>
1189
1190         bmalloc: Misc improvements to MallocBench
1191         https://bugs.webkit.org/show_bug.cgi?id=157004
1192
1193         Reviewed by Darin Adler.
1194
1195         * MallocBench/run-malloc-benchmarks: Added --memory and --memory_warning
1196         modes for focused memory testing.
1197
1198         * MallocBench/MallocBench/Benchmark.cpp:
1199         (Benchmark::printReport): Clarified output.
1200
1201         (Benchmark::currentMemoryBytes): Added compressed memory because top
1202         does the same. (It always happens to zero in the benchmarks we run. But
1203         this is good for sanity.)
1204
1205         * MallocBench/MallocBench/CommandLine.cpp: Moved up to 8 runs to reduce
1206         variance.
1207
1208         * MallocBench/MallocBench/alloc_free.cpp:
1209         (benchmark_alloc_free): Cycle a single allocation in order to stress
1210         the effect of merging on calls to madvise.
1211
1212         * MallocBench/MallocBench/big.cpp:
1213         (benchmark_big): Graduated to 8kB-128kB because medium tests up to 8 and
1214         our large allocator doesn't kick in until 64kB.
1215
1216         * MallocBench/MallocBench/medium.cpp:
1217         (benchmark_medium): Test all the way down to 1kB because our large
1218         allocator used to service 1kB allocations and 1kB is an interesting
1219         middle size where memory is unusually large but allocation throughput
1220         still matters.
1221
1222         * MallocBench/MallocBench/stress.cpp:
1223         (benchmark_stress): Reduced the churn count to match stress_aligned
1224         because this test was taking too long to complete.
1225
1226         * MallocBench/MallocBench/stress_aligned.cpp:
1227         (benchmark_stress_aligned): Our new large allocator can handle even
1228         more absurdly large values.
1229
1230 2016-04-25  Simon Fraser  <simon.fraser@apple.com>
1231
1232         Add a content animation test that uses SVG animation.
1233         https://bugs.webkit.org/show_bug.cgi?id=156827
1234
1235         * Animation/svg-animation.html: Added.
1236         * Skipped:
1237
1238 2016-04-22  Simon Fraser  <simon.fraser@apple.com>
1239
1240         Skip two content animation tests which are only meant for iOS testing.
1241
1242         * Animation/css-animation.html: Added.
1243         * Animation/raf-animation.html: Added.
1244
1245         * Skipped:
1246
1247 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1248
1249         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1250         https://bugs.webkit.org/show_bug.cgi?id=156827
1251
1252         Add two files missing from the previous commit.
1253
1254         * Animation/css-animation.html: Added.
1255         * Animation/raf-animation.html: Added.
1256
1257 2016-04-20  Simon Fraser  <simon.fraser@apple.com>
1258
1259         Add content animation tests to benchmark_runner, and allow the runner to collect device data as part of the results
1260         https://bugs.webkit.org/show_bug.cgi?id=156827
1261
1262         Reviewed by Stephanie Lewis.
1263
1264         Two new files for the content-animation suite.
1265
1266         After patching for use in the benchmark, these tests are a little different to other benchmarks.
1267         The test content itself does not collect performance data; the tests spit out a boilerplate JSON
1268         result with a placeholder for framerate, which is collected in native code.
1269
1270         When run as a benchmark, test completion involves a couple of bounces between the test and MobileSafari.
1271         Test completion is initiated by a setTimeout() in the test, at which point location.hash is set to "#done".
1272         MobileSafari detects that, and asynchronously dumps performance data. Once this is complete, MobileSafari
1273         changes the URL has to "#submit", which triggers the XHR to the test relay that indicates the test is
1274         complete.
1275
1276         * Animation/css-animation.html: Added.
1277         * Animation/raf-animation.html: Added.
1278
1279 2016-04-15  Jon Lee  <jonlee@apple.com>
1280
1281         Animometer test could report a NaN
1282         https://bugs.webkit.org/show_bug.cgi?id=156646
1283
1284         Reviewed by Darin Adler.
1285         Provisionally reviewed by Said Abou-Hallawa.
1286
1287         * Animometer/tests/resources/main.js:
1288         (didFinishInterval): The ramp controller has a first phase where it ramps up the complexity and
1289         reacts based on how well the system handles the load. The assumption was that it would handle at least
1290         1 particle easily. That is not always the case. As a result, an interpolation calculation could
1291         end up setting an upper bound of NaN.
1292
1293         This occurs because we never get out of the first tier, so this._lastTierComplexity is undefined.
1294         Now that we guarantee a minimum complexity of 1, modify the conditional to check for this._lastTierComplexity
1295         before interpolating the upper bound of the first ramp. In the case where the system struggles with
1296         1 particle, set it to currentComplexity.
1297
1298 2016-04-09  Jon Lee  <jonlee@apple.com>
1299
1300         Update Animometer to accommodate different screens
1301         https://bugs.webkit.org/show_bug.cgi?id=156449
1302
1303         Reviewed by Darin Adler.
1304         Provisionally reviewed by Said Abou-Hallawa.
1305
1306         * Animometer/index.html: Wrap button in a container to add padding at the bottom.
1307         * Animometer/resources/debug-runner/animometer.css:
1308         (@media screen and (min-device-width: 1800px)): Deleted.
1309         (@media screen and (min-width: 1800px)): Cannot use min-device-width since it may match incorrectly.
1310         (screen and (max-device-height: 414px) and (orientation: landscape)): Some devices swap device width
1311         and height with orientation change.
1312         * Animometer/resources/runner/animometer.css: Similar.
1313         (screen and (min-device-width: 1024px) and (orientation: landscape)):
1314         (screen and (max-device-height: 414px) and (orientation: landscape)):
1315         (.frame-container): On smaller iPhones, adding 1px prevents the navigation bars from appearing.
1316         (@media screen and (min-device-width: 768px) and (max-device-width: 1024px)): Deleted.
1317         (@media (min-device-height: 768px) and (max-device-height: 1024px)): Target iPad Airs and similar.
1318         (@media screen and (min-device-width: 1024px) and (max-device-width: 1366px)): Deleted.
1319         (@media screen and (max-device-width: 1024px) and (min-device-height: 1366px)): Target iPad Pro.
1320         (#results footer): Add padding below the button for testing again.
1321         * Animometer/tests/master/multiply.html: Remove the center text.
1322         * Animometer/tests/master/resources/text.js: Update the test so that in every frame the text moves.
1323         * Animometer/tests/master/text.html: Update the text sizing depending on the size of the device.
1324
1325 2016-04-08  Jon Lee  <jonlee@apple.com>
1326
1327         Have Animometer benchmark always start with complexity of 1
1328         https://bugs.webkit.org/show_bug.cgi?id=156432
1329
1330         Reviewed by Ryosuke Niwa.
1331
1332         * Animometer/tests/resources/main.js: Update the default Controller and RampController to
1333         set its minimum complexities to 1 instead of 0.
1334
1335 2016-04-08  Jon Lee  <jonlee@apple.com>
1336
1337         Fix SVG benchmark test
1338         https://bugs.webkit.org/show_bug.cgi?id=156410
1339
1340         Reviewed by Dean Jackson.
1341
1342         * Animometer/resources/extensions.js: Update Point.zero to be a static Point.
1343         * Animometer/tests/simple/resources/tiled-canvas-image.js:
1344         (Stage.call._setupTiles): Refactor.
1345         * Animometer/tests/master/resources/particles.js:
1346         (Particle.prototype.reset): Use Point.center.
1347         (complexity): We are not using a gradient background anymore, so remove the +1.
1348         * Animometer/tests/master/resources/svg-particles.js: Update to use SVG transform
1349         instead of CSS transform.
1350
1351 2016-04-06  Jon Lee  <jonlee@apple.com>
1352
1353         Update master benchmark with SVG test
1354         https://bugs.webkit.org/show_bug.cgi?id=156273
1355
1356         Reviewed by Dean Jackson.
1357         Provisionally reviewed by Said Abou-Hallawa.
1358
1359         Switch masks tests for SVG path test.
1360
1361         * Animometer/resources/debug-runner/tests.js: Move mask test here.
1362         * Animometer/resources/runner/tests.js: Add SVG test here.
1363         * Animometer/tests/dom/particles.html: Renamed from PerformanceTests/Animometer/tests/master/particles.html.
1364         * Animometer/tests/dom/resources/dom-particles.js: Renamed from PerformanceTests/Animometer/tests/master/resources/dom-particles.js.
1365
1366         * Animometer/tests/master/resources/particles.js: Add minPosition for bounds checking. Prevents particle from being
1367         partially obscured.
1368         * Animometer/tests/master/resources/svg-particles.js: Added.
1369         (Particle): The particle is either a path object or a rect using a path as a clip. The
1370         same path is used either way. For each particle create a linear gradient with a random
1371         rotation.
1372         (SVGParticlesStage): Look in #shapes to see how many different kinds of paths are available.
1373         This makes the test more generic in case other shapes need to be tested.
1374         * Animometer/tests/master/svg-particles.html: Added. Have two defs, one that houses each
1375         particle's gradient, and one that holds the shape templates.
1376
1377 2016-03-27  Hunseop Jeong  <hs85.jeong@samsung.com>
1378
1379         [EFL] REGRESSION(r188793): It made 200 layout tests and Bindings/event-target-wrapper.html performance test fail
1380         https://bugs.webkit.org/show_bug.cgi?id=148470 
1381
1382         Reviewed by Darin Adler.
1383
1384         * Skipped: Unskip the Bindings/event-target-wrapper test.
1385
1386 2016-03-23  Jon Lee  <jonlee@apple.com>
1387
1388         Update focus and leaves tests
1389         https://bugs.webkit.org/show_bug.cgi?id=155825
1390
1391         Reviewed by Simon Fraser.
1392
1393         Particles would improperly disappear, before they were fully off stage. Update the calculation.
1394         * Animometer/tests/dom/resources/leaves.js:
1395         * Animometer/tests/master/resources/leaves.js:
1396
1397         * Animometer/tests/master/focus.html: Update the center element styling.
1398         * Animometer/tests/master/resources/focus.js:
1399         (FocusElement.Utilities.createClass): Give enough space in the container for each particle for the blur
1400         to spread. It should be about 3x more space than the blur radius on each side.
1401         (Stage.call.initialize): Ditto for the center element.
1402
1403 2016-03-23  Jon Lee  <jonlee@apple.com>
1404
1405         Update support for other platforms
1406         https://bugs.webkit.org/show_bug.cgi?id=155824
1407
1408         Reviewed by Simon Fraser.
1409
1410         * Animometer/resources/debug-runner/animometer.css: Remove extraneous media query. All of it should
1411         be handled in the release stylesheet.
1412         * Animometer/resources/debug-runner/animometer.js: Add support for browsers that return an HTMLCollection
1413         when retrieving radio elements with a name, instead of the selected value.
1414         * Animometer/resources/runner/animometer.css: Adjust the queries for devices of varying widths.
1415         (.frame-container): Move overflow:hidden to #stage.
1416         * Animometer/tests/master/resources/stage.css: Consolidate into tests/resources/stage.css.
1417         * Animometer/tests/resources/stage.css:
1418         (body): Remove overflow:hidden.
1419         (#stage): Set overflow:hidden here.
1420         (#center-text): Moved from master/resources/stage.css.
1421
1422         Update stylesheet hrefs.
1423         * Animometer/tests/master/canvas-stage.html:
1424         * Animometer/tests/master/focus.html:
1425         * Animometer/tests/master/leaves.html:
1426         * Animometer/tests/master/multiply.html:
1427         * Animometer/tests/master/particles.html:
1428         * Animometer/tests/master/text.html: Adjust text size to fit in the device screen.
1429
1430 2016-03-23  Jon Lee  <jonlee@apple.com>
1431
1432         Make the benchmark require device to be in landscape orientation
1433         https://bugs.webkit.org/show_bug.cgi?id=155822
1434         rdar://problem/25258650
1435
1436         Reviewed by Ryosuke Niwa.
1437
1438         Check that the device is in landscape orientation. If not, disable the button to start it,
1439         and show a warning message.
1440
1441         * Animometer/developer.html: Add a message about how the browser should be set up. Include a
1442         warning message that appears if the orientation is incorrect on mobile devices.
1443         * Animometer/index.html: Ditto.
1444
1445         * Animometer/resources/debug-runner/animometer.css: Migrate the .hidden rule into the release
1446         stylesheet. Update the style to accommodate the new UI.
1447         * Animometer/resources/runner/animometer.css:
1448
1449         * Animometer/resources/runner/animometer.js:
1450         (window.benchmarkController.initialize): Add the orientation listener is needed.
1451         (window.benchmarkController.addOrientationListenerIfNecessary): Only mobile devices need this. Check
1452         to see for support of window.orientation.
1453         (window.benchmarkController._orientationChanged): Toggle the warning based on whether we match the
1454         landscape query. Set a state variable, which is needed for the debug harness. Call updateStartButtonState.
1455         (window.benchmarkController.updateStartButtonState):
1456         * Animometer/resources/debug-runner/animometer.js: Change _updateStartButtonState to return
1457         a boolean about whether at least one test is selected. That will be used in
1458         benchmarkController.updateStartButtonState(). Move the load event listener to the release version.
1459         (window.benchmarkController.updateStartButtonState): Override the release version, and also check
1460         that at least one test is selected.
1461
1462 2016-03-22  Geoffrey Garen  <ggaren@apple.com>
1463
1464         MallocBench: consolidate regression testing for aligned allocation
1465         https://bugs.webkit.org/show_bug.cgi?id=155762
1466
1467         Reviewed by Michael Saboff.
1468
1469         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
1470         * MallocBench/MallocBench/Benchmark.cpp:
1471         * MallocBench/MallocBench/memalign.cpp: Removed.
1472         * MallocBench/MallocBench/memalign.h: Removed. The stress_aligned test
1473         covers this and much more.
1474
1475         * MallocBench/MallocBench/stress_aligned.cpp:
1476         (benchmark_stress_aligned): Include specific tests for extreme sizes
1477         and alignments.
1478
1479 2016-03-21  Jon Lee  <jonlee@apple.com>
1480
1481         Update benchmark tests
1482         https://bugs.webkit.org/show_bug.cgi?id=155723
1483
1484         Reviewed by Darin Adler.
1485         Provisionally reviewed by Said Abou-Hallawa.
1486
1487         Add quadratic and bezier segments to the canvas path test.
1488
1489         * Animometer/resources/runner/tests.js: Some of the query strings are unnecessary.
1490         Rename the test.
1491         * Animometer/tests/master/resources/canvas-stage.js:
1492         (tune): Update to be able to take an array of possible constructors. Choose one randomly.
1493         * Animometer/tests/master/resources/canvas-tests.js:
1494         (CanvasLinePoint.Utilities.createClass): Move the point selection out to a separate
1495         function called randomPoint() for reuse. Move X_LOOPS, Y_LOOPS, and offsets into the
1496         class definition.
1497         (randomPoint): Scale the grid down a little bit so that the lines along the edge of the
1498         canvas are not cut off when the stroke size is thick.
1499         (CanvasQuadraticSegment): Added.
1500         (CanvasBezierSegment): Added.
1501         (SimpleCanvasStage): Pass in an array of the different segment types. Since line segments
1502         are short compared to the curved ones, make it twice as likely to render a line segment.
1503         (SimpleCanvasStage.animate): Update the drawing code so that we render all line segments.
1504
1505         Add a helper method that selects a random element from an array.
1506
1507         * Animometer/tests/resources/main.js:
1508         (Stage.randomElementInArray): Select a random element from the provided array.
1509
1510         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Refactor.
1511         * Animometer/tests/dom/resources/leaves.js: Ditto.
1512         * Animometer/tests/master/resources/dom-particles.js: Ditto.
1513         * Animometer/tests/master/resources/image-data.js: Ditto.
1514         * Animometer/tests/master/resources/leaves.js: Ditto.
1515         * Animometer/tests/simple/resources/simple-canvas-paths.js: Ditto.
1516
1517         Add canvas tests that includes all stroke and fill paths. This makes it possible to avoid having to
1518         include the full simple canvas suite for perf testing.
1519
1520         * Animometer/resources/debug-runner/tests.js: Add new tests. Move the canvas test into the Canvas
1521         suite.
1522         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add a CanvasStroke and CanvasFill particle
1523         that random selects an object to render.
1524
1525         * Animometer/resources/debug-runner/tests.js: Move 3D suite before basic canvas suite.
1526         When updating the perf bot script, we will include the suites up to this one, but exclude
1527         the basic canvas suite.
1528
1529         Move compositing transforms test to HTML suite and remove the empty Miscellaneous suite.
1530
1531         * Animometer/resources/debug-runner/tests.js:
1532         * Animometer/tests/dom/compositing-transforms.html: Renamed from PerformanceTests/Animometer/tests/misc/compositing-transforms.html.
1533         * Animometer/tests/dom/resources/compositing-transforms.js: Renamed from PerformanceTests/Animometer/tests/misc/resources/compositing-transforms.js.
1534
1535         Clean up miscellaneous test suite. Add a canvas ellipse test, and remove the other
1536         canvas tests.
1537
1538         * Animometer/resources/debug-runner/tests.js: Add ellipse tests to the simple suite.
1539         * Animometer/tests/misc/canvas-electrons.html: Removed.
1540         * Animometer/tests/misc/canvas-stars.html: Removed.
1541         * Animometer/tests/misc/resources/canvas-electrons.js: Removed.
1542         * Animometer/tests/misc/resources/canvas-stars.js: Removed.
1543         * Animometer/tests/simple/resources/simple-canvas-paths.js: Add ellipse primitives.
1544
1545         Merge text tests together into one.
1546
1547         * Animometer/resources/runner/tests.js: Remove international.html.
1548         * Animometer/tests/master/international.html: Removed.
1549         * Animometer/tests/master/resources/text.js:
1550         (animate): Update styling. Manually calculate gradients for the shadow particles.
1551         Reduce the step size for y direction to avoid cutting text off at the margins. Increase
1552         step for x since there will be a little more room.
1553         * Animometer/tests/master/text.html: Add more translations and lay it out in a table.
1554
1555 2016-03-20  Jon Lee  <jonlee@apple.com>
1556
1557         Add a link to show debug data
1558         https://bugs.webkit.org/show_bug.cgi?id=155724
1559
1560         Reviewed by Simon Fraser.
1561
1562         * Animometer/developer.html: Attach the onclick handler to the score.
1563         * Animometer/index.html: Ditto.
1564
1565 2016-03-18  Dean Jackson  <dino@apple.com>
1566
1567         Add a basic WebGL test to Animometer
1568         https://bugs.webkit.org/show_bug.cgi?id=155475
1569         <rdar://problem/25156860>
1570
1571         Reviewed by Simon Fraser and Jon Lee.
1572
1573         Add a pretty simple WebGL test to Animometer
1574         which tries to draw a number of animated triangles.
1575         The result still needs a bit of tuning.
1576
1577         * Animometer/resources/debug-runner/tests.js: Add a new
1578         Suite for "3D" tests.
1579         * Animometer/tests/3d/resources/webgl.js: Added.
1580         * Animometer/tests/3d/webgl.html: Added.
1581
1582 2016-03-18  Jon Lee  <jonlee@apple.com>
1583
1584         Add support for statically linking to a specific test
1585         https://bugs.webkit.org/show_bug.cgi?id=155631
1586
1587         Rubber-stamped by Darin Adler.
1588
1589         * Animometer/developer.html: Update to call restartBenchmark instead so that it works for
1590         both the preset and the manually set test sessions.
1591         * Animometer/resources/debug-runner/animometer.css:
1592         (.tree .link): Style the "link" UI.
1593         * Animometer/resources/debug-runner/animometer.js: Move updateDisplay from suitesManager
1594         to optionsManager since this is a visual option and has nothing to do with the suites
1595         settings. Update the construction of the test UI by including a "link" after each test.
1596         Clicking on that link brings up a JS prompt with a URL and a query string with the current
1597         parameters of the controller, and selected test. Pasting this URL into the location bar will
1598         automatically start running the selected test.
1599         (suitesManager.suitesFromQueryString): Iterate through the Suites and tests and find the one
1600         that matches the provided parameters. Returns an object similar to the form in
1601         suitesManager.updateLocalStorageFromUI.
1602         (benchmarkController.initialize): After settings up the events and options, try parsing the
1603         query string and running the benchmark immediately. Otherwise, fall back to the form.
1604         (benchmarkController.startBenchmark): Store the options and suites into member variables for
1605         reuse in restartBenchmark.
1606         (benchmarkController.startBenchmarkImmediatelyIfEncoded): Convert the query string to an object.
1607         If that's successful, find the suite and test referenced in the query string. Start the benchmark if
1608         the search for the test succeeded.
1609         * Animometer/resources/extensions.js:
1610         (Utilities.stripNonASCIICharacters): Helper method to convert the name of the suite and test
1611         into a query-string-friendly version.
1612         (Utilities.convertObjectToQueryString): Helper method to convert an object to query string
1613         format.
1614         (Utilities.convertQueryStringToObject): Helper method to convert query string into an object
1615         with properties and values.
1616
1617 2016-03-16  Jon Lee  <jonlee@apple.com>
1618
1619         Add a new benchmark test
1620         https://bugs.webkit.org/show_bug.cgi?id=155570
1621
1622         Reviewed by Simon Fraser.
1623
1624         New Leaves test includes various image sizes and opacity.
1625
1626         * Animometer/resources/debug-runner/tests.js: Add it to the HTML test suite.
1627         * Animometer/tests/dom/leaves.html: Added.
1628         * Animometer/tests/dom/resources/leaves.js: Added. Override the
1629         (Particle.call.reset): Uses a range of sizes, and opacity.
1630         (Particle.call.animate): Opacity goes up then down. When it hits 0, reset the particle.
1631         (Particle.call.move): Set transform and opacity.
1632         * Animometer/tests/master/resources/leaves.js: Get rid of the closure so that it
1633         can be used in this test. Update the relative path so that it works in both the master
1634         and dom test suite.
1635
1636 2016-03-15  Simon Fraser  <simon.fraser@apple.com>
1637
1638         Add developer Animometer test that bounces P3-tagged images
1639         https://bugs.webkit.org/show_bug.cgi?id=155511
1640
1641         Reviewed by Tim Horton.
1642         
1643         Add a test for rendering performance of tagged images. The 5 images are tagged
1644         with the Display P3 colorspace.
1645
1646         * Animometer/resources/debug-runner/tests.js:
1647         * Animometer/tests/bouncing-particles/bouncing-tagged-images.html: Added.
1648         * Animometer/tests/bouncing-particles/resources/bouncing-tagged-images.js: Added.
1649         * Animometer/tests/bouncing-particles/resources/image1.jpg: Added.
1650         * Animometer/tests/bouncing-particles/resources/image2.jpg: Added.
1651         * Animometer/tests/bouncing-particles/resources/image3.jpg: Added.
1652         * Animometer/tests/bouncing-particles/resources/image4.jpg: Added.
1653         * Animometer/tests/bouncing-particles/resources/image5.jpg: Added.
1654
1655 2016-03-09  Jon Lee  <jonlee@apple.com>
1656
1657         Enhance existing Animometer tests
1658         https://bugs.webkit.org/show_bug.cgi?id=155261
1659
1660         Reviewed by Simon Fraser.
1661
1662         * Animometer/tests/master/resources/canvas-tests.js: Add a gradient to
1663         the filled circles. To expose more of the gradient, add another circle.
1664         (SimpleCanvasStage.call.animate): For each frame, create a gradient with
1665         undulating stop points and colors. Fill the circles twice; once with
1666         the solid color, and once with the gradient.
1667
1668         * Animometer/tests/master/resources/dom-particles.js: Refactor the
1669         emission variables into a separate stage for this test. Add a colorOffset
1670         variable to make the colors of each particle slightly different, since
1671         the ramp controller can add large numbers of particles all at once, which
1672         would otherwise get all the same color.
1673         * Animometer/tests/master/resources/particles.js:
1674         (initialize): Remove the code specific to the SVG mask test.
1675
1676         * Animometer/tests/master/resources/image-data.js:
1677         (initialize): Remove unused local variable.
1678         * Animometer/tests/master/resources/multiply.js:
1679         (initialize): Make the test harder by adding more total particles.
1680
1681 2016-03-09  Jon Lee  <jonlee@apple.com>
1682
1683         Add text tests
1684         https://bugs.webkit.org/show_bug.cgi?id=155257
1685
1686         Reviewed by Simon Fraser.
1687
1688         * Animometer/resources/extensions.js:
1689         (UnitBezier.Utilities.createClass): Add a class that computes Bezier points
1690         assuming that two of the control points are at (0,0) and (1,1). Taken from
1691         WebCore/platform/graphics/UnitBezier.h
1692         * Animometer/resources/runner/tests.js: Add a test for English text and one
1693         for international text.
1694         * Animometer/tests/master/international.html: Added.
1695         * Animometer/tests/master/resources/text.js: Added. The test assumes there is
1696         #template div which it will copy. The copies are placed behind the template, and
1697         are set with different colors each frame. They are moved around with CSS transform.
1698         * Animometer/tests/master/text.html: Added.
1699
1700         Remove the other text tests, since these ones cover the same techniques.
1701         * Animometer/tests/text/layering-text.html: Removed.
1702         * Animometer/tests/text/resources/layering-text.js: Removed.
1703         * Animometer/tests/text/resources/text-boxes.js: Removed.
1704         * Animometer/tests/text/text-boxes.html: Removed.
1705         * Animometer/resources/debug-runner/tests.js:
1706
1707 2016-03-09  Jon Lee  <jonlee@apple.com>
1708
1709         Add a new image test
1710         https://bugs.webkit.org/show_bug.cgi?id=155232
1711
1712         Reviewed by Dean Jackson.
1713         Provisionally reviewed by Said Abou-Hallawa.
1714
1715         The image test renders PNGs and moves them with translate and rotate
1716         transforms. Each particle has a lifetime, and when the lifetime ends or
1717         the particle goes offscreen, it resets itself somewhere on the stage.
1718
1719         * Animometer/resources/debug-runner/tests.js: Remove the CSS bouncing PNG
1720         images test, because this one tests the same technique.
1721         * Animometer/resources/runner/tests.js: Added here as "Leaves".
1722         * Animometer/tests/master/leaves.html: Added.
1723         * Animometer/tests/master/resources/particles.js: Refactor out the parts
1724         specific to the DOM particles test. Consequently make velocity a public
1725         member.
1726         (initialize): The options parameter is never used, so remove it.
1727         (animate): Remove unused local variable.
1728         * Animometer/tests/master/resources/leaves.js: Maintains a focal point that
1729         moves back and forth across the canvas. That point affects the velocity
1730         of the particles. When the focal point is on the leftmost side, it is
1731         between [-6, -2], and set in reset(). When the focal point is on the rightmost
1732         side, it will be from [2, 6].
1733         * Animometer/tests/master/resources/dom-particles.js: Move JS specific to
1734         this test here from particles.js.
1735
1736         New images.
1737         * Animometer/tests/master/resources/compass100.png: Added.
1738         * Animometer/tests/master/resources/console100.png: Added.
1739         * Animometer/tests/master/resources/contribute100.png: Added.
1740         * Animometer/tests/master/resources/debugger100.png: Added.
1741         * Animometer/tests/master/resources/inspector100.png: Added.
1742         * Animometer/tests/master/resources/layout100.png: Added.
1743         * Animometer/tests/master/resources/performance100.png: Added.
1744         * Animometer/tests/master/resources/script100.png: Added.
1745         * Animometer/tests/master/resources/shortcuts100.png: Added.
1746         * Animometer/tests/master/resources/standards100.png: Added.
1747         * Animometer/tests/master/resources/storage100.png: Added.
1748         * Animometer/tests/master/resources/styles100.png: Added.
1749         * Animometer/tests/master/resources/timeline100.png: Added.
1750
1751 2016-03-03  Jon Lee  <jonlee@apple.com>
1752
1753         Add ability to retrieve raw data from release harness
1754         https://bugs.webkit.org/show_bug.cgi?id=155026
1755
1756         Reviewed by Simon Fraser.
1757
1758         * Animometer/developer.html: Remove the special UI in the debug
1759         harness.
1760         * Animometer/resources/runner/animometer.css: Add styles for the
1761         overlay.
1762         * Animometer/resources/runner/animometer.js: Let 'j' show the JSON
1763         results, but only if the overlay doesn't exist. Add 'esc' key to dismiss
1764         the overlay.
1765         (window.benchmarkController.selectResults): Cycle the cases around
1766         so that the first 's' press selects both the benchmark score and
1767         the individual test scores.
1768         * Animometer/resources/debug-runner/animometer.css: Remove
1769         unneeded rules.
1770         * Animometer/resources/debug-runner/animometer.js: Make the same
1771         call to handleKeyPress.
1772
1773 2016-03-03  Jon Lee  <jonlee@apple.com>
1774
1775         Make sure multiply test particles have at least some opacity
1776         https://bugs.webkit.org/show_bug.cgi?id=155027
1777
1778         Reviewed by Simon Fraser.
1779
1780         * Animometer/tests/master/resources/multiply.js:
1781         (initialize): Have the elements spin a little faster to make it
1782         more obvious when the system is being stressed.
1783         (_addTile):
1784         (animate): Make sure each element being animated has at least 1%
1785         opacity.
1786
1787 2016-03-03  Jon Lee  <jonlee@apple.com>
1788
1789         Update image test
1790         https://bugs.webkit.org/show_bug.cgi?id=154962
1791
1792         Rubber-stamped by Darin Adler.
1793
1794         * Animometer/tests/master/image-data.html: Make each canvas have a compositing layer.
1795         * Animometer/tests/master/resources/image-data.js:
1796         (initialize): Update to load multiple images serially.
1797         (_loadImage):
1798         (tune): Use display instead of visibility. When showing an element anew, move it somewhere else.
1799         (_createTestElement): Set up the element, refactor out placement of element to _refreshElement.
1800         (_refreshElement): Place element in a tile grid.
1801         (animate):
1802         (_getRandomNeighboringPixelIndex): Use a more conservative distribution to make the effect last a little longer.
1803         * Animometer/tests/master/resources/compass.svg: Added.
1804         * Animometer/tests/master/resources/console.svg: Added.
1805         * Animometer/tests/master/resources/contribute.svg: Added.
1806         * Animometer/tests/master/resources/debugger.svg: Added.
1807         * Animometer/tests/master/resources/inspector.svg: Added.
1808         * Animometer/tests/master/resources/layout.svg: Added.
1809         * Animometer/tests/master/resources/performance.svg: Added.
1810         * Animometer/tests/master/resources/script.svg: Added.
1811         * Animometer/tests/master/resources/shortcuts.svg: Added.
1812         * Animometer/tests/master/resources/standards.svg: Added.
1813         * Animometer/tests/master/resources/storage.svg: Added.
1814         * Animometer/tests/master/resources/styles.svg: Added.
1815         * Animometer/tests/master/resources/timeline.svg: Added.
1816
1817 2016-03-02  Jon Lee  <jonlee@apple.com>
1818
1819         Add some new controllers, and refine tests
1820         https://bugs.webkit.org/show_bug.cgi?id=154914
1821
1822         Reviewed by Simon Fraser.
1823
1824         Improve tests.
1825
1826         * Animometer/tests/master/focus.html: Move each particle into a layer. Put the particle
1827         in a container element. Expand the container element by the max blur radius, and clip
1828         overflow. This way, when the blur is applied, it avoids causing layer resizes.
1829         * Animometer/tests/master/resources/focus.js:
1830         (FocusElement.Utilities.createClass): Create a container element, and put the particle
1831         inside.
1832         (hide): Set display:none.
1833         (show): Set display:block.
1834         (animate): Apply filters to the container element.
1835         (FocusStage.call.initialize): Instead of inserting and removing elements from the DOM,
1836         keep them in the stage, but set the display style instead. Use this._offsetIndex to
1837         keep track of which elements are displayed.
1838         (FocusStage.call.animate): Move some calculations around to avoid doing unneeded math.
1839         (FocusStage.call.getBlurValue): Make sure elements are always blurred.
1840         (FocusStage.call.getOpacityValue): Make sure elements have some opacity.
1841         * Animometer/tests/master/resources/multiply.js: Have the particles on the edge of the
1842         stage appear less black when the complexity gets large enough.
1843         (tune): Have this._distanceFactor calculate the factor. Avoid calculating square root each
1844         frame.
1845
1846 2016-03-02  Jon Lee  <jonlee@apple.com>
1847
1848         Add some new controllers, and refine tests
1849         https://bugs.webkit.org/show_bug.cgi?id=154914
1850
1851         Reviewed by Simon Fraser.
1852
1853         Add a controller that centers around 30 fps instead of 60 fps.
1854
1855         * Animometer/developer.html: Add a new option.
1856         * Animometer/resources/debug-runner/animometer.js:
1857         * Animometer/resources/runner/animometer.js:
1858         (this._processData.findRegression): When calculating the complexity-frameLength regression,
1859         check the controller, and use a 30 fps baseline if needed.
1860         * Animometer/resources/statistics.js:
1861         (Regression.Utilities.createClass): Update to allow clients to specify the baseline
1862         frame length.
1863         * Animometer/tests/resources/main.js:
1864         (tune): Override some of the constants in RampController. Move those constants out for
1865         easier reading.
1866
1867         Add a fixed controller, with no step.
1868
1869         * Animometer/developer.html: Add a controller that takes no step.
1870         * Animometer/resources/debug-runner/animometer.js:
1871         * Animometer/tests/resources/main.js:
1872         (Rotater.Utilities.createClass):
1873
1874         Switch to ramp controller as default.
1875
1876         * Animometer/developer.html: Increase the test length to 20 seconds.
1877         * Animometer/resources/debug-runner/animometer.js: Rename the "adjustment" field to "controller"
1878         since that is a more accurate description.
1879         * Animometer/resources/debug-runner/graph.js:
1880         * Animometer/resources/runner/animometer.js: Update preferences for release suite.
1881
1882 2016-02-26  Jon Lee  <jonlee@apple.com>
1883
1884         Address Dean's comments in 154673.
1885
1886         * Animometer/developer.html:
1887         * Animometer/resources/debug-runner/animometer.js:
1888         * Animometer/resources/debug-runner/graph.js:
1889
1890 2016-02-25  Jon Lee  <jonlee@apple.com>
1891
1892         Update animation benchmark and tests
1893         https://bugs.webkit.org/show_bug.cgi?id=154673
1894
1895         Reviewed by Dean Jackson.
1896
1897         Update test visuals.
1898
1899         * Animometer/tests/master/resources/canvas-tests.js:
1900         (CanvasLineSegment.Utilities.createClass): Line segments near the edge of the stage get clipped.
1901         Update circle position and radius to minimize impact.
1902         * Animometer/tests/master/resources/particles.js: Get rid of rotating gradient background, and
1903         have 3 locations for emitting particles.
1904         * Animometer/tests/master/resources/multiply.js: Update distance metric so that fringe tiles get
1905         more color.
1906         (initialize): Fix some of the math for laying out the tiles.
1907         (animate): When a tile isn't used, set visibility: hidden.
1908
1909 2016-02-24  Jon Lee  <jonlee@apple.com>
1910
1911         Update animation benchmark and tests
1912         https://bugs.webkit.org/show_bug.cgi?id=154673
1913
1914         Reviewed by Dean Jackson.
1915
1916         Update the ramp controller.
1917
1918         The controller refines the complexity interval to test across.
1919
1920         * Animometer/resources/statistics.js: Add functions that estimate cumulative distribution function.
1921         (Regression): For the flat regression, force the first segment to be at 60 fps.
1922         (valueAt): Add convenience function to return interpolated value based on the regression used.
1923         (_calculateRegression): Include the number of points included for both segments, and the piecewise
1924         errors.
1925         * Animometer/tests/resources/math.js: Make the Kalman estimator subclass Experiment, and allow it
1926         to be reset.
1927
1928         * Animometer/tests/resources/main.js: Initialize the tier such that it starts at 10^0 = 1.
1929         Increase the number of ramps. Maintain three FPS thresholds-- the frame rate of interest, a limit
1930         on the lowest FPS we care to go for later interpolation, and a minimum FPS threshold we want to
1931         aim for each ramp. Also keep three estimators: a running average of the change point, a minimum
1932         boundary for each ramp, and an estimator for all the frames within an interval. The first two
1933         are used to determine the parameters of the next ramp, and the latter allows us to refine the
1934         parameters.
1935         (update): During the tier phase, it is possible that the highest complexity possible for a test
1936         won't stress the system enough to trigger stopping the tier phase and transitioning to the ramps.
1937         If the complexity doesn't change when going to the next tier, we've maxed the test out, and move
1938         on. When the tier phase completed, turn off Controller.frameLengthEstimator, which estimates the
1939         FPS at each tier.
1940         (tune): At each interval, look at the confidence distribution of being on the 60 FPS side or the
1941         slow side. If the slowest FPS we achieve at the ramp's maximum complexity is not at least
1942         _fpsRampSlowThreshold, then increase the maximum complexity. If we ever achieve 60 FPS, increase
1943         the ramp's minimum complexity to that level. If, at an even lower complexity, a glitch causes the
1944         FPS to drop, we reset the minimum complexity.
1945
1946         Have the bootstrap calculation occur between tests. Clean up harness.
1947
1948         * Animometer/resources/debug-runner/animometer.js: Run bootstrap after a test has
1949         completed to avoid doing all of it at the end before showing the results. Clean up
1950         parameters being passed around.
1951         * Animometer/resources/debug-runner/tests.js:
1952         (text):
1953         * Animometer/resources/runner/animometer.js:
1954         (this._processData.calculateScore): Save the results to the same object holding the data.
1955         (this._processData._processData): In the case where a file is dragged, calculate the score
1956         serially. Grab the results object and move it to the results variable and remove it from
1957         the data object. This avoids serializing the results into the JSON.
1958         (this._processData.findRegression): Include the samples used for bootstrapping. Reduce the
1959         resample size to shorten the wait.
1960         * Animometer/resources/runner/benchmark-runner.js:
1961         * Animometer/resources/statistics.js:
1962         (bootstrap): Update how bootstrapData is sorted. In some regression results the mix of
1963         floats and integers causes an alphabetical sort to occur.
1964         * Animometer/resources/strings.js:
1965
1966         Add meta charset so that encodings between harness and test match.
1967
1968         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
1969         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
1970         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
1971         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
1972         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
1973         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
1974         * Animometer/tests/master/canvas-stage.html:
1975         * Animometer/tests/master/focus.html:
1976         * Animometer/tests/master/image-data.html:
1977         * Animometer/tests/master/multiply.html:
1978         * Animometer/tests/master/particles.html:
1979         * Animometer/tests/misc/canvas-electrons.html:
1980         * Animometer/tests/misc/canvas-stars.html:
1981         * Animometer/tests/misc/compositing-transforms.html:
1982         * Animometer/tests/simple/simple-canvas-paths.html:
1983         * Animometer/tests/simple/tiled-canvas-image.html:
1984         * Animometer/tests/template/template-canvas.html:
1985         * Animometer/tests/template/template-css.html:
1986         * Animometer/tests/template/template-svg.html:
1987         * Animometer/tests/text/layering-text.html:
1988         * Animometer/tests/text/text-boxes.html:
1989
1990         Update test harness reporting.
1991
1992         * Animometer/developer.html: Add missing meta charset.
1993         * Animometer/index.html: Remove unnecessary utf-8 declaration.
1994         * Animometer/resources/debug-runner/animometer.css: Add convenience classes for
1995         formatting the results table.
1996         * Animometer/resources/debug-runner/animometer.js: Adjust which stats are shown.
1997         * Animometer/resources/debug-runner/tests.js: Display bootstrapping statistics.
1998         * Animometer/resources/strings.js: Move strings not used by the release harness.
1999
2000         Switch to a pseudo-random number generator.
2001
2002         * Animometer/resources/statistics.js: Add a Pseudo class, with a simple
2003         pseudo-random number generator.
2004         (_calculateRegression): Reset the generator before running bootstrap.
2005         (bootstrap): Deleted.
2006
2007         Replace Math.random with Pseudo.random.
2008         * Animometer/tests/master/resources/canvas-tests.js:
2009         * Animometer/tests/master/resources/focus.js:
2010         * Animometer/tests/master/resources/particles.js:
2011         * Animometer/tests/resources/main.js:
2012
2013         Use bootstrapping to get confidence interval in the breakpoint.
2014
2015         For the ramp controller, calculate the piecewise regression, and then use
2016         bootstrapping in order to find the 95% confidence interval. Use the raw data.
2017
2018         * Animometer/developer.html: Default to the complexity graph. Add a legend
2019         checkbox to toggle visibility of the bootstrap score and histogram.
2020         * Animometer/resources/debug-runner/animometer.css: Make some more space to show
2021         the old raw and average scores in the legend. Add new styles for the data.
2022         * Animometer/resources/debug-runner/graph.js:
2023         (_addRegressionLine): Allow passing an array for the variance bar tied to the
2024         regression line. Now |stdev| is |range|.
2025         (createComplexityGraph): Add bootstrap median, and overlay a histogram of
2026         the bootstrap samples. Switch raw samples from circles to X's.
2027         (onComplexityGraphOptionsChanged): Allow toggling of the bootstrap data.
2028         (onGraphTypeChanged): Move the regressions for the raw and average samples to the
2029         legend. In the subtitle use the bootstrap median, and include the 95% confidence
2030         interval.
2031         * Animometer/resources/runner/animometer.js:
2032         (this._processData.findRegression): Factor out the code that determines which
2033         samples to include when calculating the piecewise regression. For series that have
2034         many samples, or a wider range of recorded complexities, throw away the 2.5%
2035         lowest and highest samples before calculating the regression. Keep all samples
2036         if the number of samples to regress is small or the range of complexities is
2037         narrow.
2038         (this._processData._calculateScore): Factor out regression calculation to
2039         findRegression(). Bootstrap the change point of the regression. The score is the
2040         median.
2041         * Animometer/resources/statistics.js:
2042         (_calculateRegression): Correct an issue in the calculation of the regression, where
2043         the denominator can be 0.
2044         (bootstrap): Template for bootstrapping. Create a bootstrap sample array, Create
2045         re-samples by random selection with replacement. Return the 95% confidence samples,
2046         the bootstrap median, mean, and the data itself.
2047         * Animometer/resources/strings.js: Add bootstrap.
2048         * Animometer/tests/resources/main.js:
2049         (processSamples): Don't prematurely cut the sample data.
2050
2051         Fix graph drawing.
2052
2053         * Animometer/resources/debug-runner/animometer.js: Add spacing in the JSON output.
2054         Multiple tests output a lot of JSON and can hang when selecting JSON with no whitespace.
2055         * Animometer/resources/debug-runner/animometer.css:
2056         (#complexity-graph .series.raw circle): Update the color.
2057         * Animometer/resources/debug-runner/graph.js: Use the FPS axis instead of the
2058         complexity axis, which can vary in domain. For determining the complexity domain,
2059         only use samples after samplingTimeOffset.
2060
2061         Allow dropping results JSON.
2062
2063         * Animometer/developer.html: Add a button.
2064         * Animometer/resources/debug-runner/animometer.css:
2065         * Animometer/resources/debug-runner/animometer.js: Read the data and go straight
2066         to the dashboard. With JSON output, write out only the options and the raw data.
2067
2068         Teach the harness to evaluate the samples and determine the test score.
2069
2070         This will allow us to update how the score is calculated separately from the samples recorded.
2071         This also prepares the harness to be able to accept JSON of prior runs.
2072
2073         * Animometer/resources/strings.js: Clean up and remove unneeded strings and reduce some of the
2074         hierarchy.
2075         * Animometer/resources/debug-runner/tests.js: Update to use the new strings.
2076
2077         * Animometer/tests/resources/main.js: Allow all controllers to show a complexity-FPS graph.
2078         (_processComplexitySamples): Factor out some of the sample processing done in the ramp
2079         controller for the benefit of the other controllers. |complexitySamples| contains a list of
2080         samples. Sort the samples by complexity. Optionally remove the top x% of samples.
2081         Group them, and calculate distribution of samples within the same complexity, and add those as
2082         new entries into |complexityAverageSamples|.
2083         (Controller.processSamples): Move the code responsible for determining the complexity and FPS
2084         scores out to ResultsDashboard. The structure of the data returned by the controller is:
2085
2086         {
2087             controller: [time-regression, time-regression, ...], // optional, data specific to controller
2088             marks: [...],
2089             samples: {                    // all of the sample data
2090                 controller: [...],
2091                 complexity: [...],        // processed from controller samples
2092                 complexityAverage: [...], // processed from complexity samples
2093             }
2094         }
2095
2096         (AdaptiveController.processSamples): Adding the target frame length is no longer necessary; we
2097         now pass the test options to the graph.
2098         (Regression): Move to statistics.js.
2099         * Animometer/resources/statistics.js: Move Regression to here. Add a check if the sampling range
2100         only contains one sample, since we cannot calculate a regression from one sample point.
2101
2102         Teach the test harness to evaluate the data.
2103         * Animometer/resources/runner/animometer.js:
2104         (ResultsDashboard): Store the options used to run the test and the computed results/score separately
2105         from the data. The results are stored as:
2106
2107         {
2108             score: /* geomean of iteration score */,
2109             iterationsResults: [
2110                 {
2111                     score: /* geomean of tests */,
2112                     testsResults: {
2113                         suiteName: {
2114                             testName: {
2115                                 controller: {
2116                                     average:
2117                                     concern:
2118                                     stdev:
2119                                     percent:
2120                                 },
2121                                 frameLength: { ... },
2122                                 complexity: {
2123                                     complexity:
2124                                     stdev:
2125                                     segment1:
2126                                     segment2:
2127                                 },
2128                                 complexityAverage: { ... }
2129                             },
2130                             testName: { ... },
2131                         },
2132                         ... next suite ...
2133                     }
2134                 },
2135                 { ...next iteration... }
2136             ]
2137         }
2138
2139         * Animometer/resources/debug-runner/animometer.js: Pass options around instead of relying
2140         on what was selected in the form. This will later allow for dropping previous results, and
2141         using those runs' options when calculating scores.
2142         (ResultsTable._addGraphButton): Simplify button action by using attached test data.
2143         * Animometer/resources/debug-runner/graph.js: Refactor to use the data.
2144
2145         Consolidate JS files, and move statistics out to a separate JS.
2146
2147         Preparation for having the Controller only handle recording and storage of the samples,
2148         and leave the evaluation of the test score out to the harness. Move Experiment to
2149         a new statistics.js, where Regression will also eventually go. Get rid of algorithm.js
2150         and move it to utilities.js since the Heap is used only for Experiments.
2151
2152         * Animometer/tests/resources/algorithm.js: Removed. Heap is in utilities.js.
2153         * Animometer/tests/resources/sampler.js: Removed. Experiment is in statistics.js,
2154         Sampler in main.js.
2155         * Animometer/tests/resources/main.js: Move Sampler here.
2156         * Animometer/resources/statistics.js: Added. Move Statistics and Experiment here.
2157         * Animometer/resources/extensions.js: Move Heap here. Attach static method to create
2158         a max or min heap to Heap, instead of a new Algorithm object.
2159
2160         Update JS files.
2161         * Animometer/developer.html:
2162         * Animometer/index.html:
2163         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2164         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2165         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
2166         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
2167         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
2168         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
2169         * Animometer/tests/master/canvas-stage.html:
2170         * Animometer/tests/master/focus.html:
2171         * Animometer/tests/master/image-data.html:
2172         * Animometer/tests/master/multiply.html:
2173         * Animometer/tests/master/particles.html:
2174         * Animometer/tests/misc/canvas-electrons.html:
2175         * Animometer/tests/misc/canvas-stars.html:
2176         * Animometer/tests/misc/compositing-transforms.html:
2177         * Animometer/tests/simple/simple-canvas-paths.html:
2178         * Animometer/tests/simple/tiled-canvas-image.html:
2179         * Animometer/tests/template/template-canvas.html:
2180         * Animometer/tests/template/template-css.html:
2181         * Animometer/tests/template/template-svg.html:
2182         * Animometer/tests/text/layering-text.html:
2183         * Animometer/tests/text/text-boxes.html:
2184
2185         Fix the cursor in the graph analysis when the min
2186         complexity is not 0.
2187
2188         * Animometer/resources/debug-runner/graph.js:
2189         (_addRegression):
2190         (createComplexityGraph):
2191
2192 2016-02-23  Geoffrey Garen  <ggaren@apple.com>
2193
2194         Fix some issues in MallocBench
2195         https://bugs.webkit.org/show_bug.cgi?id=154600
2196
2197         Reviewed by Oliver Hunt.
2198
2199         * MallocBench/MallocBench.xcodeproj/project.pbxproj: Make nimlang.ops
2200         a part of the build so that it copies to the right place for execution.
2201
2202         * MallocBench/MallocBench/Interpreter.cpp:
2203         (Interpreter::Interpreter): Don't try to open .ops files for writing
2204         because we're only going to read and we might need extra permissions to
2205         write.
2206
2207         (Interpreter::~Interpreter): Give more context when opening a file fails
2208         to help with debugging.
2209
2210         * MallocBench/MallocBench/stress.cpp:
2211         (benchmark_stress): Reduce iterations to complete in less than 10 seconds.
2212
2213 2016-02-23  Michael Saboff  <msaboff@apple.com>
2214
2215         Unreviewed change to revert extraneous changes made part of change set 196955.
2216
2217         * MallocBench/MallocBench/Interpreter.cpp:
2218         (Interpreter::doMallocOp):
2219         (Interpreter::Thread::switchTo):
2220         (writeData): Deleted.
2221
2222 2016-02-19  Michael Saboff  <msaboff@apple.com>
2223
2224         MallocBench: Added recording for nimlang website, new recording details and added new options
2225         https://bugs.webkit.org/show_bug.cgi?id=154485
2226
2227         Reviewed by Geoff Garen.
2228
2229         Added new capabilities to MallocBench.  These include:
2230             Added a recording of http://nim-lang.org/docs/lib.html.
2231             Added thread id to the recording and the ability to playback switching threads in MallocBench
2232             Added aligned allocations to recordings and the ability to playback
2233             Added --use-thread-id option to honor recorded thread ids
2234             Added --detailed-report to output remaining allocations by size after playback
2235             Added --no-warmup to not run the warm up iteration
2236
2237         Changed the way that options are passed down to the benchmarks.  Instead of passing individual
2238         boolean or numeric option values, just pass a reference the CommandLine itself.  Each benchmark
2239         can access the options that are appropriate.  The Benchmark class also uses the options for
2240         is parallel, run counts and warm up.
2241
2242         Added thread id and aligned malloc to the Op by noticing that structure padding and Opcode allowed
2243         for another 32 bits of data.  Breaking that unused 32 bits into a 16 bit thread id value and a
2244         16 bit log base 2 of the alignment for aligned malloc allowed for existing recordings to playback
2245         without any incompatibilities.
2246
2247         Threaded operation is simulated by creating threads as needed.  As long as the next Op's thread id
2248         is the same as the last, operation continues as normal.  When the next Op has a different thread id,
2249         we switch to that thread using the shared Op stream to continue playing back.  There is a mutex to
2250         assure that only one thread is really running at a time and a condition variable used to wait
2251         that the current thread id matches each block thread's thread id.  This doesn't simulate true
2252         concurrent threading, but is instead plays back Ops recorded for multiple thread faithfully.
2253
2254         * MallocBench/MallocBench.xcodeproj/project.pbxproj:
2255         * MallocBench/MallocBench/Benchmark.cpp:
2256         (deallocateHeap):
2257         (Benchmark::Benchmark):
2258         (Benchmark::runOnce):
2259         (Benchmark::run):
2260         * MallocBench/MallocBench/Benchmark.h:
2261         (Benchmark::isValid):
2262         * MallocBench/MallocBench/CommandLine.cpp:
2263         (CommandLine::printUsage):
2264         * MallocBench/MallocBench/CommandLine.h:
2265         (CommandLine::isValid):
2266         (CommandLine::benchmarkName):
2267         (CommandLine::isParallel):
2268         (CommandLine::useThreadID):
2269         (CommandLine::detailedReport):
2270         (CommandLine::warmUp):
2271         (CommandLine::heapSize):
2272         (CommandLine::runs):
2273         * MallocBench/MallocBench/Interpreter.cpp:
2274         (Interpreter::Interpreter):
2275         (Interpreter::run):
2276         (Interpreter::readOps):
2277         (Interpreter::doOnSameThread):
2278         (Interpreter::switchToThread):
2279         (Interpreter::detailedReport):
2280         (compute2toPower):
2281         (writeData):
2282         (Interpreter::doMallocOp):
2283         (Interpreter::Thread::Thread):
2284         (Interpreter::Thread::stop):
2285         (Interpreter::Thread::~Thread):
2286         (Interpreter::Thread::runThread):
2287         (Interpreter::Thread::waitToRun):
2288         (Interpreter::Thread::switchTo):
2289         * MallocBench/MallocBench/Interpreter.h:
2290         (Interpreter::Thread::isMainThread):
2291         * MallocBench/MallocBench/alloc_free.cpp: Added.
2292         (benchmark_alloc_free):
2293         * MallocBench/MallocBench/alloc_free.h: Added.
2294         * MallocBench/MallocBench/balloon.cpp:
2295         (benchmark_balloon):
2296         * MallocBench/MallocBench/balloon.h:
2297         * MallocBench/MallocBench/big.cpp:
2298         (benchmark_big):
2299         * MallocBench/MallocBench/big.h:
2300         * MallocBench/MallocBench/churn.cpp:
2301         (benchmark_churn):
2302         * MallocBench/MallocBench/churn.h:
2303         * MallocBench/MallocBench/facebook.cpp:
2304         (benchmark_facebook):
2305         * MallocBench/MallocBench/facebook.h:
2306         * MallocBench/MallocBench/flickr.cpp:
2307         (benchmark_flickr):
2308         (benchmark_flickr_memory_warning):
2309         * MallocBench/MallocBench/flickr.h:
2310         * MallocBench/MallocBench/fragment.cpp:
2311         (validate):
2312         (benchmark_fragment):
2313         (benchmark_fragment_iterate):
2314         * MallocBench/MallocBench/fragment.h:
2315         * MallocBench/MallocBench/list.cpp:
2316         (benchmark_list_allocate):
2317         (benchmark_list_traverse):
2318         * MallocBench/MallocBench/list.h:
2319         * MallocBench/MallocBench/main.cpp:
2320         (main):
2321         * MallocBench/MallocBench/medium.cpp:
2322         (benchmark_medium):
2323         * MallocBench/MallocBench/medium.h:
2324         * MallocBench/MallocBench/memalign.cpp:
2325         (test):
2326         (benchmark_memalign):
2327         * MallocBench/MallocBench/memalign.h:
2328         * MallocBench/MallocBench/message.cpp:
2329         (benchmark_message_one):
2330         (benchmark_message_many):
2331         * MallocBench/MallocBench/message.h:
2332         * MallocBench/MallocBench/nimlang.cpp: Added.
2333         (benchmark_nimlang):
2334         * MallocBench/MallocBench/nimlang.h: Added.
2335         * MallocBench/MallocBench/nimlang.ops: Added.
2336         * MallocBench/MallocBench/realloc.cpp:
2337         (benchmark_realloc):
2338         * MallocBench/MallocBench/realloc.h:
2339         * MallocBench/MallocBench/reddit.cpp:
2340         (benchmark_reddit):
2341         (benchmark_reddit_memory_warning):
2342         * MallocBench/MallocBench/reddit.h:
2343         * MallocBench/MallocBench/stress.cpp:
2344         (deallocate):
2345         (benchmark_stress):
2346         * MallocBench/MallocBench/stress.h:
2347         * MallocBench/MallocBench/stress_aligned.cpp:
2348         (benchmark_stress_aligned):
2349         * MallocBench/MallocBench/stress_aligned.h:
2350         * MallocBench/MallocBench/theverge.cpp:
2351         (benchmark_theverge):
2352         (benchmark_theverge_memory_warning):
2353         * MallocBench/MallocBench/theverge.h:
2354         * MallocBench/MallocBench/tree.cpp:
2355         (benchmark_tree_allocate):
2356         (benchmark_tree_traverse):
2357         (benchmark_tree_churn):
2358         * MallocBench/MallocBench/tree.h:
2359         * MallocBench/run-malloc-benchmarks:
2360
2361 2016-02-11  Jon Lee  <jonlee@apple.com>
2362
2363         Fix a missing refactoring.
2364
2365         * Animometer/tests/master/resources/multiply.js:
2366         (animate): Move to Utilities.lerp.
2367         (_lerp): Deleted.
2368
2369 2016-02-10  Jon Lee  <jonlee@apple.com>
2370
2371         Add new benchmark tests.
2372         https://bugs.webkit.org/show_bug.cgi?id=154063
2373
2374         Provisionally reviewed by Said Abou-Hallawa.
2375
2376         Add tests for get/put image data, filters, opacity, and css transforms.
2377
2378         * Animometer/resources/runner/benchmark-runner.js:
2379         (_runBenchmarkAndRecordResults): Update the body background color to match that of
2380         the stage.
2381         (this._runNextIteration): Clear the background color style for the results page.
2382         * Animometer/resources/runner/tests.js:
2383         * Animometer/tests/master/focus.html: Added.
2384         * Animometer/tests/master/image-data.html: Added.
2385         * Animometer/tests/master/multiply.html: Added.
2386         * Animometer/tests/master/resources/focus.js: Added.
2387         * Animometer/tests/master/resources/image-data.js: Added.
2388         * Animometer/tests/master/resources/multiply.js: Added.
2389         * Animometer/tests/master/resources/stage.css: Move common styles out.
2390         * Animometer/tests/resources/main.js: Update Stage.randomBool to use Math.random.
2391         Add Stage.randomSign for randomly setting a direction. Add the notion of the
2392         current timestamp of the test to Benchmark, since some animations cycle through
2393         colors and rely on an incremental counter like the time.
2394
2395 2016-02-09  Said Abou-Hallawa  <sabouhallawa@apple.com>
2396
2397         Add internal benchmark tests for CSS mix-blend-modes and filters
2398         https://bugs.webkit.org/show_bug.cgi?id=154058
2399
2400         Provisionally reviewed by Jon Lee.
2401
2402         * Animometer/resources/debug-runner/tests.js: Include the new tests in the
2403         "HTML suite" of the debug runner.
2404
2405         * Animometer/resources/extensions.js:
2406         (Utilities.browserPrefix):
2407         (Utilities.setElementPrefixedProperty): Utility functions to allow setting
2408         prefixed style properties.
2409
2410         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2411         Set the mix-blend-mode and the filter to some random values if the options
2412         of the test requested that.
2413
2414         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2415         (parseShapeParameters): Parse the url options "blend" and "filter" and set
2416         the corresponding flags.
2417
2418         * Animometer/tests/resources/main.js:
2419         (randomStyleMixBlendMode):
2420         (randomStyleFilter): Return random mix-blend-mode and filter.
2421
2422 2016-02-08  Jon Lee  <jonlee@apple.com>
2423
2424         Add a ramp controller
2425         https://bugs.webkit.org/show_bug.cgi?id=154028
2426
2427         Provisionally reviewed by Said Abou-Hallawa.
2428
2429         Enhance the graph to include a complexity-fps graph, in addition
2430         to the time graph.
2431
2432         * Animometer/developer.html: Add a ramp option.
2433         * Animometer/resources/debug-runner/animometer.css: Update the style.
2434         * Animometer/resources/strings.js: Flatten the Strings.text constants.
2435         * Animometer/resources/debug-runner/animometer.js:
2436         (ResultsTable.call._addGraphButton): Refactor.
2437         (ResultsTable.call._addTest): Add regression data.
2438         (benchmarkController): Add a form that allows the user to switch between the two forms,
2439         Add a form that allows the user to toggle different data. Hide certain header columns
2440         depending on the selected controller.
2441         * Animometer/resources/debug-runner/graph.js: Add the complexity regressions.
2442         * Animometer/resources/debug-runner/tests.js: Add headers for the ramp results.
2443         * Animometer/resources/runner/animometer.js:
2444         (ResultsTable): If a header is disabled don't include them in _flattenedHeaders.
2445         * Animometer/tests/resources/main.js:
2446         (Controller): Allow options to specify the capacity for sample arrays.
2447         (Regression): A piecewise regression that tries to fit a slope and a flat profile.
2448         (_calculateRegression): Options can fix the slope and bias when calculating the minimal
2449         error. Sweep across the samples in time (which could be backward depending on the controller)
2450         and calculate the intersection point.
2451         (RampController): This controller assumes that the target frame rate is below
2452         58 FPS. It runs in two stages. The first stage quickly determines the order of
2453         magnitude of objects needed to stress the system by the setting the complexity
2454         to increasingly difficult tiers. Perform a series of ramps descending from a
2455         high-water mark of complexity. The complexity needed to reach the target frame
2456         length is done by performing a piecewise regression on each ramp, and track a
2457         running average of these values. For the next ramp, make that running average
2458         the center of the ramp. With a minimum complexity of 0, the high-water mark is
2459         twice that average. The score is based on the highest complexity that can
2460         reach 60 fps.
2461
2462 2016-02-08  Jon Lee  <jonlee@apple.com>
2463
2464         Address Said's comments on the benchmark, and do some clean up.
2465
2466         * Animometer/developer.html:
2467         * Animometer/resources/debug-runner/animometer.css: Add styles for averages.
2468         * Animometer/resources/debug-runner/animometer.js: Use the right
2469         Strings constants.
2470         * Animometer/resources/debug-runner/graph.js:
2471         (_addRegressionLine): Add missing code to draw the line and standard
2472         deviation highlight.
2473         (onGraphTypeChanged): Remove unneeded variables
2474         (onTimeGraphOptionsChanged):
2475         * Animometer/resources/runner/benchmark-runner.js:
2476         (_runBenchmarkAndRecordResults): Rename samplers to suiteResults and
2477         _suitesSamplers to _suitesResults.
2478         * Animometer/tests/resources/main.js:
2479         (results): Call processSamples().
2480         (update): Change sampling timestamp comparison.
2481         (_animateLoop): Move shouldStop call to before the update.
2482         * Animometer/tests/resources/sampler.js:
2483         (process): Rename to processSamples().
2484
2485 2016-02-07  Jon Lee  <jonlee@apple.com>
2486
2487         Teach Controller to measure intervals, and turn off the frame length estimator.
2488
2489         * Animometer/tests/resources/main.js: Default interval length is 100 ms.
2490         (start): Set the first interval.
2491         (_measureAndResetInterval): Reports the average frame length of the interval that just
2492         completed, and sets up the next interval.
2493         (update): If there is no length, then just use the estimator per frame, otherwise the
2494         estimator measures per interval. Add a didFinishInterval for subclasses to process
2495         prior to recording the sample. Update tune() to include whether an interval had
2496         finished.
2497         (StepController): Step controllers don't measure on an interval basis.
2498
2499 2016-02-07  Jon Lee  <jonlee@apple.com>
2500
2501         Minor refactoring. Rename Controller._estimator to Controller._frameLengthEstimator
2502         and switch the parameters for start(), update(), and tune(), so that the timestamp
2503         is first and stage is second.
2504
2505         * Animometer/tests/resources/main.js:
2506
2507 2016-02-07  Jon Lee  <jonlee@apple.com>
2508
2509         Move ResultsTable functionality not needed for release tests out.
2510         Move reporting of score and mean to selection of the time-based graph.
2511
2512         * Animometer/developer.html: Rename graph-options to time-graph-options.
2513         * Animometer/resources/debug-runner/animometer.js:
2514         (DeveloperResultsTable): Moved from runner/animometer.js. Switch from mean
2515         values to "average" objects which can hold stdev. Move graph button and
2516         calculation of noisy measurements here. Sophisticated header processing
2517         is not needed in release suite.
2518         (populateTable): Use DeveloperResultsTable.
2519         * Animometer/resources/debug-runner/graph.js: Pull time graph creation to
2520         its own function, and add a new onGraphTypeChanged handler in preparation
2521         of a complexity graph to be added later.
2522         * Animometer/resources/runner/animometer.js:
2523         (ResultsTable): Simplify to just handle test names and scores.
2524
2525 2016-02-07  Jon Lee  <jonlee@apple.com>
2526
2527         Tests: reuse objects already made.
2528
2529         Avoid thrash of object creation and removal by maintaining an index that
2530         moves along the array as the adjust values change. If the tune value
2531         requires more objects than the maximum size of the object array, then create
2532         new objects. This means that the object array size never decreases.
2533
2534         * Animometer/tests/master/resources/canvas-stage.js: Maintain a separate
2535         offsetIndex. For these tests, we want to avoid drawing the oldest objects,
2536         so the scene will draw the object at offsetIndex to the end of the array.
2537         (tune): Reverse the logic since "removal" of objects is much simpler and
2538         involves simply changing the offsetIndex.
2539         (animate): Update the for loop to draw from offsetIndex to the end.
2540         (complexity): Update the definition.
2541         * Animometer/tests/master/resources/canvas-tests.js: Maintain a separate
2542         offsetIndex. For these tests, we want to avoid drawing the newest objects,
2543         so the scene will draw the object at index 0 to the object at offsetIndex.
2544         (SimpleCanvasStage.animate): Fly-by removal of local stage variable,
2545         which is unneeded. Update the for loop to draw from offsetIndex to the end.
2546         * Animometer/tests/simple/resources/simple-canvas-paths.js:
2547         (SimpleCanvasStage.animate): Update the for loop to draw from 0 to
2548         offsetIndex.
2549         * Animometer/tests/simple/resources/simple-canvas.js:
2550         (tune): Update logic. Here, offsetIndex represents the boundary of the last
2551         index to render.
2552         (animate): Update the for loop to draw from 0 to offsetIndex.
2553         (complexity): Update the definition.
2554
2555 2016-02-07  Jon Lee  <jonlee@apple.com>
2556
2557         Tests: refactor and update styles.
2558
2559         * Animometer/tests/resources/main.js: Add helper methods that return
2560         a color that hue rotates based on the date, and a counter value that
2561         increases based on the date. Fix randomInt() to not bias against the min and
2562         max values.
2563
2564         * Animometer/tests/master/resources/canvas-tests.js: Use new helper methods.
2565         * Animometer/tests/master/resources/dom-particles.js: Ditto.
2566         * Animometer/tests/master/resources/particles.js: Ditto.
2567         * Animometer/tests/simple/resources/simple-canvas-paths.js: Refactor to
2568         use a rotating color instead of a random color. The fast switching of color
2569         is too vivid to watch.
2570
2571         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2572         (BouncingSvgParticlesStage.call.createGradient): Fix the gradient so
2573         that the last stop is located at the end.
2574
2575 2016-02-07  Jon Lee  <jonlee@apple.com>
2576
2577         Refactor tune() to not return the complexity of the scene.
2578
2579         We have stage.complexity() now, so returning the complexity through tune
2580         is unnecessary.
2581
2582         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2583         * Animometer/tests/master/resources/canvas-stage.js:
2584         * Animometer/tests/master/resources/particles.js:
2585         * Animometer/tests/misc/resources/canvas-electrons.js:
2586         * Animometer/tests/misc/resources/canvas-stars.js:
2587         * Animometer/tests/resources/main.js:
2588         * Animometer/tests/simple/resources/simple-canvas.js:
2589         * Animometer/tests/simple/resources/tiled-canvas-image.js:
2590         * Animometer/tests/template/resources/template-canvas.js:
2591         * Animometer/tests/template/resources/template-css.js:
2592         * Animometer/tests/template/resources/template-svg.js:
2593         * Animometer/tests/text/resources/layering-text.js:
2594
2595 2016-02-07  Jon Lee  <jonlee@apple.com>
2596
2597         Make the fixed controller a step controller instead. Halfway through the test
2598         it will bump up the complexity 4-fold. Calculate the step timestamp using options
2599         instead of a separate parameter to the Controller constructor.
2600
2601         * Animometer/developer.html: Change value to "step"
2602         * Animometer/resources/debug-runner/animometer.js:
2603         (window.suitesManager.updateEditsElementsState): Show number inputs when set to "step".
2604         * Animometer/tests/resources/main.js:
2605         (update): Provide a hook for subclasses to tune.
2606         (StepController): Maintain a flag determining whether we've stepped, and the time
2607         we should step.
2608         (Benchmark): Use the new StepController.
2609
2610 2016-02-07  Jon Lee  <jonlee@apple.com>
2611
2612         Adjust the FPS graph scale.
2613
2614         Instead of making the FPS graph linearly scale, scale it based on the frame length,
2615         but show the data in terms of FPS. Because it is inversely proportional, and most
2616         of the data never gets below 20, concentrate the axis from 20-60 FPS, since otherwise
2617         over half of the available graph space ends up blank.
2618
2619         This means we should convert all of the FPS data to frame length data.
2620
2621         * Animometer/resources/debug-runner/graph.js: Update the domain to be based on
2622         frame length in milliseconds instead of FPS. Update the cursor to consider all of the
2623         values being shown, and then pick the min and max values to represent the length of the
2624         cursor.
2625         * Animometer/resources/runner/animometer.js:
2626         * Animometer/resources/strings.js:
2627         * Animometer/tests/resources/main.js:
2628         (processSamples): Add the ability to only sample a range of the data instead of everything
2629         after an offset index. Update sampler to record the frame lengths instead of the frame
2630         rate.
2631
2632 2016-02-07  Jon Lee  <jonlee@apple.com>
2633
2634         Add option to use different methods for retrieving a timestamp.
2635
2636         * Animometer/developer.html: Add performance.now and Date.now options.
2637         * Animometer/resources/runner/animometer.js: Default to performance.now.
2638         (window.benchmarkController.startBenchmark):
2639         * Animometer/tests/resources/main.js: Tie the desired method to _getTimestamp.
2640         (run): Use _getTimestamp.
2641         (_animateLoop): Ditto.
2642
2643 2016-02-07  Jon Lee  <jonlee@apple.com>
2644
2645         Allow adding any number of markers to the graph. The markers can be labeled
2646         and contain timestamp and sample index data. Make it a part of the controller
2647         rather than keeping it in the sampler.
2648
2649         * Animometer/resources/debug-runner/animometer.css: Add styles for markers
2650         * Animometer/resources/debug-runner/graph.js: Create the markers and add
2651         text labels.
2652         * Animometer/resources/runner/animometer.js: Assume the samplingTimeOffset
2653         is just one of the marks provided.
2654         * Animometer/resources/strings.js: Add Strings.json.marks.
2655         * Animometer/tests/resources/main.js:
2656         (Controller): Keep marks here. They are keyed by the marker name, so no two
2657         markers should have the same name.
2658         (recordFirstSample): Refactor to use mark.
2659         (mark): Allows for arbitrary data if needed later. The timestamp maintained
2660         is relative to the absolute start timestamp.
2661         (containsMark): Checks whether a mark with a specific comment exists.
2662         (processSamples): Removes the _startTimestamp offset from the marks before
2663         setting it in results.
2664         * Animometer/tests/resources/sampler.js: Remove marks.
2665
2666 2016-02-07  Jon Lee  <jonlee@apple.com>
2667
2668         Get rid of options member variable in Benchmark.
2669
2670         Options are only needed when initializing the stage or benchmark, so there's no
2671         need to also keep a reference to it.
2672
2673         * Animometer/tests/resources/main.js: Get rid of options variable in Benchmark.
2674         Pass options to Controllers and Stages.
2675         (Controller.Utilities.createClass):
2676         (Benchmark.Utilities.createClass):
2677         (get options): Deleted.
2678
2679         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
2680         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
2681         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
2682         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
2683         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2684         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2685         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
2686         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2687         * Animometer/tests/master/resources/canvas-stage.js:
2688         * Animometer/tests/master/resources/canvas-tests.js:
2689         * Animometer/tests/master/resources/particles.js:
2690         * Animometer/tests/misc/resources/canvas-electrons.js:
2691         * Animometer/tests/misc/resources/canvas-stars.js:
2692         * Animometer/tests/misc/resources/compositing-transforms.js:
2693         * Animometer/tests/simple/resources/simple-canvas-paths.js:
2694         * Animometer/tests/simple/resources/tiled-canvas-image.js:
2695         * Animometer/tests/template/resources/template-canvas.js:
2696         * Animometer/tests/template/resources/template-css.js:
2697         * Animometer/tests/template/resources/template-svg.js:
2698         * Animometer/tests/text/resources/layering-text.js:
2699
2700 2016-02-07  Jon Lee  <jonlee@apple.com>
2701
2702         Update how the benchmark is run
2703         https://bugs.webkit.org/show_bug.cgi?id=153960
2704
2705         Provisionally reviewed by Said Abou-Hallawa.
2706
2707         Introduce the notion of a Controller. It is responsible for recording, updating,
2708         and processing the statistics and complexity of the benchmark. This allows
2709         plugging in different Controllers.
2710
2711         This strips most of the functionality from Animator and BenchmarkState, so fold
2712         what's left into Benchmark. Now, Benchmarks only own a stage and a controller, but
2713         are responsible for driving the animation loop.
2714
2715         Rewrite Animator._shouldRequestAnotherFrame into two different Controllers. One
2716         maintains a fixed complexity, and the other adapts the complexity to meet a
2717         fixed FPS.
2718
2719         Fix the Kalman estimator to be modeled on a scalar variable with no model.
2720
2721         * Animometer/tests/resources/main.js: Remove BenchmarkState and Animator, and
2722         replace it with a Controller. Add a FixedController and refactor the previous controller
2723         to an AdaptiveController.
2724
2725         (Controller): Controllers own the estimator and the sampler. When a new frame is
2726         displayed, the animation loop calls update(). The estimator and sampler record
2727         stats, then tune. Samplers can track multiple series of data. The basic controller
2728         tracks timestamp, complexity, and estimated frame rate.
2729                 The Kalman estimation is based on the frame length rather than the frame
2730         rate. Because FPS is inverse proportional to frame length, in the case where the measured
2731         frame length is very small, the FPS ends up being a wildly large number (in the order of
2732         600-1000 "FPS"), and it pulls the estimator up drastically enough that it takes a while
2733         for it to settle back down. Using frame length reduces the impact of these spikes.
2734                 Converging the estimation takes enough time to avoid initializing it immediately
2735         when the benchmark starts. Instead, the benchmark runs for a brief period of time (100ms)
2736         before running it in earnest. Allow controllers an opportunity to set the complexity
2737         before starting recording.
2738                 When the benchmark is complete, the controller has an opportunity to process
2739         the samples. The default implementation calculates the raw FPS based on the time
2740         difference of the samples, and calculates the complexity score. This is moved from
2741         Benchmark.processSamples.
2742
2743         (Controller): Initialize timestamps. These are at first relative to the start of the
2744         benchmark, but are offset by the absolute start time during start(). By default maintain
2745         3 data series, but subclasses can override.
2746         (start): Calls recordFirstSample() for subclasses to override if needed.
2747         (recordFirstSample): For basic controller, start sampling at the beginning.
2748         (update): Update the frame length estimator and sample.
2749         (shouldStop): Checks that the time is before _endTimestamp.
2750         (results): Returns the processed samples.
2751         (processSamples): Iterate through the sample data and collate them. Include scores.
2752
2753         (FixedComplexityController): Controller that tunes the stage to the desired complexity
2754         prior to starting, and keeps it at that complexity.
2755
2756         (AdaptiveController): Have the estimator estimate the interval frame rate instead of the
2757         raw frame rate.
2758                 The previous version of this controller ignored the frame that came after the
2759         adjustment. The raw FPS show that whatever noise the scene change adds is negligible
2760         compared to the noise of the system overall. Stop ignoring that frame and include all
2761         frames in the measurements.
2762
2763         (Benchmark): Remove dependency on animator, and instantiate a runner based on what is
2764         selected. Most of the loop's functionality is in Controller, so remove here.
2765         (Benchmark.run): Remove start() since it is only called from run(), and fold it in here.
2766         (Benchmark._animateLoop): Fold in from Animator.animateLoop. Let the benchmark run for
2767         a brief period before calling Controller.start().
2768
2769         * Animometer/tests/resources/math.js: Fix the Kalman estimator. The filter estimates
2770         a scalar variable, and makes basic assumptions regarding the model. As a result
2771         none of the linear algebra classes are needed, so remove Matrix, Vector3, and Matrix3.
2772         (SimpleKalmanEstimator): Calculate the gain based on the provided process and
2773         measurement errors.
2774         (KalmanEstimator): Deleted.
2775         (IdentityEstimator): Deleted.
2776         (PIDController): Refactor to use the Utilities.createClass() helper.
2777
2778         The Kalman filter algorithm is explained here http://greg.czerniak.info/guides/kalman1/.
2779         The state, represented by a scalar, is the estimated frame length. There is no user
2780         transition of the state, and the state is the same as the measurement. With this model,
2781         the estimation error converges, so calculate the gain ahead of time.
2782
2783         * Animometer/developer.html: Remove fixed-after-warmup since it is not useful.
2784         Replace the option to toggle the estimator, and make it possible to customize the
2785         estimator's error parameters. Show raw FPS by default, and remove interval FPS,
2786         which will be shown instead of the filtered raw FPS.
2787         * Animometer/resources/debug-runner/animometer.css: Put the header behind the graph.
2788         Remove #intervalFPS rules; move the color to #filteredFPS.
2789         * Animometer/resources/debug-runner/graph.js:
2790         (updateGraphData): Update the hr style to force the layout to be calculated
2791         correctly. Change the tick format to be in terms of seconds, since the timestamps
2792         are in milliseconds. Remove interval data.
2793         * Animometer/resources/runner/animometer.js:
2794         (window.benchmarkController.startBenchmark): Set Kalman parameters.
2795         * Animometer/resources/runner/benchmark-runner.js:
2796         (_runBenchmarkAndRecordResults): When a benchmark completes, expect it to return
2797         the final data, rather than passing a sampler from the controller. This avoids
2798         needing to expose the sampler variable in the benchmark.
2799         * Animometer/tests/resources/sampler.js:
2800         (process): Move the setting of the target frame rate to AdaptiveController.
2801
2802 2016-02-06  Jon Lee  <jonlee@apple.com>
2803
2804         Code clean up: Move Rotater function closer to Stage static methods.
2805         The Rotater is used together with those methods; keep them close.
2806
2807         * Animometer/tests/resources/main.js:
2808
2809 2016-02-06  Jon Lee  <jonlee@apple.com>
2810
2811         Update the JS includes due to ResultsTable move.
2812
2813         * Animometer/developer.html:
2814         * Animometer/index.html:
2815
2816 2016-02-06  Jon Lee  <jonlee@apple.com>
2817
2818         Move createElement and createSVGElement to Utilities.
2819
2820         * Animometer/resources/extensions.js:
2821         (Utilities.createElement): Added.
2822         (Utilities.createSVGElement): Added.
2823         (DocumentExtension.createElement): Deleted.
2824         (DocumentExtension.createSvgElement): Deleted.
2825
2826         * Animometer/resources/debug-runner/animometer.js:
2827         * Animometer/resources/runner/animometer.js:
2828         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
2829         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js:
2830         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2831
2832 2016-02-06  Jon Lee  <jonlee@apple.com>
2833
2834         Add a convenience function for creating a class.
2835
2836         The pattern for creating a class is common enough to add as a Utilities
2837         helper function. It also makes it easy to collapse class definitions when
2838         editing.
2839
2840         * Animometer/resources/debug-runner/animometer.js: Move ProgressBar definition,
2841         since it is only used here.
2842         * Animometer/resources/runner/animometer.js: Move ResultsDashboard and
2843         ResultsTable definition, since it is only used here.
2844         * Animometer/resources/extensions.js: Move Utilities definition to the top. Convert
2845         Point, Insets, SimplePromise.
2846         (ProgressBar): Moved to animometer.js.
2847         (ResultsDashboard): Moved to animometer.js.
2848         (ResultsTable): Moved to animometer.js.
2849         * Animometer/resources/runner/benchmark-runner.js: Convert BenchmarkRunnerState,
2850         BenchmarkRunner.
2851         * Animometer/tests/resources/main.js: Convert Rotater, Stage, Animator, Benchmark.
2852         * Animometer/tests/resources/sampler.js: Convert Experiment, Sampler.
2853
2854         Convert test primitives.
2855         * Animometer/tests/master/resources/canvas-tests.js: Convert CanvasLineSegment,
2856         CanvasArc, CanvasLinePoint.
2857         * Animometer/tests/simple/resources/simple-canvas-paths.js: Convert CanvasLineSegment,
2858         CanvasLinePoint, CanvasQuadraticSegment, CanvasQuadraticPoint, CanvasBezierSegment,
2859         CanvasBezierPoint, CanvasArcToSegment, CanvasArcToSegmentFill, CanvasArcSegment,
2860         CanvasArcSegmentFill, CanvasRect, CanvasRectFill.
2861         * Animometer/tests/simple/resources/tiled-canvas-image.js: Convert CanvasImageTile.
2862
2863 2016-02-06  Jon Lee  <jonlee@apple.com>
2864
2865         Minor improvements to debug harness.
2866
2867         * Animometer/developer.html:
2868         * Animometer/resources/debug-runner/animometer.css:
2869         (#suites): Put the complexity text boxes closer to the test names.
2870         (#options):
2871         (#rawFPS circle): Make the interval FPS appear as a separate data series, with a line.
2872         (#intervalFPS path):
2873         (#intervalFPS circle):
2874         * Animometer/resources/debug-runner/animometer.js:
2875         (window.optionsManager.updateLocalStorageFromUI): Convert number inputs from text.
2876         (window.suitesManager._onChangeTestCheckbox): Refactor to take a checkbox.
2877         (window.suitesManager._createTestElement): Enhance such that typing into the complexity
2878         input will automatically select that test for running.
2879         (window.suitesManager.updateLocalStorageFromJSON): Make the harness work for private
2880         browsing.
2881         * Animometer/resources/debug-runner/graph.js: Separate the intervalFPS data, and show
2882         more accuracy in timestamps.
2883
2884 2016-02-06  Jon Lee  <jonlee@apple.com>
2885
2886         Refactor helper methods for getting random values for a stage.
2887
2888         Instead of requiring a Stage instance, just attach it to the Stage object.
2889
2890         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
2891         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
2892         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
2893         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
2894         * Animometer/tests/master/resources/canvas-tests.js:
2895         * Animometer/tests/master/resources/particles.js:
2896         * Animometer/tests/misc/resources/canvas-electrons.js:
2897         * Animometer/tests/misc/resources/canvas-stars.js:
2898         * Animometer/tests/misc/resources/compositing-transforms.js:
2899         * Animometer/tests/resources/main.js:
2900         * Animometer/tests/simple/resources/simple-canvas-paths.js:
2901
2902 2016-02-05  Said Abou-Hallawa  <sabouhallawa@apple.com>
2903
2904         Add a new graphics test for CanvasRenderingContext2D functions: getImageData and putImageData
2905         https://bugs.webkit.org/show_bug.cgi?id=151716
2906
2907         Reviewed by Darin Adler.
2908
2909         The purpose of this test is to measure the performance of getImageData
2910         and putImageData functions. This test draws a background on the canvas
2911         and then gets some random tiles from this background and draw them in
2912         destinations different from their original sources.
2913
2914         * Animometer/resources/debug-runner/tests.js: Adding the new test to the canvas simple tests suite.
2915
2916         * Animometer/resources/extensions.js:
2917         (Array.prototype.shuffle): Shuffles the elements of an array.
2918
2919         (Point.zero): Returns a new Point object whose x and y are equal zero.
2920         (Point.prototype.str): Used for debugging the Point object.
2921
2922         * Animometer/tests/simple/resources/tiled-canvas-image.js: Added.
2923         (CanvasImageTile):
2924         (CanvasImageTile.prototype.getImageData):
2925         (CanvasImageTile.prototype.putImageData):
2926         (Stage.call.initialize):
2927         (Stage.call._createTiles):
2928         (Stage.call._nextTilePosition):
2929         (Stage.call.tune):
2930         (Stage.call._drawBackground):
2931         (Stage.call.animate):
2932         (Stage.call.complexity):
2933         (Stage.call):
2934         * Animometer/tests/simple/tiled-canvas-image.html: Added.
2935
2936 2016-01-07  Jon Lee  <jonlee@apple.com>
2937
2938         Fix new test.
2939
2940         * Animometer/resources/runner/tests.js: Wrong URL from an
2941         old patch.
2942         * Animometer/tests/master/particles.html:
2943         * Animometer/tests/master/resources/dom-particles.js:
2944         (Particle.call.reset): Figured out a simpler way to set up
2945         the particles.
2946         (this.move.reset): Deleted.
2947         (this.move._applyAttributes): Deleted.
2948         * Animometer/tests/master/resources/particles.js:
2949         (Particle): Call move() after reset().
2950
2951 2016-01-07  Jon Lee  <jonlee@apple.com>
2952
2953         Update benchmark test suite
2954         https://bugs.webkit.org/show_bug.cgi?id=152679
2955
2956         Reviewed by Simon Fraser.
2957
2958         Add a new test. The test has a rotating background
2959         gradient, and does a better job physically simulating
2960         particles.
2961
2962         * Animometer/resources/extensions.js: Teach Point to take constants as well as other Points.
2963         (Point.prototype.length): Added.
2964         (Point.prototype.normalize): Added.
2965         * Animometer/resources/runner/tests.js: Add the test to the master suite.
2966         * Animometer/tests/master/particles.html: Added.
2967         * Animometer/tests/master/resources/particles.js: Added. Parent class for different kinds of particles.
2968         (Particle):
2969         (Particle.prototype.reset): If the particle starts slowing down in terms of its animation,
2970         reset it.
2971         (Particle.prototype.animate): Bounce off the walls elastically, and include gravity.
2972         (Particle.prototype.move): Subclasses should override.
2973         (ParticlesStage): Stage includes a rotating gradient background.
2974         * Animometer/tests/master/resources/dom-particles.js: Added. Creates a <div> and adds it to
2975         the stage.
2976         * Animometer/tests/resources/star.svg: Added.
2977
2978 2016-01-03  Jon Lee  <jonlee@apple.com>
2979
2980         Update benchmark test suite
2981         https://bugs.webkit.org/show_bug.cgi?id=152679
2982
2983         Reviewed by Simon Fraser.
2984
2985         Move algorithm.js and sampler.js to tests/ and benchmark-runner.js to runner/.
2986
2987         Needed by both harnesses.
2988         * Animometer/resources/runner/benchmark-runner.js: Renamed from PerformanceTests/Animometer/resources/debug-runner/benchmark-runner.js.
2989         * Animometer/developer.html:
2990         * Animometer/index.html:
2991
2992         Needed only by the tests. Move to tests/. Statistics, in sampler.js, is used by ResultsDashboard, so move that
2993         into extensions.js.
2994         * Animometer/resources/extensions.js:
2995         * Animometer/tests/resources/algorithm.js: Renamed from PerformanceTests/Animometer/resources/algorithm.js.
2996         * Animometer/tests/resources/sampler.js: Renamed from PerformanceTests/Animometer/resources/sampler.js.
2997         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html:
2998         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html:
2999         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3000         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3001         * Animometer/tests/bouncing-particles/bouncing-svg-images.html:
3002         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html:
3003         * Animometer/tests/master/canvas-stage.html:
3004         * Animometer/tests/misc/canvas-electrons.html:
3005         * Animometer/tests/misc/canvas-stars.html:
3006         * Animometer/tests/misc/compositing-transforms.html:
3007         * Animometer/tests/simple/simple-canvas-paths.html:
3008         * Animometer/tests/template/template-canvas.html:
3009         * Animometer/tests/template/template-css.html:
3010         * Animometer/tests/template/template-svg.html:
3011         * Animometer/tests/text/layering-text.html:
3012         * Animometer/tests/text/text-boxes.html:
3013
3014 2016-01-07  Jon Lee  <jonlee@apple.com>
3015
3016         Update benchmark test suite
3017         https://bugs.webkit.org/show_bug.cgi?id=152679
3018
3019         Reviewed by Simon Fraser.
3020
3021         Fix tests for other browsers.
3022
3023         * Animometer/resources/extensions.js:
3024         (Point.elementClientSize): Some browsers return 0 for SVG clientWidth and clientHeight.
3025         Use getBoundingClientRect() instead.
3026         * Animometer/tests/misc/resources/canvas-electrons.js:
3027         (CanvasElectron.prototype._draw): Some browsers don't support ellipse.
3028
3029 2016-01-07  Jon Lee  <jonlee@apple.com>
3030
3031         Add a waitUntilReady() step
3032         https://bugs.webkit.org/show_bug.cgi?id=152862
3033
3034         Reviewed by Simon Fraser.
3035
3036         Add a waitUntilReady() callback that lets the benchmark complete
3037         its setup before running the benchmark.
3038
3039         * Animometer/tests/resources/main.js:
3040         (Benchmark.prototype.run): First call waitUntilReady, which returns
3041         a promise. When the promise resolves, run everything that was in this
3042         function.
3043         (Benchmark.prototype.waitUntilReady): Default implementation returns
3044         a resolved promise.
3045         (Benchmark.prototype.resolveWhenFinished): Deleted.
3046         * Animometer/tests/template/resources/template-canvas.js:
3047         (new.TemplateCanvasStage.waitUntilReady): Example on how to override.
3048
3049 2016-01-03  Jon Lee  <jonlee@apple.com>
3050
3051         Update data reporting and analysis
3052         https://bugs.webkit.org/show_bug.cgi?id=152670
3053
3054         Reviewed by Simon Fraser.
3055
3056         Show new graph data. Provide controls to show different series data. Provide an
3057         interactive cursor that shows the data at a given sample.
3058
3059         * Animometer/developer.html: Add a nav section in #results. Each part of the graph
3060         has a checkbox for visual toggling, as well as companion spans to contain the data.
3061                 The numbers will always be shown even if the SVG isn't.
3062         * Animometer/resources/debug-runner/animometer.css:
3063         (#suites): Adjust spacing when doing fixed complexity.
3064         (#test-graph nav): Place the nav in the upper right corner.
3065         (#test-graph-data > svg): Fix the FPS scale from 0-60. It makes the raw FPS goes past
3066         that scale. Allow it to show.
3067         (.target-fps): Add a dotted line for where the benchmark is supposed to settle for FPS.
3068         (#cursor line): The cursor contains a line and highlight circles for the data being shown.
3069         (#cursor circle):
3070         (#complexity path): This and rules afterward are named by series type.
3071         (#complexity circle):
3072         (#filteredFPS path):
3073         (#filteredFPS circle):
3074         (#rawFPS path):
3075         (#intervalFPS circle):
3076         (.left-samples): Deleted.
3077         (.right-samples): Deleted.
3078         * Animometer/resources/debug-runner/animometer.js:
3079         (initialize): Add a "changed" listener when the checkboxes change in the nav.
3080         (onBenchmarkOptionsChanged): Renamed.
3081         (showTestGraph): All graph data is passed in as graphData instead of as arguments.
3082         * Animometer/resources/debug-runner/graph.js: Extend BenchmarkController. When showing
3083         a new graph, call updateGraphData(). It creates all of the d3 graphs. onGraphOptionsChanged()
3084         toggles the data on and off.
3085         (updateGraphData): Add the axes. Add the average lines and markers for sample time and
3086         target FPS. Add the cursor group. Use helper function addData() to add the data. On top of
3087         everything add a transparent area which will catch all of the mouse events. When the mouse
3088         moves in the graph, find the closest data point, show the data in the nav area, and highlight
3089         the data points.
3090         (addData): Adds a line and circle for each data point. Also adds a highlight cursor with a
3091         size a little larger than the circle radius for the data points.
3092         (onGraphOptionsChanged): Called when data is visually toggled.
3093         (showOrHideNodes): Helper function to toggle the .hidden class.
3094         * Animometer/resources/extensions.js:
3095         (ResultsDashboard.prototype.get data): Get rid of the arguments for _processData.
3096         (ResultsTable.prototype._addGraphButton): Shove all of the graph data into a singular object.
3097
3098         Producing the JSON can take a while with all of the data. Make it on-demand with a
3099         button.
3100
3101         * Animometer/resources/debug-runner/animometer.js:
3102         (showResults): When showing the results, don't serialize the JSON data. Move that to...
3103         (showJSONResults): ...here. Remove the button.
3104
3105         * Animometer/developer.html: Add a button. The button will remove itself and populate
3106         the textarea with the JSON data.
3107         * Animometer/resources/debug-runner/animometer.css:
3108         (.hidden): Add a universal hidden class.
3109         (#results button.small-button): Promote the small-button styles to the whole results
3110         section for use in the JSON button.
3111         (#results button.small-button:active):
3112         (#results-data button.small-button): Deleted.
3113         (#results-data button.small-button:active): Deleted.
3114
3115         Refactor how Animator does its recording.
3116
3117         * Animometer/tests/resources/math.js: Create a new, simple estimator that just returns
3118         the same interval frame rate for adjustment.
3119         * Animometer/tests/resources/main.js:
3120         (Animator): Remove _dropFrameCount, and make variables more accurate described.
3121         (Animator.prototype.initialize): Use the identity estimator instead of using a bool.
3122         (Animator.prototype._intervalTimeDelta): Rename, only used internally.
3123         (Animator.prototype._shouldRequestAnotherFrame): Assume we drop one frame for adjustment
3124         of the scene. If we are within the number of frames to measure for the interval, just
3125         record the timestamp. Otherwise we are ready to evaluate and adjust the scene. Record
3126         the interval frame rate and the estimator's frame rate.
3127
3128         Avoid processing the data through the Experiment while the test is running. Reconfigure
3129         the sampler to just record the raw samples. After the test is done, run the samples through
3130         the Experiment to get the score.
3131
3132         * Animometer/resources/sampler.js:
3133         (Experiment): Fold _init() into the constructor since nobody else will call it. This is not
3134         needed until the test concludes, so remove startSampling(). Clients should just call sample().
3135         (Sampler): Pre-allocate arrays given the number of data points being recorded, and a capacity
3136         of how many samples will be used. The processor is a called when it's time to process the data
3137         since that is the client also telling the Sampler what to record.
3138                 Introduce the notion of marks as well, which allows the client to mark when an
3139         event occurs. When we mark sample start, we can attach the timestamp there, instead of storing
3140         it separately.
3141         (Sampler.prototype.startSampling): Deleted. Clients should just call record().
3142         (Sampler.prototype.record): The data to record is passed in as variable arguments.
3143         (Sampler.prototype.mark): When adding a mark, a client needs to provide a unique string, and
3144         can provide extra data object for later retrieval.
3145         (Sampler.prototype.process): Renamed from toJSON. Trim the sampling arrays to what was used.
3146         Call the processor to process the samples.
3147         * Animometer/resources/debug-runner/benchmark-runner.js:
3148         (BenchmarkRunner.prototype._runBenchmarkAndRecordResults): Call process().
3149
3150         * Animometer/resources/strings.js: Add some new strings, remove the graph ones since they are
3151         not used.
3152         * Animometer/tests/resources/main.js:
3153         (Benchmark): Create a sampler with 4 series. The maximum number of points expected is the
3154         number of seconds multiplied by 60 fps. Benchmark, as a client of the Sampler, knows about all
3155         of the data being added to the Sampler. It is added through record(), and processed through
3156         processSamples().
3157         (Benchmark.prototype.update): Mark when we've passed warmup and are starting to sample. Include
3158         the timestamp in the custom data for the mark. This avoids the need to store is separately in
3159         the Sampler. Fold what was in record() here, since nothing else needs this functionality.
3160         record() now just relays the information to the sampler.
3161         (Benchmark.prototype.record): Called by Animator, which provides the data to the sampler.
3162         Animator's calls to this is part of a later patch. Requires each stage to return its complexity.
3163         (Benchmark.prototype.processSamples): If the sampling mark exists, add it to the results.
3164                 Go through all of the samples. All samples contain a timestamp and complexity. We
3165         calculate "raw FPS" which is the time differential from the previous sample. At regular intervals
3166         the Kalman-filtered FPS and the interval average FPS are also recorded. We also create two
3167         experiments, to get the scores for the complexity and smoothed FPS, and add those samples to
3168         the experiments. Grab those scores and add them into results also.
3169
3170         Add complexity() to the tests for Benchmark.record().
3171         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js:
3172         * Animometer/tests/misc/resources/canvas-electrons.js:
3173         * Animometer/tests/misc/resources/canvas-stars.js:
3174         * Animometer/tests/text/resources/layering-text.js:
3175
3176 2015-12-27  Jon Lee  <jonlee@apple.com>
3177
3178         Simplify the test harness
3179         https://bugs.webkit.org/show_bug.cgi?id=152562
3180
3181         Reviewed by Simon Fraser.
3182
3183         Update the simple canvas tests. For the paths, start from the center instead of the
3184         top-left corner. Instead of using a coordinate limit, use a canonized factor, and
3185         use that along both the x and y axes, so that more capable tests use more of the
3186         canvas.
3187
3188         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3189         (CanvasLinePoint): Rewrite to use the coordinate maximum factor.
3190         (CanvasQuadraticPoint): Ditto.
3191         (CanvasBezierPoint): Ditto.
3192         * Animometer/tests/simple/resources/simple-canvas.js:
3193         (tune): Calculate a factor instead of a maximum coordinate.
3194
3195 2015-12-27  Jon Lee  <jonlee@apple.com>
3196
3197         Simplify the test harness
3198         https://bugs.webkit.org/show_bug.cgi?id=152562
3199
3200         Reviewed by Simon Fraser.
3201
3202         All of the benchmarks use the default Animator(). Don't require new tests
3203         to pass a new instance, and instead just make one in the Benchmark constructor.
3204
3205         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js:
3206         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js:
3207         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3208         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3209         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js:
3210         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3211         * Animometer/tests/master/resources/canvas-tests.js:
3212         * Animometer/tests/misc/resources/canvas-electrons.js:
3213         * Animometer/tests/misc/resources/canvas-stars.js:
3214         * Animometer/tests/misc/resources/compositing-transforms.js:
3215         * Animometer/tests/resources/main.js:
3216         * Animometer/tests/simple/resources/simple-canvas-paths.js:
3217         * Animometer/tests/template/resources/template-canvas.js:
3218         * Animometer/tests/template/resources/template-css.js:
3219         * Animometer/tests/template/resources/template-svg.js:
3220         * Animometer/tests/text/resources/layering-text.js:
3221         * Animometer/tests/text/resources/text-boxes.js:
3222
3223         Refactor the template.
3224
3225         * Animometer/tests/template/resources/template-canvas.js:
3226         * Animometer/tests/template/resources/template-css.js:
3227         * Animometer/tests/template/resources/template-svg.js:
3228         * Animometer/tests/template/template-canvas.html:
3229         * Animometer/tests/template/template-css.html:
3230         * Animometer/tests/template/template-svg.html:
3231
3232         Refactor the SVG suite.
3233
3234         * Animometer/tests/bouncing-particles/bouncing-svg-images.html: Move scripts to the end.
3235         * Animometer/tests/bouncing-particles/bouncing-svg-shapes.html: Ditto.
3236
3237         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Remove extraneous includes
3238         to stage.js.
3239         * Animometer/tests/text/text-boxes.html: Ditto.
3240
3241         BouncingCanvasParticlesBenchmark is not necessary. Use Benchmark directly when subclassing.
3242         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js: Remove
3243         BouncingCanvasParticlesBenchmark.
3244         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js: Use Benchmark.
3245         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js: Ditto.
3246
3247         * Animometer/tests/bouncing-particles/resources/bouncing-svg-particles.js: Require the shape
3248         in the constructor instead of having subclasses set the private variable.
3249
3250         * Animometer/tests/bouncing-particles/resources/bouncing-svg-images.js: Refactor.
3251         * Animometer/tests/bouncing-particles/resources/bouncing-svg-shapes.js:
3252
3253         Refactor the HTML suite.
3254
3255         Move scripts to the end.
3256         * Animometer/tests/bouncing-particles/bouncing-css-images.html:
3257         * Animometer/tests/bouncing-particles/bouncing-css-shapes.html:
3258         * Animometer/tests/text/layering-text.html:
3259         * Animometer/tests/text/text-boxes.html:
3260
3261         Refactor to use the new variables.
3262         * Animometer/tests/bouncing-particles/resources/bouncing-css-images.js:
3263         * Animometer/tests/bouncing-particles/resources/bouncing-css-shapes.js:
3264         * Animometer/tests/text/resources/layering-text.js:
3265         * Animometer/tests/text/resources/text-boxes.js:
3266
3267         Refactor the bouncing canvas tests.
3268
3269         * Animometer/tests/bouncing-particles/bouncing-canvas-images.html: Move scripts to the end.
3270         * Animometer/tests/bouncing-particles/bouncing-canvas-shapes.html: Move scripts to the end.
3271
3272         * Animometer/tests/bouncing-particles/resources/bouncing-particles.js: Promote a few
3273         properties to "public" since they are used by subclasses.
3274         (BouncingParticlesStage): Fix the constructor, which was missing "this". Make particles
3275         "public" for subclasses.
3276         (BouncingParticlesStage.initialize): Fix the max velocity, which was accidentally changed.
3277         * Animometer/tests/misc/resources/compositing-transforms.js: Refactor.
3278
3279         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-particles.js:
3280         BouncingCanvasParticlesAnimator is no longer needed.
3281         (BouncingCanvasParticle): Change constructor to take a shape as a parameter instead of
3282         having subclasses set the variable.
3283
3284         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-images.js: Refactor.
3285         * Animometer/tests/bouncing-particles/resources/bouncing-canvas-shapes.js: Refactor.
3286
3287         Move example/ files into misc/