Some perf tests time out when ran by run-perf-tests
[WebKit-https.git] / PerformanceTests / ChangeLog
1 2012-01-19  Ryosuke Niwa  <rniwa@webkit.org>
2
3         Some perf tests time out when ran by run-perf-tests
4         https://bugs.webkit.org/show_bug.cgi?id=76612
5
6         Reviewed by Dirk Pranke and Eric Seidel.
7
8         Replace all images in html5.html by geenbox.png to avoid accessing whatwg.org when
9         running the parser tests. Also call dumpAsText, waitUntilDone, and notifyDone automatically
10         inside runner.js to avoid having to call them in individual tests.
11
12         * Bindings/event-target-wrapper.html: Removed calls to layoutTestController methods since
13         they are now called by runner.js automatically.
14         * Parser/resources/greenbox.png: Copied from LayoutTests/fast/css/resources/greenbox.png.
15         * Parser/resources/html5.html:
16         * Parser/resources/runner.js:
17         (runLoop):
18
19 2012-01-18  Ryosuke Niwa  <rniwa@webkit.org>
20
21         run-perf-tests should support Skipped list
22         https://bugs.webkit.org/show_bug.cgi?id=76594
23
24         Reviewed by Adam Barth.
25
26         Add Skipped list to be used by run-perf-tests as it can only runs tests in
27         Bindings, Parser, and inspector at the moment.
28
29         * Skipped: Added.
30
31 2012-01-12  Ilya Tikhonovsky  <loislo@chromium.org>
32
33         Web Inspector: performance: restore 'log 300 messages into console' test.
34         https://bugs.webkit.org/show_bug.cgi?id=76170
35
36         It was removed in order of transition from layout tests to perf tests.
37
38         Reviewed by Yury Semikhatsky.
39
40         * inspector/console-300-lines.html: Added.
41
42 2012-01-12  Ilya Tikhonovsky  <loislo@chromium.org>
43
44         Web Inspector: performance tests: fix memory leak in first-open-resources test.
45         https://bugs.webkit.org/show_bug.cgi?id=76049
46
47         first-open-resources doesn't reset resource panel properly after test run.
48
49         Reviewed by Yury Semikhatsky.
50
51         * inspector/first-open-resources.html:
52
53 2012-01-10  Ilya Tikhonovsky  <loislo@chromium.org>
54
55         Unreviewed. WebInspector: Remove unnecessary logging from the test.
56
57         * inspector/first-open-resources.html:
58
59 2012-01-10  Ilya Tikhonovsky  <loislo@chromium.org>
60
61         Unreviewed. Restore test that was removed during migration from LayoutTests folder.
62
63         * inspector/first-open-resources.html: Added.
64
65 2012-01-09  Ilya Tikhonovsky  <loislo@chromium.org>
66
67         Unreviewed test fix after r103683.
68
69         * inspector/first-open-scripts.html:
70         * inspector/show-panel.html:
71
72 2012-01-03  Adam Barth  <abarth@webkit.org>
73
74         html-parser.html takes too long to run
75         https://bugs.webkit.org/show_bug.cgi?id=75515
76
77         Reviewed by Eric Seidel.
78
79         In working on runner.js, we introduced a factor of 10 increase to the
80         running time of this benchmark.  This patch dials down the number of
81         iterations to something more user-friendly.
82
83         * Parser/html-parser.html:
84
85 2011-12-18  Ilya Tikhonovsky  <loislo@chromium.org>
86
87         Web Inspector: move heap data stats to separate tab.
88         https://bugs.webkit.org/show_bug.cgi?id=74704
89
90         Reviewed by Pavel Feldman.
91
92         * inspector/performance-test.js:
93         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype._dump):
94         (initialize_TimeTracker.InspectorTest.runPerformanceTest):
95
96 2011-12-01  Ilya Tikhonovsky  <loislo@chromium.org>
97
98         Web Inspector: chromium: move and adapt Inspector's performance tests for running with run-inspector-perf-tests.py.
99         https://bugs.webkit.org/show_bug.cgi?id=72260
100
101         Reviewed by Pavel Feldman.
102
103         * inspector/first-open-elements.html: Renamed from LayoutTests/inspector/performance/resources/first-open-elements.html.
104         * inspector/first-open-scripts.html: Renamed from LayoutTests/inspector/performance/resources/first-open-scripts.html.
105         * inspector/inspector-startup-time.html: Renamed from LayoutTests/inspector/performance/resources/inspector-startup-time.html.
106         * inspector/network-append-30-requests.html: Renamed from LayoutTests/inspector/performance/resources/network-append-30-requests.html.
107         * inspector/performance-test.js: Renamed from LayoutTests/inspector/performance/resources/performance-test.js.
108         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer):
109         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype.start):
110         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype.finish):
111         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype._getJSHeapSize):
112         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype.done):
113         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype._runTest):
114         (initialize_TimeTracker.InspectorTest.runPerformanceTest.Timer.prototype._dump):
115         (initialize_TimeTracker.InspectorTest.runPerformanceTest):
116         (initialize_TimeTracker.InspectorTest.mark):
117         * inspector/show-panel.html: Renamed from LayoutTests/inspector/performance/resources/show-panel.html.
118
119 2011-11-09  Adam Klein  <adamk@chromium.org>
120
121         [MutationObservers] Microbenchmarks for appendChild, removeChild, and innerHTML
122         https://bugs.webkit.org/show_bug.cgi?id=71939
123
124         Reviewed by Ojan Vafai.
125
126         These benchmarks time both the DOM mutations themselves and the time taken
127         to call the MutationCallback. This measurement is achieved by
128         executing the code entirely within the MutationCallback itself.
129
130         * Mutation/append-child-deep.html: Added. Covers appendChild in a 200-node-deep tree with subtree observation.
131         * Mutation/append-child.html: Added. Covers appendChild in a flat tree.
132         * Mutation/inner-html.html: Added. Covers innerHTML adding and removing many nodes at a time.
133         * Mutation/remove-child-deep.html: Added. Covers removeChild in a 200-node-deep tree with subtree observation.
134         * Mutation/remove-child.html: Added. Covers removeChild in a flat tree.
135
136 2011-10-25  Adam Barth  <abarth@webkit.org>
137
138         EventTargetFactory.in is not sorted
139         https://bugs.webkit.org/show_bug.cgi?id=70855
140
141         Reviewed by Eric Seidel.
142
143         Add a microbenchmark for wrapping event target.
144
145         * Bindings: Added.
146         * Bindings/event-target-wrapper.html: Added.
147         * Parser/resources/runner.js:
148         (runLoop):
149             - Let the user of the harness get a callback when the test is done.
150
151 2011-10-04  Eric Seidel  <eric@webkit.org>
152
153         Update html5-full-render.html to load the HTML5 spec incrementally, closer to how the browser would
154         https://bugs.webkit.org/show_bug.cgi?id=69374
155
156         Unreviewed.
157
158         Per https://bugs.webkit.org/show_bug.cgi?id=69374#c7
159         updating the chunksize to be a bit smaller now that the total
160         size of the html5 spec is smaller than when I wrote the test.
161
162         This should increase the prevalence of style resolution in the
163         sample time, which more closely matches instrument samples
164         taken when loading the full page in Safari.
165
166         * Parser/html5-full-render.html:
167
168 2011-10-04  Eric Seidel  <eric@webkit.org>
169
170         Update html5-full-render.html to load the HTML5 spec incrementally, closer to how the browser would
171         https://bugs.webkit.org/show_bug.cgi?id=69374
172
173         Reviewed by James Robinson.
174
175         This should finally be able to provide us with a repeatable metric
176         for how fast we're currently able to load the HTML5 spec.
177         There are a variety of interesting functions which show up in this
178         sample, including of course style resolution.
179
180         * Parser/html5-full-render.html:
181
182 2011-10-04  Eric Seidel  <eric@webkit.org>
183
184         Update our copy of the HTML5 spec used for performance testing to match the latest version
185         https://bugs.webkit.org/show_bug.cgi?id=69364
186
187         Unreviewed.  The patch is too large to post, so landing this unreviewed. :(
188
189         The copy of the html5 spec we were using for testing was over a year old
190         and didn't have any of the subresources with it (we were only using it
191         as an HTML parsing benchmark).  I'm about to use it for testing
192         the full load/render time of the benchmark, so I've updated to the latest
193         version of the spec (now 8mb instead of 5mb) and inlined two of the
194         CSS files.  (Inlining the CSS was necessary to make my testing consistent
195         as there seems to be a race with some timer fired after CSS load.)
196
197         Increasing from 5mb to 8mb showed a similar 30% slowdown in our parser
198         benchmarks as expected.
199
200         * Parser/resources/html5.html:
201
202 2011-10-04  Eric Seidel  <eric@webkit.org>
203
204         Add loopsPerRun option to Parser performance test runner
205         https://bugs.webkit.org/show_bug.cgi?id=69363
206
207         Reviewed by Antti Koivisto.
208
209         Add loopsPerRun option and abstract out runLoop function (to make the UI more responsive).
210         No change in behavior in any of the tests.
211
212         * Parser/resources/runner.js:
213         (runLoop):
214         (run):
215         (start):
216
217 2011-10-03  Eric Seidel  <eric@webkit.org>
218
219         Add a microbenchmark for a full-page render of the HTML5 spec
220         https://bugs.webkit.org/show_bug.cgi?id=69285
221
222         Reviewed by Adam Barth.
223
224         This was designed to be a test for https://bugs.webkit.org/show_bug.cgi?id=68944
225         But it seems that by far our dominating cost for the HTML5 benchmark is
226         time spent laying out lines (which isn't actually that surprising).
227
228         I'm adding the performance test for posterity.
229
230         * Parser/html-parser.html:
231          - Removed use of "about:blank" which abarth says is a no-op.  Made comment more accurate.
232         * Parser/html5-full-render.html: Copied from PerformanceTests/Parser/html-parser.html.
233
234 2011-10-03  Eric Seidel  <eric@webkit.org>
235
236         PerformanceTests/Parser/html-parser is only testing parsing of the head element
237         https://bugs.webkit.org/show_bug.cgi?id=69283
238
239         Reviewed by Adam Barth.
240
241         While investigating https://bugs.webkit.org/show_bug.cgi?id=68944
242         I found that the html-parser benchmark was only parsing up to the
243         first script tag per loop!  We've fixed this by adding the sandbox
244         tag which will deny all external loads and allow the parser to
245         synchronously continue parsing the entire document to completion
246         (as we had expected it was doing).
247
248         This changes the profile somewhat.  Line number counting is much
249         hotter, since we're actually accounting for the parse of the entire
250         document in our sample.
251
252         Total sample time only about doubles, from 1800ms to 3800ms on my machine
253         which is less than I would have expected.
254
255         * Parser/html-parser.html:
256
257 2011-08-09  Alexandru Chiculita  <achicu@adobe.com>
258
259         Fixing 65868 REGRESSION(r92610) caused by 65668 - Optimize floating elements lookup
260         https://bugs.webkit.org/show_bug.cgi?id=65871
261
262         Reviewed by Dave Hyatt.
263
264         * Layout/floats.html: Added the nested divs, so that we can test the propagation impact of the floats tree.
265
266 2011-08-08  Sheriff Bot  <webkit.review.bot@gmail.com>
267
268         Unreviewed, rolling out r92610.
269         http://trac.webkit.org/changeset/92610
270         https://bugs.webkit.org/show_bug.cgi?id=65868
271
272         Caused assertion failures when running fast/multicol tests
273         (Requested by andersca on #webkit).
274
275         * Layout/floats.html:
276
277 2011-08-08  Alexandru Chiculita  <achicu@adobe.com>
278
279         Optimize floating elements lookup
280         https://bugs.webkit.org/show_bug.cgi?id=65668
281
282         Reviewed by David Hyatt.
283
284         * Layout/floats.html: Added the nested divs, so that we can test the propagation impact of the floats tree.
285
286 2011-08-04  Alexandru Chiculita  <achicu@adobe.com>
287
288         Add a performance test for floating elements layout algorithm
289         https://bugs.webkit.org/show_bug.cgi?id=65741
290
291         The test creating lots of small floats and randomly changes
292         the width of one element at a time. It measures how often it can do that.
293
294         Reviewed by Adam Barth.
295
296         * Layout/floats.html: Added.
297
298 2011-05-30  Daniel Bates  <dbates@webkit.org>
299
300         Reviewed by Adam Barth.
301
302         Rename XSSFilter to XSSAuditor
303         https://bugs.webkit.org/show_bug.cgi?id=61718
304
305         Currently we use the names XSSFilter and XSSAuditor throughout the project.
306         Instead, we should choose one name for consistency.
307
308         No functionality was changed. So, no new tests.
309
310         * XSSAuditor: Copied from PerformanceTests/XSSFilter.
311         * XSSFilter: Removed.
312         * XSSFilter/large-post-many-events.html: Removed.
313         * XSSFilter/large-post-many-inline-scripts-and-events.html: Removed.
314         * XSSFilter/resources: Removed.
315         * XSSFilter/resources/target-for-large-post-many-inline-scripts-and-events.html: Removed.
316
317 2011-03-25  Leo Yang  <leo.yang@torchmobile.com.cn>
318
319         Reviewed by Dirk Schulze.
320
321         SVG <use> element performance improvement
322         https://bugs.webkit.org/show_bug.cgi?id=57077
323
324         Add a manual test case which is from
325         http://upload.wikimedia.org/wikipedia/commons/4/4e/Sierpinski_carpet_6.svg
326         for svg <use> element performance test.
327
328         * PageLoad/svg/files/Sierpinski_carpet_6.svg: Added.
329         * PageLoad/svg/svg.pltsuite:
330
331 2011-02-05  Eric Seidel  <eric@webkit.org>
332
333         Reviewed by Adam Barth.
334
335         Add performance tests for URL parsing
336         https://bugs.webkit.org/show_bug.cgi?id=53845
337
338         The final-url-en URL corpus is from:
339         http://corpus.leeds.ac.uk/internet.html
340
341         There are also other language corpuses which we may want to use in the future.
342
343         The usage instructions were as follows:
344         "URL lists and other resources: you can freely use them in your research
345         provided that you supply a link to this website: http://corpus.leeds.ac.uk/."
346         Done.
347
348         * Parser/simple-url.html: Added.
349          On my machine:
350          Firefox: 255ms
351          TOT WebKit: 378ms
352          Chrome: 286ms
353          Opera: 2830ms (no, that is not a typo)
354         * Parser/url-parser.html: Added.
355          Firefox: 381ms
356          TOT WebKit: 216ms
357          Chrome: 131ms
358          Opera: 1383ms (again, not a typo)
359         * Parser/resources/final-url-en: Added.
360
361 2011-02-03  Adam Barth  <abarth@webkit.org>
362
363         Reviewed by Daniel Bates.
364
365         Add another XSSFilter PerformanceTest
366         https://bugs.webkit.org/show_bug.cgi?id=53750
367
368         This PerformanceTest tests the case that was slow in
369         https://bugs.webkit.org/show_bug.cgi?id=49845
370
371         * XSSFilter/large-post-many-inline-scripts-and-events.html: Added.
372         * XSSFilter/resources: Added.
373         * XSSFilter/resources/target-for-large-post-many-inline-scripts-and-events.html: Added.
374
375 2011-02-03  Adam Barth  <abarth@webkit.org>
376
377         Reviewed by Eric Seidel.
378
379         Add PerformanceTest for XSSFilter
380         https://bugs.webkit.org/show_bug.cgi?id=53741
381
382         This performance tests covers the case of a large POST data and many
383         small event handlers.
384
385         * XSSFilter: Added.
386         * XSSFilter/large-post-many-events.html: Added.
387
388 2011-02-02  Adam Barth  <abarth@webkit.org>
389
390         Rubber-stamped by Eric Seidel.
391
392         Merge PerformanceTests/Parser/ChangeLog and
393         PerformanceTests/PageLoad/ChangeLog into PerformanceTests/ChangeLog.
394
395         It's silly to have ChangeLogs for each of these directories separately.
396         I've left SunSpider with its own ChangeLog because it's more of an
397         independent entity.
398
399         * ChangeLog: Added.
400
401 2011-02-02  Eric Seidel  <eric@webkit.org>
402
403         Unreviewed.  Just fixing an exception seen in Firefox.
404
405         HTML5 TreeBuilder regressed a Peacekeeper DOM test by 40%
406         https://bugs.webkit.org/show_bug.cgi?id=48719
407
408         Make the benchmarks work in Firefox/Opera.
409
410         * resources/runner.js:
411         (log):
412
413 2011-01-27  Eric Seidel  <eric@webkit.org>
414
415         Reviewed by Darin Adler.
416
417         HTML5 TreeBuilder regressed a Peacekeeper DOM test by 40%
418         https://bugs.webkit.org/show_bug.cgi?id=48719
419
420         It's unclear exactly what the Peacekeeper benchmark is testing,
421         because I haven't found a way to run it myself.
422
423         However, I constructed a benchmark which shows at least one possible slow point.
424         The HTML5 spec talks about creating a new document for every time we use
425         the fragment parsing algorithm.  Document() it turns out, it a huge bloated
426         mess, and the constructor and destructor do a huge amount of work.
427
428         * benchmarks/parser/tiny-innerHTML.html: Added.
429
430 2011-01-29  Sheriff Bot  <webkit.review.bot@gmail.com>
431
432         Unreviewed, rolling out r77050.
433         http://trac.webkit.org/changeset/77050
434         https://bugs.webkit.org/show_bug.cgi?id=53371
435
436         Caused a crash in Chromium's test_shell_tests (Requested by
437         rniwa on #webkit).
438
439         * resources/performance-test.js: Removed.
440         * tiny-innerHTML.html: Removed.
441
442 2011-01-28  Eric Seidel  <eric@webkit.org>
443
444         Reviewed by Darin Adler.
445
446         HTML5 TreeBuilder regressed a Peacekeeper DOM test by 40%
447         https://bugs.webkit.org/show_bug.cgi?id=48719
448
449         It's unclear exactly what the Peacekeeper benchmark is testing,
450         because I haven't found a way to run it myself.
451
452         However, I constructed a benchmark which shows at least one possible slow point.
453         The HTML5 spec talks about creating a new document for every time we use
454         the fragment parsing algorithm.  Document() it turns out, it a huge bloated
455         mess, and the constructor and destructor do a huge amount of work.
456         To avoid constructing (or destructing) documents for each innerHTML call,
457         this patch adds a shared dummy document used by all innerHTML calls.
458
459         * benchmarks/parser/tiny-innerHTML.html: Added.
460
461 2010-12-31  Adam Barth  <abarth@webkit.org>
462
463         Rubber-stamped by Eric Seidel.
464
465         Move HTML and XML parser benchmarks into PerformanceTests/Parser
466         https://bugs.webkit.org/show_bug.cgi?id=51772
467
468         Add a ChangeLog for tracking changes to the Parser PerformanceTest.
469
470         * ChangeLog: Added.
471
472 2010-12-31  Adam Barth  <abarth@webkit.org>
473
474         Rubber-stamped by Eric Seidel.
475
476         Move PageLoadTests to PerformanceTests/PageLoad
477         https://bugs.webkit.org/show_bug.cgi?id=51771
478
479         Update URLs to point to the new directory name.
480
481         * svg/svg.pltsuite:
482
483 2006-12-26  Eric Seidel  <eric@webkit.org>
484
485         Reviewed by olliej.
486
487         * svg/svg.pltsuite: re-enable word-iso.svg after fixing http://bugs.webkit.org/show_bug.cgi?id=11987
488
489 2006-12-26  Eric Seidel  <eric@webkit.org>
490
491         Reviewed by bradee-oh.
492         
493         Add new PageLoadTests directory (this one)
494         Add LICENSES file to explain where each SVG came from.
495
496         * ChangeLog: Added.
497         * svg/LICENSES: Added.
498         * svg/files/33041-Samurai.svg: Added.
499         * svg/files/42470-flower_from_my_garden_v2.svg: Added.
500         * svg/files/Harvey_Rayner.svg: Added.
501         * svg/files/az-lizard_benji_park_01.svg: Added.
502         * svg/files/bamboo_01.svg: Added.
503         * svg/files/cacuts_01.svg: Added.
504         * svg/files/cowboy.svg: Added.
505         * svg/files/crawfish2_ganson.svg: Added.
506         * svg/files/deb9frac1.svg: Added.
507         * svg/files/food_leif_lodahl_01.svg: Added.
508         * svg/files/france.svg: Added.
509         * svg/files/francobollo_gnome_ezechi_02.svg: Added.
510         * svg/files/gearflowers.svg: Added.
511         * svg/files/hereGear4.svg: Added.
512         * svg/files/mtsthelens.svg: Added.
513         * svg/files/mtsthelens0.jpg: Added.
514         * svg/files/world-iso.svg: Added.
515         * svg/files/worldcup.svg: Added.
516         * svg/svg.pltsuite: Added.
517