Set the font smoothing preference in DRT
[WebKit-https.git] / SunSpider / ChangeLog
1 2007-11-14  Eric Seidel  <eric@webkit.org>
2
3         Reviewed by Sam.
4
5         * sunspider: add --shark-cache for L2 Cache Miss profiling
6
7 2007-11-09  Alexey Proskuryakov  <ap@webkit.org>
8
9         Reviewed by Darin.
10
11         http://bugs.webkit.org/show_bug.cgi?id=15925
12         SunSpider should check for Shark being installed
13
14         * sunspider: Explicitly test that shark command line tool is installed.
15
16 2007-11-04  Darin Adler  <darin@apple.com>
17
18         * hosted/sunspider.html: Tweaked formatting a bit.
19
20 2007-11-03  Maciej Stachowiak  <mjs@apple.com>
21
22         Reviewed by Darin.
23
24         - Add compare mode and a description of the benchmark to the hosted version.
25
26         * hosted/sunspider-results.html: Add compare mode - you can just paste in another results URL.
27         * hosted/sunspider.html: Added intro text.
28         * make-hosted: Copy new file.
29         * resources/sunspider-compare-results.js: Made more reusable by putting the implementation in
30         a function.
31         * resources/sunspider-standalone-compare.js: Added. Calls the function in the way standalone mode
32         expects.
33         * sunspider-compare-results: Use sunspider-standalone-compare.js.
34
35 2007-11-02  Darin Adler  <darin@apple.com>
36
37         * sunspider: Changed "--base" to "--set-baseline".
38
39 2007-11-02  Darin Adler  <darin@apple.com>
40
41         Reviewed by Maciej.
42
43         * sunspider: Added a "--base" option that records the current test as a baseline.
44         Moved the code to find the newest .mshark file into a function (since I needed to use
45         it in the other script and I prefer to copy/paste a function).
46
47         * sunspider-compare-results: Added logic to compare the baseline with the last
48         run when you don't pass any parameters.
49
50 2007-10-29  Maciej Stachowiak  <mjs@apple.com>
51
52         Reviewed by Eric.
53         
54         - Added list of ECMAScript3 features that SunSpider does not cover currently.
55
56         * UNCOVERED: Added.
57
58 2007-10-29  Maciej Stachowiak  <mjs@apple.com>
59
60         Reviewed by Oliver.
61         
62         - Give better error messages when sunspider-compare-results fails
63
64         * sunspider-compare-results:
65
66 2007-10-29  Maciej Stachowiak  <mjs@apple.com>
67
68         Reviewed by Darin.
69         
70         - fix Date tests to work in command-line SpiderMonkey
71
72         * tests/date-format-tofte.js:
73         * tests/date-format-xparb.js:
74
75 2007-10-29  Darin Adler  <darin@apple.com>
76
77         Reviewed by Maciej.
78
79         * sunspider: Added --shark20 option, to run Shark at its highest sample
80         resolution instead of its default.
81
82 2007-10-28  Adam Roben  <aroben@apple.com>
83
84         Fix SunSpider on Windows
85
86         Reviewed by Eric.
87
88         * sunspider: Don't use colons in filenames.
89
90 2007-10-28  Darin Adler  <darin@apple.com>
91
92         Reviewed by Adam.
93
94         * resources/sunspider-analyze-results.js: Tweak the output format a little.
95         Change so that when there's only one run we don't write out confidence
96         intervals at all rather than writing "NaN" over and over again.
97
98         * sunspider: Use the time and date as a suffix on the results file, that way
99         all the results are left behind in the tmp directory. This will make it easy
100         for us to add features that compare past results in the future. Also rename
101         the .mshark files using the same scheme.
102
103         * sunspider-compare-results: Relax the parsing rules so we can parse the
104         results file exactly as it's emitted from sunspider.
105
106 2007-10-25  Adam Roben  <aroben@apple.com>
107
108         Strip carriage returns from results
109
110         Carriage returns were screwing up sunspider-compare-results on
111         Windows.
112
113         Rubberstamped by Oliver.
114
115         * sunspider:
116
117 2007-10-24  Darin Adler  <darin@apple.com>
118
119         Reviewed by Eric.
120
121         * sunspider: Open the profile in shark after completing a run.
122         * sunspider-compare-results: Tiny perl tweaks.
123
124 2007-10-23  Maciej Stachowiak  <mjs@apple.com>
125
126         Reviewed by Darin.
127
128         - Don't hardcode my path to testkjs
129         
130         * sunspider-compare-results:
131
132 2007-10-23  Maciej Stachowiak  <mjs@apple.com>
133
134         Reviewed by Darin.
135         
136         - Add a compare script to compare results, and improve formatting of standard results a bit.
137
138         * resources/sunspider-analyze-results.js:
139         * resources/sunspider-compare-results.js: Added.
140         * sunspider-compare-results: Added.
141
142 2007-10-23  Maciej Stachowiak  <mjs@apple.com>
143
144         Reviewed by Darin.
145
146         * resources/sunspider-analyze-results.js: Do the error range
147         properly, using the t-distribution instead of 1.96 (which was
148         based on the normal distribution).
149         
150         * sunspider: Print results in a way that will be friendlier to the
151         soon-to-come compare mode.
152
153 2007-10-22  Maciej Stachowiak  <mjs@apple.com>
154
155         Reviewed by Review.
156         
157         - add more tests (probably the final set for now)
158         
159         Already balanced. Added date, regexp, control flow, and a few
160         more string and object/array access tests.
161         
162         * tests/LIST:
163         * tests/access-fannkuch.js: Added.
164         * tests/access-nbody.js: Added.
165         * tests/controlflow-recursive.js: Added.
166         * tests/date-format-tofte.js: Added.
167         * tests/date-format-xparb.js: Added.
168         * tests/regexp-dna.js: Added.
169         * tests/string-validate-input.js: Added.
170
171 2007-10-21  Eric Seidel  <eric@webkit.org>
172
173         Reviewed by mjs.
174
175         * sunspider: make --shark only sample from testkjs
176
177 2007-10-21  Maciej Stachowiak  <mjs@apple.com>
178
179         Rubber stamped by Eric.
180         
181         - added crypto tests (already balanced)
182
183         * tests/LIST:
184         * tests/crypto-aes.js: Added.
185         * tests/crypto-md5.js: Added.
186         * tests/crypto-sha1.js: Added.
187
188 2007-10-21  Maciej Stachowiak  <mjs@apple.com>
189
190         Reviewed by Adam.
191         
192         - rebalance new tests
193         
194         Scaled the new tests so they take 400-600ms on a reasonably normal user setup:
195         
196         Internet Explorer 7, Window XP, Dell Latitude D810 with a 2.13GHz Pentium M
197
198         This balances them with the existing tests.
199
200         * tests/access-binary-trees.js:
201         * tests/access-nsieve.js:
202         * tests/bitops-nsieve-bits.js:
203         * tests/math-partial-sums.js:
204         * tests/math-spectral-norm.js:
205         * tests/string-fasta.js:
206
207 2007-10-20  Eric Seidel  <eric@webkit.org>
208
209         Reviewed by darin.
210         
211         Add improved argument handling to sunspider, including
212         --runs=<number>, --tests=<pattern, --shark, and --help
213         Also re-factor code into subroutines
214
215         * sunspider: improved argument handling
216
217 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
218
219         Reviewed by Mark.
220
221         - Add more new tests, mostly from the computer language shootout. Not normalized yet.
222         
223         * TODO:
224         * tests/LIST:
225         * tests/access-binary-trees.js: Added.
226         * tests/access-nsieve.js: Added.
227         * tests/bitops-nsieve-bits.js: Added.
228         * tests/math-partial-sums.js: Added.
229         * tests/math-spectral-norm.js: Added.
230         * tests/string-fasta.js: Added.
231
232 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
233
234         Reviewed by Darin.
235
236         * TODO: Updated to note areas that are now well-covered.
237         
238         - Change the tests and the driver to avoid leaving large object
239         graphs hanging around, since that throws off the subsequent tests.
240         
241         * resources/sunspider-standalone-driver.js:
242         * tests/3d-cube.js:
243         * tests/3d-morph.js:
244         * tests/3d-raytrace.js:
245         * tests/bitops-bitwise-and.js:
246         * tests/string-base64.js:
247         * tests/string-tagcloud.js:
248
249 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
250
251         Reviewed by Nikolas.
252         
253         - Rebalance test complexity.
254         
255         Scaled all the tests so they take 400-600ms on a reasonably normal user setup:
256         
257         Internet Explorer 7, Window XP, Dell Latitude D810 with a 2.13GHz Pentium M
258
259         However, for some tests, IE7 was a huge outlier compared to other
260         major browsers. For those tests, I used Firefox 2.0.0.8 on the
261         same OS and hardware as a normalization basis.
262         
263         * tests/3d-morph.js:
264         * tests/3d-raytrace.js:
265         * tests/bitops-3bit-bits-in-byte.js:
266         * tests/bitops-bits-in-byte.js:
267         * tests/bitops-bitwise-and.js:
268         * tests/math-cordic.js:
269         * tests/string-base64.js:
270         * tests/string-tagcloud.js:
271         * tests/string-unpack-code.js:
272
273 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
274
275         Reviewed by Oliver.
276         
277         - Fix the browser-hosted driver to be compatible with Safari 2
278
279         * hosted/sunspider-driver.html:
280
281 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
282
283         Rubber stamped by Hyatt.
284         
285         - Add BSD license notice to cordic test, the original author said to do so.
286
287         * tests/math-cordic.js:
288
289 2007-10-18  Maciej Stachowiak  <mjs@apple.com>
290
291         Reviewed by Eric.
292         
293         - Support Windows and Windows browsers.
294
295         * hosted/sunspider-results.html: Display results correctly in IE.
296         * sunspider: tweaks to work on Windows, and with spaces in the path.
297
298 2007-10-18  Maciej Stachowiak  <mjs@apple.com>
299
300         Rubber stamped by Oliver.
301
302         * tests/string-tagcloud.js: Remove stray print()
303
304 2007-10-17  Maciej Stachowiak  <mjs@apple.com>
305
306         Reviewed by Oliver.
307         
308         Add some string test cases.
309
310         * tests/string-base64.js: Added. Does base64 encoding and decoding.
311         * tests/string-tagcloud.js: Added. Parses a JSON string and
312         generates tagcloud HTML markup based on the data.        
313         * tests/string-unpack-code.js: Added. Unpack compressed versions of
314         four of the most popular JavaScript libraries.
315         * tests/LIST: Added the new tests.
316
317 2007-10-16  Maciej Stachowiak  <mjs@apple.com>
318
319         Reviewed by Anders.
320
321         * TODO: Updated with info on how to do the stats properly.
322
323         * hosted/sunspider-driver.html: Reduce timeout from 500 to 200 to
324         avoid overly slowing down the benchmark.
325
326         Added some 3D-related test cases.
327         
328         * tests/3d-cube.js: Added.
329         * tests/3d-morph.js: Added.
330         * tests/3d-raytrace.js: Added.
331         * tests/LIST:
332
333 2007-10-14  Maciej Stachowiak  <mjs@apple.com>
334
335         Reviewed by Darin.
336
337         - New JavaScript benchmark
338         http://bugs.webkit.org/show_bug.cgi?id=15515
339         
340         A start on a new JavaScript benchmark, with standalone and
341         browser-hosted drivers.
342         
343         The test content is still incomplete and the drivers could use
344         some more features but there is enough here to make a good start.
345         
346         The drivers compute a 95% confidence interval on the mean for the
347         whole test, each category, and each individual test to make it
348         easier to tell whether differences are statistically
349         significant. The confidence interval can be narrowed by running
350         the test more times.
351         
352         * TODO: Added. Remaining things that need to be done.
353         * sunspider: Added. Perl script that acts as the standalone test driver.
354         * resources/sunspider-standalone-driver.js: Added. JavaScript part
355         of standalone test driver.
356         * resources/sunspider-analyze-results.js: Added. JavaScript statistical
357         analysis code.
358         * resources/TEMPLATE.html: Added. Template for browser-hosted tests.
359         * make-hosted: Added. Script to generate browser-hosted tests.
360         * hosted/sunspider.html: Added. Start page for browser-hosted test.
361         * hosted/sunspider-driver.html: Added. Driver for browser-hosted tests.
362         * hosted/sunspider-results.html: Added. Results page for browser-hosted
363         tests.
364         * hosted/sunspider-record-result.js: Added. Helper file for browser-hosted
365         tests.
366         * tests/LIST: Added. List of tests to use.
367         * tests/bitops-3bit-bits-in-byte.js: Added. Some initial test content.
368         * tests/bitops-bits-in-byte.js: Added. Ditto.
369         * tests/bitops-bitwise-and.js: Added. Ditto.
370         * tests/math-cordic.js: Added. Ditto.
371