SunSpider/ChangeLog

   1 2007-11-14  Eric Seidel  <eric@webkit.org>
   2
   3         Reviewed by Sam.
   4
   5         * sunspider: add --shark-cache for L2 Cache Miss profiling
   6
   7 2007-11-09  Alexey Proskuryakov  <ap@webkit.org>
   8
   9         Reviewed by Darin.
  10
  11         http://bugs.webkit.org/show_bug.cgi?id=15925
  12         SunSpider should check for Shark being installed
  13
  14         * sunspider: Explicitly test that shark command line tool is installed.
  15
  16 2007-11-04  Darin Adler  <darin@apple.com>
  17
  18         * hosted/sunspider.html: Tweaked formatting a bit.
  19
  20 2007-11-03  Maciej Stachowiak  <mjs@apple.com>
  21
  22         Reviewed by Darin.
  23
  24         - Add compare mode and a description of the benchmark to the hosted version.
  25
  26         * hosted/sunspider-results.html: Add compare mode - you can just paste in another results URL.
  27         * hosted/sunspider.html: Added intro text.
  28         * make-hosted: Copy new file.
  29         * resources/sunspider-compare-results.js: Made more reusable by putting the implementation in
  30         a function.
  31         * resources/sunspider-standalone-compare.js: Added. Calls the function in the way standalone mode
  32         expects.
  33         * sunspider-compare-results: Use sunspider-standalone-compare.js.
  34
  35 2007-11-02  Darin Adler  <darin@apple.com>
  36
  37         * sunspider: Changed "--base" to "--set-baseline".
  38
  39 2007-11-02  Darin Adler  <darin@apple.com>
  40
  41         Reviewed by Maciej.
  42
  43         * sunspider: Added a "--base" option that records the current test as a baseline.
  44         Moved the code to find the newest .mshark file into a function (since I needed to use
  45         it in the other script and I prefer to copy/paste a function).
  46
  47         * sunspider-compare-results: Added logic to compare the baseline with the last
  48         run when you don't pass any parameters.
  49
  50 2007-10-29  Maciej Stachowiak  <mjs@apple.com>
  51
  52         Reviewed by Eric.
  53
  54         - Added list of ECMAScript3 features that SunSpider does not cover currently.
  55
  56         * UNCOVERED: Added.
  57
  58 2007-10-29  Maciej Stachowiak  <mjs@apple.com>
  59
  60         Reviewed by Oliver.
  61
  62         - Give better error messages when sunspider-compare-results fails
  63
  64         * sunspider-compare-results:
  65
  66 2007-10-29  Maciej Stachowiak  <mjs@apple.com>
  67
  68         Reviewed by Darin.
  69
  70         - fix Date tests to work in command-line SpiderMonkey
  71
  72         * tests/date-format-tofte.js:
  73         * tests/date-format-xparb.js:
  74
  75 2007-10-29  Darin Adler  <darin@apple.com>
  76
  77         Reviewed by Maciej.
  78
  79         * sunspider: Added --shark20 option, to run Shark at its highest sample
  80         resolution instead of its default.
  81
  82 2007-10-28  Adam Roben  <aroben@apple.com>
  83
  84         Fix SunSpider on Windows
  85
  86         Reviewed by Eric.
  87
  88         * sunspider: Don't use colons in filenames.
  89
  90 2007-10-28  Darin Adler  <darin@apple.com>
  91
  92         Reviewed by Adam.
  93
  94         * resources/sunspider-analyze-results.js: Tweak the output format a little.
  95         Change so that when there's only one run we don't write out confidence
  96         intervals at all rather than writing "NaN" over and over again.
  97
  98         * sunspider: Use the time and date as a suffix on the results file, that way
  99         all the results are left behind in the tmp directory. This will make it easy
 100         for us to add features that compare past results in the future. Also rename
 101         the .mshark files using the same scheme.
 102
 103         * sunspider-compare-results: Relax the parsing rules so we can parse the
 104         results file exactly as it's emitted from sunspider.
 105
 106 2007-10-25  Adam Roben  <aroben@apple.com>
 107
 108         Strip carriage returns from results
 109
 110         Carriage returns were screwing up sunspider-compare-results on
 111         Windows.
 112
 113         Rubberstamped by Oliver.
 114
 115         * sunspider:
 116
 117 2007-10-24  Darin Adler  <darin@apple.com>
 118
 119         Reviewed by Eric.
 120
 121         * sunspider: Open the profile in shark after completing a run.
 122         * sunspider-compare-results: Tiny perl tweaks.
 123
 124 2007-10-23  Maciej Stachowiak  <mjs@apple.com>
 125
 126         Reviewed by Darin.
 127
 128         - Don't hardcode my path to testkjs
 129
 130         * sunspider-compare-results:
 131
 132 2007-10-23  Maciej Stachowiak  <mjs@apple.com>
 133
 134         Reviewed by Darin.
 135
 136         - Add a compare script to compare results, and improve formatting of standard results a bit.
 137
 138         * resources/sunspider-analyze-results.js:
 139         * resources/sunspider-compare-results.js: Added.
 140         * sunspider-compare-results: Added.
 141
 142 2007-10-23  Maciej Stachowiak  <mjs@apple.com>
 143
 144         Reviewed by Darin.
 145
 146         * resources/sunspider-analyze-results.js: Do the error range
 147         properly, using the t-distribution instead of 1.96 (which was
 148         based on the normal distribution).
 149
 150         * sunspider: Print results in a way that will be friendlier to the
 151         soon-to-come compare mode.
 152
 153 2007-10-22  Maciej Stachowiak  <mjs@apple.com>
 154
 155         Reviewed by Review.
 156
 157         - add more tests (probably the final set for now)
 158
 159         Already balanced. Added date, regexp, control flow, and a few
 160         more string and object/array access tests.
 161
 162         * tests/LIST:
 163         * tests/access-fannkuch.js: Added.
 164         * tests/access-nbody.js: Added.
 165         * tests/controlflow-recursive.js: Added.
 166         * tests/date-format-tofte.js: Added.
 167         * tests/date-format-xparb.js: Added.
 168         * tests/regexp-dna.js: Added.
 169         * tests/string-validate-input.js: Added.
 170
 171 2007-10-21  Eric Seidel  <eric@webkit.org>
 172
 173         Reviewed by mjs.
 174
 175         * sunspider: make --shark only sample from testkjs
 176
 177 2007-10-21  Maciej Stachowiak  <mjs@apple.com>
 178
 179         Rubber stamped by Eric.
 180
 181         - added crypto tests (already balanced)
 182
 183         * tests/LIST:
 184         * tests/crypto-aes.js: Added.
 185         * tests/crypto-md5.js: Added.
 186         * tests/crypto-sha1.js: Added.
 187
 188 2007-10-21  Maciej Stachowiak  <mjs@apple.com>
 189
 190         Reviewed by Adam.
 191
 192         - rebalance new tests
 193
 194         Scaled the new tests so they take 400-600ms on a reasonably normal user setup:
 195
 196         Internet Explorer 7, Window XP, Dell Latitude D810 with a 2.13GHz Pentium M
 197
 198         This balances them with the existing tests.
 199
 200         * tests/access-binary-trees.js:
 201         * tests/access-nsieve.js:
 202         * tests/bitops-nsieve-bits.js:
 203         * tests/math-partial-sums.js:
 204         * tests/math-spectral-norm.js:
 205         * tests/string-fasta.js:
 206
 207 2007-10-20  Eric Seidel  <eric@webkit.org>
 208
 209         Reviewed by darin.
 210
 211         Add improved argument handling to sunspider, including
 212         --runs=<number>, --tests=<pattern, --shark, and --help
 213         Also re-factor code into subroutines
 214
 215         * sunspider: improved argument handling
 216
 217 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
 218
 219         Reviewed by Mark.
 220
 221         - Add more new tests, mostly from the computer language shootout. Not normalized yet.
 222
 223         * TODO:
 224         * tests/LIST:
 225         * tests/access-binary-trees.js: Added.
 226         * tests/access-nsieve.js: Added.
 227         * tests/bitops-nsieve-bits.js: Added.
 228         * tests/math-partial-sums.js: Added.
 229         * tests/math-spectral-norm.js: Added.
 230         * tests/string-fasta.js: Added.
 231
 232 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
 233
 234         Reviewed by Darin.
 235
 236         * TODO: Updated to note areas that are now well-covered.
 237
 238         - Change the tests and the driver to avoid leaving large object
 239         graphs hanging around, since that throws off the subsequent tests.
 240
 241         * resources/sunspider-standalone-driver.js:
 242         * tests/3d-cube.js:
 243         * tests/3d-morph.js:
 244         * tests/3d-raytrace.js:
 245         * tests/bitops-bitwise-and.js:
 246         * tests/string-base64.js:
 247         * tests/string-tagcloud.js:
 248
 249 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
 250
 251         Reviewed by Nikolas.
 252
 253         - Rebalance test complexity.
 254
 255         Scaled all the tests so they take 400-600ms on a reasonably normal user setup:
 256
 257         Internet Explorer 7, Window XP, Dell Latitude D810 with a 2.13GHz Pentium M
 258
 259         However, for some tests, IE7 was a huge outlier compared to other
 260         major browsers. For those tests, I used Firefox 2.0.0.8 on the
 261         same OS and hardware as a normalization basis.
 262
 263         * tests/3d-morph.js:
 264         * tests/3d-raytrace.js:
 265         * tests/bitops-3bit-bits-in-byte.js:
 266         * tests/bitops-bits-in-byte.js:
 267         * tests/bitops-bitwise-and.js:
 268         * tests/math-cordic.js:
 269         * tests/string-base64.js:
 270         * tests/string-tagcloud.js:
 271         * tests/string-unpack-code.js:
 272
 273 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
 274
 275         Reviewed by Oliver.
 276
 277         - Fix the browser-hosted driver to be compatible with Safari 2
 278
 279         * hosted/sunspider-driver.html:
 280
 281 2007-10-20  Maciej Stachowiak  <mjs@apple.com>
 282
 283         Rubber stamped by Hyatt.
 284
 285         - Add BSD license notice to cordic test, the original author said to do so.
 286
 287         * tests/math-cordic.js:
 288
 289 2007-10-18  Maciej Stachowiak  <mjs@apple.com>
 290
 291         Reviewed by Eric.
 292
 293         - Support Windows and Windows browsers.
 294
 295         * hosted/sunspider-results.html: Display results correctly in IE.
 296         * sunspider: tweaks to work on Windows, and with spaces in the path.
 297
 298 2007-10-18  Maciej Stachowiak  <mjs@apple.com>
 299
 300         Rubber stamped by Oliver.
 301
 302         * tests/string-tagcloud.js: Remove stray print()
 303
 304 2007-10-17  Maciej Stachowiak  <mjs@apple.com>
 305
 306         Reviewed by Oliver.
 307
 308         Add some string test cases.
 309
 310         * tests/string-base64.js: Added. Does base64 encoding and decoding.
 311         * tests/string-tagcloud.js: Added. Parses a JSON string and
 312         generates tagcloud HTML markup based on the data.
 313         * tests/string-unpack-code.js: Added. Unpack compressed versions of
 314         four of the most popular JavaScript libraries.
 315         * tests/LIST: Added the new tests.
 316
 317 2007-10-16  Maciej Stachowiak  <mjs@apple.com>
 318
 319         Reviewed by Anders.
 320
 321         * TODO: Updated with info on how to do the stats properly.
 322
 323         * hosted/sunspider-driver.html: Reduce timeout from 500 to 200 to
 324         avoid overly slowing down the benchmark.
 325
 326         Added some 3D-related test cases.
 327
 328         * tests/3d-cube.js: Added.
 329         * tests/3d-morph.js: Added.
 330         * tests/3d-raytrace.js: Added.
 331         * tests/LIST:
 332
 333 2007-10-14  Maciej Stachowiak  <mjs@apple.com>
 334
 335         Reviewed by Darin.
 336
 337         - New JavaScript benchmark
 338         http://bugs.webkit.org/show_bug.cgi?id=15515
 339
 340         A start on a new JavaScript benchmark, with standalone and
 341         browser-hosted drivers.
 342
 343         The test content is still incomplete and the drivers could use
 344         some more features but there is enough here to make a good start.
 345
 346         The drivers compute a 95% confidence interval on the mean for the
 347         whole test, each category, and each individual test to make it
 348         easier to tell whether differences are statistically
 349         significant. The confidence interval can be narrowed by running
 350         the test more times.
 351
 352         * TODO: Added. Remaining things that need to be done.
 353         * sunspider: Added. Perl script that acts as the standalone test driver.
 354         * resources/sunspider-standalone-driver.js: Added. JavaScript part
 355         of standalone test driver.
 356         * resources/sunspider-analyze-results.js: Added. JavaScript statistical
 357         analysis code.
 358         * resources/TEMPLATE.html: Added. Template for browser-hosted tests.
 359         * make-hosted: Added. Script to generate browser-hosted tests.
 360         * hosted/sunspider.html: Added. Start page for browser-hosted test.
 361         * hosted/sunspider-driver.html: Added. Driver for browser-hosted tests.
 362         * hosted/sunspider-results.html: Added. Results page for browser-hosted
 363         tests.
 364         * hosted/sunspider-record-result.js: Added. Helper file for browser-hosted
 365         tests.
 366         * tests/LIST: Added. List of tests to use.
 367         * tests/bitops-3bit-bits-in-byte.js: Added. Some initial test content.
 368         * tests/bitops-bits-in-byte.js: Added. Ditto.
 369         * tests/bitops-bitwise-and.js: Added. Ditto.
 370         * tests/math-cordic.js: Added. Ditto.
 371