2009-10-12 Dirk Schulze <krit@webkit.org>
[WebKit-https.git] / SunSpider / sunspider-compare-results
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2007 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 # 1. Redistributions of source code must retain the above copyright
9 #    notice, this list of conditions and the following disclaimer.
10 # 2. Redistributions in binary form must reproduce the above copyright
11 #    notice, this list of conditions and the following disclaimer in the
12 #    documentation and/or other materials provided with the distribution.
13 #
14 # THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
15 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16 # IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17 # PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
18 # CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19 # EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20 # PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21 # PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22 # OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
25
26 use strict;
27 use Getopt::Long;
28 use File::Basename;
29
30 my $showHelp = 0;
31 my $jsShellPath;
32 my $ubench = 0;
33 my $v8suite = 0;
34 my $parseonly = 0;
35
36 my $programName = basename($0);
37 my $usage = <<EOF;
38 Usage: $programName --shell=[path] [options] FILE FILE
39   --help        Show this help message
40   --shell       Path to javascript shell
41   --ubench      Compare microbenchmark results
42   --v8-suite    Compare the V8 benchmark results
43   --parse-only  Compare the parse-only benchmark results
44 EOF
45
46 GetOptions('shell=s' => \$jsShellPath,
47            'ubench' => \$ubench,
48            'v8-suite' => \$v8suite,
49            'parse-only' => \$parseonly,
50            'help' => \$showHelp);
51
52 my $resultDirectory = "sunspider-results";
53 $resultDirectory = "ubench-results" if ($ubench);
54 $resultDirectory = "v8-results" if ($v8suite);
55 $resultDirectory = "parse-only-results" if ($parseonly);
56
57 if ((scalar @ARGV != 0 && scalar @ARGV != 2) || !$jsShellPath || $showHelp) {
58    print STDERR $usage;
59    exit 1;
60 }
61
62 sub readResultsFile($)
63 {
64     my ($filename) = @_;
65     open FILE, "<", $filename or die;
66     my $foundStart = 0;
67     my $foundOutput = 0;
68     my $foundEnd = 0;
69     my $result = "";
70     while (<FILE>) {
71         if (!$foundStart) {
72             if (/^\[\{$/) {
73                 $foundStart = 1;
74                 $result .= $_;
75             } elsif (/^var \w+ = \[$/) {
76                 $foundOutput = 1;
77             } elsif ($foundOutput && /^\{$/) {
78                 $foundOutput = 0;
79                 $foundStart = 1;
80                 $result = "[{\n";
81             }
82         } else {
83             if (/\];?$/) {
84                 $foundEnd = 1;
85                 chomp;
86                 s/;$//;
87                 $result .= $_;
88                 last;
89             } else {
90                 $result .= $_;
91             }
92         } 
93     }
94     close FILE;
95
96     die "Cound not find data in ${filename} - needs to start with [{" unless $foundStart;
97     die "Cound not find data in ${filename} - needs to end with }]" unless $foundEnd;
98
99     return $result;
100 }
101
102 sub dumpToFile($$)
103 {
104     my ($contents, $path) = @_;
105     open FILE, ">", $path or die;
106     print FILE $contents;
107     close FILE;
108 }
109
110 sub readFile($)
111 {
112     my ($path) = @_;
113     open FILE, "<", $path or die;
114     my $result = <FILE>;
115     close FILE;
116     return $result;
117 }
118
119 sub newestFile($$)
120 {
121     my ($dir, $pattern) = @_;
122
123     my $newestAge;
124     my $newestFile = "";
125     opendir DIR, $dir or die;
126     for my $file (readdir DIR) {
127         if ($file =~ $pattern) {
128             my $age = -M "$dir/$file";
129             if (!defined $newestAge || $age < $newestAge) {
130                 $newestFile = $file;
131                 $newestAge = $age;
132             }
133         }
134     }
135     closedir DIR;
136
137     return "$dir/$newestFile";
138 }
139
140 my $file1;
141 my $file2;
142
143 if (scalar @ARGV == 2) {
144     $file1 = $ARGV[0];
145     $file2 = $ARGV[1];
146 } else {
147     $file1 = readFile("$resultDirectory/baseline-filename.txt");
148     $file2 = newestFile("$resultDirectory", qr/sunspider-results-.+\.js$/);
149 }
150
151 my $output = "var output1 = " . readResultsFile($file1) . ";\n";
152 $output .= "var output2 = " . readResultsFile($file2) . ";\n";
153
154 dumpToFile($output, "$resultDirectory/sunspider-comparison-data.js");
155
156 system($jsShellPath, "-f", "$resultDirectory/sunspider-test-prefix.js", "-f", "$resultDirectory/sunspider-comparison-data.js", "-f", "resources/sunspider-compare-results.js", "-f", "resources/sunspider-standalone-compare.js");