2010-05-03 Abhishek Arya <inferno@chromium.org>
[WebKit-https.git] / SunSpider / sunspider-compare-results
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2007 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 # 1. Redistributions of source code must retain the above copyright
9 #    notice, this list of conditions and the following disclaimer.
10 # 2. Redistributions in binary form must reproduce the above copyright
11 #    notice, this list of conditions and the following disclaimer in the
12 #    documentation and/or other materials provided with the distribution.
13 #
14 # THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
15 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16 # IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17 # PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
18 # CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19 # EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20 # PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
21 # PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
22 # OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
24 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
25
26 use strict;
27 use Getopt::Long;
28 use File::Basename;
29
30 my $showHelp = 0;
31 my $jsShellPath;
32 my $suite = "";
33 my $ubench = 0;
34 my $v8suite = 0;
35 my $parseOnly = 0;
36
37 my $programName = basename($0);
38 my $usage = <<EOF;
39 Usage: $programName --shell=[path] [options] FILE FILE
40   --help        Show this help message
41   --shell       Path to javascript shell
42   --suite           Select a specific benchmark suite. The default is sunspider-0.9.1
43   --ubench          Use microbenchmark suite instead of regular tests. Same as --suite=ubench
44   --v8-suite        Use the V8 benchmark suite. Same as --suite=v8-v4
45   --parse-only  Compare the parse-only benchmark results
46 EOF
47
48 GetOptions('shell=s' => \$jsShellPath,
49            'suite=s' => \$suite,
50            'ubench' => \$ubench,
51            'v8-suite' => \$v8suite,
52            'parse-only' => \$parseOnly,
53            'help' => \$showHelp);
54
55 $suite = "ubench" if ($ubench);
56 $suite = "v8-v4" if ($v8suite);
57 $suite = "parse-only" if ($parseOnly);
58 $suite = "sunspider-0.9.1" if (!$suite);
59
60 my $resultDirectory = "${suite}-results";
61
62 if ((scalar @ARGV != 0 && scalar @ARGV != 2) || !$jsShellPath || $showHelp) {
63    print STDERR $usage;
64    exit 1;
65 }
66
67 sub readResultsFile($)
68 {
69     my ($filename) = @_;
70     open FILE, "<", $filename or die;
71     my $foundStart = 0;
72     my $foundOutput = 0;
73     my $foundEnd = 0;
74     my $result = "";
75     while (<FILE>) {
76         if (!$foundStart) {
77             if (/^\[\{$/) {
78                 $foundStart = 1;
79                 $result .= $_;
80             } elsif (/^var \w+ = \[$/) {
81                 $foundOutput = 1;
82             } elsif ($foundOutput && /^\{$/) {
83                 $foundOutput = 0;
84                 $foundStart = 1;
85                 $result = "[{\n";
86             }
87         } else {
88             if (/\];?$/) {
89                 $foundEnd = 1;
90                 chomp;
91                 s/;$//;
92                 $result .= $_;
93                 last;
94             } else {
95                 $result .= $_;
96             }
97         } 
98     }
99     close FILE;
100
101     die "Cound not find data in ${filename} - needs to start with [{" unless $foundStart;
102     die "Cound not find data in ${filename} - needs to end with }]" unless $foundEnd;
103
104     return $result;
105 }
106
107 sub dumpToFile($$)
108 {
109     my ($contents, $path) = @_;
110     open FILE, ">", $path or die;
111     print FILE $contents;
112     close FILE;
113 }
114
115 sub readFile($)
116 {
117     my ($path) = @_;
118     open FILE, "<", $path or die;
119     my $result = <FILE>;
120     close FILE;
121     return $result;
122 }
123
124 sub newestFile($$)
125 {
126     my ($dir, $pattern) = @_;
127
128     my $newestAge;
129     my $newestFile = "";
130     opendir DIR, $dir or die;
131     for my $file (readdir DIR) {
132         if ($file =~ $pattern) {
133             my $age = -M "$dir/$file";
134             if (!defined $newestAge || $age < $newestAge) {
135                 $newestFile = $file;
136                 $newestAge = $age;
137             }
138         }
139     }
140     closedir DIR;
141
142     return "$dir/$newestFile";
143 }
144
145 my $file1;
146 my $file2;
147
148 if (scalar @ARGV == 2) {
149     $file1 = $ARGV[0];
150     $file2 = $ARGV[1];
151 } else {
152     $file1 = readFile("$resultDirectory/baseline-filename.txt");
153     $file2 = newestFile("$resultDirectory", qr/sunspider-results-.+\.js$/);
154 }
155
156 my $output = "var output1 = " . readResultsFile($file1) . ";\n";
157 $output .= "var output2 = " . readResultsFile($file2) . ";\n";
158
159 dumpToFile($output, "$resultDirectory/sunspider-comparison-data.js");
160
161 system($jsShellPath, "-f", "$resultDirectory/sunspider-test-prefix.js", "-f", "$resultDirectory/sunspider-comparison-data.js", "-f", "resources/sunspider-compare-results.js", "-f", "resources/sunspider-standalone-compare.js");