[GTK][EFL] run-javascriptcore-tests should be run through jhbuild
[WebKit-https.git] / Tools / Scripts / run-javascriptcore-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 # Copyright (C) 2007 Eric Seidel <eric@webkit.org>
5 #
6 # Redistribution and use in source and binary forms, with or without
7 # modification, are permitted provided that the following conditions
8 # are met:
9 #
10 # 1.  Redistributions of source code must retain the above copyright
11 #     notice, this list of conditions and the following disclaimer. 
12 # 2.  Redistributions in binary form must reproduce the above copyright
13 #     notice, this list of conditions and the following disclaimer in the
14 #     documentation and/or other materials provided with the distribution. 
15 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
16 #     its contributors may be used to endorse or promote products derived
17 #     from this software without specific prior written permission. 
18 #
19 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
20 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
21 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
22 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
23 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
24 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
25 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
26 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
28 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29
30 # Script to run the WebKit Open Source Project JavaScriptCore tests (adapted from Mozilla).
31
32 use strict;
33 use FindBin;
34 use Getopt::Long qw(:config pass_through);
35 use lib $FindBin::Bin;
36 use webkitdirs;
37 use POSIX;
38
39 # determine configuration
40 setConfiguration();
41 my $configuration = configuration();
42
43 my @testsToSkip = (
44     # Various ecma/Date tests sometimes fail on Windows (but not Mac) https://bugs.webkit.org/show_bug.cgi?id=25160
45     "ecma/Date/15.9.2.1.js",
46     "ecma/Date/15.9.2.2-1.js",
47     "ecma/Date/15.9.2.2-2.js",
48     "ecma/Date/15.9.2.2-3.js",
49     "ecma/Date/15.9.2.2-4.js",
50     "ecma/Date/15.9.2.2-5.js",
51     "ecma/Date/15.9.2.2-6.js",
52     # ecma_3/Date/15.9.5.7.js fails on Mac (but not Windows) https://bugs.webkit.org/show_bug.cgi?id=25161
53     "ecma_3/Date/15.9.5.7.js",
54     # These three fail on Linux in certain time zones, at certain times
55     # of the year (!): https://bugs.webkit.org/show_bug.cgi?id=71371
56     "ecma/Date/15.9.5.14.js",
57     "ecma/Date/15.9.5.31-1.js",
58     "ecma/Date/15.9.5.34-1.js",
59 );
60
61 my $jsDriverArgs = "-L " . join(" ", @testsToSkip);
62 # These variables are intentionally left undefined.
63 my $root;
64 my $showHelp;
65
66 my $buildJSC = 1;
67
68 my $programName = basename($0);
69 my $buildJSCDefault = $buildJSC ? "will check" : "will not check";
70 my $usage = <<EOF;
71 Usage: $programName [options] [options to pass to build system]
72   --help                        Show this help message
73   --jsDriver-args=              A string of arguments to pass to jsDriver.pl
74   --root=                       Path to pre-built root containing jsc
75   --[no-]build                  Check (or don't check) to see if the jsc build is up-to-date (default: $buildJSCDefault)
76 EOF
77
78 GetOptions(
79     'j|jsDriver-args=s' => \$jsDriverArgs,
80     'root=s' => \$root,
81     'build!' => \$buildJSC,
82     'help' => \$showHelp
83 );
84
85 # Assume any arguments left over from GetOptions are assumed to be build arguments
86 my @buildArgs = @ARGV;
87
88 # Arguments passed to --jsDriver-args (if any) are passed to jsDriver.pl
89 my @jsArgs = split(" ", $jsDriverArgs);
90
91 if ($showHelp) {
92    print STDERR $usage;
93    exit 1;
94 }
95
96 setConfigurationProductDir(Cwd::abs_path($root)) if (defined($root));
97
98 if (!defined($root) && $buildJSC) {
99     chdirWebKit();
100
101     push(@buildArgs, argumentsForConfiguration());
102     
103     print "Running: build-jsc " . join(" ", @buildArgs) . "\n";
104     my $buildResult = system "perl", "Tools/Scripts/build-jsc", @buildArgs;
105     if ($buildResult) {
106         print STDERR "Compiling jsc failed!\n";
107         exit exitStatus($buildResult);
108     }
109 }
110
111
112 my $productDir = jscProductDir();
113 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
114 setPathForRunningWebKitApp(\%ENV) if isCygwin();
115
116 sub testapiPath($)
117 {
118     my ($productDir) = @_;
119     my $jscName = "testapi";
120     $jscName .= "_debug" if configurationForVisualStudio() eq "Debug_All";
121     return "$productDir/$jscName";
122 }
123
124 #run api tests
125 if (isAppleMacWebKit() || isAppleWinWebKit()) {
126     chdirWebKit();
127     chdir($productDir) or die "Failed to switch directory to '$productDir'\n";
128     my $path = testapiPath($productDir);
129     # Use an "indirect object" so that system() won't get confused if the path
130     # contains spaces (see perldoc -f exec).
131     my $testapiResult = system { $path } $path;
132     exit exitStatus($testapiResult)  if $testapiResult;
133 }
134
135 # Find JavaScriptCore directory
136 chdirWebKit();
137 chdir("Source/JavaScriptCore");
138 chdir "tests/mozilla" or die "Failed to switch directory to 'tests/mozilla'\n";
139 printf "Running: jsDriver.pl -e squirrelfish -s %s -f actual.html %s\n", jscPath($productDir), join(" ", @jsArgs);
140 my @jsDriverCmd = ("perl", "jsDriver.pl", "-e", "squirrelfish", "-s", jscPath($productDir), "-f", "actual.html", @jsArgs);
141 if (isGtk() || isEfl()) {
142     my $jhbuildPrefix = sourceDir() . "/Tools/";
143     $jhbuildPrefix .= isEfl() ? "efl" : "";
144     $jhbuildPrefix .= isGtk() ? "gtk" : "";
145     $jhbuildPrefix .= "/run-with-jhbuild";
146     unshift(@jsDriverCmd, $jhbuildPrefix);
147 }
148 my $result = system(@jsDriverCmd);
149 exit exitStatus($result)  if $result;
150
151 my %failures;
152
153 open EXPECTED, "expected.html" or die "Failed to open 'expected.html'\n";
154 while (<EXPECTED>) {
155     last if /failures reported\.$/;
156 }
157 while (<EXPECTED>) {
158     chomp;
159     $failures{$_} = 1;
160 }
161 close EXPECTED;
162
163 my %newFailures;
164
165 open ACTUAL, "actual.html" or die "Failed to open 'actual.html'";
166 while (<ACTUAL>) {
167     last if /failures reported\.$/;
168 }
169 while (<ACTUAL>) {
170     chomp;
171     if ($failures{$_}) {
172         delete $failures{$_};
173     } else {
174         $newFailures{$_} = 1;
175     }
176 }
177 close ACTUAL;
178
179 my $numNewFailures = keys %newFailures;
180 if ($numNewFailures) {
181     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
182     foreach my $failure (sort keys %newFailures) {
183         print "\t$failure\n";
184     }
185 }
186
187 my $numOldFailures = keys %failures;
188 if ($numOldFailures) {
189     print "\nYou fixed the following test";
190     print "s" if $numOldFailures != 1;
191     print ":\n";
192     foreach my $failure (sort keys %failures) {
193         print "\t$failure\n";
194     }
195 }
196
197 print "\n";
198
199 print "$numNewFailures regression";
200 print "s" if $numNewFailures != 1;
201 print " found.\n";
202
203 print "$numOldFailures test";
204 print "s" if $numOldFailures != 1;
205 print " fixed.\n";
206
207 print "OK.\n" if $numNewFailures == 0;
208 exit(1)  if $numNewFailures;