Make testapi run as part of the standard JavaScriptCore tests.
[WebKit-https.git] / WebKitTools / Scripts / run-javascriptcore-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 # Copyright (C) 2007 Eric Seidel <eric@webkit.org>
5 #
6 # Redistribution and use in source and binary forms, with or without
7 # modification, are permitted provided that the following conditions
8 # are met:
9 #
10 # 1.  Redistributions of source code must retain the above copyright
11 #     notice, this list of conditions and the following disclaimer. 
12 # 2.  Redistributions in binary form must reproduce the above copyright
13 #     notice, this list of conditions and the following disclaimer in the
14 #     documentation and/or other materials provided with the distribution. 
15 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
16 #     its contributors may be used to endorse or promote products derived
17 #     from this software without specific prior written permission. 
18 #
19 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
20 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
21 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
22 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
23 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
24 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
25 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
26 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
28 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29
30 # Script to run the WebKit Open Source Project JavaScriptCore tests (adapted from Mozilla).
31
32 use strict;
33 use FindBin;
34 use Getopt::Long qw(:config pass_through);
35 use lib $FindBin::Bin;
36 use webkitdirs;
37 use POSIX;
38
39 # determine configuration
40 setConfiguration();
41 my $configuration = configuration();
42
43 my $jsDriverArgs = "";
44 my $root; # intentionally left undefined
45 my $showHelp = 0;
46
47 my $programName = basename($0);
48 my $usage = <<EOF;
49 Usage: $programName [options] [options to pass to build system]
50   --help                        Show this help message
51   --jsDriver-args=              A string of arguments to pass to jsDriver.pl
52   --root=                       Path to pre-built root containing jsc
53 EOF
54
55 GetOptions(
56     'j|jsDriver-args=s' => \$jsDriverArgs,
57     'root=s' => \$root,
58     'help' => \$showHelp
59 );
60
61 # Assume any arguments left over from GetOptions are assumed to be build arguments
62 my @buildArgs = @ARGV;
63
64 # Arguments passed to --jsDriver-args (if any) are passed to jsDriver.pl
65 my @jsArgs = split(" ", $jsDriverArgs);
66
67 if ($showHelp) {
68    print STDERR $usage;
69    exit 1;
70 }
71
72 setConfigurationProductDir(Cwd::abs_path($root)) if (defined($root));
73
74 if (!defined($root)){
75     chdirWebKit();
76
77     push(@buildArgs, argumentsForConfiguration());
78     
79     print "Running: build-jsc " . join(" ", @buildArgs) . "\n";
80     my $buildResult = system "perl", "WebKitTools/Scripts/build-jsc", @buildArgs;
81     if ($buildResult) {
82         print STDERR "Compiling jsc failed!\n";
83         exit exitStatus($buildResult);
84     }
85 }
86
87
88 my $productDir = productDir();
89
90 $productDir .= "/JavaScriptCore" if isQt();
91 $productDir .= "/Programs" if isGtk();
92 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
93 setPathForRunningWebKitApp(\%ENV) if isCygwin();
94
95 sub jscPath($)
96 {
97     my ($productDir) = @_;
98     my $jscName = "jsc";
99     $jscName .= "_debug"  if (isCygwin() && ($configuration eq "Debug"));
100     return "$productDir/$jscName";
101 }
102
103 sub testapiPath($)
104 {
105     my ($productDir) = @_;
106     my $jscName = "testapi";
107     $jscName .= "_debug"  if (isCygwin() && ($configuration eq "Debug"));
108     return "$productDir/$jscName";
109 }
110
111 #run api tests
112 if (isAppleMacWebKit()) {
113     chdirWebKit();
114     chdir($productDir) or die;
115     my $testapiResult = system testapiPath($productDir);
116     exit exitStatus($testapiResult)  if $testapiResult;
117 }
118
119 # Find JavaScriptCore directory
120 chdirWebKit();
121 chdir("JavaScriptCore");
122 chdir "tests/mozilla" or die;
123 printf "Running: jsDriver.pl -e squirrelfish -s %s -f actual.html %s\n", jscPath($productDir), join(" ", @jsArgs);
124 my $result = system "perl", "jsDriver.pl", "-e", "squirrelfish", "-s", jscPath($productDir), "-f", "actual.html", @jsArgs;
125 exit exitStatus($result)  if $result;
126
127 my %failures;
128
129 open EXPECTED, "expected.html" or die;
130 while (<EXPECTED>) {
131     last if /failures reported\.$/;
132 }
133 while (<EXPECTED>) {
134     chomp;
135     $failures{$_} = 1;
136 }
137 close EXPECTED;
138
139 my %newFailures;
140
141 open ACTUAL, "actual.html" or die;
142 while (<ACTUAL>) {
143     last if /failures reported\.$/;
144 }
145 while (<ACTUAL>) {
146     chomp;
147     if ($failures{$_}) {
148         delete $failures{$_};
149     } else {
150         $newFailures{$_} = 1;
151     }
152 }
153 close ACTUAL;
154
155 my $numNewFailures = keys %newFailures;
156 if ($numNewFailures) {
157     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
158     foreach my $failure (sort keys %newFailures) {
159         print "\t$failure\n";
160     }
161 }
162
163 my $numOldFailures = keys %failures;
164 if ($numOldFailures) {
165     print "\nYou fixed the following test";
166     print "s" if $numOldFailures != 1;
167     print ":\n";
168     foreach my $failure (sort keys %failures) {
169         print "\t$failure\n";
170     }
171 }
172
173 print "\n";
174
175 print "$numNewFailures regression";
176 print "s" if $numNewFailures != 1;
177 print " found.\n";
178
179 print "$numOldFailures test";
180 print "s" if $numOldFailures != 1;
181 print " fixed.\n";
182
183 print "OK.\n" if $numNewFailures == 0;
184 exit(1)  if $numNewFailures;