2007-10-20 Eric Seidel <eric@webkit.org>
[WebKit-https.git] / WebKitTools / Scripts / run-javascriptcore-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 # Copyright (C) 2007 Eric Seidel <eric@webkit.org>
5 #
6 # Redistribution and use in source and binary forms, with or without
7 # modification, are permitted provided that the following conditions
8 # are met:
9 #
10 # 1.  Redistributions of source code must retain the above copyright
11 #     notice, this list of conditions and the following disclaimer. 
12 # 2.  Redistributions in binary form must reproduce the above copyright
13 #     notice, this list of conditions and the following disclaimer in the
14 #     documentation and/or other materials provided with the distribution. 
15 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
16 #     its contributors may be used to endorse or promote products derived
17 #     from this software without specific prior written permission. 
18 #
19 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
20 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
21 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
22 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
23 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
24 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
25 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
26 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
28 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29
30 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
31
32 use strict;
33 use FindBin;
34 use Getopt::Long qw(:config pass_through);
35 use lib $FindBin::Bin;
36 use webkitdirs;
37 use POSIX;
38
39 my $coverageSupport = 0;
40 GetOptions('coverage!' => \$coverageSupport);
41
42 my @coverageSupportOption = ();
43 if ($coverageSupport) {
44     push @coverageSupportOption, "GCC_GENERATE_TEST_COVERAGE_FILES=YES";
45     push @coverageSupportOption, "GCC_INSTRUMENT_PROGRAM_FLOW_ARCS=YES";
46     push @coverageSupportOption, "EXTRA_LINK= -ftest-coverage -fprofile-arcs";
47     push @coverageSupportOption, "OTHER_CFLAGS= -MD";
48     push @coverageSupportOption, "OTHER_LDFLAGS= -ftest-coverage -fprofile-arcs -framework AppKit";
49 }
50
51 # determine configuration
52 my $configuration;
53 setConfiguration();
54 $configuration = configuration();
55
56 my @jsArgs;
57 my @xcodeArgs;
58 my $root;
59
60 # pre-evaluate arguments.  jsDriver args have - preceding, xcode args do not.
61 # special arguments
62 #     --root=<path to webkit root> use pre-built root
63 #     --gtk build gtk 
64 foreach my $arg(@ARGV) {
65     print $arg."\n";
66     if( $arg =~ /root=(.*)/ ){
67         $root = $1;
68     } elsif( $arg =~ /^--gtk$/i || $arg =~ /^--qt$/i ){
69     } elsif( $arg =~ /^-/ or !($arg =~/=/)){
70         push( @jsArgs, $arg );
71     } else {
72         push( @xcodeArgs, $arg );
73     }
74 }
75
76 setConfigurationProductDir(Cwd::abs_path($root)) if (defined($root));
77
78 if(!defined($root)){
79     chdirWebKit();
80     my @args;
81     push(@args, "--" . $configuration);
82     
83     # FIXME: These should be stored per-config and ignored here
84     push(@xcodeArgs, "--qt")  if isQt();
85     push(@xcodeArgs, "--gtk")  if isGtk();
86
87     my $buildResult = system "WebKitTools/Scripts/build-testkjs", @xcodeArgs;
88     if ($buildResult) {
89         print STDERR "Compiling testkjs failed!\n";
90         exit WEXITSTATUS($buildResult);
91     }
92 }
93
94 # Find JavaScriptCore directory
95 chdirWebKit();
96 chdir("JavaScriptCore");
97
98 my $productDir = productDir();
99 chdir "tests/mozilla" or die;
100
101 $productDir .= "/JavaScriptCore" if (isQt() or isGtk());
102 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
103 setPathForRunningWebKitApp(\%ENV) if isCygwin();
104
105 sub testKJSPath($)
106 {
107     my ($productDir) = @_;
108     my $testkjsName = "testkjs";
109     $testkjsName .= "_debug"  if (isCygwin() && ($configuration eq "Debug"));
110     return "$productDir/$testkjsName";
111 }
112
113 my $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", testKJSPath($productDir), "-f", "actual.html", @jsArgs;
114 exit WEXITSTATUS($result)  if $result;
115
116 my %failures;
117
118 open EXPECTED, "expected.html" or die;
119 while (<EXPECTED>) {
120     last if /failures reported\.$/;
121 }
122 while (<EXPECTED>) {
123     chomp;
124     $failures{$_} = 1;
125 }
126 close EXPECTED;
127
128 my %newFailures;
129
130 open ACTUAL, "actual.html" or die;
131 while (<ACTUAL>) {
132     last if /failures reported\.$/;
133 }
134 while (<ACTUAL>) {
135     chomp;
136     if ($failures{$_}) {
137         delete $failures{$_};
138     } else {
139         $newFailures{$_} = 1;
140     }
141 }
142 close ACTUAL;
143
144 my $numNewFailures = keys %newFailures;
145 if ($numNewFailures) {
146     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
147     foreach my $failure (sort keys %newFailures) {
148         print "\t$failure\n";
149     }
150 }
151
152 my $numOldFailures = keys %failures;
153 if ($numOldFailures) {
154     print "\nYou fixed the following test";
155     print "s" if $numOldFailures != 1;
156     print ":\n";
157     foreach my $failure (sort keys %failures) {
158         print "\t$failure\n";
159     }
160 }
161
162 print "\n";
163
164 print "$numNewFailures regression";
165 print "s" if $numNewFailures != 1;
166 print " found.\n";
167
168 print "$numOldFailures test";
169 print "s" if $numOldFailures != 1;
170 print " fixed.\n";
171
172 print "OK.\n" if $numNewFailures == 0;