2007-05-18 Holger Hans Peter Freyther <zecke@selfish.org>
[WebKit-https.git] / WebKitTools / Scripts / run-javascriptcore-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
15 #     its contributors may be used to endorse or promote products derived
16 #     from this software without specific prior written permission. 
17 #
18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
30
31 use strict;
32 use FindBin;
33 use lib $FindBin::Bin;
34 use webkitdirs;
35 use POSIX;
36
37 # determine configuration
38 my $configuration;
39 setConfiguration();
40 $configuration = configuration();
41
42 my @jsArgs;
43 my @xcodeArgs;
44
45 # pre-evaluate arguments.  jsDriver args have - preceding, xcode args do not.
46 foreach my $arg(@ARGV) {
47     print $arg."\n";
48     if( $arg =~ /^--gdk$/i ){
49     } elsif( $arg =~ /^-/ ){
50         push( @jsArgs, $arg );
51     } else {
52         push( @xcodeArgs, $arg );
53         
54     }
55 }
56         
57 # Find JavaScriptCore directory
58 chdirWebKit();
59 chdir("JavaScriptCore");
60
61 #compile TestKJS
62 my @options = XcodeOptions();
63 my $result;
64 if (isOSX()) {
65     $result = system "xcodebuild", "-project", "JavaScriptCore.xcodeproj", "-target", "testkjs", @options, @xcodeArgs;
66 }elsif (isCygwin()) {
67     $result = buildVisualStudioProject( "JavaScriptCore" );
68 }
69 exit WEXITSTATUS($result) if WEXITSTATUS($result);
70
71 my $productDir = productDir();
72 chdir "tests/mozilla" or die;
73
74 $productDir .= "/JavaScriptCore" if (isQt() or isGdk());
75 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
76
77 my $testkjsName;
78 sub determineTestkjsName
79 {
80     return if $testkjsName;
81     if (isCygwin() && ($configuration eq "Debug")) {
82         $testkjsName = "testkjs_debug";
83     } else {
84         $testkjsName = "testkjs";
85     }
86 }
87 $testkjsName = determineTestkjsName();
88
89 $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", "$productDir/$testkjsName", "-f", "actual.html", @jsArgs;
90
91 exit $result if $result;
92
93 my %failures;
94
95 open EXPECTED, "expected.html" or die;
96 while (<EXPECTED>) {
97     last if /failures reported\.$/;
98 }
99 while (<EXPECTED>) {
100     chomp;
101     $failures{$_} = 1;
102 }
103 close EXPECTED;
104
105 my %newFailures;
106
107 open ACTUAL, "actual.html" or die;
108 while (<ACTUAL>) {
109     last if /failures reported\.$/;
110 }
111 while (<ACTUAL>) {
112     chomp;
113     if ($failures{$_}) {
114         delete $failures{$_};
115     } else {
116         $newFailures{$_} = 1;
117     }
118 }
119 close ACTUAL;
120
121 my $numNewFailures = keys %newFailures;
122 if ($numNewFailures) {
123     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
124     foreach my $failure (sort keys %newFailures) {
125         print "\t$failure\n";
126     }
127 }
128
129 my $numOldFailures = keys %failures;
130 if ($numOldFailures) {
131     print "\nYou fixed the following test";
132     print "s" if $numOldFailures != 1;
133     print ":\n";
134     foreach my $failure (sort keys %failures) {
135         print "\t$failure\n";
136     }
137 }
138
139 print "\n";
140
141 print "$numNewFailures regression";
142 print "s" if $numNewFailures != 1;
143 print " found.\n";
144
145 print "$numOldFailures test";
146 print "s" if $numOldFailures != 1;
147 print " fixed.\n";
148
149 print "OK.\n" if $numNewFailures == 0;