d12344e5b51c87ee3399b47d0a9b4b37c9989e12
[WebKit-https.git] / WebKitTools / Scripts / run-javascriptcore-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
15 #     its contributors may be used to endorse or promote products derived
16 #     from this software without specific prior written permission. 
17 #
18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
30
31 use strict;
32 use FindBin;
33 use lib $FindBin::Bin;
34 use webkitdirs;
35 use POSIX;
36
37 # determine configuration
38 my $configuration;
39 setConfiguration();
40 $configuration = configuration();
41
42 my @jsArgs;
43 my @xcodeArgs;
44
45 # pre-evaluate arguments.  jsDriver args have - preceding, xcode args do not.
46 foreach my $arg(@ARGV) {
47     print $arg."\n";
48     if( $arg =~ /^-/ ){
49         push( @jsArgs, $arg );
50     } else {
51         push( @xcodeArgs, $arg );
52         
53     }
54 }
55         
56 # Find JavaScriptCore directory
57 chdirWebKit();
58 chdir("JavaScriptCore");
59
60 #compile TestKJS
61 my @options = XcodeOptions();
62 my $result;
63 if (isOSX()) {
64     $result = system "xcodebuild", "-project", "JavaScriptCore.xcodeproj", "-target", "testkjs", @options, @xcodeArgs;
65 }elsif (isCygwin()) {
66     $result = buildVisualStudioProject( "JavaScriptCore" );
67 }
68 exit WEXITSTATUS($result) if WEXITSTATUS($result);
69
70 my $productDir = productDir();
71 chdir "tests/mozilla" or die;
72
73 $productDir .= "/JavaScriptCore" if (isQt());
74 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
75
76 my $testkjsName;
77 sub determineTestkjsName
78 {
79     return if $testkjsName;
80     if (isCygwin() && ($configuration eq "Debug")) {
81         $testkjsName = "testkjs_debug";
82     } else {
83         $testkjsName = "testkjs";
84     }
85 }
86 $testkjsName = determineTestkjsName();
87
88 $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", "$productDir/$testkjsName", "-f", "actual.html", @jsArgs;
89
90 exit $result if $result;
91
92 my %failures;
93
94 open EXPECTED, "expected.html" or die;
95 while (<EXPECTED>) {
96     last if /failures reported\.$/;
97 }
98 while (<EXPECTED>) {
99     chomp;
100     $failures{$_} = 1;
101 }
102 close EXPECTED;
103
104 my %newFailures;
105
106 open ACTUAL, "actual.html" or die;
107 while (<ACTUAL>) {
108     last if /failures reported\.$/;
109 }
110 while (<ACTUAL>) {
111     chomp;
112     if ($failures{$_}) {
113         delete $failures{$_};
114     } else {
115         $newFailures{$_} = 1;
116     }
117 }
118 close ACTUAL;
119
120 my $numNewFailures = keys %newFailures;
121 if ($numNewFailures) {
122     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
123     foreach my $failure (sort keys %newFailures) {
124         print "\t$failure\n";
125     }
126 }
127
128 my $numOldFailures = keys %failures;
129 if ($numOldFailures) {
130     print "\nYou fixed the following test";
131     print "s" if $numOldFailures != 1;
132     print ":\n";
133     foreach my $failure (sort keys %failures) {
134         print "\t$failure\n";
135     }
136 }
137
138 print "\n";
139
140 print "$numNewFailures regression";
141 print "s" if $numNewFailures != 1;
142 print " found.\n";
143
144 print "$numOldFailures test";
145 print "s" if $numOldFailures != 1;
146 print " fixed.\n";
147
148 print "OK.\n" if $numNewFailures == 0;