2d4c7014cbf5a9bd9ec8bd4fd7b7a5cffdb662f7
[WebKit-https.git] / WebKitTools / Scripts / run-javascriptcore-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
15 #     its contributors may be used to endorse or promote products derived
16 #     from this software without specific prior written permission. 
17 #
18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
30
31 use strict;
32 use FindBin;
33 use lib $FindBin::Bin;
34 use webkitdirs;
35 use POSIX;
36
37 # determine configuration
38 my $configuration;
39 setConfiguration();
40 $configuration = configuration();
41
42 # Find JavaScriptCore directory
43 chdirWebKit();
44 chdir("JavaScriptCore");
45
46 #compile TestKJS
47 my @options = XcodeOptions();
48 my $result;
49 if (isOSX()) {
50     $result = system "xcodebuild", "-project", "JavaScriptCore.xcodeproj", "-target", "testkjs", @options, @ARGV;
51 }elsif (isCygwin()) {
52     $result = buildVisualStudioProject( "JavaScriptCore" );
53 }
54 exit WEXITSTATUS($result) if WEXITSTATUS($result);
55
56 my $productDir = productDir();
57 chdir "tests/mozilla" or die;
58
59 $productDir .= "/JavaScriptCore" if (isQt());
60 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
61
62 my $testkjsName;
63 sub determineTestkjsName
64 {
65     return if $testkjsName;
66     if (isCygwin() && ($configuration eq "Debug")) {
67         $testkjsName = "testkjs_debug";
68     } else {
69         $testkjsName = "testkjs";
70     }
71 }
72 $testkjsName = determineTestkjsName();
73
74 $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", "$productDir/$testkjsName", "-f", "actual.html", @ARGV;
75
76 exit $result if $result;
77
78 my %failures;
79
80 open EXPECTED, "expected.html" or die;
81 while (<EXPECTED>) {
82     last if /failures reported\.$/;
83 }
84 while (<EXPECTED>) {
85     chomp;
86     $failures{$_} = 1;
87 }
88 close EXPECTED;
89
90 my %newFailures;
91
92 open ACTUAL, "actual.html" or die;
93 while (<ACTUAL>) {
94     last if /failures reported\.$/;
95 }
96 while (<ACTUAL>) {
97     chomp;
98     if ($failures{$_}) {
99         delete $failures{$_};
100     } else {
101         $newFailures{$_} = 1;
102     }
103 }
104 close ACTUAL;
105
106 my $numNewFailures = keys %newFailures;
107 if ($numNewFailures) {
108     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
109     foreach my $failure (sort keys %newFailures) {
110         print "\t$failure\n";
111     }
112 }
113
114 my $numOldFailures = keys %failures;
115 if ($numOldFailures) {
116     print "\nYou fixed the following test";
117     print "s" if $numOldFailures != 1;
118     print ":\n";
119     foreach my $failure (sort keys %failures) {
120         print "\t$failure\n";
121     }
122 }
123
124 print "\n";
125
126 print "$numNewFailures regression";
127 print "s" if $numNewFailures != 1;
128 print " found.\n";
129
130 print "$numOldFailures test";
131 print "s" if $numOldFailures != 1;
132 print " fixed.\n";
133
134 print "OK.\n" if $numNewFailures == 0;