Add standalone script that filters the output of build-webkit to be more human-readable
[WebKit-https.git] / Tools / Scripts / run-api-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2010, 2011 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 # 1. Redistributions of source code must retain the above copyright
9 #    notice, this list of conditions and the following disclaimer.
10 # 2. Redistributions in binary form must reproduce the above copyright
11 #    notice, this list of conditions and the following disclaimer in the
12 #    documentation and/or other materials provided with the distribution.
13 #
14 # THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
15 # AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
16 # THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17 # PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
18 # BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
19 # CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
20 # SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
21 # INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
22 # CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
23 # ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
24 # THE POSSIBILITY OF SUCH DAMAGE.
25
26 # Features to add:
27 #   - Command line option to run a single test.
28 #   - Command line option to run all tests in a suite.
29
30 use strict;
31 use warnings;
32
33 use File::Basename;
34 use FindBin;
35 use Getopt::Long qw(:config pass_through);
36 use IPC::Open3;
37 use lib $FindBin::Bin;
38 use webkitdirs;
39 use VCSUtils;
40
41 sub buildTestTool();
42 sub dumpAllTests();
43 sub populateTests();
44 sub runAllTests();
45 sub runAllTestsInSuite($);
46 sub runTest($$);
47 sub prepareEnvironmentForRunningTestTool();
48 sub testToolPath();
49
50 # Defined in VCSUtils.
51 sub possiblyColored($$);
52
53 # Timeout for individual test, in sec
54 my $timeout = 10;
55
56 my $showHelp = 0;
57 my $verbose = 0;
58 my $dump = 0;
59 my $build = 1;
60 my $buildDefault = $build ? "build" : "do not build";
61
62 my $programName = basename($0);
63 my $usage = <<EOF;
64 Usage: $programName [options]
65   --help                Show this help message
66   -v|--verbose          Verbose output
67   -d|--dump-tests       Dump the names of testcases without running them
68   --[no-]build          Build (or do not build) unit tests prior to running (default: $buildDefault)
69 EOF
70
71 GetOptions(
72     'help' => \$showHelp,
73     'verbose|v' => \$verbose,
74     'dump|d' => \$dump,
75     'build!' => \$build
76 );
77
78 if ($showHelp) {
79    print STDERR $usage;
80    exit 1;
81 }
82
83 setConfiguration();
84 buildTestTool() if $build;
85 setPathForRunningWebKitApp(\%ENV);
86 my %testsToRun = populateTests();
87
88 if ($dump) {
89     dumpAllTests();
90     exit 0;
91 }
92
93 if (runAllTests()) {
94     exit 1;
95 }
96
97 sub dumpAllTests()
98 {
99     print "Dumping test cases\n";
100     print "------------------\n";
101     for my $suite (keys %testsToRun) {
102         print $suite . ":\n";
103         print map { "   " . $_ . "\n" } @{ $testsToRun{$suite} };
104     }
105     print "------------------\n";
106 }
107
108 sub runAllTests()
109 {
110     my $anyFailures = 0;
111     for my $suite (sort keys %testsToRun) {
112         my $failed = runAllTestsInSuite($suite);
113         if ($failed) {
114             $anyFailures = 1;
115         }
116     }
117     return $anyFailures;
118 }
119
120 sub runAllTestsInSuite($)
121 {
122     my ($suite) = @_;
123     print "Suite: $suite\n" unless $verbose;
124
125     my $anyFailures = 0;
126     for my $test (sort @{$testsToRun{$suite}}) {
127         my $failed = runTest($suite, $test);
128         if ($failed) {
129             $anyFailures = 1;
130         }
131     }
132    
133     return $anyFailures;
134 }
135
136 sub runTest($$)
137 {
138     my ($suite, $testName) = @_;
139     my $test = $suite . "." . $testName;
140
141     my $gtestArg = "--gtest_filter=" . $test;
142
143     print "    Test: $testName -> " unless $verbose;
144
145     my $result = 0;
146     my $timedOut = 0;
147
148     die "run-api-tests is not supported on this platform.\n" unless isAppleMacWebKit() || isAppleWinWebKit();
149
150     prepareEnvironmentForRunningTestTool();
151
152     local *DEVNULL;
153     my ($childIn, $childOut, $childErr);
154     if ($verbose) {
155         $childOut = ">&STDERR";
156         $childErr = ">&STDERR";
157     } else {
158         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
159         $childOut = ">&DEVNULL";
160         $childErr = ">&DEVNULL";
161     }
162
163     my $pid;
164     if (isAppleMacWebKit() && architecture()) {
165         $pid = open3($childIn, $childOut, $childErr, "arch", "-" . architecture(), testToolPath(), $gtestArg, @ARGV) or die "Failed to run test: $test.";
166     } else {
167         $pid = open3($childIn, $childOut, $childErr, testToolPath(), $gtestArg, @ARGV) or die "Failed to run test: $test.";
168     }
169
170     close($childIn);
171     close($childOut);
172     close($childErr);
173     close(DEVNULL) unless ($verbose);
174     eval {
175         local $SIG{ALRM} = sub { die "alarm\n" };
176         alarm $timeout;
177         waitpid($pid, 0);
178         alarm 0;
179         $result = $?;
180     };
181     if ($@) {
182         die unless $@ eq "alarm\n";
183         kill SIGTERM, $pid or kill SIGKILL, $pid;
184         $timedOut = 1;
185     }
186
187     if ($timedOut) {
188         print possiblyColored("bold yellow", "Timeout"), "\n";
189     } elsif (!$verbose) {
190         if ($result) {
191             print possiblyColored("bold red", "Failed"), "\n";
192         } else {
193             print possiblyColored("bold green", "Passed"), "\n";
194         }
195     }
196
197     return $timedOut || $result;
198 }
199
200 sub populateTests()
201 {
202     my @tests;
203     my $timedOut;
204
205     die "run-api-tests is not supported on this platform.\n" unless isAppleMacWebKit() || isAppleWinWebKit();
206
207     prepareEnvironmentForRunningTestTool();
208
209     local *DEVNULL;
210     my ($childIn, $childOut, $childErr);
211     if ($verbose) {
212         $childErr = ">&STDERR";
213     } else {
214         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
215         $childErr = ">&DEVNULL";
216     }
217
218     my $pid;
219     if (isAppleMacWebKit() && architecture()) {
220         $pid = open3($childIn, $childOut, $childErr, "arch", "-" . architecture(), testToolPath(), "--gtest_list_tests") or die "Failed to build list of tests!";
221     } else {
222         $pid = open3($childIn, $childOut, $childErr, testToolPath(), "--gtest_list_tests") or die "Failed to build list of tests!";
223     }
224
225     close($childIn);
226     @tests = <$childOut>;
227     close($childOut);
228     close($childErr);
229     close(DEVNULL) unless ($verbose);
230
231     waitpid($pid, 0);
232     my $result = $?;
233
234     if ($result) {
235         print STDERR "Failed to build list of tests!\n";
236         exit exitStatus($result);
237     }
238
239     my %keyedTests = ();
240     my $suite;
241     for my $test (@tests) {
242        $test =~ s/[\r\n]*$//;
243        if ($test =~ m/\.$/) {
244           $test =~ s/\.$//;
245           $suite = $test;
246        } else {
247           $test =~ s/^\s*//;
248           push @{$keyedTests{$suite}}, $test;
249         }
250     }
251  
252     return %keyedTests;
253 }
254
255
256 sub buildTestTool()
257 {
258     my $originalCwd = getcwd();
259
260     chdirWebKit();
261
262     my $buildTestTool = "build-api-tests";
263     print STDERR "Running $buildTestTool\n";
264
265     local *DEVNULL;
266     my ($childIn, $childOut, $childErr);
267     if ($verbose) {
268         # When not quiet, let the child use our stdout/stderr.
269         $childOut = ">&STDOUT";
270         $childErr = ">&STDERR";
271     } else {
272         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
273         $childOut = ">&DEVNULL";
274         $childErr = ">&DEVNULL";
275     }
276
277     my @args = argumentsForConfiguration();
278     my $buildProcess = open3($childIn, $childOut, $childErr, "Tools/Scripts/$buildTestTool", @args) or die "Failed to run " . $buildTestTool;
279
280     close($childIn);
281     close($childOut);
282     close($childErr);
283     close(DEVNULL) unless ($verbose);
284
285     waitpid($buildProcess, 0);
286     my $buildResult = $?;
287
288     if ($buildResult) {
289         print STDERR "Compiling TestWebKitAPI failed!\n";
290         exit exitStatus($buildResult);
291     }
292
293     chdir $originalCwd;
294 }
295
296 sub prepareEnvironmentForRunningTestTool()
297 {
298     return unless isAppleMacWebKit();
299
300     $ENV{DYLD_FRAMEWORK_PATH} = productDir();
301     $ENV{WEBKIT_UNSET_DYLD_FRAMEWORK_PATH} = "YES";
302 }
303
304 sub testToolPath()
305 {
306     my $path = File::Spec->catfile(productDir(), "TestWebKitAPI");
307     return $path unless isAppleWinWebKit();
308
309     my $suffix;
310     if (configurationForVisualStudio() eq "Debug_All") {
311         $suffix = "_debug";
312     } else {
313         $suffix = "";
314     }
315     return "$path$suffix.exe";
316 }