cfc4e6ab9ded1fc94c28519a0fc853bf0cedd902
[WebKit-https.git] / Tools / Scripts / run-api-tests
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2010, 2011 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 # 1. Redistributions of source code must retain the above copyright
9 #    notice, this list of conditions and the following disclaimer.
10 # 2. Redistributions in binary form must reproduce the above copyright
11 #    notice, this list of conditions and the following disclaimer in the
12 #    documentation and/or other materials provided with the distribution.
13 #
14 # THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
15 # AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
16 # THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17 # PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
18 # BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
19 # CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
20 # SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
21 # INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
22 # CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
23 # ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
24 # THE POSSIBILITY OF SUCH DAMAGE.
25
26 # Features to add:
27 #   - Command line option to run a single test.
28 #   - Command line option to run all tests in a suite.
29
30 use strict;
31 use warnings;
32
33 use File::Basename;
34 use FindBin;
35 use Getopt::Long qw(:config pass_through);
36 use IPC::Open3;
37 use lib $FindBin::Bin;
38 use webkitdirs;
39 use VCSUtils;
40
41 sub buildTestTool();
42 sub dumpTestsBySuite(\%);
43 sub populateTests();
44 sub runAllTests();
45 sub runAllTestsInSuite($);
46 sub runTest($$);
47 sub prepareEnvironmentForRunningTestTool();
48 sub testToolPath();
49
50 # Defined in VCSUtils.
51 sub possiblyColored($$);
52
53 # Timeout for individual test, in sec
54 my $timeout = 10;
55
56 my $showHelp = 0;
57 my $verbose = 0;
58 my $dumpTests = 0;
59 my $build = 1;
60 my $buildDefault = $build ? "build" : "do not build";
61 my @testsFailed;
62 my @testsTimedOut;
63
64 my $programName = basename($0);
65 my $usage = <<EOF;
66 Usage: $programName [options]
67   --help                Show this help message
68   -v|--verbose          Verbose output
69   -d|--dump-tests       Dump the names of testcases without running them
70   --[no-]build          Build (or do not build) unit tests prior to running (default: $buildDefault)
71   --chromium            Run the Chromium port on Mac/Win/Linux
72 EOF
73
74 GetOptions(
75     'help' => \$showHelp,
76     'verbose|v' => \$verbose,
77     'dump|d' => \$dumpTests,
78     'build!' => \$build
79 );
80
81 if ($showHelp) {
82    print STDERR $usage;
83    exit 1;
84 }
85
86 setConfiguration();
87 buildTestTool() if $build;
88 setPathForRunningWebKitApp(\%ENV);
89 my %testsToRun = populateTests();
90
91 if ($dumpTests) {
92     dumpTestsBySuite(%testsToRun);
93     exit 0;
94 }
95
96 if (runAllTests()) {
97     exit 1;
98 }
99
100 sub isSupportedPlatform()
101 {
102     return isAppleMacWebKit() || isAppleWinWebKit() || isChromium();
103 }
104
105 sub dumpTestsBySuite(\%)
106 {
107     my ($testsBySuite) = @_;
108     print "Dumping test cases\n";
109     print "------------------\n";
110     for my $suite (sort keys %$testsBySuite) {
111         print $suite . ":\n";
112         print map { "   " . $_ . "\n" } sort @{ $testsBySuite->{$suite} };
113     }
114     print "------------------\n";
115 }
116
117 sub runAllTests()
118 {
119     my $anyFailures = 0;
120     for my $suite (sort keys %testsToRun) {
121         my $failed = runAllTestsInSuite($suite);
122         if ($failed) {
123             $anyFailures = 1;
124         }
125     }
126     
127     if ($verbose) {
128         if (@testsFailed) {
129             print "Tests that failed:\n";
130             for my $test (@testsFailed) {
131                 print "  $test\n";
132             }
133         }
134         if (@testsTimedOut) {
135             print "Tests that timed out:\n";
136             for my $test (@testsTimedOut) {
137                 print "  $test\n";
138             }
139         }
140     }
141     return $anyFailures;
142 }
143
144 sub runAllTestsInSuite($)
145 {
146     my ($suite) = @_;
147     print "Suite: $suite\n" unless $verbose;
148
149     my $anyFailures = 0;
150     for my $test (sort @{$testsToRun{$suite}}) {
151         my $failed = runTest($suite, $test);
152         if ($failed) {
153             $anyFailures = 1;
154         }
155     }
156    
157     return $anyFailures;
158 }
159
160 sub runTest($$)
161 {
162     my ($suite, $testName) = @_;
163     my $test = $suite . "." . $testName;
164
165     my $gtestArg = "--gtest_filter=" . $test;
166
167     print "    Test: $testName -> " unless $verbose;
168
169     my $result = 0;
170     my $timedOut = 0;
171
172     die "run-api-tests is not supported on this platform.\n" unless isSupportedPlatform();
173
174     prepareEnvironmentForRunningTestTool();
175
176     local *DEVNULL;
177     my ($childIn, $childOut, $childErr);
178     if ($verbose) {
179         $childOut = ">&STDERR";
180         $childErr = ">&STDERR";
181     } else {
182         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
183         $childOut = ">&DEVNULL";
184         $childErr = ">&DEVNULL";
185     }
186
187     my $pid;
188     if (isAppleMacWebKit() && architecture()) {
189         $pid = open3($childIn, $childOut, $childErr, "arch", "-" . architecture(), testToolPath(), $gtestArg, @ARGV) or die "Failed to run test: $test.";
190     } else {
191         $pid = open3($childIn, $childOut, $childErr, testToolPath(), $gtestArg, @ARGV) or die "Failed to run test: $test.";
192     }
193
194     close($childIn);
195     close($childOut);
196     close($childErr);
197     close(DEVNULL) unless ($verbose);
198     eval {
199         local $SIG{ALRM} = sub { die "alarm\n" };
200         alarm $timeout;
201         waitpid($pid, 0);
202         alarm 0;
203         $result = $?;
204     };
205     if ($@) {
206         die unless $@ eq "alarm\n";
207         kill SIGTERM, $pid or kill SIGKILL, $pid;
208         $timedOut = 1;
209     }
210
211     if ($result) {
212         push @testsFailed, $test;
213     }
214     if ($timedOut) {
215         push @testsTimedOut, $test;
216         print possiblyColored("bold yellow", "Timeout"), "\n";
217     } elsif (!$verbose) {
218         if ($result) {
219             print possiblyColored("bold red", "Failed"), "\n";
220         } else {
221             print possiblyColored("bold green", "Passed"), "\n";
222         }
223     }
224
225     return $timedOut || $result;
226 }
227
228 sub populateTests()
229 {
230     my @tests;
231     my $timedOut;
232
233     die "run-api-tests is not supported on this platform.\n" unless isSupportedPlatform();
234
235     prepareEnvironmentForRunningTestTool();
236
237     local *DEVNULL;
238     my ($childIn, $childOut, $childErr);
239     if ($verbose) {
240         $childErr = ">&STDERR";
241     } else {
242         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
243         $childErr = ">&DEVNULL";
244     }
245
246     my $pid;
247     if (isAppleMacWebKit() && architecture()) {
248         $pid = open3($childIn, $childOut, $childErr, "arch", "-" . architecture(), testToolPath(), "--gtest_list_tests") or die "Failed to build list of tests!";
249     } else {
250         $pid = open3($childIn, $childOut, $childErr, testToolPath(), "--gtest_list_tests") or die "Failed to build list of tests!";
251     }
252
253     close($childIn);
254     @tests = <$childOut>;
255     close($childOut);
256     close($childErr);
257     close(DEVNULL) unless ($verbose);
258
259     waitpid($pid, 0);
260     my $result = $?;
261
262     if ($result) {
263         print STDERR "Failed to build list of tests!\n";
264         exit exitStatus($result);
265     }
266
267     my %keyedTests = ();
268     my $suite;
269     for my $test (@tests) {
270        $test =~ s/[\r\n]*$//;
271        if ($test =~ m/\.$/) {
272           $test =~ s/\.$//;
273           $suite = $test;
274        } else {
275           $test =~ s/^\s*//;
276           push @{$keyedTests{$suite}}, $test;
277         }
278     }
279  
280     return %keyedTests;
281 }
282
283
284 sub buildTestTool()
285 {
286     my $originalCwd = getcwd();
287
288     chdirWebKit();
289
290     my $buildTestTool = "build-api-tests";
291     print STDERR "Running $buildTestTool\n";
292
293     local *DEVNULL;
294     my ($childIn, $childOut, $childErr);
295     if ($verbose) {
296         # When not quiet, let the child use our stdout/stderr.
297         $childOut = ">&STDOUT";
298         $childErr = ">&STDERR";
299     } else {
300         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
301         $childOut = ">&DEVNULL";
302         $childErr = ">&DEVNULL";
303     }
304
305     my @args = argumentsForConfiguration();
306     my $pathToBuildTestTool = File::Spec->catfile("Tools", "Scripts", $buildTestTool);
307     my $buildProcess = open3($childIn, $childOut, $childErr, "perl", $pathToBuildTestTool, @args) or die "Failed to run " . $buildTestTool;
308
309     close($childIn);
310     close($childOut);
311     close($childErr);
312     close(DEVNULL) unless ($verbose);
313
314     waitpid($buildProcess, 0);
315     my $buildResult = $?;
316
317     if ($buildResult) {
318         print STDERR "Compiling TestWebKitAPI failed!\n";
319         exit exitStatus($buildResult);
320     }
321
322     chdir $originalCwd;
323 }
324
325 sub prepareEnvironmentForRunningTestTool()
326 {
327     return unless isAppleMacWebKit();
328
329     $ENV{DYLD_FRAMEWORK_PATH} = productDir();
330     $ENV{WEBKIT_UNSET_DYLD_FRAMEWORK_PATH} = "YES";
331 }
332
333 sub testToolPath()
334 {
335     my $path = File::Spec->catfile(productDir(), "TestWebKitAPI");
336     return $path unless isAppleWinWebKit();
337
338     my $suffix;
339     if (configurationForVisualStudio() eq "Debug_All") {
340         $suffix = "_debug";
341     } else {
342         $suffix = "";
343     }
344     return "$path$suffix.exe";
345 }